安全智能体的前沿技术研究与实践

安全底层技术演进经历了以下几个阶段：\n\n1. 规则驱动：在早期，安全技术主要依赖于人工编写的规则进行静态和动态分析，如基线核查规则、应用漏洞规则等。这种方式尽管在某些特定场景下有效，但面临着规则更新滞后和适应性差的问题。\n\n2. 大数据驱动、深度学习、机器学习：随着算力和存储设备的发展，安全技术开始利用机器学习、大数据分析，通过统计模型和威胁情报，实现更为复杂的威胁检测和响应。然而，这种方法依然面临着误报率高、漏报率高等挑战。\n\n3. 安全智能体&安全AGI：大模型技术给安全带来的核心变革在于，补充语义分析能力。这一能力不仅突破了传统基于规则的安全方案的效果瓶颈，还让智能体方案具备了像人类一样的分析学习能力。这些将从根本上重塑现在安全团队的工作范式，实现进一步安全自动化。\n\n尽管目前大模型在安全场景的落地依旧面临许多难点与挑战，但人工智能技术与网络安全的深度融合已成为不可逆的行业趋势。在此背景下，沈凯文博士从大模型落地的痛点与云起无垠的安全智能体实践等方面为我们分享了人工智能时代安全智能体的前沿技术研究与实践。\n\n智能体方案解决大模型落地难题\n目前，幻觉和输出不稳定是大模型在安全场景落地时面临的两大障碍。幻觉指的是模型生成的内容看似合理但实际上是错误或虚构的情况。例如，当用户输入一个CVE漏洞解释任务时，由于知识缺失，大模型可能会编造一个不存在的漏洞并输出，从而误导用户。输出不稳定是指在相同或相似的输入下，大模型的内容输出结果可能存在显著差异。例如，应用大模型处理代码修复任务，即使使用同样的提示词生成10次结果，输出的代码也可能各不相同，往往其中只有2-3次输出是可用的。在对准确率要求极高的网络安全领域，幻觉和输出不稳定给大模型的应用落地带来了巨大的挑战。\n\n为了解决幻觉和输出不稳定的问题，沈凯文博士认为智能体是将大模型落地的最佳实践应用方案。其中通过规划+工具能力可以有效提升输出的稳定性，而利用知识引擎则可以一定程度上解决大模型因为知识缺失而产生的幻觉问题。比如上述CVE漏洞的例子，直接询问GPT-4难以得到较好的反馈，通过让大模型与知识引擎协同，并利用检索增强生成（RAG）的方式，就能让大模型更精准地向用户输出CVE漏洞信息，指导用户如何进行修复。