在开源的基础上构建 AI 需要一种全新的应用程序安全方法

人工智能已经从科幻小说中涌现出来，进入了我们的日常生活。

在开源软件（OSS）模型的支持下，人工智能革命正在加速。这些模型是专为开发 AI 而制作的复杂开源代码包，使组织能够高效、大规模地部署 AI 模型。

虽然大多数组织都确保检查任何给定的标准开源代码行是否存在漏洞，但他们部署的大型开源模型通常逃脱了同样的审查。

最近发现的一系列漏洞凸显了如何通过恶意 OSS 模型执行供应链攻击。这一发现引发了人们对开源模型的脆弱性和人工智能系统整体安全性的担忧，强调了在人工智能迅速普及的情况下，对严格的开放源码软件安全措施的迫切需求。

OSS模型是人工智能革命的基石。为什么？如今，大多数组织都不是从头开始构建自己的 AI 模型——他们越来越依赖开源模型作为其 AI 计划的基础组件。这种方法加快了开发速度，允许快速部署和定制以满足特定需求。

然而，这种便利性和效率的权衡是安全性。OSS 软件包被广泛使用，攻击者也知道这一点。他们也知道，组织很难仔细检查外部开发人员编写的代码中的潜在漏洞。结果：OSS 模型经常引入漏洞，恶意行为者可以轻松利用这些漏洞来破坏敏感数据、决策过程和整体系统完整性。

人工智能研究和解决方案仍处于“快速行动和打破常规”的阶段，因此OSS模型的安全协议仍处于起步阶段。这就是为什么像最近的 Hugging Face 漏洞这样的网络事件——包括 Google 和 Microsoft 在内的 700 多家公司使用的 1500 LLM多个集成 API 令牌遭到入侵正在增加。

入侵 AI 基础设施为不良行为者提供了通往王国的钥匙。攻击者可以查看和窃取敏感数据，以前所未有的规模损害用户隐私。他们还可以访问、窃取甚至删除 AI 模型，从而损害组织的知识产权。也许最令人担忧的是，它们可以改变人工智能模型产生的结果。

想象一下这样一个场景：一个持续头痛的人向 AI 聊天机器人或大型语言模型 （LLM） 询问基本的头痛技巧。被破坏的人工智能不是建议休息或 Advil，而是建议人们以一种头痛患者不知道的方式组合两种非处方药，这可能会导致有毒或致命的副作用。

或者考虑一辆依赖人工智能进行导航的自动驾驶汽车。如果它的人工智能系统被篡改，它可能会将红色交通信号灯误解为绿色，从而引发碰撞。同样，如果汽车制造厂的人工智能质量控制系统被篡改，它可能会错误地验证不良焊缝，从而危及驾驶员安全和召回。

即使在看似良性的情况下，受损的人工智能也可能是危险的。想象一下，用户提示 AI 助手建议意大利的旅行提示。受LLM感染者可以在其响应中嵌入恶意 URL，将用户引导至充满恶意软件的网络钓鱼网站——所有这些都伪装成有益的旅行资源。虽然潜在的旅行者可能永远不会意识到他们已经启用了漏洞利用，但攻击者现在可以使用他们的新访问权限来感染网络上更多用户的计算机。

随着 OSS 模型受损风险的增加，组织必须采取积极主动的态度来加强其 OSS 模型的安全性。这就要求采取多方面的办法，而不能仅仅采取被动措施，因为这些措施只有在安全漏洞发生后才会发挥作用。

持续监控和实时威胁检测机制是关键。组织应寻求能够实时识别开源模型的异常、异常行为或潜在威胁的高级监控工具。在这种情况下，人工智能驱动的系统——以火灭火——可能是最有效的。

此外，组织应优先考虑强大的身份验证协议、加密方法和访问控制，以加强其 AI 基础设施的完整性。定期进行安全审计、漏洞评估和专门针对开源模型的代码审查将有助于在潜在弱点被利用之前识别和解决它们。

最后，在团队中培养组织范围内的安全意识和主动响应的文化，确保可以采取快速行动来缓解新出现的风险。

通过集成实时预防、检测和响应威胁的主动安全解决方案，组织可以增强其 OSS 模型基础设施的网络弹性，并确保他们的数据和客户免受 AI 革命的阴暗面的影响。

搜索关注公众号 网络研究观 阅读全文