黑客正在积极利用生成式人工智能进行网络攻击；不仅如此，甚至威胁行为者也在探索利用 ChatGPT 等其他高级 LLM 的新方法。
他们可以利用大型语言模型 (LLM) 和生成式人工智能来实现多种恶意目的，例如网络钓鱼、社会工程、恶意软件生成、撞库攻击、假新闻、虚假信息、自动黑客攻击等等。
Tren Micro 的网络安全研究人员最近发现，黑客正在积极转向人工智能，但在采用率方面落后于防御者。
黑客转向人工智能
黑客经历了“越狱即服务”产品的兴起，这些产品允许匿名访问 ChatGPT 等合法语言模型，并提供不断更新的提示以绕过道德限制。
一些服务，例如 EscapeGPT 和 LoopGPT，公开宣传越狱，而其他服务，例如 BlackhatGPT，首先假装是独家犯罪 LLM 提供商，然后才透露他们只是在 OpenAI 的 API 上提供越狱提示。
想要打破人工智能审查制度的违法者与试图阻止其产品被破解的提供商之间不断变化的竞争，已经为不受限制的对话式人工智能功能创造了一个新的非法市场。
Flowgpt.com 是 LoopGPT 可以用来创建特定于单个系统提示的语言模型的平台之一，这可能为“非法”或开放的人工智能助手提供空间。
此外，未经验证的欺诈性产品激增，这些产品只声称非常强大，但缺乏任何证据，这些可能是骗局或像 FraudGPT 这样被大量宣传但从未得到证实的废弃项目。
威胁行为者利用生成式人工智能有两个主要目的：
● 开发恶意软件和恶意工具，类似于软件开发人员广泛采用的模型。
● 通过制作诈骗脚本来改进社会工程策略，并利用模型支持的紧急/多语言功能扩大网络钓鱼活动。
GoMailPro 和 Predator 等垃圾邮件工具包集成了用于电子邮件内容翻译/生成的 ChatGPT 功能。
此外，深度造假服务正在兴起，犯罪分子提供 10 至 500 美元以上的名人图像和视频操纵服务，包括使用合成身份绕过金融机构 KYC 验证的有针对性的产品。
总体而言，生成式人工智能扩展了威胁行为者跨编码和社会工程领域的能力。
