FraudGPT的“成功“标志着生成式人工智能武器化和黑客攻击技术民主化的危险时代已经到来。
FraudGPT是一种通过Telegram疯传的基于订阅的新型生成式人工智能黑客工具，订阅费用为每月200美元或每年1700美元。2023年7月份被Netenrich的安全研究人员发现时，FraudGPT已经拥有超过3000个订阅者。研究人员推测FraudGPT基于开源大语言模型开发，并去除了模型中的一些道德和安全限制。
FraudGPT之所以快速流行，是因为它将过去复杂的黑客攻击技术通过生成式人工智能工具变成了技术小白也能轻松使用的自动化服务，例如编写恶意代码、创建无法检测的恶意软件、编写令人信服的网络钓鱼电子邮件等。
武器化人工智能程序成为暗网最畅销黑客工具
包括CrowdStrike、IBM Security、Ivanti、Palo Alto Networks和Zscaler在内的领先网络安全供应商警告称，甚至早在2022年11月下旬ChatGPT发布之前，包括国家支持的网络黑客组织在内的攻击者就开始将生成式人工智能武器化。
CrowdStrike首席科学家兼高级副总裁Sven Krasser指出，攻击者正在加速将大语言模型和生成人工智能武器化，此类程序已经成为暗网最畅销黑客工具。网络犯罪分子正纷纷采用大语言模型技术进行网络钓鱼和恶意软件，但“虽然这提高了对手发起攻击的速度和数量，但它并没有显著改变攻击的质量。”
Krasser表示，目前的生成式人工智能目前并没有显著提升攻击技术，但它确实提高了平均水平，让技术水平较低的对手也能发起有效攻击。
FraudGPT开启了一个危险的时代
FraudGPT的定位是网络攻击者的入门工具包，它利用一些经过验证的攻击工具，例如自定义黑客指南、漏洞挖掘和零日攻击。FraudGPT提供的任何工具都不需要其使用者具备高级黑客技术知识。FraudGPT还为订阅者提供了初级攻击者必须具备的基线水平的间谍技术，包括：
- 编写网络钓鱼电子邮件和社会工程内容
- 创建漏洞利用、恶意软件和黑客工具
- 发现漏洞、泄露的凭证和存有信用卡信息的网站
- 提供有关黑客技术和网络犯罪的建议
FraudGPT标志着一个危险的，民主化和武器化生成人工智能工具时代的开始。虽然FraudGPT当前的迭代版本还无法与朝鲜陆军精锐侦察总局网络战121部队等国家黑客组织的先进情报技术媲美，但其快速提升入门级攻击者的能力有目共睹。
凭借订阅模式，FraudGPT的用户数在短短数月内就超过了最先进的国家网络战部队，例如朝鲜的121部队，据《纽约时报》报道，仅该部队就拥有约1700名黑客。
虽然FraudGPT目前还不能像规模更大、更复杂的国家黑客部队那样构成迫在眉睫的威胁，但它推动的新手攻击尝试正呈指数级增长，此类攻击通常从“最软”的目标开始，例如教育、医疗和制造业。
武器化人工智能改变网络安全的五大方式
基于生成式人工智能的网络攻击工具正在推动网络安全供应商及其企业客户加快步伐，力图在这场人工智能军备竞赛中保持竞争力。随着FraudGPT的异军突起，网络攻击者数量快速增加，首先受到冲击的就是“身份”。
生成式人工智能对基于身份的安全方法构成了真正的威胁。事实证明，前者可以有效地利用深度造假技术冒充首席执行官，并精心策划社会工程攻击，以获取特权访问凭证。FraudGPT正在通过以下五种方式颠覆网络安全攻防态势，为我们勾勒出武器化人工智能的未来：
自动化社会工程和网络钓鱼攻击
FraudGPT展示了生成式人工智能生成“高质量”、令人信服的社会工程和网络钓鱼剧本（或场景）的能力，这些剧本和场景能够误导受害者，窃取他们的身份和公司网络访问权限。例如，攻击者要求ChatGPT编写有关成功的社会工程或网络钓鱼策略如何运作的科幻故事，欺骗大语言模型提供攻击指导。
据VentureBeat报道，网络犯罪团伙和国家黑客组织经常用外语（非英语）查询ChatGPT和其他大语言模型，这样该模型就不会像英语查询那样有效地拒绝潜在攻击场景的上下文。暗网上还有一些专门从事提示工程的团体，教攻击者如何绕过大语言模型的护栏来生成社会工程攻击和支持电子邮件。
挖掘漏洞、生成恶意软件
FraudGPT已被证明能够生成针对特定受害者的网络端点和更广泛的IT环境量身定制的恶意脚本和代码。新手攻击者也可以使用FraudGPT来快速了解最新的威胁技术，以学习并部署攻击场景。这意味着企业必须加倍努力确保其网络卫生和端点安全。
人工智能生成的恶意软件可以绕过大多数传统网络安全系统，因为后者在设计上并不能识别和阻止这种新威胁。根据最新发布的CrowdStrike威胁指数，无恶意软件攻击占的所有检测的攻击的71%，这表明攻击技术在广泛采用生成式人工智能之前就已经开始变得日益复杂。整个网络安全行业近期发布的新产品也表明了对抗恶意软件是网络安全行业当下的高优先级任务，包括AmazonWebServices、Bitdefender、Cisco、CrowdStrike、Google、IBM、Ivanti、Microsoft和PaloAltoNetworks等公司都发布了基于人工智能的安全平台增强功能，以识别恶意软件攻击模式，减少误报。
网络犯罪资源自动发现
相比手动研究，生成式人工智能将大大缩短漏洞挖掘、收集受损凭证、学习新的黑客工具以及掌握复杂网络犯罪技能所需的时间。各种技能水平的攻击者都将使用人工智能工具来发现未受保护的端点，攻击未受保护的威胁面，并根据人工智能工具的建议发起有效网络攻击。
除了身份之外，端点也面临更多攻击威胁。一些CISO选择将自愈端点作为整合策略和提高网络弹性能力的核心，尤其是在依赖物联网传感器的混合IT和运营技术(OT)环境中。目前宣称拥有自我修复端点技术产品的供应商包括AbsoluteSoftware、Cisco、CrowdStrike、Cybereason、ESET、Ivanti、Malwarebytes、微软、Sophos和趋势科技等。
人工智能驱动的防御规避才刚刚开始
武器化的生成式人工智能仍处于初级阶段，FraudGPT也才刚刚起步。但没有人怀疑，更先进、更致命的工具即将到来。不久的将来，攻击者将大量使用生成式人工智能技术来逃避端点检测和响应系统，并开发可以绕过静态签名检测的恶意软件变体。（防御者根据云端实时遥测数据识别异常行为以及监控每个端点将变得尤为关键）。
网络安全供应商必须优先考虑统一端点和身份，以保护端点攻击面。此外，使用人工智能来保护身份和端点至关重要。许多CISO正致力于将进攻驱动的战略与技术整合相结合，以获得对所有威胁面更加实时、统一的视图，同时提高技术堆栈的效率。96%的CISO计划整合其安全平台，其中63%表示XDR（扩展检测和响应)是他们解决方案的首选。
检测和归因更加困难
FraudGPT和未来的武器化生成式人工智能工具将使检测和归因变得更加困难。由于不涉及硬编码，安全团队将很难根据取证工件或证据将人工智能驱动的攻击归因于特定的威胁组织或活动。更强匿名能力和更低的检测率意味着更长的攻击驻留时间，攻击者将能执行“低而慢”的攻击，这是针对高价值目标的高级持续威胁（APT）攻击的典型方法。武器化的生成式人工智能工具最终将使每个攻击者都具备APT攻击能力。
