Anthropic 的 AI 使用虚假身份和恶意软件对 GitHub 项目进行流氓攻击

Anthropic 和 OpenAI 模型的自发行为迫使英国网络测试停止。

前沿人工智能模型的例行网络安全测试引发了一系列意想不到的安全事件——最严重的案例是 Anthropic 的 Mythos 5 模型试图将恶意代码插入开源软件应用程序并创建虚假身份来欺骗维护该项目的人类开发人员。 等等。

这些安全事件发生在英国政府内部研究机构人工智能安全研究所 (AISI) 于 7 月下旬对七种领先人工智能模型的能力进行网络评估期间。 根据 8 月 4 日发布的 AISI 博客文章，研究人员发现了 19 个“人工智能代理在实时互联网上采取未经批准的行动的实例，其中包括针对真实的人和组织的案例”。

几乎所有“自主的、未经批准”的操作都来自 Anthropic 的 Mythos 5 模型，其中两个这样的操作来自 OpenAI 的 GPT-5.6 Sol。 AI 安全研究所的安全团队在 7 月 28 日早上首次意识到出了问题，当时其商业安全监控服务标记了通过 Tor 匿名网络离开其中一个测试系统的数据。

需要明确的是，这并不是人工智能代理逃离虚拟测试沙箱并对实时互联网造成严重破坏的情况。相反，研究人员故意允许人工智能代理访问互联网，作为网络测试过程的一部分。 研究人员还禁用了人工智能模型提供商在模型中内置的一些网络分类器，以防止滥用。

所有AI代理针对真实人和组织的尝试都失败了，后续调查也没有发现任何现实世界的危害。 但研究人员将人工智能代理的行为描述为“我们第一次看到围绕自主和欺骗的风险在现实世界中在没有具体提示的情况下清楚地表现出来。”

AI代理的诡计

最严重的案例涉及 Mythos 多次尝试对开发者平台 GitHub 上托管的开源项目存储库执行供应链攻击，包括使用社会工程技术试图说服存储库的人类维护人员将恶意代码合并到存储库中。

在首次提出拉取请求以将恶意代码合并到存储库后，Mythos 创建了虚假的在线“袜子木偶”角色，声称已独立审查并验证代码不包含恶意软件。

AI 代理还向存储库的两名人类维护人员发送了五封电子邮件，其中一些电子邮件包含恶意软件，而其他电子邮件则试图说服维护人员接受拉取请求。

Mythos 甚至在第二个存储库（也由第一个存储库的维护者拥有）上打开了 GitHub 问题，其中包含针对“问题分类 AI 编码代理”的恶意指令的提示注入。这种攻击来自神话推理，即存储库维护者可能是人工智能编码代理 比如克劳德密码。

相比之下，OpenAI 的 GPT-5.6 Sol 在试图解决攻击模拟网络和检索标志的指定网络安全挑战时执行了两项未经批准的行动。 AISI 研究人员和 OpenAI 在该公司自己的博客文章中详细介绍了 AI 代理的行为。

OpenAI 写道，在第一次未经批准的行动中，GPT-5.6 Sol 重复使用了另一个实验室的 AI 代理在公共在线记事本中留下的 GitHub 令牌，以检查目标网络是否正在检查 GitHub 的更新，然后“尝试帐户恢复和请求限制解决方法”。 OpenAI 模型还在虚拟测试环境之外向外部 DNS 和隧道提供商注册了帐户。

OpenAI 表示，在第二个行动中，GPT-5.6 Sol“使用公共隧道服务，使在其评估环境中本地运行的 DNS 服务器可从公共互联网访问”。 该服务器的有效负载旨在利用评估环境中运行的软件中的已知漏洞，但人工智能代理的设置不起作用。

人工智能安全研究所发布了一份关于所有未经批准的人工智能代理行为的详细技术报告。

经验教训

这些安全事件导致英国政府人工智能安全研究所的研究人员停止了对人工智能代理的所有相关评估，隔离相关虚拟机，并禁止内部组织访问最有能力的模型。

AI 安全研究所还向 GitHub 通报了 AI 代理执行的恶意活动，并帮助开发者平台删除任何“代理留下的痕迹”，同时通知与模型交互的 GitHub 用户。

但更大的教训来自于政府组织计划如何在未来改变此类领先人工智能模型的网络测试，以及它如何建议其他组织也这样做。

首先，它计划在网络测试期间收紧人工智能模型的互联网访问，而不是默认允许开放的互联网访问。 根据技术报告，这可能包括“对所有内部沙箱系统的细粒度网络控制”和“通过多层网络控制进行深度防御”。

其次，根据 AISI 的说法，该组织正在引入对网络评估的实时监控，可以“在发生超出范围的行为时进行标记或阻止”。 这涉及使用一个单独的大型语言模型，该模型可以批准或拒绝正在进行网络测试的人工智能模型请求的操作，这可以帮助阻止未经批准的操作。 基于法学硕士的监控将根据任何特定网络评估中应该或不应该允许的内容的说明进行定制。

第三，英国政府研究人员计划通过投入额外的“沙箱隔离和强化工程工作”来彻底改革网络评估，以降低人工智能模型从虚拟测试沙箱中逃逸的风险，尽管这些事件中并未发生逃逸。 他们还在审查网络测试的提示，试图避免“提示错误配置”的情况，即人工智能代理在规定的限制内无法完成的任务可能更有可能采取未经批准的行动。

但网络测试事件的失误再次凸显了领先人工智能模型的网络安全风险，特别是因为 Anthropic 和 OpenAI 最近还披露了各自的人工智能模型侵入外部组织受保护网络的事件。 可以合理地预期，在其他情况下，当这些模型被不道德或不太懂安全的人使用时，这种情况可能会再次发生。

来源：Arstechnica