Anthropic 正在开发验证 AI 模型身份的系统

图片来源：Samuel Boivin/NurPhoto / Getty Images。

根据周二发布的一篇博客文章，Anthropic 正在开发一套开源系统，用于验证某个输出由哪个 AI 模型生成。这套名为 FlashProve 的系统旨在提供研究人员所说的“可证明推理”：一种密码学证明，本质上是对特定输出来自特定模型的数学保证。它旨在让用户确认，收到的答案确实来自他们认为正在使用的模型。

这类似于让收件人确认邮件确实来自所称发件人的密码学邮件签名。FlashProve 将能够抵御试图将一个模型伪装成另一个模型的冒充者，即使冒充者是构建和运行该模型的实验室本身。研究人员特别指出，该系统可用于防止 AI 公司为降低成本而秘密换用更便宜的模型，或换用更昂贵的模型来抬高性能结果。

FlashProve 还可用于验证第三方声称某项具体任务由先进模型完成的说法。研究人员写道：“开发者可能声称自己的软件库已由前沿网络安全模型扫描漏洞，或者一家公司可能声称其商业计划已获得合适模型的认可。用户如何验证这些说法？”

要使系统运作，AI 实验室需要为其发布的每个模型公布一个“指纹”，之后可将指纹与具体输出匹配并通过密码学方法验证。关键在于，这些指纹不会泄露模型权重，也就是决定模型行为、并被 Anthropic 和 OpenAI 等闭源模型开发商保密的内部数值。这意味着实验室可以公布指纹，而不必放弃其最有价值的资产，从而使该系统也能与商业模型配合使用。该系统还被设计为轻量级，使验证可以在本地设备上进行。

作为此次公告的一部分，研究人员发布了详细的技术规范，以及系统各部分的可运行代码；这些代码依据开源许可证在 GitHub 上公开。该系统的研究仍在进行，Anthropic 或任何其他实验室都没有部署计划。

研究人员在公告中解释：“这篇研究文章旨在分享阶段性进展，而不是一项已经完成的研究计划。我们明确地分享这些内容，希望其他人看看我们已经做了什么，拿去使用并加以改进。”

来源：Techcrunch