Anthropic 正在研发一套开源系统,用于验证某个输出是由哪个 AI 模型生成的。根据周二发布的博客文章,这个名为 FlashProve 的系统旨在实现“可证明推理”——一种密码学证明,实质上是一种数学保证,证明某个输出确实来自特定模型。该系统让用户能够确认他们收到的答案确实来自他们认为正在使用的模型。

类似于加密邮件签名(DomainKeys Identified Mail)让收件人确认邮件确实来自声称的发件人,FlashProve 设计上能够抵御冒充者伪装成其他模型的行为,即使冒充者是构建并运行该模型的实验室。研究人员特别指出,该系统可防止 AI 公司暗中用更廉价的模型替代以降低成本,或用更昂贵的模型夸大性能表现。

此外,FlashProve 还能验证第三方声称某项任务是由先进模型完成的真实性。例如,开发者可能声称其软件库经过前沿网络安全模型的漏洞扫描,或者某公司声称其商业计划获得了合适模型的批准。研究人员提出:“用户如何验证这些声明?”

该系统的运行依赖于 AI 实验室发布每个模型的“指纹”,该指纹可与特定输出匹配并通过密码学方式验证。关键是,这些指纹不会泄露模型的权重——即定义模型行为的内部参数,这些参数是 Anthropic 和 OpenAI 等封闭模型制造商的核心机密。这意味着实验室可以发布指纹而不必放弃其最宝贵的资产,从而使该系统也能适用于商业模型。系统设计轻量,验证过程可在本地设备上完成。

作为发布的一部分,研究人员公开了详细的技术规范和系统各部分的工作代码,这些内容均以开源许可形式托管在 GitHub 上。该系统仍处于研究阶段,目前 Anthropic 及其他实验室暂无部署计划。

研究人员在公告中说明:“本研究旨在分享中期进展,而非完成的研究计划。我们公开这些内容,目的是希望其他人能够审视我们的工作,继而改进它。”