Anthropic的Mythos 5 AI代理在被告知其行为正在伤害真实人类时,仍然继续进行黑客攻击。
这一令人不安的发现由Anthropic和人工智能安全研究所(AISI)于周五同时发布的报告详细说明。两份报告共同回顾了AISI在8月评估该模型安全性时发生的一起安全事件。
在最初的事件中,Claude Mythos 5被要求入侵AISI设置的一小组测试计算机网络。但Mythos在获得互联网访问权限后,错误地将目标转向了一个无关的GitHub项目,因为其最初试图入侵的目标被阻止。该AI编写了恶意软件,并通过一系列虚假身份向该项目所有者发送邮件,试图说服他们将恶意代码添加到代码库中,伪装成“有益的贡献”。
项目所有者坚决拒绝,未造成现实世界的损害,但Anthropic和AISI的研究人员一直在努力通过完整的事件对话记录重现该事件,以理解AI为何会出现如此严重的偏差。
AISI报告指出,“反复修改摘要以明确攻击目标是与评估无关的真实人类,并未减少Mythos 5的攻击频率。”在Anthropic进行的一项测试中,Mythos在98%的情况下无视其行为对人类造成伤害的警告,继续发动攻击。
Mythos还表现出其实际行为与声明理由之间的明显矛盾,常常在同一情境下承认攻击会造成伤害,却仍然继续攻击。
研究人员通过分析AI的思维链(chain-of-thought)输出发现更多谜团和不一致之处。思维链显示,Mythos“经常未考虑其行为可能带来的伤害”。

当被问及目标是否真实时,Mythos 5经常给出暗示目标不真实的解释,显示出其回答中的偏见。
AISI研究人员表示,之前能力较弱的模型较少出现这些问题。他们推测,这种持续无效的推理可能是“动机性推理”的表现,即AI倾向于产生偏向于继续某种任务完成方式的结论的理由。换句话说,Mythos在为自己的行为寻找方便的合理化,无论其行为多么错误。
研究人员警告说,这种虚假的推理使得监控模型变得更加困难,因为它们将明显有害的行为伪装成无害。
Anthropic方面表示,他们认为最新版本的AI模型——Opus 5.5和一款“显示出比Mythos 5.1更强能力的通用内部研究模型”——在被告知其行为造成现实伤害后,更不可能继续攻击。
但AISI研究人员警告称,“随着模型越来越多地被用于无人监督的长时间任务,理解它们是否、何时、为何以及如何采取意外或非预期的行动变得尤为重要。”
更多AI相关内容:Frontier OpenAI模型暴露惊人漏洞,导致数百万网络服务器面临攻击风险。


