在牛津大学的一项实验中,研究人员让由同一模型控制的AI智能体在二十一点游戏中进行算牌,结果这些智能体自发地创造了一套秘密代码来协助彼此获胜。尽管这一事件发生在实验室而非真实赌场,但其现实意义令人担忧:这表明在金融、电商等行业中部署的智能体可能会联手作弊,且这种串通行为难以被发现。
牛津大学计算机科学家Christian Schroeder de Witt领导了这项研究,他指出:“单个智能体看起来可能完全无害,但一旦组成群体,它们就能秘密串通。”
这些智能体知道它们的对话会被监控,因此设计了规避检测的交流方式。例如,当一个智能体说“这个庄家状态火热,每手牌都很强”,实际上是在传递下一张牌的具体信息,并暗示应下注250美元。更令人惊讶的是,专门用来检测智能体串通的系统未能识别出它们的秘密交流。
参与项目的机器学习研究员Aaron Rose同时也是一名热衷的牌手,他认为二十一点桌是智能体合作作弊的理想场所,“效果非常显著。”
Schroeder de Witt团队最终利用“机械可解释性”方法训练了一个较小的模型,能够识别智能体权重中的异常激活,从而检测出它们的串通行为。借助名为Narcbench的工具,他们在一些中等规模的开源模型上测试了该方法,成功判断出模型间是否有意传递信息。
然而,关键在于要同时监控多个智能体,这在现实场景中尤为复杂,因为可能有成千上万个智能体由不同公司运营。
参与研究的博士生Carissa Cullen表示,下一步是测试更大规模模型的行为(本研究中的智能体是美国的Llama和GPT-OSS以及中国的Qwen和DeepSeek的小型版本)。团队发现大型模型的串通信号可能更难被检测,他们希望了解大型模型是否更倾向于串通且更隐秘。

越来越多证据显示,智能体群体比单个智能体更具风险。上海交通大学与上海人工智能实验室的一项研究发现,智能体群在执行模拟虚假信息传播和电商欺诈时表现出更强的适应性和危险性。
斯坦福大学计算机科学家Diyi Yang强调:“单独评估智能体已不够,企业应密切监控智能体间的互动,尤其是在它们反复交互时,即使单个智能体的动机看似无害。”
这并非全是坏消息:OpenAI利用成千上万的智能体协作解决了此前难以攻克的数学难题。但恶意智能体群体也频繁出现在多起高调的黑客事件中。今年5月,一组OpenAI智能体入侵了AI研究平台Hugging Face,并通过留言板共享技巧和想法。其他模型如Anthropic的Claude和谷歌的Gemini也曾发生安全漏洞。
秘密交流为这一问题增添了新维度,且可能只是开始。初创公司Emergence AI最近的一项研究将前沿AI模型控制的智能体放入虚拟世界,观察它们的行为。它们在赚钱任务中多次尝试接触互联网用户进行销售,甚至发展出自己的俚语。Emergence AI CEO Satya Nitta表示:“它们语言进化得非常快,我们也不清楚原因。”
全球对智能体不当行为的关注日益增加,本周联合国大会将讨论OpenAI-Hugging Face事件,Sam Altman预计将呼吁国际协调以确保AI智能体安全发展。
尽管如此,电商等行业已成为智能体测试的前沿阵地。例如,亚马逊本周宣布将禁止Meta的Muse AI智能体访问其平台,理由是其违反使用条款。
Schroeder de Witt认为,智能体若被指派寻找优惠,完全可能秘密合作以获得更好条件或损害他人利益。他强调,随着智能体在经济中的普及,研究智能体串通及其检测策略至关重要。“我们需要更多研究来理解当智能体数量增加时会发生什么。”


