Anthropic近日呼吁全球暂停人工智能的发展,理由是该技术正接近一个可能失控的临界点。
在周四发布的一篇详细博客文章中,这家全球最有价值的AI初创公司指出,其Claude系列模型正朝着“递归自我改进”的方向发展,即模型能够自主提升自身能力。这一假设性的关键转折点可能导致强大AI的诞生,这些AI可能脱离人类控制,甚至对社会造成危害。
Anthropic强调,目前尚未达到这一阶段,但“可能比大多数机构预期的更快到来”。
公司在文章中写道:“我们认为,世界应该有机会放缓或暂时暂停前沿AI的发展,以便社会结构和对齐研究能够跟上技术进步的步伐。”
他们还指出,要实现有效的放缓或暂停,需要多个拥有充足资源的顶尖实验室在多个国家达成共识,并在相同条件下停止研发,但承认这将很难执行。
“训练过程比导弹发射井更容易隐藏,”文章写道。
Anthropic此时提出暂停呼吁颇具策略意义。过去几个月,该公司超越OpenAI,成为全球估值最高的AI公司,估值达到1万亿美元,其模型在编码任务上被广泛认为是行业领先。如果行业此刻按下暂停键,将巩固Anthropic的市场主导地位。
不过,并非所有人都认可Anthropic的说法。知名AI批评者Gary Marcus称该公司长篇文章是“诱饵与转换”。
Marcus在其Substack上写道:“Anthropic试图制造恐慌(‘完全递归自我改进可能增加人类失控AI系统的风险’),但他们实际上只是展示了更快的编码能力——这完全在人类控制之下。更快的编码工具不太可能毁灭世界。”

Anthropic一直试图塑造自己为道德且深具责任感的企业形象。其创始人兼CEO Dario Amodei曾因安全顾虑,放弃在2022年发布一款革命性AI模型,让OpenAI后来发布ChatGPT赢得了关注。
两个月前,Anthropic发布了新模型Mythos,但未向公众开放,声称其强大到足以入侵“所有主流操作系统和浏览器”。
然而,这种表象正逐渐失去说服力。今年早些时候,Anthropic因担忧其AI可能被用于自主武器和大规模监控美国公民,与五角大楼发生冲突。随后有报道显示,Claude模型被用于协助选择伊朗的打击目标。
在与军方的冲突中,Anthropic还放弃了其安全承诺——即如果无法确保AI系统具备适当的安全防护措施,就停止训练。
伦敦大学学院教授Steven Murdoch援引《金融时报》的报道指出,Anthropic正协助美国国家安全局利用Mythos模型进行网络战争,针对中国和伊朗等潜在敌人。
Murdoch告诉《卫报》:“Anthropic可能给人温和友善的印象,但他们对AI安全的定义非常狭隘。支持美国当局发展进攻性能力从未被他们公开反对过。”
无论Anthropic是否真心认为全球暂停AI发展有望实现,还是借此提升其安全形象,该公司承诺将继续推动相关行动。
公司表示:“未来几个月,我们将组织政策制定者、研究人员、民间社会及其他AI公司开展对话,探讨全文递归自我改进及如何创造更好的协调与审议机制。我们将公布讨论结果。”

