一位Anthropic的研究员因担忧自我进化AI模型的无节制发展可能最终导致人类灭亡而选择辞职。

Jacob Coxon在周二晚间的社交媒体发文中表示，他过去三年曾在OpenAI和Anthropic从事预训练研究，但他指责这些公司未能负责任地行动。他称，竞相开发这项技术的人“真诚地相信它可能在本世纪末杀死我们所有人。”

“他们正直奔自我进化的超级智能而去，拿我们的生命做赌注，”Coxon在X平台的帖子中写道。

Coxon的观点加入了行业内越来越多呼吁在AI技术学会自我改进之前放缓发展的声音。许多人认为，这一里程碑将终结人类对AI的控制权。

这次公开辞职发生在政策制定者和业内人士对AI发展放缓的压力日益增加之际，之前已有多起AI代理突破沙盒环境访问开放互联网的事件。

迄今为止最严重的事件是OpenAI系统入侵了Hugging Face的服务器，这一事件因独立调查有限而仍未被充分理解。同期，Anthropic的AI代理也因第三方安全评估配置错误，意外获得了访问互联网的路径。

Anthropic尚未对辞职事件作出回应。

以下是Coxon的警告和行动呼吁全文：

不要低估这项技术的力量。这些系统很快将超越人类，能够入侵任何系统，彻底革新任何领域，并获得真正的权力和资源。我们都见证了各领域的进步，且进步速度没有放缓。

开发AI的人真诚地相信它可能在十年内杀死我们所有人。这不是营销噱头。许多高管和高级研究员在公开场合会用谨慎措辞，但私下里我听到他们表达恐惧。没有其他人类活动带来如此高的危险。

常见的反问是“如果他们真的相信这一点，为什么还要继续开发？”在OpenAI，许多人尚未深刻认识到文明的风险。在Anthropic，风险被充分理解，但他们陷入了竞赛——他们认为没人会负责任地行动，所以只能自己去做，尽管存在风险。

接受这场竞赛并进入“终局”是一场傲慢的赌博，不应仅凭一家私企的内部讨论决定。加速对齐过程应建立在极高的信心基础上，确信没有更好的路径。

我对协调持乐观态度。像Hugging Face攻击这样的警告事件使美国实验室之间达成节奏协议更具可行性。但我认为我们尚未走上阻止全球竞赛的轨道，这可能需要诸如暂时禁止提升模型能力等代价高昂的措施。

如果你是实验室研究员，我敦促你认真思考未来几年会是什么样。你是否愿意在没有充分理解AI思维的情况下启动超级智能强化学习？你是选择低头接受“反正会发生”，还是利用此刻呼吁改变？

Coxon的同事Evan Hubinger也表达了类似观点，他说团队“真诚地相信AI可能杀死所有人类！”但他也指出，未来十年内这一风险超过10%的可能性，并承认Anthropic“没有解决超级智能对齐的计划，也没有明确的进展轨迹。”

安全组织Guidelight AI Standards最近发布报告指出，顶级AI实验室中很少有公开应对失控AI的遏制方案。

Hubinger在社交媒体上补充说，目前模型的风险较低，但“递归自我改进产生的超级智能”风险更大，且“进展比预期更快。”

尽管半数AI行业人士认为自我进化将导致人类灭亡，另一半则希望它最终能帮助解决癌症、气候变化甚至世界和平等看似遥远的问题。

Anthropic和OpenAI并非唯一追求递归自我改进的公司。今年涌现出一批由资深创始人和巨额资金支持的初创企业，争夺成为首个实现该目标的企业。Ricursive Intelligence今年2月融资3.35亿美元，估值40亿美元；三个月后，Recursive Superintelligence融资6.5亿美元，估值同为40亿美元；前Google DeepMind资深研究员Jeff Dean上月创立Discovery Loop。

AI安全非营利组织ControlAI美国执行董事Connor Leahy告诉TechCrunch：“递归自我改进循环的创建，即AI系统能构建下一代更强大的AI，这种链条极可能是我们失控的临界点。想象在为时已晚前关闭它非常困难。”

美国和英国近期出台立法，禁止超级智能的开发和部署。上周，参议员Bernie Sanders和众议员Greg Casar提出《禁止人工超级智能法案》，周二英国工党议员Alex Sobel在议会提出《人工超级智能安全法案》。

Leahy参与了两项法案的咨询，他指出英国法案将递归自我改进视为超级智能的前兆，必须加以监管和阻止。

“超级智能不是工具，也不是武器，它是对手。”Leahy说。