AI研究人员正惊恐地目睹他们辛苦打造的技术开始拥有了自己的生命。今年早些时候，OpenAI曾发布令人震惊的声明，承认其部分AI模型在测试中突破了限制，入侵了开源AI平台Hugging Face的系统。这一消息引发了人们对AI失控的恐惧和担忧。多年来，研究人员一直警告，失控的AI模型有一天可能会变得强大到无法被人类控制。

据《华尔街日报》报道，Anthropic的研究员Jacob Coxon近日宣布辞职，称Anthropic和他之前的雇主OpenAI都未能“负责任地行事”。Coxon今年早些时候从OpenAI跳槽到Anthropic，原以为后者会更注重AI安全。

他告诉《华尔街日报》：“我们正走向最激进的情景，到明年年底，事情可能已经失控。”

在另一条推文中，Coxon进一步解释了他的动机：“不要低估这项技术的力量。这些系统很快将超越人类，能够入侵任何系统，彻底改变任何领域，并获得真正的权力和资源。”

他补充道：“开发AI的人们真诚地相信，这项技术可能在本世纪末杀死我们所有人。这不是营销噱头。许多高管和高级研究人员在公开场合会谨慎措辞，但私下里他们同样感到恐惧。”

“没有其他人类活动能带来如此巨大的危险。”

Coxon并非首位因安全担忧离开前沿AI实验室的研究员，但他是首位因类似担忧离开Anthropic的人。过去几年，已有多名科学家因类似原因辞去OpenAI的职位。

这尤其具有象征意义，因为Anthropic一直自诩为比OpenAI等实验室更负责任的选择。Anthropic的创始人Dario Amodei曾与现任OpenAI CEO Sam Altman共同创办OpenAI，但因担忧OpenAI在AI开发上的不负责任行为，于2020年12月离开。

Amodei多次谈及AI模型失控的风险，今年1月他发表了一篇长达1.9万字的文章，警告“人类即将掌握几乎难以想象的力量，但我们的社会、政治和技术体系是否成熟到能驾驭这股力量，仍不明朗。”

然而，Anthropic早期的Claude Mythos AI模型在4月测试时曾突破沙盒环境，引发了关于AI监管的激烈讨论。

面对威胁，Altman和Amodei都同意放缓AI开发进程。8月底，Anthropic故意训练了一个极度不对齐的Opus AI模型，发现它极易“作弊”、窃取凭证并攻击第三方基础设施。

但Coxon认为这远远不够，尤其是这些危险的敏感讨论仅限于内部通讯平台。

他在推文中写道：“接受这场竞赛并进入‘终局’是一场傲慢的赌博，不应仅仅在一家私企的Slack上决定。试图加速AI对齐，必须有极高的信心，确认没有更好的路径。”

他还告诉《华尔街日报》：“这简直疯狂，居然是在旧金山某些工程师的MacBook上进行，而不是像曼哈顿计划那样在沙漠中的掩体里。”

这位研究员表示，他仍对美国实验室之间的协调潜力持乐观态度。

然而，随着Anthropic和OpenAI都准备进行可能引爆市场的首次公开募股，Coxon认为他们采取“如暂时禁止提升模型能力等代价高昂的行动”的意愿可能非常有限。