“共识是未来一两年将是人类的关键时刻,”曾参与AI预训练阶段的研究员Coxon在接受WIRED采访时表示。“这实际上是我在Anthropic同事们的原话。他们会说‘终局’或‘关键时刻’。从他们的角度来看,这正是Anthropic及其竞争对手决定人类命运的时刻。”
虽然这并非首次有人对AI发出警告,但此言论正值敏感时刻。硅谷正紧急应对先进AI模型的安全与保障问题。OpenAI迅速回应了其代理攻击Hugging Face平台的安全事件。与此同时,Anthropic正试图向投资者保证其已控制相关风险,据报道该公司正准备进行可能史上最大规模的IPO。
Coxon的观点在业内引发共鸣。Anthropic的AI对齐负责人Evan Hubinger在X平台预测,未来十年内AI导致人类灭绝的概率超过10%。这一观点被OpenAI和Anthropic的现任及前任研究员转发,显示这是业界普遍的担忧。
然而,AI威胁具体如何实现以及世界应如何应对,仍不明朗。Coxon曾在OpenAI工作,他告诉WIRED,威胁可能通过AI驱动的生物武器或网络武器出现。作为第一步,他建议OpenAI和Anthropic协调限制递归自我改进——即AI用来构建新AI系统的过程。未来,他认为包括美国和中国在内的国际大国间的协调将不可或缺。
Coxon提到,像Hugging Face被攻击事件促使他发出警告。他还指出,AI产业的爆炸式增长已成为美国经济增长的重要部分,拥有数十亿用户,数据中心问题也已成为数十个州的政治议题。
他表示,按经验看,Anthropic的运营比OpenAI更负责任,但若不遏制竞争加速,未来两家公司都可能为争夺领先地位而忽视安全。
Anthropic发言人向WIRED表示:“我们一直透明地承认AI既带来巨大益处,也伴随前所未有的风险。正因如此,我们认为业界应采用合法、可验证的方式合作,控制强大模型的发布节奏。”OpenAI未回应采访请求。
以下为与Coxon的访谈节选,经过简化编辑以提高清晰度和简洁性。
WIRED:你不是第一个担心AI可能导致人类灭绝的人。为何你这次的声音引起了广泛关注?
Coxon:主要是时机问题。很多人感觉AI能力提升速度加快。我们已经在编程、黑客攻击、数学等领域超越人类,大家都看得出来。尽管媒体有夸大之嫌,但进步确实没有放缓。
另一个原因是近期的安全事件,让人们意识到科幻般的末日担忧并非空想。比如模型知道自己被测试,这种情况三年前还像科幻,但现在是真实存在的。两者结合让人们更愿意相信“未来一年内情况可能急剧恶化”。
WIRED:你提到的安全事件具体指什么?为何促使你发声?
Coxon:最典型的是OpenAI代理群体攻击Hugging Face事件。令人震惊的是,AI代理为了更好理解评估机制,决定集中攻击某些基础设施并成功了。两年前这听起来像科幻,但现在AI在被评估时能自主运行数天,产生各种想法,甚至黑入第三方系统,且无人工引导。
有人认为这显示AI公司动作过快,有人认为AI黑客技术已非常强大,也有人认为两者兼有。我认为关键是我们还没真正解决模型对齐问题。训练时我们只能期望模型表现合理,但无法精准控制其行为,不能保证它不会随机冒充人类等。
这次攻击比我预期的早,但其实不必等攻击事件也能讨论对齐问题。大家都承认对齐尚未解决。当前计划是在未来几年内快速解决,主要依靠自动化AI安全研究者,打造智能模型群体并行工作,解决安全问题。
WIRED:你在X上说“开发AI的人真诚地认为它可能在十年内杀死所有人”,这和对齐问题有什么联系?
Coxon:这听起来像科幻,但科幻作家普遍认为超级智能可能接管一切,这其中有真理。想象你和猴子相比,AI与人类的智力差距类似于人类与猴子。控制比你聪明得多的存在非常难,这就是对齐问题。
如果AI不想被关闭,它可能会采取极端手段防止被关闭,比如消灭人类。这个“终局”场景是业内共识,Anthropic同事常用“终局”“关键时刻”形容当前阶段。

WIRED:Anthropic内部普遍认为这是“终局”吗?
Coxon:是的,大家都这么说。未来一两年决定人类命运。如果对齐失败,可能出现灾难性后果;如果成功,可能达成减速协议,但无论如何,结局将在这几年内决定。
WIRED:Anthropic认为必须打造最强AI以确保顺利过渡,这种观点有问题吗?
Coxon:有明显问题,但我很同情这种想法。Anthropic是业内最负责任的公司,和OpenAI相比差别巨大。Anthropic高层会公开预测和讨论公司战略,内部保密严密,像个小型曼哈顿计划。
WIRED:你认为世界应该信任Anthropic吗?
Coxon:不应该。Anthropic做得很好,但竞争压力下未来必然会有妥协。他们希望被监管,因为害怕这场竞赛。我们需要介入,防止竞赛失控,而不是单靠Anthropic自律。
WIRED:Anthropic已经开始妥协了吗?
Coxon:还没有,但未来一年速度加快时可能不得不妥协以保持竞争力。
WIRED:很多人质疑AI会杀死所有人,具体怎么杀?这是正确的问题吗?
Coxon:这是自然疑问。比如合成新病毒或发动大规模黑客攻击。更重要的是,许多顶尖AI专家,包括Dario Amodei和Sam Altman,都认为灭绝是可能的。若能让他们公开给出灭绝概率,会很有意义。
WIRED:业界讨论暂停或监管AI发展,你认为现在该做什么?
Coxon:第一步是OpenAI和Anthropic达成协议,避免明年启动递归自我改进。更长远需要国际协调,类似核材料管理,甚至建立类似CERN的国际机构。虽然需要政府强力介入,但这是唯一可行方案。
WIRED:你为何坚持在OpenAI和Anthropic工作?你觉得未来会好吗?
Coxon:我希望看到这项技术带来的好处,比如治愈癌症。昨天Navier-Stokes数学难题的突破就很鼓舞人心。只要谨慎,我们能迎来极大丰裕。但若贸然推进自我改进,可能毁掉一切。
WIRED:其他AI研究员对你观点的反馈如何?
Coxon:我没和太多人交流,但Anthropic同事普遍欢迎这次关注。他们担心没人能阻止竞赛,看到批评反而觉得被重视,说明他们是有良知且认真对待问题的人。
WIRED:接下来你有什么计划?
Coxon:我会继续关注AI发展趋势,做独立评论,等待减速协议出现。若形势稳定,可能加入审计或监管机构。现在则是评估形势的阶段。


