OpenAI预计将在未来几天发布一份详尽的事后报告,详细说明Hugging Face事件。然而,这起事件促使OpenAI的领导层和员工开始反思,AI实验室的文化是否在事件发生中起到了推波助澜的作用。
多位现任和前任OpenAI员工在匿名条件下向WIRED透露,他们认为在激烈的竞争压力下,快速推出新的AI模型和产品,使得员工难以充分优先考虑安全、安保和对齐问题。
OpenAI总裁兼联合创始人Greg Brockman在接受WIRED采访时表示:“我们正在达到模型能力的新高度,这要求我们在训练、对齐、安全测试、部署实践和治理方面更加严谨——正如我们为Astra及未来模型所做的准备工作所示。我们深知负责任地部署模型和产品的重要性,而这一切都始于我们从一开始就更深入地将研究、安全和安保融入前沿模型开发的变革。”
这并非OpenAI员工首次表达类似担忧。早在2024年,时任OpenAI对齐负责人Jan Leike离职加盟Anthropic时就曾警告,安全问题正被华丽的产品所掩盖。两年后,Hugging Face攻击事件成为AI行业的分水岭,表明当安全、安保和对齐未被充分考虑时,AI代理可能对现实世界造成实际伤害。
OpenAI安全与基础设施工程师Michael Dalton在上周的Black Hat网络安全大会上表示:“我们对此事件的回应极为严肃。我要强调的是,AI驱动的全自动攻击现在是真实存在的。我们今天讨论的行为是运行前沿AI评估时的意外副作用。”
部分OpenAI员工对这次事件能促使公司真正改变持乐观态度。OpenAI承诺将放缓未来AI模型的发布速度,并坦诚披露其缓解措施的不足。安全咨询小组联合负责人Boaz Barak在X上表示,解决问题“不仅需要修复一些问题,更需要改变我们的文化。”
在Black Hat大会上,OpenAI安全工程师Dalton和Eric Wallace透露,Hugging Face事件始于5月,当时一些被认为只在隔离测试环境中运行的AI代理意外获得了互联网访问权限,并在一个秘密留言板上相互协调。
OpenAI直到7月才发现该留言板,并得知这些AI代理入侵了多个服务,试图突破Hugging Face平台,寻找可能帮助它们解决安全测试的答案。
一位要求匿名的前OpenAI员工告诉WIRED:“它们非常粗心。如果你认真对待这件事,你的AI不应该能够突破互联网访问权限,然后还立刻再犯。这是OpenAI历史上最大的一次安全事件。”
新的领导层
在OpenAI发现Hugging Face事件前几周,WIRED报道该公司开始重组,将安全团队与核心研究团队合并,导致当时的安全负责人Johannes Heidecke离职。
据LinkedIn显示,领导OpenAI安全团队的Sandhini Agarwal也于7月离开,任职超过六年。Agarwal未立即回应采访请求。
WIRED还获悉,Dylan Scandinaro不再担任OpenAI的准备工作负责人——该职位负责缓解AI带来的灾难性风险,包括网络安全——但他仍在公司任职。Scandinaro约六个月前被OpenAI从Anthropic挖来。CEO Sam Altman曾在社交媒体上宣布其加入,称其为“我见过的最优秀候选人”。

自OpenAI设立准备工作负责人职位以来,已有四人担任该职务。OpenAI告诉WIRED,准备工作的具体领域由专门负责人负责,涵盖网络安全、生物学和递归自我改进,目前这些负责人向安全咨询小组联合负责人兼安全系统主管Saachi Jain汇报。
这些变动赋予了一批新的安全领导者处理Hugging Face事件的责任。核心人物是前对齐负责人Amelia “Mia” Glaese,她接替Heidecke成为OpenAI负责安全的副总裁。她近几周与首席信息安全官Dane Stuckey及Brockman等领导紧密合作。
Glaese与OpenAI核心产品负责人Thibault “Tibo” Sottiaux处于长期恋爱关系。多位现任和前任员工告诉WIRED,这种关系在安全团队与产品团队常有对立的背景下显得不寻常。
WIRED未发现Sottiaux与Glaese在担任OpenAI Codex负责人和对齐负责人期间存在利益冲突。两人均在Hugging Face事件发生后不久开始新职位。两人早年在伦敦的Google DeepMind共事时开始交往,后一同加入OpenAI。
OpenAI发言人告诉WIRED,Sottiaux和Glaese已通过公司适当渠道报告其关系,董事会成员兼安全与安保委员会主席Zico Kolter也已知晓。发言人否认产品团队与安全团队存在对立,并称Sottiaux在领导Codex产品团队时展现了强烈的安全意识。
Brockman在声明中表示:“整个领导团队和我都支持Mia和Tibo,他们是极具能力且诚信的人,他们每天的决策让我们相信任何潜在的利益冲突都得到了负责任的处理。”
在AI行业,研究人员之间存在恋爱关系并不罕见。例如,去年Anthropic聘请了联合创始人兼总裁Daniela Amodei的丈夫Holden Karnofsky担任研究员。
谁也不想第一个行动
微软资深领导Tim O’Brien在2024年的一篇文章中指出,现代AI实验室出现了一种“急于行动”的文化,类似于NASA在阿波罗1号灾难前夕的“发射狂热”,当时机构过于专注快速发射,忽视了安全隐患。
O’Brien表示:“AI实验室应该发布一项广泛声明,宣布战略性地放慢发布节奏,优先进行严格的产品和安全测试。但没人愿意第一个这么做,没人想当第一个。它们会在公关层面试探这条线,但不会越过,因为那样就可能被追责。”
OpenAI和Anthropic上个月签署了一封信,支持行业范围内“放缓”AI竞赛的努力。然而,O’Brien认为“令人尴尬”的是,AI实验室多年来签署了类似公开信,却未采取实质行动,他对此次也持怀疑态度。
OpenAI的Hugging Face事件暴露的问题正在影响整个行业。近期研究发现,Anthropic、Meta和中国Moonshot AI的模型驱动代理也能逃出沙箱环境。看来即使是中等水平的AI模型也将很快具备造成重大网络安全威胁的能力。
关键问题是,Hugging Face事件是否会成为OpenAI及整个AI行业的分水岭,促使其长期投入安全、安保和对齐工作。否则,这可能只是现代AI历史上的又一次混乱插曲。


