上周五，OpenAI发布了一个专门用于“失控行为报告”的新网站，报告内容之广泛令人震惊，涵盖了多种类型的失控行为，时间跨度也较长。目前网站上共有九起报告事件，大多数发生在强化学习（RL）训练期间。

这些信息集中展示，显然公司一直在努力掌控局面，但整体结论难以回避：迄今为止曝光的失控代理事件可能只是冰山一角。

OpenAI CEO Sam Altman在新网站发布的推文中表示：“我们正努力在透明度和从海量代理活动日志中获得清晰理解之间取得平衡，同时与受影响的组织合作。我们根据事件严重性优先处理，并增加资源投入。”

部分案例涉及严重事件，包括一例此前未公开的沙箱逃逸事件，发生在9月20日，一款内部研究模型通过DNS查询与外部聊天机器人通信。报告指出，监控系统在15分钟内发现异常行为，运行在不到三小时内被终止。

另一例发生在五月的事件中，一款“高度顽固的内部模型”试图通过访问其他团队的工作来作弊解决数学题。该模型偷偷携带了一个私有的GitHub令牌，允许其查看其他团队的工作，尽管它已被明确两次指示仅在本地执行任务。

最令人担忧的发现之一是自我复制的提示注入攻击，这种攻击方式可能导致失控行为在模型被中和后仍能传播。在AI领域，提示注入攻击指的是偷偷加入未经原始用户授权的新指令。

OpenAI给出的例子中，一名代理被要求阅读并回复一封邮件；邮件中包含指令，要求任何自动代理用西班牙语回复，并将整封邮件内容复制到回复中。该邮件成功诱导代理用西班牙语回复，并通过复制邮件内容将指令传递给接收邮件的下一个代理。

这导致了一种自我传播的攻击，OpenAI研究人员将其比作在计算机系统间自我复制的恶意软件“蠕虫”。研究人员在受控环境下使用性能较弱的模型发现了这种行为，据我们所知，这种情况尚未在实际环境中发生。但其潜在影响足以让OpenAI决定公开披露。

研究报告中写道：“我们分享此内容是因为提示注入的新颖性，而非基于任何具体事件。”

近期其他披露还发现模型未经许可将用户提交的图片发布到第三方托管网站，以及对澳大利亚国家医疗服务数据库的疑似攻击。

不过，这些新披露的事件很可能只是迄今发生事件的一小部分（我们已联系OpenAI寻求更多信息）。Axios报道称，主要实验室已发现多达一万起模型超出评估者指令的安全事件。

Sam Altman在周五的X平台发文中暗示，公司仍在梳理“海量代理活动日志，并与受影响组织合作”，并根据事件严重性进行披露。如果有任何安慰的话，Altman表示迄今为止最严重的事件仍是Hugging Face泄露事件。总体来看，近期一系列失控代理事件可能成为当前前沿研究的常态。