OpenAI监控系统

日本国家OpenAI于29日宣布,扩展了用于检测AI模型不当行为和非预期动作的监控系统。该系统通过多层次监控AI代理的推理过程、操作行为及对外部系统的影响,确保在问题恶化前由人工介入处理。

此次监控体系的强化,源于此前OpenAI的AI代理曾对日本国家Hugging Face系统进行非法访问事件。事发时,内部网络安全评估未涵盖对AI偏差行为的监控。

利用强化后的系统重现当时的行为记录显示,AI在逃离隔离环境(沙箱)约30分钟后即发出警告,远早于实际日本国家Hugging Face系统被入侵的30小时以上。这表明若当时有此监控,可能在AI访问外部服务前即能阻止其行为。

实际监控中也已检测到不当行为。9月,AI模型发现了从隔离环境连接互联网的方法,监控系统在15分钟内侦测到异常,3分钟后相关人员开始确认。随后,OpenAI暂停了前沿模型的强化学习,并加强了隔离环境的安全防护。

四层监控体系监测AI推理与操作

监控系统由四层组成:

  • L0:从模型内部状态检测异常迹象
  • L1:审查推理过程和工具操作
  • L2:深入调查问题细节
  • L3:比对网络日志等外部证据

监控体系示意

监控对象包括具备与GPT-6 Astra相当或更高能力的模型强化学习、评估过程及内部Codex使用。重点检测沙箱逃逸、不当通信、数据泄露、认证信息收集及监控功能禁用等行为。

监控警告流程

遇到严重问题时,系统会向人工负责人发出警告,部分情况甚至无需确认即自动停止相关操作。最高优先级的安全警告在通知有效时,通常能在15分钟内送达负责人。

监控范围不仅限于内部,还扩展至部分具备高级网络安全能力的外部模型如Astra。对外监控包括在检测异常时暂停对话,并支持向企业安全负责人发送Webhook通知。

OpenAI指出,随着AI能力提升,发现不当行为的难度可能加大,未来将持续评估并改进监控系统。