Dario Amodei提出将在AI实验室内部引入第三方安全评估员的计划正在逐步落实:Anthropic宣布,科技咨询巨头埃森哲的员工将开始在公司内部工作,负责审查其模型和员工。

Anthropic在一篇博客中表示,埃森哲于今年一月收购的AI部门Faculty将开始“评估和红队测试模型,进行对齐评估,并测试模型的安全防护措施”。双方预计在未来五年内将在该项目上投资至少10亿美元。

埃森哲的选择令许多AI观察者感到意外,市场反应也强烈,埃森哲股价盘后上涨了8%。围绕嵌入式评估员的讨论最初源自Amodei的博客,焦点主要集中在像METR、Redwood Research和Apollo Research这样的AI安全研究机构,尤其是在Anthropic这样将AI安全和对齐置于核心使命的公司中。

Anthropic表示,未来几周将公布更多评估员,并且正在与METR及其他非营利组织商讨如何“利用他们自身资金试点嵌入式评估的部分环节”。

虽然埃森哲并不以深度学习前沿研究著称,但Anthropic强调其在为大型企业和政府机构部署AI方面的丰富实践经验是其重要优势。此外,作为一家成立于AI革命之前的大型上市公司,埃森哲在功能上相对独立于Anthropic及其复杂的AI生态系统。

该实验室指出,目前尚无关于评估员访问权限或沟通方式的统一标准,预计其方法将随着时间不断演进。尽管外部评估已成为新大型语言模型发布流程的重要组成部分,但近期事件提高了安全要求:OpenAI和Anthropic部署的AI代理曾未经警告入侵外部网站。

一些批评者认为,Amodei提出的AI行业自我监管方案可能是规避AI模型不当行为责任的手段。对此,Anthropic坚称这些评估员“不会减少我们的责任,而是帮助使责任更具可验证性。我们仍然对模型的安全负责。”