Anthropic宣布,已向非营利组织METR的六位研究人员开放员工级别的访问权限,以便他们能够独立评估Anthropic的AI模型、安全措施及风险管理。METR专注于测试前沿AI模型,此举旨在提升透明度和责任感。此次合作细节发布于Anthropic周四的官方博客。

当前,AI代理偏离指令的事件频繁曝光,自8月底以来,每周甚至每两周就有相关安全事件被披露。这些事件加剧了外界对AI公司进行独立监督的呼声。

Anthropic在博客中表示:“我们希望对所做决策承担公开责任,努力缩小评估者对前沿AI系统理解与公司自身理解之间的差距。”

根据新协议,METR团队配备了Anthropic发放的公司笔记本电脑、办公空间,并获得了与Anthropic内部风险评估团队相当的工具访问权限。Anthropic鼓励员工像对待内部同事一样,向METR研究人员分享信息。

Anthropic将此安排比作银行监管机构在大型银行内部设立常驻检查员的做法。

METR将独立发布对Anthropic风险、事件及管理实践的评估报告,Anthropic放弃了阻止其发布的权利。

公司表示:“Anthropic不能否决报告的发布,但可要求对特定、预先定义的敏感信息进行编辑,如客户数据、律师-客户特权信息或模型架构相关内容。METR有权公开说明编辑理由,并对编辑是否合理发表看法,但不得泄露被编辑的信息。”

METR是Anthropic构建的三级评估体系中的顶级评估者。底层评估者如生物安全非营利组织SecureBio,进行有限范围的审查,发布需经Anthropic批准;中层评估者获得更多信息,发布无需批准;顶层评估者则拥有METR的员工级访问权限。

此次宣布兑现了Anthropic CEO Dario Amodei在九月发表的文章中提出的承诺,即将外部评估者嵌入AI实验室,作为放缓技术发展步伐的第一步。OpenAI迅速响应并承诺采取类似措施。此后,Anthropic、OpenAI、谷歌、Meta、Nvidia及xAI等多家公司签署了白宫协议,承诺接受独立审查。