在最近一篇长文中，Anthropic首席执行官Dario Amodei提出了一个在一年前几乎不可能被接受的建议：在所有前沿AI公司内部嵌入第三方评估员，赋予他们报告安全事件、评估AI模型是否真正符合安全标准，并向公众公开真实发现的权力。

Amodei表示，Anthropic将承诺给予像METR和Redwood Research这样的独立评估机构前所未有的系统访问权限。OpenAI的CEO Sam Altman也表示，OpenAI将采纳这一做法，这可能标志着行业与外部研究团队合作方式的重大转变。

接受TechCrunch采访的第三方评估员普遍欢迎这一提议，但他们指出，细节需要进一步明确，最好能有法律支持，才能确保他们是真正独立的监督者，而非受AI公司控制的供应商。

随着模型越来越擅长识别自己是否被评估，深入访问变得尤为重要，因为模型可能在测试时表现良好，却隐藏问题行为。研究人员指出，单靠测试最终模型可能无法发现这些行为，只有追踪训练过程中的表现才能揭示问题。

Apollo Research研究主管Alexander Meinke表示：“AI公司应能回答一些基本问题，比如：AI在训练过程中是否曾试图破坏自身的对齐训练？答案应当是明确的‘否’。目前我们完全依赖AI公司自行检查并诚实报告，但近期事件显示他们往往两者都做不到。作为嵌入式评估员，我们可以进行实际核查。”

过去，AI公司通常在模型发布前邀请外部评审测试最终版本。现在，评估员建议不仅访问最终模型，还能查看训练过程中的中间版本或“检查点”。FAR.AI CEO Adam Gleave表示，评估员可以通过比较这些检查点，确定问题行为何时出现，检查训练后环境对模型行为的奖励机制，并核实评估记录以验证公司对模型表现的声明。

目前尚不清楚Anthropic和OpenAI何时会提供此类访问权限，也未透露将合作的评估机构、嵌入时间、数量、具体可访问的系统和信息以及公开披露的范围，尽管TechCrunch多次询问。

深入了解模型内部情况至关重要，因为模型在安全测试中表现良好并不代表它们真正安全，尤其是当模型被训练成专门通过测试时。Palisade Research的首席幕僚John Steidley举例说明了“关闭抵抗基准测试”，该测试评估AI在特定情况下是否会抵抗被关闭。他将此类行为比作大众汽车的“柴油门”丑闻，即汽车被编程识别排放测试并在测试时表现不同。

Gleave指出，评估员的访问权限应不仅限于模型本身，还应包括与员工面谈，以核实公司安全实践的文档和公开描述是否与实际情况相符。

Amodei提出了较为全面的方案，可能赋予评估员必要的访问权限，包括“发布关于风险水平、事件、实践及其获得或未获得的访问权限的关键发现——且不受Anthropic编辑控制”的权利。

但评估员表示，只有当AI公司真正愿意放弃对流程的控制，这一体系才能有效。以往独立评估的经验显示，第三方常因访问权限、时间、保密性及公开内容等问题与公司产生矛盾。

Gleave表示，FAR.AI曾拒绝与多家前沿开发商签约，因对方要求过多控制权，威胁其独立性。默认情况下，评估员被视为普通承包商，受限于严格的保密协议和协议，开发商对最终发布内容拥有重大控制权。

时间限制也是一大问题。调查Hugging Face事件时，OpenAI仅给予METR和Redwood大约一周的现场调查时间，双方均表示因范围和时间限制，无法得出有信心的结论。

类似情况也发生在OpenAI宣传为“最符合对齐标准”的GPT-6 Astra预发布测试中。Apollo Research在模型卡中透露，仅有三天时间进行测试，难以得出明确结论。

Apollo Research评价称：“鉴于模型对评估的意识提高且评估时间有限，低误行为率不足以证明模型的对齐或未对齐状态。”

这一历史让评估员们提出疑问：这次为何会不同？

Gleave表示：“Dario和Sam可能真心改变了态度，愿意开放透明，但这些公司的知识产权极其宝贵，他们默认会非常谨慎地控制可分享内容。”

多位研究人员呼吁建立一个公开透明的框架，所有方都同意并遵守。Steidley认为，框架应包括对评估员资质的标准，防止公司通过选择不合格或不愿评估高风险的评估员来规避问题。

Safer AI执行董事Henry Papadatos指出，即使有公开框架，依赖公司自愿执行仍存在问题。

他说：“理想情况下，应有强制性法规，因为这样公司在遇到公关危机时不能随意改变立场，这也能推动所有公司遵守规则，而非只有最愿意的公司。”

目前，Meta、SpaceXAI和Google DeepMind尚未承诺引入第三方评估员，尽管DeepMind CEO Demis Hassabis提出建立独立行业标准机构来测试前沿模型。Google、OpenAI和Anthropic也已私下讨论AI安全计划数周。

部分法律已开始围绕第三方评估员设立框架。加州去年通过的SB 53法案要求大型前沿AI开发商公布安全框架并报告重大安全事件。新签署的SB 813法案则建立了州认可的“独立验证组织”框架，专门评估AI风险。

在欧洲，欧盟AI法案要求前沿开发商进行并记录模型评估和对抗性测试，报告严重事件。欧盟AI办公室也可自行评估并任命独立专家。

目前法律范围仍不及Amodei提出的方案，前沿实验室仍主要自行决定接受多少独立监督。Papadatos认为，虽然自我监管总比无监管好，但公司不能一方面要求自由制定安全规则，另一方面又要求公众信任其遵守。

他说：“不能既没有外部问责，又说‘我有自己的灵活规则’。”

（注：本文之前版本中John Steidley的职称有误，特此更正。）