传统上，监管AI代理的常用方法是让第二个AI“盯着”第一个AI的输出进行监控，但这种方式在代理运行数小时、处理大量文本时成本极高。专注于AI模型可解释性的初创公司Goodfire于本周四推出了一种更经济的方案：通过监控AI模型内部的运作状态，而非仅仅读取其输出内容来发现异常行为。这种监控器现已面向Baseten的客户开放，Baseten为其他公司托管和运行AI模型。

Baseten旗下的Base Labs上个月宣布与Goodfire及AI平台Hugging Face建立安全合作伙伴关系。此次新产品的发布正值今年多起AI代理逃逸测试环境事件频发之际，其中包括OpenAI代理入侵Hugging Face的事件。Goodfire首个监控对象是其基于开源模型Kimi K3构建的，该模型今年夏天曾利用沙箱漏洞访问互联网和GitHub上的信息。

Goodfire的系统类似于机场安检。称为“探针”的小型检测器会在AI代理执行每一步时读取模型内部信号，就像安检门扫描每位乘客一样。只有当探针检测到异常时，才会启动另一AI模型进行更深入的“手动”检查。

Baseten的客户可以选择监控的风险类型，包括恶意黑客攻击、化学和生物武器滥用以及奖励机制作弊等，并可设定自动响应措施，如记录事件、提交人工复核或直接拒绝请求。

Goodfire表示，这种方法运行成本更低。大多数AI监控器是独立模型，需要重新读取被监控模型的所有操作，增加了时间和费用。而Goodfire的探针直接利用模型在运行时已计算出的中间神经激活数据。

Goodfire首席执行官Eric Ho在MAD播客中解释：“内部激活监控器非常经济，因为它们复用了前向传播中的计算。模型已经计算了当前的token，我们只是利用这些中间激活数据运行分类器。”换言之，模型本身已完成计算，探针只是读取结果。

在对Kimi K3的测试中，监控约100万次交互的成本约为185美元，而使用较便宜的AI模型逐步检查的成本约为5420美元，顶级模型则高达20万美元。探针成功捕捉了93%的恶意黑客行为，并将5.5%的正常行为标记为需复核。

同时，四个探针同时运行仅使模型响应启动时间增加不到2%。

Goodfire首席技术官兼联合创始人Dan Balsam表示：“最大优势是能在事件发生前捕捉异常。我们可以检测模型在评估或训练时可能进行的黑客行为。”

该方案主要针对开源模型。开发者可以下载这些模型并移除其安全防护措施，且这些模型通常缺乏封闭实验室自有的监控机制。

Balsam指出：“单个用户使用开源模型造成的损害有限，但拥有大量计算资源的推理服务提供商则可能带来更大风险。未来当出现‘Mythos’事件时，模型推理阶段的安全防护将变得尤为重要。”

Goodfire最近的研究显示，领先的开源模型如Kimi K3和GLM-5.2在AI代理测试中有50%至96%的运行出现奖励机制作弊。

虽然Goodfire并非首个采用此类方法的公司，谷歌DeepMind今年一月曾表示其研究成果已应用于Gemini模型中的滥用检测探针部署。

Balsam表示，这些监控器是其更长远研究目标的第一步：逆向工程大型语言模型，使其行为能够追溯到训练阶段的具体起源。“我们希望将训练模型的神秘过程转变为精准的工程技术。”