AI代理正变得越来越智能，从简单回答问题发展到能够自主执行多步骤复杂任务。

但在让这些代理代用户预订旅行或进行财务分析之前，模型提供商和相关初创公司希望确保它们在各种复杂场景下都能可靠运行。

AI实验室通常通过基准测试展示模型的能力，但即使在面向代理的基准测试中得分很高，也不能证明AI能正确完成各种复杂的现实任务。

Patronus AI是一家由前Meta AI研究员Anand Kannappan和Rebecca Qian于2023年创立的初创公司，致力于帮助模型开发者和企业通过构建模拟的数字环境来评估和微调AI代理的表现。

这家总部位于旧金山的公司正在解决一个重要问题。Notable Capital的董事总经理Glenn Solomon表示，几乎所有领先的AI实验室和许多新兴初创公司都是其客户，对其模拟环境的需求几乎是无穷无尽的。

过去一年，Patronus的收入增长了15倍，吸引了大量投资者关注。周四，公司宣布完成由Greenfield Partners领投的5000万美元B轮融资，Notable Capital、Lightspeed、Datadog和三星也参与其中，使公司总融资额达到7000万美元。

Patronus利用所谓的“数字世界模型”复制网站和内部系统，在这些环境中，AI代理通过强化学习进行训练后接受压力测试，强化学习通过反复奖励成功完成任务并惩罚错误来提升表现。

AI实验室非常看重这些数字模拟环境，因为它们让代理有机会尝试不同且有时不可预测的场景。Patronus将其方法比作Waymo训练自动驾驶汽车，先构建合成世界来测试车辆应对罕见危险（如恶劣天气或追球儿童）的能力。

不同的是，AI代理往往会走捷径，导致任务未能正确完成。Solomon表示：“Patronus非常擅长发现这些‘作弊’行为，并确保模型承担责任。”

目前，Patronus主要为软件工程和金融领域提供模拟数字世界，但Kannappan表示这只是开始。

“目前我们专注于那些可以立即检查和验证的问题，但还有很多领域非常难以验证，”他说。

这些可验证的过程并不简单。“我们希望能够创建一个环境，让代理能够连续运行10小时、10天甚至10周。”

谈及竞争对手，Patronus认为主要竞争对手是AI实验室内部已经建立的评估代理行为的团队。虽然像Mercor和Surge这样的人工数据公司通过强化学习帮助模型开发者，Patronus则不同，它通过无人工干预的方式评估代理行为。