一天前，Anthropic研究员Jacob Coxon因担忧AI可能在十年内威胁人类安全而辞职。随后，我采访了创业者兼姐夫弟弟关系的Rune Kvist和Rajiv Dattani。他们认为自己找到了一个解决方案，能够拯救我们，至少能防止企业内部的AI代理失控。

“AI智能正以越来越快的速度提升。令人惊讶的是，随着AI变得更聪明，采用和控制它反而变得更加困难，而非更容易，”Kvist说道。他是Anthropic的早期员工，同时也是Dattani的姐夫。Dattani曾任AI安全研究机构METR的首席运营官。

两人创立了一家名为人工智能承保公司（Artificial Intelligence Underwriting Company，简称AIUC）的初创企业，旨在为企业及构建AI模型和代理的公司带来AI安全保障。该公司客户包括Cursor、Lovable、Harvey和ElevenLabs。

周二，AIUC宣布完成由Ribbit Capital领投的4000万美元A轮融资，First Harmonic参与投资。此前，该公司通过Nat Friedman的基金NFDG以及Emergence、Terrain和Anthropic联合创始人Ben Mann等投资者完成了1500万美元的种子轮融资，累计融资总额达5500万美元。

吸引这批顶级投资者关注的是AIUC试图将熟悉的网络安全模型应用于新的AI风险领域。该公司打造了一个针对AI代理的第三方审计和认证层。

“银行、医院、政府和军方不再因为模型不够智能而拒绝部署AI，”Kvist表示，“他们拒绝是因为已经向客户承诺了系统的功能和限制，而目前没有人能保证这些承诺能被实现。”

AIUC借鉴了广泛采用的网络安全标准SOC 2，开发了名为AIUC-1的标准及相应的测试服务，用于验证AI代理是否符合该标准。

为制定该标准，AIUC组建了一个由约250名安全和风险管理领导者组成的联盟，这些人正是AI代理的潜在买家。Dattani告诉TechCrunch：“我们每月都会与他们会面，询问他们在购买代理时会关注什么，想提出哪些问题，期望看到哪些方面得到解决。”

这些反馈帮助塑造了测试内容。AIUC随后对代理进行约5000项测试，评估其在越狱、幻觉和数据泄露等场景下的表现。测试结果形成一份约100页的报告，详细说明代理在哪些方面表现安全可靠，哪些方面存在风险。有趣的是，AIUC使用AI代理执行测试并用AI分析数据，但最终的审计结果由人工核实，Kvist补充道。

如果这听起来有些熟悉，那是因为Dattani的前雇主METR也进行类似的测试。Dattani曾于2024至2025年担任METR首席运营官，目前仍是董事会成员。METR主要关注代理的性能表现（即代理能否可靠完成任务），并曾作为OpenAI调查Hugging Face事件的独立研究机构之一。

Anthropic CEO Dario Amodei近期也呼吁AI行业放缓前沿技术的发展，指出不良行为事件急剧增加。他提出要求前沿实验室必须使用嵌入式第三方评估者来观察和验证安全性，并提名METR作为可能的评估机构。

虽然AIUC并不打算将自身嵌入客户现场，但整体思路类似：为企业提供独立的AI代理安全评估。“告诉你代理在哪些方面通过了测试，可以信赖，哪些方面存在隐患。你应在购买前了解这些信息，”Dattani说。