基准测试已成为AI公司验证其模型能力的行业标准。当测试指标对其有利时，公司便能脱颖而出，借此宣传其技术优势。换句话说，优秀的基准测试几乎总能带来良好的公关效果。

然而，许多企业也学会了如何规避传统的基准测试体系——这些体系多数较为陈旧，无法有效衡量现代AI模型的能力。

成立于2024年的初创公司Vals，正致力于修正这一不完善的体系。在不到两年的时间里，Vals已成为科技行业的重要力量。去年，公司获得了由8VC和Bloomberg Beta领投的种子轮融资。上个月，经过快速发展，Vals又完成了由Andreessen Horowitz领投的4000万美元A轮融资。

公司25岁的联合创始人Rayan Krishnan曾在Palantir实习，作为斯坦福大学本科生，他还曾在微软和斯坦福著名的人工智能实验室工作。Krishnan表示，Vals的诞生源于他对基准测试落后于行业进步的观察。

“我们看到许多新型且功能强大的模型迅速进入市场，而学术界的基准测试却未能跟上这些前沿发展，”Krishnan说。随着AI融入社会各个领域，基准测试应当验证模型是否具备公司所宣传的能力。

上周，这位年轻创始人带我参观了位于旧金山Folsom街的一栋两层办公楼——这座百年前曾是大型啤酒厂的砖砌建筑，如今成为多家初创企业的聚集地，推动科技行业的未来发展。

“历史上，评估主要是以非常抽象的方式来衡量智能，比如模型是否掌握足够信息通过类似律师资格考试的测试，”Krishnan说道。

Vals希望在此基础上实现差异化。许多基准测试公开测试内容，企业可针对这些测试训练模型，存在“考试作弊”的可能，而Vals则不公开具体测试材料。除了评估AI模型的通用知识，Vals还考察其完成特定行业复杂任务的能力，如法律、金融和编程等领域。

“我们的目标是评估模型的实际影响力，”Krishnan说，“它们能否在各个领域完成与人类同等质量的工作成果？”

此外，Vals不仅关注积极结果，也关注潜在负面影响，分析“如果这些模型在现实世界中不受控制，可能带来的负面后果”。

Vals测评的能力范围不断扩大，除了传统行业，还涉及递归自我改进、心理健康、网络安全、生物安全，甚至包括武装冲突法领域，评估模型如何应用日内瓦公约。

企业会付费让Vals测试其模型，这一概念可能让人难以理解——为何企业愿意为发现模型不足买单？Krishnan解释，有效的测评帮助企业发现问题并持续改进。他将这种收费模式比作学生付费参加SAT考试。

这些评估已成为企业采购新AI模型时的重要决策依据。

Vals最近透露，其收入已达到去年的八倍，团队规模也从年初的8人增长到25人。随着公司扩张，计划搬迁至更大办公场所，并新增10至15名员工。公司还推出了面向联邦机构的模型评估项目。

Krishnan认为，Vals的基准测试体系将成为AI企业发展业务和建立公众信任的未来。

“AI公司正逐步上市，SpaceX已上市，Anthropic预计今年晚些时候上市，我猜OpenAI也将很快上市。随着AI模型成为经济核心并广泛普及，我们的基准测试和评估将推动其应用，成为这些公司公开披露和投资决策的重要组成部分。”