OpenAI首次向用户广泛开放了其决策API模型,正式进入快速且低成本智能决策市场。该市场近期因由前前沿实验室研究员创立的初创公司TypeSafe推出的Jev模型而备受关注,TypeSafe公司估值已达76亿美元。
TypeSafe的Jev模型开创了一类深度学习超级分类器:它能够在给定选项中迅速做出选择,并提供决策的置信度评级。软件开发者发现,这类决策模型(或称系统一模型)能够在多种工作流程中替代大型语言模型(LLM),实现更快速度和显著降低成本。
OpenAI的API产品负责人Nikunj Handa告诉TechCrunch,团队看到Jev模型时感叹“我们有上百万种用例”。随后,OpenAI迅速推出了自己的版本:他们没有专门训练决策模型,而是基于ChatGPT的Luna模型进行了重新配置,以提升推理速度并降低成本。
Handa表示:“决策API的最大突破是速度,从1到3秒缩短到100到180毫秒。未来我们可能会针对这些应用进行专门训练,让模型表现更优,但目前用的就是普通的Luna模型。”
该决策API于9月29日开发者日宣布,并于周四向所有客户开放。OpenAI在公开版本中新增了语音和视觉模态,并通过地理定位推理资源,降低了全球各地的延迟。
在与Box、Datadog、Ramp和Speak等客户的初步试用中,工程师们用该API替代了OpenAI的LLM,实现了更高吞吐量。Speak的CTO Andrew Hsu表示,决策API将操作响应时间从1.4秒缩短至0.13秒。OpenAI也用该产品提升了Dots语音助手的响应速度。

不过,目前尚不清楚什么样的决策模型才算优秀,除了“适合你的需求”之外,智能度、成本、校准和速度的优化因工作负载而异。TypeSafe CEO Diogo Almeida对基准测试持怀疑态度,建议用户在自身工作中试用模型。但TypeSafe上周也发布了最新Jev模型及其排名,新版本支持图像和智能条件语句。
公开基准如AIM System One指数和Artificial Analysis决策指数倾向于支持Liquid上周发布的D1 Ultra模型和Base Lab的Elephant-1。最新Jev模型在两项指数中分别排名第七和第三,OpenAI的决策模型则分别位列第八和第十四。但目前TypeSafe的模型在OpenRouter平台上查询量最大。
最有趣的Jev基准是JevMan——一个让决策模型玩吃豆人的测试,最新Jev模型在该排名中位居榜首。Opper AI首席增长官Felix Wunderlich表示,吃豆人游戏是一个有趣的测试,因为它要求模型在几百毫秒内做出快速且高风险的决策。
OpenAI的模型在多模态能力上可能更具优势,尤其是在图像分类方面。Handa告诉TechCrunch,Luna模型非常强大,且校准表现更佳。客户也希望决策API能更灵活地支持图像输出。
Handa还看到了速度提升带来的新用例:“如果能把速度提升到60毫秒左右,就可以想象API可以对视频的每一帧进行调用。”
随着这些模型变得更快更便宜,它们将体现出经济学家Jevons悖论的精神——更高效的资源使用会使其更为普及。Handa认为,决策模型将揭示一系列此前隐藏的“疯狂用例”。


