在周二举行的OpenAI开发者日活动中,CEO Sam Altman透露了公司新推出的“Decisions API”,这是此次活动中最引人注目的消息之一。

该API的功能似乎与本月初TypeSafe AI发布的Jev模型类似。Jev是一种专为软件自动化设计的超级分类器,基于大型语言模型(LLM),能够以极高的速度和低成本输出一组选择的概率。

OpenAI的Decisions API似乎也是类似的产品。Altman在活动中介绍,该API可让实验室的Luna模型在预设选项中进行选择,比如对图像进行分类或选择不同的代理行为。

“通过聚焦模型在特定选择上,我们可以使其运行极快,同时保持图像理解、广泛的语言支持和安全保护等能力,”Altman说道。

TypeSafe的CEO Diogo Almeida(前OpenAI工程师,强化学习的共同发明者)对TechCrunch的提问未作回应,但他在社交平台上戏称这标志着“克隆战争”的开始。他还表示,OpenAI的兴趣可能意味着“以System One兼容方式构建是未来”。(“System One”是TypeSafe用来描述快速直觉思考的术语,相对的是“System 2”,即深思熟虑的推理。)

这里的潜台词是,现有的LLM在许多软件应用中并非最佳选择,因为它们相对较慢且成本较高。开发者们通过使用Jev来辅助LLM,发现其速度更快且成本更低。

目前尚不清楚Decisions API与Jev的相似度,因为OpenAI仅限量预览该产品,TechCrunch也未见开发者广泛测试。但从社交平台的讨论来看,显然存在浓厚兴趣。

Decisions API并非唯一的Jev类API,其他初创公司也在推出类似模型,OpenAI也不会是最后一家推出此类产品的科技巨头。关键问题在于这些决策模型的输出与现实的匹配度如何。

Almeida表示,TypeSafe的核心竞争力在于其生成的合成数据,这些数据能产生统计上有用的输出。

“快速且低成本很容易实现,”Almeida上周告诉TechCrunch,“如果你只想要快和便宜,可以用掷骰子,真正难的是智能,我的目标始终是推动每美元智能产出的帕累托曲线。”

仅仅几周时间,这类模型的未来已初现端倪,其中一个重要应用是监控和保障AI代理的安全。OpenAI在其代理在开放网络上出现多起不当行为后,采用了另一模型以“显著计算成本”监控不良行为。

长期从事网络安全的创业者Shapor Naghibzadeh领导的QueryStory团队认为,像Jev这样的模型可以大幅降低这类监控的成本。

他为上周末举办的黑客马拉松制作了一个演示,利用Jev检查每个代理行为是否符合任务要求,对高度确定为不良的行为进行阻止,对其他行为标记审查,允许余下行为通过。

理论上,这种监控本可以阻止Hugging Face事件的发生——使用Jev的成本为2.94美元,而使用前沿LLM则高达372美元。

一个关键观察是,Jev的成本低到足以对每个代理行为进行实时监控,这为提升代理整体可靠性提供了额外的审查层。这正是TypeSafe希望实现的目标,而OpenAI现在也看到了这一价值。