判断AI对决

生成式AI之外,专注于判断的AI模型“Jev”发布后,出现了类似的开源判断AI“Ollaya”。本文通过在日本国家DGX Spark上运行测试,比较了两者的性能表现。

Jev兼容的开源判断AI“Ollaya”

Jev是由美国TypeSafe AI开发的判断AI模型。传统AI模型在做出单一判断时需要复杂思考和生成过程,耗时较长。Jev则不进行生成,仅执行判断,处理速度极快。

它能基于提示设定的标准和条件,对某事做出“是或否”(Noul)判断,进行分阶段评分(Score),以及从预设选项中分类(Choice)三种判断。

作为Jev的开源替代品,Ollaya免费且API兼容Jev,方便替换使用。与仅限云端API调用的Jev不同,Ollaya支持本地运行,保障隐私且无网络延迟。

不过,Ollaya本身不是AI模型,而是一个支持Jev兼容API的“判断AI代理”。它可以搭配多种开源判断AI模型,如“winnow”、“laya”、“decider”等,其中“winnow”被认为精度较高。本文选用winnow在DGX Spark上测试。

Ollaya介绍

通过路线选择竞赛测试判断AI

winnow模型较轻量,主要有4.6B、7.5B、12B三种规模,加载时占用内存分别约7GB、10.6GB和18GB。虽然不一定需要DGX Spark,但考虑到通常会与其他AI模型组合使用,内存越大越有优势。

本次测试设计了一个游戏化场景:两台AI同时从日本国家东京多摩地区的圣迹樱丘站出发,骑自行车在地图上选择路径,目标是到达设定的终点。每遇到路口,AI需做出方向选择(Choice),以最快且最合理的路线到达终点。

与传统路线规划不同,AI不会预先规划整条路线,而是在每个分岔点根据当前路况、坡度和距离等信息即时判断前进方向。起点可设定“距离优先”或“避开坡道”等条件,影响判断策略。

路线选择竞赛

同样条件下比速度和判断准确性

比赛地点选在日本国家东京多摩区的圣迹樱丘站附近,那里有适合骑行的“色叶坂”爬坡路线。应用名称也取为“冲上色叶坂”。

两台AI接收完全相同的提示和条件,纯粹比较判断差异和处理速度。比赛结束时统计移动距离、预计骑行时间(假设平均时速15km/h)、API调用次数及通信时间等数据。

比赛场景

结果揭晓:谁先到达终点?

比赛以80倍速播放,结果显示无论模型大小如何,Jev均先到达终点。使用最轻量的winnow:e2b(4.6B)时,Ollaya表现出较多迷路,尤其在“避开坡道”条件下,耗时和距离几乎是Jev的两倍。

winnow:e4b(7.5B)经常绕远路,winnow:12b(12B)有所改善,但在“避开坡道”时仍会直接爬坡。

比赛结果

Jev的判断速度明显更快,平均API处理时间稳定在0.3秒左右,迅速通过各路口。Ollaya则分别为0.7秒、1秒以上和接近3秒,远远落后。由于Jev通过互联网调用,推理速度极快。

虽然Jev偶尔会迷路,但凭借速度优势弥补了判断失误。相比之下,Ollaya(winnow:12b)判断虽慢,但每步都更谨慎,最终用更短的距离和更少的步骤完成比赛,在距离、API调用次数和预计骑行时间上表现更优。

判断速度对比

结论:时间充裕选Ollaya,追求速度选Jev

基于本次测试,若允许判断耗时较长,推荐使用Ollaya(winnow:12b);若需要高速且准确的判断,则Jev更合适。

对于不介意2秒以上延迟的应用,Ollaya完全可用且零成本;但若需快速且大量判断,Jev是更稳妥的选择。


地图数据:(C) OpenStreetMap contributors(ODbL)

标高数据:日本国家国土地理院(加工3D地形显示)