他们并没有亲自开车，而是坐在2024款丰田卡罗拉内，车停在湾区一家In-N-Out餐厅的得来速车道旁。他们打开笔记本电脑，指示OpenAI的GPT-6 Astra接管方向盘。通过一个聊天界面连接到服务器，服务器又连接了多个安装在挡风玻璃上的摄像头和汽车的动力转向系统。一名安全驾驶员随时准备踩刹车以防万一。

这款通常用于生成文本、代码和偶尔图像的AI模型，缓慢而稳健地将车辆开到了取餐窗口，成功取到了食物。

“也许通用人工智能（AGI）真的来了，”其中一位工程师感叹道，AGI指的是能够匹敌人类智能的机器。

自动驾驶汽车并不新鲜，但通常是由专门训练和设计的算法来操作。而这次驾驶则是由一个设计用于生成文本的模型即兴完成，且没有经过任何事先训练。这次快餐实验以及其他多项尝试表明，基于语言的AI模型开始对物理世界有了初步但实用的理解。

虽然这次午餐之旅没有发生任何明显的危险，但他们承认让一个通用模型控制一辆快速移动、重达两吨的钢铁机器是高风险的。随着物理理解能力的提升，AI模型可能会以令人印象深刻甚至潜在危险的新方式介入现实世界。

迈向物理世界

目前最先进的模型在回答复杂问题和执行某些虚拟任务方面表现出色，但它们的能力主要局限于计算机和互联网领域。一旦进入现实世界，这些模型很快就会感到困惑。尽管有声称AGI已到来的说法，AI公司显然认为物理推理仍是AI尚未攻克的领域。

一些研究人员离开大公司，创办了专注于解决物理推理问题的初创企业。Elorian AI的CEO Andrew Dai曾任职于谷歌DeepMind，他表示更好的视觉推理将为AI开启许多新应用，比如能够判断餐厅顾客是否享受用餐的系统，或能在家庭环境中工作的机器人。Dai认为机器人技术是物理推理能力的关键测试场景，“没有物理推理，几乎无法想象家庭机器人。”

Elorian和提供训练数据的Scale AI最近开发了一个新基准测试“人类第六感”，用于衡量模型理解物理场景的能力。

Scale AI的研究科学家郭兴刚参与了该基准的开发，他说：“大多数视觉AI研究关注的是感知，我们想探究模型如何像人类那样直觉地理解场景，而无需刻意思考。”

对于Ramabadran、Mahns和Gessler来说，他们在Axiom工作之外进行的In-N-Out项目，目标是测试模型在复杂现实环境中的表现。

他们的灵感来自一次周末聚会，发现像Astra这样的模型能够构建复杂的3D模拟，便想知道这是否能转化为现实世界的导航能力。

“我们都住在湾区，常见特斯拉和Waymo，可能这也影响了我们的想法，”Ramabadran说。

工程师们先尝试了SpaceXAI的Grok，然后又试验了OpenAI和Anthropic的最新模型。起初，这些模型拒绝接管车辆，回应类似“我可以帮助解读道路图像，但不能发出物理车辆的运动指令”。但经过细心引导，它们开始尝试驾驶，令三人震惊。

工程师们表示，大型AI公司似乎专注于提升模型的空间推理能力，但他们怀疑这是否意味着专门训练模型驾驶汽车。他们认为模型的驾驶能力很可能是多模态训练（包括图像、视频和3D模型）扩展的自然产物。

然而，三人开发的新驾驶基准测试DrivingBench显示，这些模型距离通过驾驶考试还有很长的路要走。该测试在停车场设置了一个简单的驾驶路线，只有Astra能够完成，且速度非常缓慢。Claude Fable 5.1完成了45%的路线，Grok仅完成了11%。

Ramabadran表示，最新模型似乎能够根据错误进行调整，实时适应车辆控制并改进驾驶表现。“模型确实在根据错误进行调整或上下文学习，学会更好地操控车辆。”他说。GPT，接管方向盘吧。