利用OpenAI的GPT-6 Sol,我教会了一个虚拟版的Microduck——这是一款由Pollen Robotics和Hugging Face联合开发的可爱机器人——在房间里走动并识别附近的孟加拉猫。(上方视频展示了机器人向目标猫咪蹒跚走去;右上角显示的是机器人的视角。)
我仍在耐心等待实体Microduck的到来——希望他们能尽快发货——但模拟行为相对简单,因此这些能力应该能顺利迁移到实体机器人上。我计划让机器人自动为我的宠物孟加拉猫Leona发放零食,或许通过机器人低头从3D打印的头部储物仓中释放零食。
我只用了几个小时就完成了虚拟机器人的编码和训练,这实在令人难以置信。过去,这类工作可能需要我花费数周时间才能搞定。这得益于OpenAI最新模型在理解和操作物理世界的3D表示方面表现出色,能够将其转化为有用的代码、智能行为和机器人训练方案。
真正的机器人专家们也在利用这些最新模型做出惊人进展。去年九月OpenAI发布Astra时,加州大学伯克利分校教授Ken Goldberg和他的学生们看到了其渲染3D图像的演示,便开始探索它是否能辅助训练各种机器人所需的高精度模拟。这些模拟必须极其详细且准确,才能确保复杂行为——比如能跳舞的人形机器人或能抓握物体的机械手——能真实地转移到现实中。
Goldberg实验室的一位成员让Astra访问了Nvidia的Newton工具,向它展示了一段真实机器人动作的视频,并询问是否能创建该场景的模拟。
“令我们震惊的是,它在一小时内就生成了完整的3D模拟,所有参数都已设定——摄像机位置、光线、背景以及所有材质,”Goldberg告诉我。
Goldberg还表示,Astra能够自动化训练机器人模拟中的大量繁琐工作,比如运行实验并分析结果。
这正是我训练虚拟Microduck时的体验。除了GPT-6 Sol,我还使用了Nous Research的智能代理框架Hermes和搭载强大AI芯片的Nvidia DGX Spark个人电脑。
我之前写过如何用代理和编码模型配置、编程及调试实体机器人。通常这类工作需要丰富专业知识,而现代编码模型让它变得轻而易举。但OpenAI最新模型的能力远不止写代码。

它利用Nvidia的Isaac Sim软件向控制虚拟机器人的模型发出指令,观看机器人动作视频评估表现,并提出训练方案的调整建议。
这一过程让我成功训练Microduck学会走路且不摔倒。我最初尝试让GPT-6 Sol教机器人跳月球漫步——给它看迈克尔·杰克逊滑步的GIF,它试图模仿——但经过数小时努力,结果只是一个轻快的后退跑步。(机器人还没完全超越我们。)
与Goldberg合作的Nvidia研究员Jim Fan表示,AI如今控制机器人的方式类似软件代理的功能。大型语言模型(LLM)可以像访问电脑上的不同软件一样,调用训练控制物理动作的视觉语言动作(VLA)模型。
本周,Fan、Goldberg等人开源了一个名为Aspire的机器人智能代理框架,使机器人能够发现并掌握新技能。比如,GPT-6 Astra学会用一对机械臂解魔方。
“它会拿起魔方,尝试转动,但角度不对,”Fan说,“然后它会长时间推理,最终通过不断学习掌握技能,成功解开魔方。”
本周在德克萨斯州奥斯汀举行的机器人学习大会(CoRL)上,Fan发表了主题演讲,谈及AI模型自动化实现机器人复杂行为的惊人潜力。他展示了一个演示,Astra控制机械臂绘制金门大桥的画作,使用附近的颜料和画笔完成任务。
当然,要让机器人稳定高效地工作仍极具挑战,需要大量工程专业知识。我的机器人鸭子的视觉系统还不足以应用于真实产品。
不过,利用AI训练机器人的简便和高效,未来可能对制造业和电商产生巨大影响。Goldberg表示,多家工业机器人和自动化公司已对这一方法表现出浓厚兴趣。
就像几年前的“vibe编码”一样,随着爱好者和工程师意识到编程和训练机器人的简易性,我们或许将迎来“vibe机器人”领域的突破。只要我能完善我的机器人助手,Leona或许再也不会缺零食了。


