NTT物理AI机器人

日本NTT公司于11日发布了一项物理AI技术,该技术能够在机器人执行动作之前,预测如货物坍塌或掉落等风险,从而选择成功率更高的行动方案。该技术利用基于物理法则预测物体运动的“NTT世界模型”,通过预先评估多个行动候选,提升机器人的作业精度。

所谓世界模型,是一种能够感知外部环境状态及其变化,并预测自身行为引发的未来状态变化的模型。通过赋予物理AI预测未来的能力,机器人可以在行动前预见结果。

传统与NTT世界模型对比

传统的世界模型主要依赖大量视频数据进行经验学习,面对未学习过的情况时,可能产生违反物理法则的预测结果。尤其是在处理机场手提行李或快递包裹等形状、重量和摆放各异的物品时,难以收集涵盖所有情况的学习数据。

NTT物理控制适配器

NTT世界模型结合了视频生成模型和自主研发的“物理控制适配器”技术。该适配器能够估计物体的位置、姿态、速度和质量,并基于运动方程预测状态变化,准确再现物体间的接触和碰撞等复杂运动。

通过整合基于经验的视频生成模型与基于物理法则的控制适配器,NTT世界模型有效抑制了物体消失或变形等不自然预测,即使在未学习过的场景中,也能保持物理一致性地预测未来运动。

机器人操作示意

该技术支持与现有机器人控制软件的协同工作。对于由视觉-语言-动作(VLA)模型和运动规划器生成的多个行动候选,NTT世界模型能够通过视频预测执行后的状态,并以分数形式输出各行动的成功概率。机器人因此能在实际动作前比较各方案,选择最合适的操作。

在使用小型机器人进行不规则物品货架堆放的实验中,将开源VLA模型“π0.5”与NTT世界模型结合,任务成功率从73.1%提升至92.3%。

在包含多物体碰撞的公开基准测试“OBJ3D”中,NTT世界模型在衡量预测视频与真实视频相似度的指标LPIPS上取得7.81的成绩,优于现有方法“OCK”(7.92)和“NVIDIA Cosmos Predict 2.5”(21.90),显示出更高的预测精度。

应用场景示意

NTT计划首先将该技术应用于形状和重量各异的机场手提行李装卸作业。未来将与日本Mujin公司合作推进实证试验,并计划拓展至物流仓储、制造、建筑及零售等领域。

未来展望