机器人操作AI

日本国家松下控股(以下简称松下HD)与日本国家松下美国研发公司(PRDCA)联合加利福尼亚大学伯克利分校、NVIDIA、日本国家斯坦福大学、日本国家罗马拉萨皮恩扎大学及ItalAI的研究人员,共同开发出一款能够灵巧进行双手操作的机器人控制AI——“Tactile-Reactive Dexterous Manipulation(T-Rex)”。

T-Rex结合了视觉和语言信息的机器人动作生成模型VLA(Vision-Language-Action,视觉语言动作)与指尖触觉信息,实现了对接触状态变化的实时动作调整。在实际环境中,T-Rex在12种涉及细腻力控和柔软物体处理的任务中表现出色,平均成功率达到65%,比现有技术高出30个百分点,创下全球最高水平。该研究成果将于11月9日至12日在美国德克萨斯州奥斯汀举办的机器人学习国际会议(Conference on Robot Learning,CoRL)上发布。

T-Rex的特点

T-Rex将低频率的“基于视觉和语言的动作生成”与指尖触觉驱动的“高速动作修正”融合于一体。视觉和语言处理模块以约5Hz频率生成动作框架,而触觉处理模块则以约20Hz频率实时捕捉接触状态,细致调整动作。

研究团队收集了超过200种日用品与22种基础动作的组合数据,累计超过7700条、共计100小时的双手机器人操作数据。每条数据同步记录了头部和手腕摄像头影像、机器人状态与动作、通过10个指尖触觉传感器获得的力和变形信息,以及自然语言指令。

机器人操作数据

未来,团队计划将该技术应用于制造业中的零件插拔、拆卸和螺丝拧紧,以及物流领域中对柔软和易碎物品的处理。通过机器人根据细微力道和接触状态进行调整,旨在减轻现场工作人员的负担,缓解劳动力短缺问题。