加利福尼亚圣莱安德罗的一个仓库里,正上演着一场物理人工智能的前沿实验——一场积木游戏。

这座仓库属于Encord公司,一家专注于构建用于训练AI模型的数据工具的企业。Andrew Ceja是公司的“飞行员”,即机器人训练师,他戴着一副带摄像头的头戴设备,摄像头记录他的视角。虽然这种方式在机器人训练数据采集中并不罕见,但这副头戴设备还配备了能够测量脑电波的传感器,记录他在拆卸积木塔时的脑波变化。

Encord是少数几家创业公司之一,他们认为未来限制类人机器人和仓库机器人的瓶颈,不是模型架构,而是真实物理训练数据的极度稀缺。与其仅帮助机器人公司管理已有数据,Encord更致力于制造那些尚不存在的数据。

Ceja佩戴的脑电波头戴设备由德国神经科学创业公司Zander Labs制造。该公司认为,通过测量脑电活动,推断出错误、意图和惊讶等心理状态,可以创造出更有价值的训练数据集。Encord与Zander的合作目前处于试验阶段,目标是构建首批带有脑电波标签的数据集,应用于客户的机器人模型中,评估其是否能提升性能,再决定是否扩大规模。

Zander的神经科学家Lucas Gehrke表示,任务执行过程中脑电活动的强度为模型开发者提供了何时需要调用高强度模型的线索。

Encord机器人学习负责人Vineeth Velmurugan称,这正是解决机器人数据瓶颈的“尖端”努力。作为OpenAI机器人实验室和仓库自动化公司Berkshire Grey的资深成员,Velmurugan加入Encord,组建内部数据制造团队。

Encord最初帮助机器视觉应用公司标注数据和评估模型。随着客户开始将端到端学习应用于机器人操作任务,管理数据已无法满足需求,必须自己生产训练数据。“这些数据根本不存在,”Velmurugan说。

生成式AI为机器人带来突破的愿景屡屡受阻。自动驾驶公司自行采集物理世界数据,但难以规模化。视频训练虽可行,却缺乏真实世界数据的精确度。Velmurugan表示,要突破这一瓶颈,所需数据集规模大约是YouTube视频库的五倍,这也解释了为何数据生成已成为一门生意,而非单纯的研究问题。

满足你的第一视角数据需求

机器人大脑开发者主要依赖两种数据来源:“第一视角”视频,由佩戴摄像头的工作人员采集,通常辅以多角度摄像和其他指标;以及远程操作机器人的数据。Encord两者兼顾,从全球多家工厂收集第一视角数据,并在圣莱安德罗的设施中试验脑电波等新型数据模式,或围绕特定技能收集数据集以进行微调。

TechCrunch访问时,训练师们使用“领袖-追随者”装置——一对机械臂,一只由人类直接控制,另一只模仿其动作——采集倒咖啡、叠扑克筹码等任务的数据。“每家类人机器人公司都向我们索要这些数据,”Velmurugan说。

仓库货架上摆放着假花、书籍、塑料蔬菜、猫砂盆及铲子、各种电线包等,这些都是训练家用机器人操作的常见物品。

另一位训练师Sofia Infante操作机械臂插拔服务器背后的以太网线——这是数据中心运营商希望自动化的工作,但机器人尚难以达到所需的精确度。亲自体验后,我发现机械爪远不如人类手指灵巧,缺少我们手臂自然拥有的自由度。

Encord还开发了一种新型数据模式,利用绑在前臂上的传感器检测肌肉电信号。人手操作物体的视频通常无法完整捕捉手部动作,Velmurugan希望通过前臂传感器构建手部三维位置模型,为训练模型提供更全面的理解。

Encord的数据集配有详细的物理动作描述,如“右手拧紧螺栓”,帮助基于大型语言模型的系统理解视频内容。Velmurugan估计,这种密集标注的数据价值是普通“第一视角数据”的100倍,而成本仅高出20倍,理论上是划算的交易。

但“高出20倍”仍是实实在在的成本,这也是物理AI与大型语言模型训练的根本区别。后者通过网络文本几乎零成本构建模型,而物理训练数据必须被制造出来,改变了模型构建的经济学。

Velmurugan表示,行业内的进展正在稳步推进。凭借对多个项目的洞察,Encord能观察到初创企业和前沿实验室如何摸索出有效提升物理AI模型的方法。这种跨多家机器人工厂的视角,也是Encord的竞争优势,能在单个客户察觉之前发现行业趋势。

这也让Encord的十几名训练师忙碌不已。Infante和Ceja都曾在另一家AI数据标注公司Scale工作,后加入Encord,成为神经网络训练数据的构建者。

Ceja曾在废物管理公司工作,负责维护机器人垃圾分拣机。如今,在积木塔倒塌的瞬间,他说自己享受为机器人解决训练任务的挑战,“每天都有新鲜事!”