人工智能领域内越来越多的专家认为，大型语言模型（LLM）最终会因无法有效应对物理世界的复杂性而受限。仅通过文字训练的LLM，可能难以胜任自动驾驶、机器人手臂操作等需要精细控制的任务。为了解决这一缺陷，费-费-李（Fei-Fei Li）和扬·勒昆（Yann LeCun）等知名研究者正将注意力转向另一类AI——世界模型（world models）。

为了掌握现实世界的物理规律，世界模型需要结合视觉和动作数据进行训练。例如，在机器人手臂灵巧操作之前，模型可能需要学习工厂车间的视频画面，同时了解如何控制抓握力度和扭矩等参数。然而，与拥有海量文本数据的LLM不同，世界模型缺乏类似规模的训练数据集。

英国萨里大学人工智能副教授朱夏天（Xiatian Zhu）指出：“世界模型需要因果关系数据，而互联网中这类数据非常稀缺。”

由勒昆担任顾问的英国初创公司Worldmodeldata，正试图通过整合视频游戏工作室收集的控制器输入和其他数据，解决这一难题。视频游戏产生的数据量巨大且丰富，成为训练世界模型的宝贵资源。一些公司如General Intuition和Niantic也在利用自家游戏平台收集游戏数据以构建模型。Worldmodeldata则定位为数据经纪人，帮助实验室统一管理和采购数据，避免与众多游戏厂商单独谈判的繁琐。

Worldmodeldata首席执行官瑞娅·卢卡斯（Rhea Loucas）表示：“有成千上万款优秀游戏，它们越来越接近现实世界。为何不利用这些丰富多样的游戏体验来训练AI呢？”

尽管这一假设尚未完全验证，研究者普遍认为世界模型的表现会随着训练数据规模的扩大而提升，类似于LLM的发展轨迹。因此，缺乏合适的训练数据成为制约进步的主要瓶颈之一。

部分实验室尝试通过给人类和机器人安装传感器，在测试环境中手动生成数据，但这种方法数据量有限，且难以涵盖模型在现实中可能遇到的边缘情况。

风险投资公司Khosla Ventures合伙人妮可·弗兰克尔（Nicole Fraenkel）指出：“你可以雇人演示抓取和放置任务，但单靠重复无法反映机器所面对的复杂混乱环境。”

Worldmodeldata认为，视频游戏环境中玩家的视觉体验和操作行为数据不仅数量充足，而且多样性足以涵盖关键的边缘案例。

弗兰克尔强调：“关键是要正确处理这些边缘情况。无论是汽车、飞机、无人机、工厂叉车还是自主四足机器人，错误代价都非常高。”

Worldmodeldata透露，已从多款热门游戏的开发商处获得近一百万小时的数据授权，尽管卢卡斯未透露具体游戏名称。未来，该公司还计划为个人玩家提供数据贡献的报酬渠道。

卢卡斯相信，视频游戏数据将成为世界模型训练的主要来源，之后再结合特定现实环境或任务的数据进行优化。“这可能成为世界模型的GPT时刻，让它们真正发挥价值。”

不过，并非所有人都对视频游戏数据持乐观态度。Nvidia开发了一套专门模拟真实物理环境的引擎，用于训练其优化在自家芯片上运行的世界模型。

Nvidia世界模型负责人刘明宇（Ming-Yu Liu）表示，基于视频游戏输入训练的模型难以胜任需要精细运动控制的任务，比如细致操作物体，因为游戏物理往往存在简化和不准确之处，开发者更多是营造真实感的假象，而非精确模拟每根手指的压力等细节。

刘明宇建议：“对于操作类任务，我会更谨慎使用游戏数据。游戏物理远不如现实复杂。游戏数据更适合用于生成超真实视频或三维环境的世界模型训练。”

萨里大学的朱夏天也持类似观点：“游戏本质上是模拟器，虽然有一定物理基础，但非常粗糙和近似。”

然而，在世界模型迎来类似ChatGPT的突破之前，各种尝试和思路仍在探索中。弗兰克尔总结道：“通往理想境地的道路有很多，究竟哪条最有效，尚无定论。”