谷歌DeepMind于周二发布了其最新的世界模型Genie 4,目前处于研究预览阶段。该模型能够生成迄今为止最为逼真且互动性强的虚拟世界,用户可以在模拟过程中通过输入提示实时改变场景。Genie 4还支持生成与虚拟世界相匹配的实时音频,包括音乐、环境音和互动对话。
Genie 4的发布距离AI视频初创公司Runway推出其第二代世界模型GWM Worlds 2仅几个月时间。后者也是一款可玩性强、能动态响应用户输入并支持音频生成的模型。与此同时,世界模型行业正逐步整合,著名学者李飞飞的World Labs被AMD收购,亚马逊正洽谈收购AI初创公司Decart,电动汽车制造商Rivian也刚刚收购了Third Dimension以增强其自动驾驶测试的仿真能力。
作为谷歌在这一领域的最新布局,Genie 4在画质和音频表现上远超其前身Genie 3。Genie 4支持自由编辑功能,用户可以实时更改天气、摄像机角度,甚至添加人物或物体。它能维持长达两分钟的场景连贯性,是前代的两倍,并且在物理表现和人物形象的拟人化方面也有显著提升。
谷歌的AI模型Gemini与Genie 4紧密集成,Gemini充当导演角色,负责规划步骤和检查画面,而Genie负责生成视觉内容。在与Gemini Robotics相关的研究实验中,Gemini 4 Argon模型将任务拆解为多个步骤,Genie 4则实时模拟这些步骤,展示了在现实世界发生之前通过仿真测试机器人场景的可能性。
谷歌研究总监Tejas Kulkarni表示:“未来我们将看到混合型世界模型的兴起,Gemini负责编写代码和文本,Genie则实时接收这些信息并在不同抽象层次上模拟现实。”
与其他世界模型类似,Genie 4的商业应用场景包括游戏、互动学习和机器人技术。一个设想中的互动学习例子是,用户可以进入一幅历史场景的画作,与画中人物就所描绘的事件进行对话。

此外,谷歌的“可信测试者”们指出,Genie 4在电影原型设计方面也有潜在用途。谷歌DeepMind工程师Diego Rivas表示:“实时交互功能在创意流程中尤为重要,比如在构思和分镜阶段,能够快速迭代想法非常有价值。”
谷歌还提供了AI视频生成模型Veo,该模型能够根据文本、图像或视频提示生成带有同步音频的高清短片,已受到独立电影制作人的欢迎。
Rivas补充说,未来用户可能会依赖Gemini Omni这一多模态大型语言模型,将图像、音频和文本转化为视频,从而将原型转变为创意作品,尽管这项技术尚需时日才能成熟。
在发布会上,Rivas强调Genie 4仍处于早期阶段,最终的产品体验尚未确定。团队也承认该模型存在一些不足:随着模拟时间延长,细节和物体可能出现漂移,音频准确性和场景内文本的可读性仍需改进。
目前,Genie 4已向“可信测试者”开放研究预览版本。未来几周,该模型将逐步向Google AI Ultra订阅用户开放,并通过Project Genie、Gemini API和Google AI Studio的早期访问合作伙伴推广。


