Genie 4示意图

日本国家Google DeepMind于10月27日发布了全新世界模型“Genie 4”。目前该模型以研究预览版形式向可信测试者开放,未来将逐步向“Project Genie”的Google AI Ultra订阅用户及Gemini API的早期访问合作伙伴提供。

Genie 4是一款支持实时交互模拟的世界模型,基于Gemini系列功能构建。其中,“Gemini Omni”负责模拟现实世界的外观和行为,其他Gemini模型则通过推理确保模拟的连贯性和一致性。

用户可以通过文本提示或标准键盘操作,实时调整模拟中的天气、摄像机角度、角色和物体的位置等元素。

在物理现象和人类行为的模拟方面,Genie 4能够描绘空气动力学、物体碰撞等物理过程,同时生成符合环境的自然人类动作和反应。声音方面,模型支持实时音频生成,包括环境音效、背景音乐及角色对话,与画面同步呈现。

复杂任务模拟示意

针对复杂任务的模拟,模型内置“Gemini 3.8 Flash”作为指导代理,能够将目标分解为多个步骤,并通过观察生成的帧来监控进展,实现多阶段事件处理。作为探索的一部分,DeepMind还将“Gemini 4 Argon”与Genie 4结合,开展与“Gemini Robotics”前沿研究的实验。

应用场景包括创意领域的预先视觉化和原型制作、从二维照片恢复环境、机器人领域的训练环境搭建等。

应用场景展示

不过,长时间模拟或复杂编辑时,模型在视觉细节和物体持续性方面仍存在偏差。此外,复杂物理交互、实时音频准确性、文本显示清晰度及空间准确性等问题仍需持续研究。

为保障模型安全,生成的视频和音频中嵌入了数字水印技术“SynthID”,以标识其为AI生成内容。