谷歌发布Genie 4世界模型，新增音频与实时交互功能

谷歌DeepMind周二发布了最新的世界模型Genie 4的研究预览版。这款最新模型生成的世界迄今最为逼真和具有交互性，用户可以在模拟过程中输入提示词来改变场景。该模型还能生成与模拟世界相匹配的实时音频，包括音乐、环境音效和互动对话。

Genie 4的发布，恰逢AI视频初创公司Runway发布其第二代世界模型GWM Worlds 2几个月之后，这是一款能够动态响应用户输入并包含音频生成功能的可交互模型。与此同时，世界模型行业开始出现整合趋势。李飞飞的World Labs正被AMD收购，亚马逊正在洽谈收购Decart，而Rivian刚刚收购了Third Dimension，以将仿真能力纳入内部，用于自动驾驶测试。

Genie 4是谷歌在这一竞争激烈的领域保持领先地位的最新举措。

谷歌在一年多前发布了其前身Genie 3的研究预览版。除了逼真度大幅提升并加入音频功能外，Genie 4还支持自由编辑，比如实时改变天气或摄像机角度，或添加新的人物和物体。它能够将场景保持一致长达两分钟，是前代模型上限的两倍，并提供更好的物理效果和更具人类特征的角色。

谷歌的AI模型Gemini也与Genie 4实现了更紧密的整合，充当”导演”角色，负责规划步骤并检查画面，而Genie则负责创建视觉内容。在一项与Gemini Robotics相关的研究实验中，一个Gemini 4 Argon模型将任务分解为多个步骤，由Genie 4实时进行模拟。该实验展示了一种可能的方式，即在机器人场景真正发生之前，先在仿真环境中进行测试。

“未来我们将越来越多地看到这种混合世界模型，即Gemini负责编写代码和文本，而Genie实时接收这些内容，并在不同抽象层次上模拟现实，”谷歌研究总监泰贾斯·库尔卡尼在一次简报会上表示。

与其他世界模型一样，其宣传的商业用例包括游戏、互动学习和机器人技术。一个关于互动学习的推测性例子是，进入一幅描绘历史场景的画作，并与画中人物就该事件进行对话。

但那些首批获得谷歌尖端产品使用权的”受信任测试者”指出了一种可能的新用途：电影原型设计。

“实时特性在保持创意流动状态方面最具价值，”谷歌DeepMind工程师迭戈·里瓦斯在新闻简报会上表示。”例如，在构思阶段、分镜阶段——任何需要快速构思的时候。”

谷歌还提供Veo，这是其AI视频生成模型，可以根据文本、图像或视频提示生成带有内置同步音频的高清短片——这一工具在电影制作人中的受欢迎程度正在不断上升。

里瓦斯补充说，用户最终或可依赖Gemini Omni——一款能够根据图像、音频和文本生成视频的多模态大语言模型，将这些原型转化为创意素材。但他表示，这些能力距离实现还有一段路要走。

在整场简报会上，里瓦斯强调Genie 4仍处于早期阶段，目前尚不清楚最终的产品体验将会是什么样子。团队还承认Genie 4仍存在不足：模拟运行时间越长，细节和物体就越容易发生漂移，而且他们尚未完全解决如何确保音频准确性以及世界内文本可读性的问题。

Genie 4现已作为研究预览版向受信任测试者开放。未来几周内，该模型将面向谷歌AI Ultra订阅用户在Project Genie（谷歌用于根据文本或图像提示生成交互世界的AI工具）中推出，并提供给Gemini API和谷歌AI Studio的早期访问合作伙伴。