Google DeepMind 发布 Genie 4 实时世界模型
Google DeepMind 发布 Genie 4,作为 Genie 3 的后续版本,可逐帧实时生成交互式场景并直接生成声音,用户用键盘移动、用文本提示词引导事件。
Google DeepMind 发布 Genie 4,作为 Genie 3 的后续版本,可逐帧实时生成交互式场景并直接生成声音,用户用键盘移动、用文本提示词引导事件。
Google DeepMind 以研究预览形式发布最新世界模型 Genie 4,可生成迄今最逼真、可交互的世界,支持在模拟中途输入提示词实时改写场景,并生成与场景匹配的音乐、环境音和对话。
Tavus 发布被称为首个 Human Interaction Model(HIM)的实时视频对话模型 Griffin,可同时处理语音、表情、语调、手势与停顿并收发视频。
Runway 本月早些时候发布 GWM Worlds 2 研究预览,把高保真视频与音频生成变成实时交互式模拟,并提出 WorldPrompt 输入格式,可固定环境部分要素(含首帧)并生成带时间戳的事件。
Google DeepMind 宣布推出 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 面向开发者开放,使 Omni 1.1 达到可用于专业生产的状态。
推荐理由:原文列出了场景延展、首尾帧插值、360p 快速原型和 4K 升档等具体能力与参数,可据此评估其对生成视频工作流的改动。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)图像模型与 Gemini Omni Flash(gemini-omni-flash-preview)视频生成与对话式编辑模型。
推荐理由:原文给出了两款模型的定位分工与串联用法,读者可据此判断如何组合图像与视频生成搭建工作流。
Google DeepMind 发布 Omni 家族首个模型 Gemini Omni Flash,可将图像、音频、视频和文本组合作为输入,生成基于 Gemini 真实世界知识的高质量视频,并支持通过自然语言对话编辑视频,每次指令在上一次基础上延续,保持角色一致和场景记忆。
推荐理由:原文说明了 Omni 与 Gemini 推理能力的结合方式和开放入口,读者可据此判断它会怎样改变视频创作工作流。
Overworld 发布实时交互视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,用 10,000 小时游戏画面训练,支持零延迟自由控制相机与按键输入。
推荐理由:原文对比了与现有世界模型在控制延迟上的差异,并给出推理库的具体吞吐与帧率数据,便于评估其实用性。
OpenAI 发布 Sora 2 系统卡,介绍其新一代视频与音频生成模型。Sora 2 在 Sora 基础上引入更准确的物理表现、更强的真实感、同步音频、增强的可控性以及更广的风格范围等此前视频模型难以实现的能力。
OpenAI 发布视频生成模型 Sora 2,具备同步对话与音效生成能力。原文同时说明 Sora 产品已不再可用。