Google DeepMind 发布 Gemini Omni 1.2 Flash 视频模型
Google DeepMind 宣布推出 Gemini Omni 1.2 Flash,并首次在 Gemini API 和 Gemini for business 中全面可用。
推荐理由:原文给出价格降幅、时长上限与一致性改进,可据此评估它对批量视频生产成本与工作流的影响。
技术方向
AI 生成和理解视频:文生视频模型、视频编辑工具,以及影视创作的新做法。
14 条精选近 30 天 1 条共收录 57 条
Google DeepMind 宣布推出 Gemini Omni 1.2 Flash,并首次在 Gemini API 和 Gemini for business 中全面可用。
推荐理由:原文给出价格降幅、时长上限与一致性改进,可据此评估它对批量视频生产成本与工作流的影响。
Google 研究团队发布 AI video co-director 等多智能体框架,在 Gemini 和 Veo 之上编排多镜头长视频生成,缓解语义漂移与级联失败。
推荐理由:Google 把长视频生成拆成四个可组合的智能体框架,读者可了解多镜头一致性的具体解法与评测基准。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音对话结合,为 Gemini 的对话式 AI 带来近实时的视觉形象。
推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解其多语言同步与异步工具调用如何用于企业对话场景。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出 agentic video understanding,通过让模型主动调用原生视频工具按需检索画面、音频与字幕,替代固定帧率的静态处理。
推荐理由:原文给出了成本、token 与准确率三项量化变化及启用方式,读者可据此评估它对长视频分析工作流的实际影响。
Google DeepMind 宣布推出 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 面向开发者开放,使 Omni 1.1 达到可用于专业生产的状态。
推荐理由:原文列出了场景延展、首尾帧插值、360p 快速原型和 4K 升档等具体能力与参数,可据此评估其对生成视频工作流的改动。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)图像模型与 Gemini Omni Flash(gemini-omni-flash-preview)视频生成与对话式编辑模型。
推荐理由:原文给出了两款模型的定位分工与串联用法,读者可据此判断如何组合图像与视频生成搭建工作流。
Google DeepMind 发布 Omni 家族首个模型 Gemini Omni Flash,可将图像、音频、视频和文本组合作为输入,生成基于 Gemini 真实世界知识的高质量视频,并支持通过自然语言对话编辑视频,每次指令在上一次基础上延续,保持角色一致和场景记忆。
推荐理由:原文说明了 Omni 与 Gemini 推理能力的结合方式和开放入口,读者可据此判断它会怎样改变视频创作工作流。
Overworld 发布实时交互视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,用 10,000 小时游戏画面训练,支持零延迟自由控制相机与按键输入。
推荐理由:原文对比了与现有世界模型在控制延迟上的差异,并给出推理库的具体吞吐与帧率数据,便于评估其实用性。
OpenAI 发布 Sora 2 系统卡,介绍其新一代视频与音频生成模型。Sora 2 在 Sora 基础上引入更准确的物理表现、更强的真实感、同步音频、增强的可控性以及更广的风格范围等此前视频模型难以实现的能力。
OpenAI 宣布推出 Sora 2 视频模型和 Sora 应用,称针对前沿视频模型与全新社交创作平台带来的新型安全挑战,将安全作为基础,并以具体保护措施作为其做法的锚点。
推荐理由:官方说明了面向视频模型与社交创作平台的具体安全保护措施,可了解其安全设计思路。
OpenAI 发布视频生成模型 Sora 2,具备同步对话与音效生成能力。原文同时说明 Sora 产品已不再可用。
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
OpenAI 宣布其视频生成模型 Sora 现已在 sora.com 开放使用,用户可生成最高 1080p 分辨率、最长 20 秒、支持宽屏、竖屏或方形比例的视频。用户既可以纯文本生成全新内容,也可以上传自有素材进行扩展、混剪和融合。
OpenAI 发布视频生成模型 Sora,可在文本条件下生成一分钟高保真视频。该模型基于在视频与图像潜码的时空 patch 上运行的 Transformer 架构,对不同时长、分辨率和宽高比的视频与图像联合训练,其结果表明扩大视频生成模型规模是构建物理世界通用模拟器的可行路径。
推荐理由:原文点明扩大视频生成规模是通向物理世界通用模拟器的路径,提供了技术路线的关键判断。