OpenAI 发布视频生成模型 Sora 2,支持同步对话与音效
OpenAI 发布视频生成模型 Sora 2,具备同步对话与音效生成能力。原文同时说明 Sora 产品已不再可用。
OpenAI 发布视频生成模型 Sora 2,具备同步对话与音效生成能力。原文同时说明 Sora 产品已不再可用。
Invideo AI 使用 OpenAI 的 GPT-4.1、gpt-image-1 和 text-to-speech 模型,把创意在几分钟内转化为专业视频,制作速度提升 10 倍。
Hugging Face 发布面向视频生成模型微调的数据集构建工具链,包含下载、预处理过滤与打标三阶段流水线,用 yt-dlp 下载、LAION-5B-WatermarkDetection 检测水印、improved-aesthetic-predictor 打美学分、OpenCV 计算运动分,并用 Florence-2 或 Qwen2.5 生成字幕。
Hugging Face 推出 AI 艺术工具通讯创刊号,回顾 2024 年 AI & Arts 关键里程碑并展望 2025。
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
OpenAI 宣布其视频生成模型 Sora 现已在 sora.com 开放使用,用户可生成最高 1080p 分辨率、最长 20 秒、支持宽屏、竖屏或方形比例的视频。用户既可以纯文本生成全新内容,也可以上传自有素材进行扩展、混剪和融合。
电影制作二人组 Vallée Duhamel 讲解了如何用 Sora 构建新世界。
跨学科艺术家 Minne Atairu 分享了 Sora 如何帮助她实现创作愿景。文章以访谈形式呈现,聚焦 Sora 在艺术创作中的实际应用。
OpenAI 发布 Sora System Card,介绍其视频生成模型 Sora:可接受文本、图像和视频输入并生成新视频,构建于 DALL-E 和 GPT 模型的经验之上,旨在为用户提供更丰富的叙事与创意表达工具。
电影制作人 Lyndon Barrois 讲述了如何把 Sora 作为叙事工具来使用,用它创造新的世界。
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0,并开源了配套的对抗式数据集精炼(adversarial dataset refinement)方法实现。
OpenAI 提出 Consistency Models,解决扩散模型依赖迭代采样导致生成缓慢的问题。扩散模型已显著推动图像、音频和视频生成,但其迭代采样过程造成生成速度慢,一致性模型旨在改善这一瓶颈。
OpenAI 正与艺术家合作,探索 Sora 如何融入创作流程。自上月向全球介绍 Sora 以来,OpenAI 一直在与艺术家合作,了解 Sora 如何帮助他们的创作过程。
OpenAI 发布视频生成模型 Sora,可在文本条件下生成一分钟高保真视频。该模型基于在视频与图像潜码的时空 patch 上运行的 Transformer 架构,对不同时长、分辨率和宽高比的视频与图像联合训练,其结果表明扩大视频生成模型规模是构建物理世界通用模拟器的可行路径。
推荐理由:原文点明扩大视频生成规模是通向物理世界通用模拟器的路径,提供了技术路线的关键判断。
Hugging Face 推出实验性 AI WebTV,用开源模型自动生成并直播视频流。流水线以 ChatGPT 生成分镜提示词,经 Zeroscope V2(zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 升采样至 1024x576)出片,再用 FILM 插帧并配 MusicGen 音乐,最终由 FFmpeg 推流至 RTMP。
Hugging Face 官方博客系统梳理了文生视频模型的过去、现在与未来,对比其与文生图任务的差异,指出计算成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
OpenAI 通过微调 GPT-3 来驱动并规模化"一站式"视频创作服务。