在 SageMaker AI 上用 vLLM-Omni 生成图像与视频(第二部分)
AWS 发布教程,演示在 SageMaker AI 上部署同一个 vLLM-Omni DLC 镜像的两个端点:实时端点跑 FLUX.2-klein-4B 生成图像,异步端点跑 Wan2.1-VACE-1.3B 做图像条件视频生成。文本提示词先生成 PNG,再连同运动提示词送入视频端点,生成的 MP4 存入 Amazon S3,示例提供命令行与 Streamlit 界面。
AWS 发布教程,演示在 SageMaker AI 上部署同一个 vLLM-Omni DLC 镜像的两个端点:实时端点跑 FLUX.2-klein-4B 生成图像,异步端点跑 Wan2.1-VACE-1.3B 做图像条件视频生成。文本提示词先生成 PNG,再连同运动提示词送入视频端点,生成的 MP4 存入 Amazon S3,示例提供命令行与 Streamlit 界面。
OpenAI 官方发布 ChatGPT Images 2.5,官方介绍称它能把用户的想法、草图和参考照片转化为更个性化、更精致、更贴合原始想法的图像。
Diffusers 现可通过 from_pretrained() 直接加载 Nunchaku 量化检查点,无需单独推理引擎或本地 CUDA 编译。
Google Research 在 ICLR 2026 论文 "On the Interpolation Effect of Score Smoothing in Diffusion Models" 中指出,扩散模型的创造力源于神经网络训练中正则化导致的 score smoothing,使去噪过程在训练数据点之间插值而非记忆。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)图像模型与 Gemini Omni Flash(gemini-omni-flash-preview)视频生成与对话式编辑模型。
推荐理由:原文给出了两款模型的定位分工与串联用法,读者可据此判断如何组合图像与视频生成搭建工作流。
Google Research 宣布该方法已作为 Auto frame 功能的一部分在 Google Photos 上线,可用生成式 AI 在拍照后自动改变相机视角重新构图。
推荐理由:原文拆解了3D估计与生成补全两阶段流程,读者可理解视角重合成如何在保留原内容的同时补出隐藏区域。
伯克利 AI 研究团队提出一套基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,并在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证其能预测解码器性能。该方法优化出的设计达到端到端 SOTA 方法水平,同时占用更少内存和算力,且无需任务专用解码器设计。