Condé Nast 如何用 Amazon Bedrock 构建多模态视频发现方案
Condé Nast 联合 AWS Generative AI Innovation Center,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频发现方案,采用 TwelveLabs Marengo embedding 模型对视频转录、视觉与音频信号联合编码,将单次内容发现耗时从平均 250 分钟降至 2 分钟以内。
Condé Nast 联合 AWS Generative AI Innovation Center,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频发现方案,采用 TwelveLabs Marengo embedding 模型对视频转录、视觉与音频信号联合编码,将单次内容发现耗时从平均 250 分钟降至 2 分钟以内。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,从缩小搜索空间到选出候选化合物仅用一个周末,湿实验验证中排名最高的化合物产生了最大的预期细胞状态转变。
推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,读者可了解 AI 参与药物发现的具体流程与验证结果。
在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL,通过 GRPO 对 Qwen3-VL-8B 视觉语言模型进行多模态强化学习后训练,在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
Google 研究团队发布 AI video co-director 等多智能体框架,在 Gemini 和 Veo 之上编排多镜头长视频生成,缓解语义漂移与级联失败。
推荐理由:Google 把长视频生成拆成四个可组合的智能体框架,读者可了解多镜头一致性的具体解法与评测基准。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音对话结合,为 Gemini 的对话式 AI 带来近实时的视觉形象。
推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解其多语言同步与异步工具调用如何用于企业对话场景。
Liquid AI 发布实验性草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,解码最高提速 3.13x(端侧)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x。该草稿模型仅增加 280M 参数(约 8.9%),并首日支持 llama.cpp、MLX-VLM 和 SGLang。
NVIDIA 在新加坡 AI Day 上联合合作伙伴展示东南亚 AI 进展,新加坡 HTX 正基于 Nemotron 3 Super 与 Nemotron 3 Nano Omni 研究公共安全 AI。
NVIDIA 在 New York Climate Week 介绍了 5 家用 AI 推进清洁能源的公司:ThinkLabs AI 借 NVIDIA CUDA 平台的数字孪生与 agent。
曼彻斯特大学与 NVIDIA Earth-2 团队合作,用生成式降尺度模型 Earth-2 CorrDiff 和支持时序预报的 Earth-2 StormCast 构建英国全境空气污染模型,分辨率达 2-3 平方公里。
费城儿童医院(CHOP)基于 NVIDIA 共同创立的开源医学影像框架 MONAI,利用 CT、MRI 和 3D 超声影像在数秒内生成解剖精确的心脏模型,把过去需熟练研究员四小时完成的流程压缩到可常规临床使用的水平。
Hugging Face 发布 NeoMME,一个 260M 和 800M 两种规格的多模态多语言编码器家族,用单个双向 Transformer 同时处理文本 token 和原始图像 patch,从零以掩码离散扩散目标训练,不依赖预训练视觉塔或因果语言模型。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出 agentic video understanding,通过让模型主动调用原生视频工具按需检索画面、音频与字幕,替代固定帧率的静态处理。
推荐理由:原文给出了成本、token 与准确率三项量化变化及启用方式,读者可据此评估它对长视频分析工作流的实际影响。
Google Research 介绍 Google Earth AI 的实验性能力 planetary prediction engine(PPE),可从自然语言查询出发自主完成数据发现、特征工程、模型训练与评估,把复杂地理空间预测模型的构建时间从数周缩短到数分钟。
推荐理由:原文给出了三阶段架构与四类任务的具体指标,读者可据此判断自动化地理空间建模相对人工流程的实际增益。
Google DeepMind 宣布推出 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 面向开发者开放,使 Omni 1.1 达到可用于专业生产的状态。
推荐理由:原文列出了场景延展、首尾帧插值、360p 快速原型和 4K 升档等具体能力与参数,可据此评估其对生成视频工作流的改动。
Google Research 推出自监督连续血糖监测(CGM)基础模型 GlucoFM,采用双流设计分离慢速血糖趋势与短期偏差。在 4 个队列、7 项临床预测任务共 14 项评测中,其平均 PR-AUC 达 58.8,较同语料预训练的 GluFormer 最优变体高 5.8 个百分点。
Google DeepMind 发布语音转写模型 Gemini 3.5 Transcribe,可将原始音频直接转为准确、格式化的文本,已在 Gemini app 和 Android 的 Rambler 等功能中使用,现通过 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 向开发者开放。
推荐理由:原文给出了 WER、延迟等量化指标和 Chirp 3 对比,读者可据此评估其在真实场景的可用性。
Google Research 在 CHI 2026 发布研究原型 AgentHands,为 Android XR 等沉浸式平台的 AI 智能体生成与语音同步的共语手势,将 LLM 的高层推理映射为实时手部动作。
Google Research 推出 Biomarker Discovery Framework,一个在人类监督下把候选生物标志物优先级排序组织成迭代研究循环的多智能体系统,结合假设生成、并行统计分析、模型训练、对抗验证与文献推理,在三个队列共 9,279 参与者观测上识别出 41 个心理健康和 25 个代谢结局的候选数字生物标志物。
Google DeepMind 发布文章回顾自 2010 年以来以游戏推动 AI 研究的历程,从 DQN 玩 Atari、AlphaGo、AlphaZero、MuZero 到 AlphaStar 达到 StarCraft II 大师级,并指出这些基础最终支撑了 AlphaFold 解决蛋白质结构预测难题。
Google Research 提出 ME-POIs 框架,将匿名移动模式作为输入特征融入语言模型的地点表示,在未见地点上将访问意图预测相对提升 81.9%、价格等级分类提升 75.1%、繁忙度估计准确率提升 24.7%。该框架通过访问对齐、空间多尺度访问传播和文本-移动性协同三步流程,将 Gemini 等模型的语言嵌入与移动性向量对齐,并用邻近繁忙地点的访问模式缓解数据稀疏的长尾问题。
Google Research 推出研究性深度学习框架 PhotoScan,可直接从标准 2D 智能手机照片估算体脂率(BF%)、A/G 比率和 V/S 比率等三维身体成分指标。
OlmoEarth Studio 新增嵌入向量计算与导出功能,用户可通过 UI 或 API 选择区域、时间范围、编码器变体、分辨率和影像源,导出 int8 量化的 Cloud-Optimized GeoTIFF。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,图像与视频生成工具也难以在动作序列中稳定保持拓扑关系。
Google DeepMind 发布多语言手语转文字(SL2T)模型,率先在 Pixel 11 的 Gboard 和 Live Transcribe 中提供美式手语(ASL)转英文的签名输入功能,后续将支持更多设备与语言。
推荐理由:原文交代了手语翻译相比语音转写的两类核心难点,以及用姿态关键点替代原始视频的隐私设计,便于理解该模型的技术取舍。
Google Research 发布基于 Gemini 和 Project Astra 构建的 AMIE (Video),可进行同步临床视频问诊,实时感知非语言线索、引导模拟体格检查并完成诊断推理。
推荐理由:原文给出了三智能体架构与随机对照研究设计,读者可据此理解音视频临床问诊如何兼顾实时对话与深度推理。
微软研究院发布研究模型 CARE-X,一个统一胸部 X 光视觉语言模型,同时支持报告生成与结构化预测,并用强化学习(DAPO)在多任务设置下奖励临床正确性。该模型在印度 Narayana Health 的真实临床数据上验证,覆盖罕见 ICU 病理与 CT 确认的增大类病变。
Meta 发布 Muse Glimmer-30B,一款从 Muse 蒸馏至 30B 参数、采用 Apache 2.0 许可的多模态模型,面向本地智能体用例,适用于编码、文档分析、个人助手等注重隐私的场景。
推荐理由:原文给出架构细节与部署入口,读者可据此判断本地智能体场景下的落地成本与可行性。
Google DeepMind 在 Nature 发文称其 WeatherNext AI 模型在气旋路径、强度和风场结构预测上达到 SOTA,三天预报精度相当于旧模型的两天,领先幅度超过 24 小时,约相当于十年气象学进展。
推荐理由:原文给出了模型在低分辨率下取得高精度这一反直觉发现及其开放权重的入口,读者可据此评估其对现有预报工作流的可迁移价值。
Mistral AI 以 Apache 2.0 协议开源 3B 多模态安全分类模型 Shieldstral,它把内容审核建模为二元问答任务,推理时用自然语言写入策略即可返回校准的连续安全分数,无需重训,统一处理文本与图像。
推荐理由:原文说明了把内容审核改写成自然语言问答的做法,读者可据此理解它如何在不重训的前提下适配不同产品策略。
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2,可作为机器人的高层大脑进行对话、理解物理世界并规划多步任务,再将运动执行交给下层 VLA 模型。
推荐理由:原文给出进度分类与关键时刻定位的具体指标,读者可据此理解视频理解如何转化为机器人任务编排能力。
Google DeepMind 宣布音乐生成模型 Lyria 3.5 今日在 Google Flow Music 上线。新版本在音乐性、歌词、人声和创作控制四方面升级:可生成更丰富自然的旋律结构,歌词质量与提示词遵循度和结构意识提升,人声更真实且情感更细腻、发音更清晰,并支持更方便地控制输出的节奏和时长。
Google DeepMind 发布 Gemini Robotics 2,包含三个模型:Gemini Robotics 2 视觉-语言-动作(VLA)模型可控制整个人形机器人从脚到指尖的全身动作并实现双手灵巧操作。
推荐理由:原文拆解了三个模型的分工与开放入口,读者可据此判断机器人智能如何从上半身扩展到全身控制。
NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 加速推理库提供服务,在单张 NVIDIA RTX PRO 6000 GPU 上从约 10 fps 提升到约 160 fps 的交互运行。
Google Research 发布论文 SymptomAI,介绍一项 n=13,917 的随机全美研究,参与者向五种不同问诊策略的 Gemini Flash 2.0 SymptomAI 智能体描述症状并获得鉴别诊断(DDx)。
推荐理由:研究给出了万人规模真实问诊对照与可穿戴数据交叉验证方法,可参考其评估设计思路。
Google DeepMind 在 DOE Genesis Mission Summit 2026 上宣布向 Genesis Mission 承诺 4000 万美元的 AI tokens 和云额度,支持美国科研人员。
DharmaOCR 在葡萄牙语专用 benchmark 上以 0.925 分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587,后两者分别落后约 13 分和 16 分以上。
Hugging Face 上线 Thinking Machines Lab 的 Inkling 系列开源多模态模型,Inkling 为 975B 总参数、41B 激活参数的 decoder-only MoE 模型,原生支持图像、文本、音频输入与 1M 上下文,在 45 trillion token 上训练。
推荐理由:原文给出架构细节与各部署配置的显存开销,读者可据此判断自己硬件能否跑起来。
Google DeepMind 联合 Atal Innovation Mission 上线 ATL Saathi 实时试点,这是一款由 Gemini 驱动的 Web 应用,为印度 Atal Tinkering Labs 教师提供 24/7 备课与培训助手。
Google Research 发布大型传感器基础模型 SensorFM,用 500 万名同意参与者、超过 1 万亿分钟的多模态传感器信号做自监督预训练,学习可迁移到心血管、代谢、睡眠和心理健康的通用生理表征。
推荐理由:原文给出了预训练规模与下游任务收益的对应关系,读者可据此判断通用表征在可穿戴健康场景的迁移空间。
Mistral AI 发布首个面向具身导航的 8B 模型 Robostral Navigate,仅用单个普通 RGB 相机(无深度传感器或 LiDAR)即可让机器人自主导航,在 R2R-CE validation unseen 上取得 76.6% 成功率,validation seen 为 79.4%,比最佳单相机方案高 9.7 点、比使用深度或多相机的最佳系统高 4.5 点。