Gemini 推出 agentic video understanding 视频理解功能
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出 agentic video understanding,通过让模型主动调用原生视频工具按需检索画面、音频与字幕,替代固定帧率的静态处理。
推荐理由:原文给出了成本、token 与准确率三项量化变化及启用方式,读者可据此评估它对长视频分析工作流的实际影响。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出 agentic video understanding,通过让模型主动调用原生视频工具按需检索画面、音频与字幕,替代固定帧率的静态处理。
推荐理由:原文给出了成本、token 与准确率三项量化变化及启用方式,读者可据此评估它对长视频分析工作流的实际影响。
Google Research 介绍 Google Earth AI 的实验性能力 planetary prediction engine(PPE),可从自然语言查询出发自主完成数据发现、特征工程、模型训练与评估,把复杂地理空间预测模型的构建时间从数周缩短到数分钟。
推荐理由:原文给出了三阶段架构与四类任务的具体指标,读者可据此判断自动化地理空间建模相对人工流程的实际增益。
Google DeepMind 宣布推出 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 面向开发者开放,使 Omni 1.1 达到可用于专业生产的状态。
推荐理由:原文列出了场景延展、首尾帧插值、360p 快速原型和 4K 升档等具体能力与参数,可据此评估其对生成视频工作流的改动。
Google Research 推出自监督连续血糖监测(CGM)基础模型 GlucoFM,采用双流设计分离慢速血糖趋势与短期偏差。在 4 个队列、7 项临床预测任务共 14 项评测中,其平均 PR-AUC 达 58.8,较同语料预训练的 GluFormer 最优变体高 5.8 个百分点。
Google DeepMind 发布语音转写模型 Gemini 3.5 Transcribe,可将原始音频直接转为准确、格式化的文本,已在 Gemini app 和 Android 的 Rambler 等功能中使用,现通过 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 向开发者开放。
推荐理由:原文给出了 WER、延迟等量化指标和 Chirp 3 对比,读者可据此评估其在真实场景的可用性。
Google Research 在 CHI 2026 发布研究原型 AgentHands,为 Android XR 等沉浸式平台的 AI 智能体生成与语音同步的共语手势,将 LLM 的高层推理映射为实时手部动作。
Google Research 推出 Biomarker Discovery Framework,一个在人类监督下把候选生物标志物优先级排序组织成迭代研究循环的多智能体系统,结合假设生成、并行统计分析、模型训练、对抗验证与文献推理,在三个队列共 9,279 参与者观测上识别出 41 个心理健康和 25 个代谢结局的候选数字生物标志物。
Google DeepMind 发布文章回顾自 2010 年以来以游戏推动 AI 研究的历程,从 DQN 玩 Atari、AlphaGo、AlphaZero、MuZero 到 AlphaStar 达到 StarCraft II 大师级,并指出这些基础最终支撑了 AlphaFold 解决蛋白质结构预测难题。
Google Research 提出 ME-POIs 框架,将匿名移动模式作为输入特征融入语言模型的地点表示,在未见地点上将访问意图预测相对提升 81.9%、价格等级分类提升 75.1%、繁忙度估计准确率提升 24.7%。该框架通过访问对齐、空间多尺度访问传播和文本-移动性协同三步流程,将 Gemini 等模型的语言嵌入与移动性向量对齐,并用邻近繁忙地点的访问模式缓解数据稀疏的长尾问题。
Google Research 推出研究性深度学习框架 PhotoScan,可直接从标准 2D 智能手机照片估算体脂率(BF%)、A/G 比率和 V/S 比率等三维身体成分指标。
OlmoEarth Studio 新增嵌入向量计算与导出功能,用户可通过 UI 或 API 选择区域、时间范围、编码器变体、分辨率和影像源,导出 int8 量化的 Cloud-Optimized GeoTIFF。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,图像与视频生成工具也难以在动作序列中稳定保持拓扑关系。
Google DeepMind 发布多语言手语转文字(SL2T)模型,率先在 Pixel 11 的 Gboard 和 Live Transcribe 中提供美式手语(ASL)转英文的签名输入功能,后续将支持更多设备与语言。
推荐理由:原文交代了手语翻译相比语音转写的两类核心难点,以及用姿态关键点替代原始视频的隐私设计,便于理解该模型的技术取舍。
Google Research 发布基于 Gemini 和 Project Astra 构建的 AMIE (Video),可进行同步临床视频问诊,实时感知非语言线索、引导模拟体格检查并完成诊断推理。
推荐理由:原文给出了三智能体架构与随机对照研究设计,读者可据此理解音视频临床问诊如何兼顾实时对话与深度推理。
微软研究院发布研究模型 CARE-X,一个统一胸部 X 光视觉语言模型,同时支持报告生成与结构化预测,并用强化学习(DAPO)在多任务设置下奖励临床正确性。该模型在印度 Narayana Health 的真实临床数据上验证,覆盖罕见 ICU 病理与 CT 确认的增大类病变。
Meta 发布 Muse Glimmer-30B,一款从 Muse 蒸馏至 30B 参数、采用 Apache 2.0 许可的多模态模型,面向本地智能体用例,适用于编码、文档分析、个人助手等注重隐私的场景。
推荐理由:原文给出架构细节与部署入口,读者可据此判断本地智能体场景下的落地成本与可行性。
Google DeepMind 在 Nature 发文称其 WeatherNext AI 模型在气旋路径、强度和风场结构预测上达到 SOTA,三天预报精度相当于旧模型的两天,领先幅度超过 24 小时,约相当于十年气象学进展。
推荐理由:原文给出了模型在低分辨率下取得高精度这一反直觉发现及其开放权重的入口,读者可据此评估其对现有预报工作流的可迁移价值。
Mistral AI 以 Apache 2.0 协议开源 3B 多模态安全分类模型 Shieldstral,它把内容审核建模为二元问答任务,推理时用自然语言写入策略即可返回校准的连续安全分数,无需重训,统一处理文本与图像。
推荐理由:原文说明了把内容审核改写成自然语言问答的做法,读者可据此理解它如何在不重训的前提下适配不同产品策略。
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2,可作为机器人的高层大脑进行对话、理解物理世界并规划多步任务,再将运动执行交给下层 VLA 模型。
推荐理由:原文给出进度分类与关键时刻定位的具体指标,读者可据此理解视频理解如何转化为机器人任务编排能力。
Google DeepMind 宣布音乐生成模型 Lyria 3.5 今日在 Google Flow Music 上线。新版本在音乐性、歌词、人声和创作控制四方面升级:可生成更丰富自然的旋律结构,歌词质量与提示词遵循度和结构意识提升,人声更真实且情感更细腻、发音更清晰,并支持更方便地控制输出的节奏和时长。
Google DeepMind 发布 Gemini Robotics 2,包含三个模型:Gemini Robotics 2 视觉-语言-动作(VLA)模型可控制整个人形机器人从脚到指尖的全身动作并实现双手灵巧操作。
推荐理由:原文拆解了三个模型的分工与开放入口,读者可据此判断机器人智能如何从上半身扩展到全身控制。
NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 加速推理库提供服务,在单张 NVIDIA RTX PRO 6000 GPU 上从约 10 fps 提升到约 160 fps 的交互运行。
ChatGPT 推出 Health 功能,符合条件的美国用户可安全连接医疗记录和 Apple Health,以获得更个性化的健康洞察并更好地了解自身健康状况。
Google Research 发布论文 SymptomAI,介绍一项 n=13,917 的随机全美研究,参与者向五种不同问诊策略的 Gemini Flash 2.0 SymptomAI 智能体描述症状并获得鉴别诊断(DDx)。
推荐理由:研究给出了万人规模真实问诊对照与可穿戴数据交叉验证方法,可参考其评估设计思路。
Google DeepMind 在 DOE Genesis Mission Summit 2026 上宣布向 Genesis Mission 承诺 4000 万美元的 AI tokens 和云额度,支持美国科研人员。
DharmaOCR 在葡萄牙语专用 benchmark 上以 0.925 分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587,后两者分别落后约 13 分和 16 分以上。
Hugging Face 上线 Thinking Machines Lab 的 Inkling 系列开源多模态模型,Inkling 为 975B 总参数、41B 激活参数的 decoder-only MoE 模型,原生支持图像、文本、音频输入与 1M 上下文,在 45 trillion token 上训练。
推荐理由:原文给出架构细节与各部署配置的显存开销,读者可据此判断自己硬件能否跑起来。
Google DeepMind 联合 Atal Innovation Mission 上线 ATL Saathi 实时试点,这是一款由 Gemini 驱动的 Web 应用,为印度 Atal Tinkering Labs 教师提供 24/7 备课与培训助手。
Google Research 发布大型传感器基础模型 SensorFM,用 500 万名同意参与者、超过 1 万亿分钟的多模态传感器信号做自监督预训练,学习可迁移到心血管、代谢、睡眠和心理健康的通用生理表征。
推荐理由:原文给出了预训练规模与下游任务收益的对应关系,读者可据此判断通用表征在可穿戴健康场景的迁移空间。
Mistral AI 发布首个面向具身导航的 8B 模型 Robostral Navigate,仅用单个普通 RGB 相机(无深度传感器或 LiDAR)即可让机器人自主导航,在 R2R-CE validation unseen 上取得 76.6% 成功率,validation seen 为 79.4%,比最佳单相机方案高 9.7 点、比使用深度或多相机的最佳系统高 4.5 点。
Google Research 在 Nature Cities 发表研究,通过修改 Google Maps 算法在美国 10 个大城市进行为期六个月的实验,仅改变不到 2% 的行程路线,就使目标路段车速中位数提升约 2%、燃油消耗率中位数下降 0.5% 至 1.0%。
Google DeepMind 与 A24 宣布建立首个研究合作伙伴关系,双方将围绕多个项目展开长期深度研发合作,帮助创作者开发新的工作流与技术。Google 同时对 A24 进行了投资。合作初期聚焦于弥合前沿技术与下一代娱乐的差距,具体目标与技术产出将随时间演进。
Google Research 发布覆盖 50+ 全球城市、9 个国家的建筑级屋顶反照率数据集,并上线高分辨率 Heat Resilience Earth Engine App 供公众使用。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)图像模型与 Gemini Omni Flash(gemini-omni-flash-preview)视频生成与对话式编辑模型。
推荐理由:原文给出了两款模型的定位分工与串联用法,读者可据此判断如何组合图像与视频生成搭建工作流。
OpenAI 推出 GeneBench-Pro,一个用于测试 AI 在基因组学、生物学和科研领域表现的新基准,采用复杂的真实世界数据集。
Hugging Face 推出 DiScoFormer(Density and Score Transformer),单次前向即可从数据点同时估计分布的密度与 score,无需针对新分布重训。
Mistral 发布 Mistral OCR 4 文档解析模型,除提取文本外还返回 bounding boxes、块类型分类和逐页逐词置信度分数,支持 170 种语言、10 个语系,可单容器自托管部署。
推荐理由:原文给出基准分数与已知评分缺陷的对照,读者可据此判断该模型在真实文档场景中的可用边界。
PaddleOCR 发布 PP-OCRv6,提供 tiny、small、medium 三档模型,参数量从 1.5M 到 34.5M,small 与 medium 档支持 50 种语言(含简体中文、繁体中文、英文、日文及 46 种拉丁字母语言)。
研究人员使用 OpenAI 的推理模型辅助诊断罕见遗传病,在此前未解决的病例中识别出 18 例新诊断。该研究展示了 AI 推理模型在儿童罕见遗传疾病诊断中的应用价值。
Google DeepMind 与英国政府、Google Cloud、Faculty 及 Barnet、Dorset、Camden 三地规划部门合作,推出基于 Gemini 的 AI 规划审批原型,目标把房主规划申请的决策时间缩短 50%。