技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
139 条精选近 30 天 19 条共收录 560 条
Google DeepMind 发布语音转写模型 Gemini 3.5 Transcribe，可将原始音频直接转为准确、格式化的文本，已在 Gemini app 和 Android 的 Rambler 等功能中使用，现通过 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 向开发者开放。
推荐理由：原文给出了 WER、延迟等量化指标和 Chirp 3 对比，读者可据此评估其在真实场景的可用性。
Google DeepMind 发布多语言手语转文字（SL2T）模型，率先在 Pixel 11 的 Gboard 和 Live Transcribe 中提供美式手语（ASL）转英文的签名输入功能，后续将支持更多设备与语言。
推荐理由：原文交代了手语翻译相比语音转写的两类核心难点，以及用姿态关键点替代原始视频的隐私设计，便于理解该模型的技术取舍。
Google Research 发布基于 Gemini 和 Project Astra 构建的 AMIE (Video)，可进行同步临床视频问诊，实时感知非语言线索、引导模拟体格检查并完成诊断推理。
推荐理由：原文给出了三智能体架构与随机对照研究设计，读者可据此理解音视频临床问诊如何兼顾实时对话与深度推理。
Meta 发布 Muse Glimmer-30B，一款从 Muse 蒸馏至 30B 参数、采用 Apache 2.0 许可的多模态模型，面向本地智能体用例，适用于编码、文档分析、个人助手等注重隐私的场景。
推荐理由：原文给出架构细节与部署入口，读者可据此判断本地智能体场景下的落地成本与可行性。
Google DeepMind 在 Nature 发文称其 WeatherNext AI 模型在气旋路径、强度和风场结构预测上达到 SOTA，三天预报精度相当于旧模型的两天，领先幅度超过 24 小时，约相当于十年气象学进展。
推荐理由：原文给出了模型在低分辨率下取得高精度这一反直觉发现及其开放权重的入口，读者可据此评估其对现有预报工作流的可迁移价值。
Mistral AI 以 Apache 2.0 协议开源 3B 多模态安全分类模型 Shieldstral，它把内容审核建模为二元问答任务，推理时用自然语言写入策略即可返回校准的连续安全分数，无需重训，统一处理文本与图像。
推荐理由：原文说明了把内容审核改写成自然语言问答的做法，读者可据此理解它如何在不重训的前提下适配不同产品策略。
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2，可作为机器人的高层大脑进行对话、理解物理世界并规划多步任务，再将运动执行交给下层 VLA 模型。
推荐理由：原文给出进度分类与关键时刻定位的具体指标，读者可据此理解视频理解如何转化为机器人任务编排能力。
Google DeepMind 发布 Gemini Robotics 2，包含三个模型：Gemini Robotics 2 视觉-语言-动作（VLA）模型可控制整个人形机器人从脚到指尖的全身动作并实现双手灵巧操作。
推荐理由：原文拆解了三个模型的分工与开放入口，读者可据此判断机器人智能如何从上半身扩展到全身控制。
Google Research 发布论文 SymptomAI，介绍一项 n=13,917 的随机全美研究，参与者向五种不同问诊策略的 Gemini Flash 2.0 SymptomAI 智能体描述症状并获得鉴别诊断（DDx）。
推荐理由：研究给出了万人规模真实问诊对照与可穿戴数据交叉验证方法，可参考其评估设计思路。
Hugging Face 上线 Thinking Machines Lab 的 Inkling 系列开源多模态模型，Inkling 为 975B 总参数、41B 激活参数的 decoder-only MoE 模型，原生支持图像、文本、音频输入与 1M 上下文，在 45 trillion token 上训练。
推荐理由：原文给出架构细节与各部署配置的显存开销，读者可据此判断自己硬件能否跑起来。
Google Research 发布大型传感器基础模型 SensorFM，用 500 万名同意参与者、超过 1 万亿分钟的多模态传感器信号做自监督预训练，学习可迁移到心血管、代谢、睡眠和心理健康的通用生理表征。
推荐理由：原文给出了预训练规模与下游任务收益的对应关系，读者可据此判断通用表征在可穿戴健康场景的迁移空间。
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）图像模型与 Gemini Omni Flash（gemini-omni-flash-preview）视频生成与对话式编辑模型。
推荐理由：原文给出了两款模型的定位分工与串联用法，读者可据此判断如何组合图像与视频生成搭建工作流。
Mistral 发布 Mistral OCR 4 文档解析模型，除提取文本外还返回 bounding boxes、块类型分类和逐页逐词置信度分数，支持 170 种语言、10 个语系，可单容器自托管部署。
推荐理由：原文给出基准分数与已知评分缺陷的对照，读者可据此判断该模型在真实文档场景中的可用边界。
Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70+ 语言近实时语音到语音翻译，可自动检测语言并保留说话者的语调、节奏和音高，持续生成语音且仅比说话者落后几秒。
推荐理由：原文说明了从五种语言到 70+ 语言的跨度变化，读者可据此判断它对会议翻译场景的实际影响。
Google DeepMind 发布 Gemma 4 12B，定位为可在 16GB RAM 消费级笔记本本地运行的智能体多模态模型，是该系列首个支持原生音频输入的中等规模模型。
推荐理由：原文说明了无编码器架构如何省下延迟与显存，读者可据此判断本地多模态部署的可行性。
Hugging Face 博客展示了作者让一个编码 Agent 通过直接调用两个 Hugging Face Spaces 构建 3D 巴黎地标展馆的全过程，作者全程未手动使用图像生成器或 3D 重建工具。
推荐理由：通过一个可复现的实例展示了 agents.md 让 Space 变成可调用积木，读者可据此理解多媒体工作流的组装方式。
Google Research 在 Nature 发表论文介绍 PHRM 系统，可在日常使用手机时通过前置摄像头在人脸解锁后拍摄视频，被动估计心率与静息心率，心率 MAPE < 10%，日均静息心率相对可穿戴设备 MAE < 5 bpm。
推荐理由：原文给出了跨肤色非劣性标准与真实场景验证方法，可迁移用于评估rPPG类健康监测模型的公平性。
NVIDIA 发布 Nemotron 3.5 Content Safety，基于 Gemma 3 4B IT 微调，将多模态输入、多语言覆盖、自定义企业策略执行与可审计推理统一到单次推理调用中。
推荐理由：原文逐项说明了 3.5 相对 3 的能力变化与设计取舍，读者可据此判断自定义策略与推理轨迹如何接入生产管线。
Google Research 发布 I/O 2026 综述，介绍其在科学发现、健康、边缘计算、天气预测、Gemini 核心能力、开发者生产力、隐私保护和量子计算等方向的研究与产品进展。
推荐理由：官方长文系统梳理了研究到产品的转化路径，读者可据此理解其各条线的布局重点。
Google DeepMind 发布 Omni 家族首个模型 Gemini Omni Flash，可将图像、音频、视频和文本组合作为输入，生成基于 Gemini 真实世界知识的高质量视频，并支持通过自然语言对话编辑视频，每次指令在上一次基础上延续，保持角色一致和场景记忆。
推荐理由：原文说明了 Omni 与 Gemini 推理能力的结合方式和开放入口，读者可据此判断它会怎样改变视频创作工作流。