跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 21–40 条 · 共 44 条
7月9日周四
  1. Google Research62

    Google Research 发布 SensorFM 可穿戴健康数据基础模型

    Google Research 发布大型传感器基础模型 SensorFM,用 500 万名同意参与者、超过 1 万亿分钟的多模态传感器信号做自监督预训练,学习可迁移到心血管、代谢、睡眠和心理健康的通用生理表征。

    推荐理由:原文给出了预训练规模与下游任务收益的对应关系,读者可据此判断通用表征在可穿戴健康场景的迁移空间。

7月1日周三
6月23日周二
  1. Mistral AI62

    Mistral 发布 OCR 4 文档解析模型

    Mistral 发布 Mistral OCR 4 文档解析模型,除提取文本外还返回 bounding boxes、块类型分类和逐页逐词置信度分数,支持 170 种语言、10 个语系,可单容器自托管部署。

    推荐理由:原文给出基准分数与已知评分缺陷的对照,读者可据此判断该模型在真实文档场景中的可用边界。

6月9日周二
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate,支持 70+ 语言近实时语音到语音翻译,可自动检测语言并保留说话者的语调、节奏和音高,持续生成语音且仅比说话者落后几秒。

    推荐理由:原文说明了从五种语言到 70+ 语言的跨度变化,读者可据此判断它对会议翻译场景的实际影响。

6月5日周五
  1. Google Research70

    Google Research 发表 Nature 论文:用智能手机前置摄像头被动监测心率

    Google Research 在 Nature 发表论文介绍 PHRM 系统,可在日常使用手机时通过前置摄像头在人脸解锁后拍摄视频,被动估计心率与静息心率,心率 MAPE < 10%,日均静息心率相对可穿戴设备 MAE < 5 bpm。

    推荐理由:原文给出了跨肤色非劣性标准与真实场景验证方法,可迁移用于评估rPPG类健康监测模型的公平性。

5月29日周五
  1. Google Research67

    Google Research 发布 I/O 2026 研究成果综述

    Google Research 发布 I/O 2026 综述,介绍其在科学发现、健康、边缘计算、天气预测、Gemini 核心能力、开发者生产力、隐私保护和量子计算等方向的研究与产品进展。

    推荐理由:官方长文系统梳理了研究到产品的转化路径,读者可据此理解其各条线的布局重点。

5月18日周一
  1. Google DeepMind84

    Google DeepMind 发布 Gemini Omni Flash 视频生成模型

    Google DeepMind 发布 Omni 家族首个模型 Gemini Omni Flash,可将图像、音频、视频和文本组合作为输入,生成基于 Gemini 真实世界知识的高质量视频,并支持通过自然语言对话编辑视频,每次指令在上一次基础上延续,保持角色一致和场景记忆。

    推荐理由:原文说明了 Omni 与 Gemini 推理能力的结合方式和开放入口,读者可据此判断它会怎样改变视频创作工作流。

5月17日周日
  1. Google DeepMind69

    Google DeepMind 扩展 SynthID 与 C2PA 内容透明与验证工具

    Google DeepMind 宣布在 Search、Gemini、Chrome、Pixel 和 Cloud 扩展内容透明与验证工具:SynthID 已为超过 100 billion 张图片视频和 60,000 年音频加水印,Gemini app 的 SynthID 验证已被使用 50 million 次,现扩展到 Search 并将在数周内进入 Chrome。

    推荐理由:原文列出了 SynthID 与 C2PA 在多产品线的落地节奏和采用规模,可据此判断内容溯源工具的普及路径。

5月16日周六
  1. Google DeepMind74

    Google DeepMind 复盘 WeatherNext 助力 NHC 提前五天预测飓风 Melissa 登陆牙买加

    Google DeepMind 复盘其 AI 气象模型 WeatherNext 如何帮助美国国家飓风中心(NHC)提前五天以 80% 置信度预测飓风 Melissa 将以 Category 5 强度登陆牙买加,三天前该置信度升至接近 100%,这是首次从 Category 1 风速起报成功预测风暴达到 Category 5 强度。

    推荐理由:原文回顾了 WeatherNext 在一次真实飓风中的预测表现与协作过程,读者可据此理解 AI 气象模型如何进入官方预报流程。

5月12日周二
  1. Google DeepMind74

    Google DeepMind 推出 Co-Scientist 多智能体科研系统并开放 Hypothesis Generation 工具

    Google DeepMind 在 Nature 发表 Co-Scientist 研究,并推出基于 Gemini 的多智能体系统 Hypothesis Generation,面向个人研究者开放注册,将在未来几周内逐步推出。

    推荐理由:原文给出了多智能体分工、验证算力占比和多个已落地案例,读者可据此判断它如何嵌入真实科研流程。

4月30日周四
  1. Google DeepMind74

    Google DeepMind 推出 AI co-clinician 医疗研究计划

    Google DeepMind 宣布推出 AI co-clinician 研究计划,探索在医生临床监督下由 AI 智能体辅助患者的三方诊疗模式。在 98 个真实初级医疗查询的盲测中,该系统在 97 例里零关键错误,医生在对照评估中更偏好其回答;在 OpenFDA RxQA 药物问答基准上,开放式提问场景表现超过其他前沿模型。

    推荐理由:原文给出了评测方法与具体结果,读者可据此判断该系统当前能力边界与适用场景。

4月23日周四
4月16日周四
4月13日周一
4月3日周五
3月18日周三
3月17日周二