跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

139 条精选近 30 天 16 条共收录 573 条

更新

精选归档 · 第 4 页

5月17日周日第 61–80 条
  1. Google DeepMind69

    Google DeepMind 扩展 SynthID 与 C2PA 内容透明与验证工具

    Google DeepMind 宣布在 Search、Gemini、Chrome、Pixel 和 Cloud 扩展内容透明与验证工具:SynthID 已为超过 100 billion 张图片视频和 60,000 年音频加水印,Gemini app 的 SynthID 验证已被使用 50 million 次,现扩展到 Search 并将在数周内进入 Chrome。

    推荐理由:原文列出了 SynthID 与 C2PA 在多产品线的落地节奏和采用规模,可据此判断内容溯源工具的普及路径。

5月16日周六
  1. Google DeepMind74

    Google DeepMind 复盘 WeatherNext 助力 NHC 提前五天预测飓风 Melissa 登陆牙买加

    Google DeepMind 复盘其 AI 气象模型 WeatherNext 如何帮助美国国家飓风中心(NHC)提前五天以 80% 置信度预测飓风 Melissa 将以 Category 5 强度登陆牙买加,三天前该置信度升至接近 100%,这是首次从 Category 1 风速起报成功预测风暴达到 Category 5 强度。

    推荐理由:原文回顾了 WeatherNext 在一次真实飓风中的预测表现与协作过程,读者可据此理解 AI 气象模型如何进入官方预报流程。

5月12日周二
  1. Google DeepMind74

    Google DeepMind 推出 Co-Scientist 多智能体科研系统并开放 Hypothesis Generation 工具

    Google DeepMind 在 Nature 发表 Co-Scientist 研究,并推出基于 Gemini 的多智能体系统 Hypothesis Generation,面向个人研究者开放注册,将在未来几周内逐步推出。

    推荐理由:原文给出了多智能体分工、验证算力占比和多个已落地案例,读者可据此判断它如何嵌入真实科研流程。

4月30日周四
  1. Google DeepMind74

    Google DeepMind 推出 AI co-clinician 医疗研究计划

    Google DeepMind 宣布推出 AI co-clinician 研究计划,探索在医生临床监督下由 AI 智能体辅助患者的三方诊疗模式。在 98 个真实初级医疗查询的盲测中,该系统在 97 例里零关键错误,医生在对照评估中更偏好其回答;在 OpenFDA RxQA 药物问答基准上,开放式提问场景表现超过其他前沿模型。

    推荐理由:原文给出了评测方法与具体结果,读者可据此判断该系统当前能力边界与适用场景。

4月28日周二
  1. Hugging Face Blog74

    NVIDIA 发布 Nemotron 3 Nano Omni 多模态理解模型

    NVIDIA 发布 Nemotron 3 Nano Omni,一个面向文档分析、多图推理、语音识别、长音视频理解与智能体计算机使用的全模态理解模型,已在 Hugging Face 开放 BF16、FP8 和 NVFP4 权重。

    推荐理由:原文给出架构细节、训练配方与多组基准对比,读者可据此评估它在文档、音视频与智能体场景的可用性。

4月23日周四
4月16日周四
4月13日周一
4月9日周四
4月3日周五
  1. Google DeepMind83

    Google DeepMind 发布开源模型 Gemma 4 系列

    Google DeepMind 发布 Gemma 4 开源模型系列,采用 Apache 2.0 许可,包含 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,主打推理与智能体工作流。

    推荐理由:原文给出了各尺寸的硬件适配与开源许可细节,读者可据此判断本地部署和微调的可行路径。

4月2日周四
  1. Hugging Face Blog88

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 Hugging Face 上发布 Gemma 4 多模态模型家族,采用 Apache 2 许可,共五个尺寸(E2B、E4B、12B Unified、31B、26B A4B MoE),均提供 base 与 IT 检查点,支持图像、文本输入,小尺寸与 12B Unified 还支持音频。

    推荐理由:原文列出五档尺寸、架构取舍与各基准分数,读者可据此判断端侧与 MoE 方案的实际取舍。

4月1日周三
  1. Hugging Face Blog65

    Falcon Perception 发布:0.6B 早融合模型与 Falcon OCR

    TII 发布 Falcon Perception,一个 0.6B 参数的早融合 Transformer,用单一骨干处理图像块与文本,通过混合注意力掩码和 Chain-of-Perception 结构化接口(<coord> → <size> → <seg>)实现开放词表定位与分割。

    推荐理由:原文拆解了早融合单干设计与三阶段训练配方,读者可据此判断它与视觉编码器加文本解码器路线的取舍依据。

3月18日周三
3月17日周二
3月12日周四
3月9日周一
  1. Hugging Face Blog62

    LeRobot v0.5.0 发布:首个 Unitree G1 人形支持与六项新策略

    LeRobot v0.5.0 发布,自 v0.4.0 起合并 200 多个 PR、新增 50 多位贡献者,新增完整 Unitree G1 人形支持(含运动、操作、遥操作与全身控制)、OpenArm 与 Earth Rover 等硬件,以及 Pi0-FAST 自回归 VLA、Real-Time Chunking、Wall-X、X-VLA、SARM 和 PEFT 支持等六项策略。

    推荐理由:原文逐项列出了硬件、策略、数据与环境四条线的能力变化,读者可据此判断这次版本更新会怎样扩展可支持的机器人与训练流程。

2月27日周五
  1. Google DeepMind75

    Google DeepMind 发布图像模型 Nano Banana 2(Gemini 3.1 Flash Image)

    Google DeepMind 发布最新图像生成模型 Nano Banana 2(Gemini 3.1 Flash Image),将 Nano Banana Pro 的世界知识、质量与推理能力带到 Flash 速度,支持最多 5 个角色的主体一致性、14 个物体的保真度、512px 到 4K 的分辨率控制,以及基于网页搜索的实时信息 grounding。

    推荐理由:原文列出了从 Pro 下放的能力和各产品线的落地入口,读者可据此判断它会怎样改变现有图像工作流。