跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

139 条精选近 30 天 19 条共收录 560 条

更新

多模态的精选

11月13日周五第 1–20 条
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Hydrogen 模型

    Google DeepMind 发布 Gemini 4 Hydrogen,面向日常编码与智能体工作流,强调快速执行,同时覆盖 Google AI Studio、Gemini API、Gemini for business、Gemini app、Google Search 及付费 Google AI Pro 和 Ultra 订阅者。

    推荐理由:原文给出定价、基准分数与安全指标,读者可据此判断它在多模型工作流中如何与 Carbon、Argon 分工。

11月11日周三
  1. Google DeepMind74

    Google DeepMind 发布 DNA 序列模型 AlphaGenome 2

    Google DeepMind 宣布发布下一代 DNA 序列模型 AlphaGenome 2,可预测 DNA 序列及其变异对特定人类细胞类型的影响。该模型改为条件化架构,一次针对一个组织、细胞类型或状态进行预测,训练数据涵盖 68 个组织、超过 1.07 亿个单细胞图谱。

    推荐理由:原文给出条件化架构改造与 TenK10K 上的召回对比,读者可据此判断细胞类型特异性预测相比上一代的实际提升幅度。

11月10日周二
  1. Google DeepMind74

    Google DeepMind 开源 WeatherNext 3 背后的 SatWeave 与 PARDIG 数据集

    Google DeepMind 宣布开源支撑 WeatherNext 3 的两个基础数据集 SatWeave 与 PARDIG,历史存档与实时数据流已在 Google Cloud Storage 开放,PARDIG 历史目录也上架 Google Earth Engine。

    推荐理由:原文说明了两个数据集的构成与评测口径,读者可据此判断它们对天气水文建模的可用性。

11月6日周五
  1. Latent Space78

    Thinking Machines 发布 Inkling 2 Small:594B 总参数多模态 MoE,68 小时完成预训练

    Thinking Machines 发布 Inkling 2 Small,一个 594B 总参数 / 17B 激活参数的多模态 MoE 模型,支持文本与图像输入、文本输出,具备原生视觉能力,上下文窗口和最大输出均为 1M tokens,现已在 Tinker 和 Tinker Playground 上开放微调与推理,Apache 2.0 权重将在外部安全测试完成后于下周发布。

    推荐理由:原文汇总了训练成本、独立评测与安全披露,读者可据此判断这款开源权重模型的真实定位与短板。

  2. Hugging Face Blog62

    NVIDIA 为 Cosmos 3 开源模型家族新增四个交互式世界仿真检查点

    NVIDIA 为 Cosmos 3 模型家族新增四个开源权重检查点,用于生成交互式世界仿真和多传感器多视角驾驶场景:Cosmos3-Nano-Transfer-Auto 生成多视角驾驶数据。

    推荐理由:四个检查点分别对应驾驶数据生成、流式仿真、模拟器渲染和双臂机器人动作预测,读者可据此判断各自适配的落地场景。

10月28日周三
  1. Hugging Face Blog76

    NVIDIA 发布 Nemotron 3.5 Transcribe 开源语音模型与 Granary v2 数据管线

    NVIDIA 发布开源权重语音模型 Nemotron 3.5 Transcribe,将转写、说话人分离、翻译和音频问答整合到单一 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人归属,可处理最长一小时录音并标注最多 8 位说话人,现已在 Hugging Face 和 ModelScope 开放。

    推荐理由:原文给出榜单成绩与微调配方,读者可据此判断该模型在多语种转写与说话人分离上的可用性。

  2. Hugging Face Blog74

    Liquid AI 发布 LFM3 系列:单一骨干衍生六款 2B 级多模态模型

    Liquid AI 发布新一代 LFM3 系列,以 LFM3-1.7B-Base 为共享骨干衍生出文本、视觉、音频、omni 和决策共六款 2B 级模型,全部开源并可在 Hugging Face 下载。

    推荐理由:原文给出架构改动、基准对比和微调入口,读者可据此评估 2B 级模型能否替代自己的通用大模型。

10月24日周六
10月23日周五
  1. TechCrunch · AI78

    OpenAI 将 Decisions API 全量开放,与 TypeSafe Jev 展开决策模型竞争

    OpenAI 首次向所有客户开放 Decisions API,该产品基于 ChatGPT Luna 重新配置以提升推理速度并降低成本,将响应时间从 1 到 3 秒压缩到 100、120、180 毫秒,并新增语音和视觉模态。

    推荐理由:原文对比了 OpenAI 与 TypeSafe Jev 在速度、成本和基准上的差异,读者可据此判断决策模型这一新品类的竞争格局。

10月22日周四
  1. Google Research65

    Google Research 发表 JAMA Network Open 论文:AI 盲扫超声估算孕周精度媲美专家

    Google Research 在 JAMA Network Open 发表论文,评估其 AI 孕周估算系统在芝加哥 Northwestern Medicine 与肯尼亚内罗毕 Jacaranda Health 两处临床环境中的泛化表现。

    推荐理由:研究展示了AI在真实临床环境中跨硬件、跨地区的泛化能力,为低资源地区扩大产前超声覆盖提供了可参考的验证路径。

10月21日周三
10月20日周二
  1. Hugging Face Blog67

    Hugging Face 推出 TorchTPU,让 TPU 成为 PyTorch 原生设备

    Hugging Face 发布 TorchTPU,一个把 TPU 作为 PyTorch 原生后端的项目,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,只需 device_map="tpu" 即可加载模型,不再依赖 torch_xla 或 Optimum TPU。

    推荐理由:原文给出了从 torch_xla 迁移到原生后端的具体改动和实测加速数字,读者可据此评估 TPU 工作流的实际收益。

10月16日周五
  1. Hugging Face Blog78

    Meta 发布开源多模态 MoE 模型 Muse Spark Open

    Meta 发布开源权重多模态模型 Muse Spark Open,约 816B 总参数、每 token 约 42B 激活参数,上下文窗口达 1M tokens,支持文本、图像、音频、视频输入与文本输出,面向 agentic coding 场景。

    推荐理由:原文给出完整架构参数与多框架部署配方,读者可据此评估自托管该模型的资源门槛与可行路径。

10月15日周四
  1. NVIDIA Blog72

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源模型

    NVIDIA 发布开源 1200 亿参数模型 Nemotron 3.5 Super VL,以及面向边缘的 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB 两款模型,覆盖从企业服务器到本地设备的智能体部署。

    推荐理由:原文给出了三档模型的参数、显存与部署入口,读者可据此判断从数据中心到本地设备的选型路径。

  2. Hugging Face Blog62

    Apertus 1.5 发布:8B 与 70B 模型新增多模态理解与思考模式

    Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍更长的上下文窗口(262,144 tokens)、改进的指令遵循与工具使用,模型权重已于 7 月 24 日以 Apache 2.0 许可发布至 Hugging Face。

    推荐理由:原文详述了从文本模型扩展到多模态的训练配方与各阶段开源产物,便于复现其开放开发路径。

  3. Google Research60

    Google Earth AI 推出 Geospatial Reasoning 智能体并扩大早期访问

    Google Research 将 Geospatial Reasoning 智能体从概念推进为可多步空间推理、并能自主训练预测模型的实验系统,同时发布技术报告、伙伴实测与早期访问入口。

    推荐理由:原文给出了评测设计和伙伴实测细节,读者可据此判断专用工具与规划步骤对空间任务的实际增益。