跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

139 条精选近 30 天 16 条共收录 573 条

更新

精选归档 · 第 5 页

2月19日周四第 81–100 条
  1. Google DeepMind74

    Gemini 应用上线音乐生成模型 Lyria 3 测试版

    Google DeepMind 宣布其最新生成音乐模型 Lyria 3 在 Gemini 应用中以测试版形式上线,用户可用文字或上传照片、视频在数秒内生成 30 秒带歌词或纯器乐的曲目,并自定义风格、人声和节奏,封面图由 Nano Banana 生成。

    推荐理由:原文说明了 Lyria 3 相对前代的三项能力改进和版权处理方式,可帮助读者判断其可用范围与边界。

1月30日周五
  1. Google DeepMind62

    Google DeepMind 向美国 AI Ultra 用户开放 Project Genie 交互世界原型

    Google DeepMind 宣布向美国 18 岁以上 Google AI Ultra 订阅用户开放 Project Genie,一个基于 Genie 3、Nano Banana Pro 和 Gemini 的实验性研究原型网页应用,可创建、探索和 remix 交互世界。

    推荐理由:原文说明了原型的三项核心能力与已知局限,读者可据此判断世界模型目前能做什么、还做不到什么。

1月14日周三
  1. Google Research74

    Google 发布 MedGemma 1.5 4B 医学多模态模型与 MedASR 医疗语音识别模型

    Google 发布 MedGemma 1.5 4B,支持 CT、MRI、全片病理等高维医学影像解读,以及胸片时序回顾、解剖定位和检验报告结构化抽取,并同步推出面向医疗听写的开源语音识别模型 MedASR。

    推荐理由:原文给出了各医学影像模态的具体基准提升数字,读者可据此判断该模型在实际医疗场景中的可用程度。

2025年12月17日周三
  1. Google DeepMind86

    Google DeepMind 发布 Gemini 3 Flash 模型

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度兼得、成本更低,已在 Gemini API、Google AI Studio、Gemini CLI、Google Antigravity、Vertex AI、Gemini Enterprise 开放预览,并成为 Gemini app 与 Search AI Mode 的默认模型。

    推荐理由:原文给出多项基准分数、定价与速度对比,读者可据此判断它在成本与能力上的取舍位置。

2025年12月11日周四
  1. OpenAI News78

    OpenAI 发布 GPT-5.2

    OpenAI 发布 GPT-5.2,称其是面向日常专业工作的最先进前沿模型,具备 state-of-the-art 的推理、长上下文理解、编码和视觉能力。该模型已在 ChatGPT 和 OpenAI API 中可用,用于驱动更快、更可靠的 agentic workflows。

    推荐理由:官方定位说明它面向日常专业工作,读者可据此判断与既有模型的取舍。

2025年11月25日周二
  1. Google DeepMind63

    AlphaFold 助力解析心脏病关键蛋白 apoB100 结构

    Google DeepMind 宣布借助 AlphaFold,密苏里大学研究者解析了赋予“坏胆固醇”形态的关键蛋白 apoB100 的结构。研究者先用冷冻电镜(cryo-EM)拍摄 LDL 颗粒图像,再用 AlphaFold 生成原子级分辨率预测并对照实验数据精修,得到包裹 LDL 颗粒的笼状外壳及维持颗粒完整的带状结构,为高胆固醇和动脉粥样硬化性心血管疾病的防治提供了新可能。

    推荐理由:原文说明了冷冻电镜与 AlphaFold 结合如何突破 50 年未解的结构难题,读者可了解这一方法的迁移价值。

2025年11月20日周四
2025年11月19日周三
  1. Google Research74

    Google Research 发布端到端实时语音到语音翻译模型

    Google Research 介绍了一种端到端实时语音到语音翻译(S2ST)模型,可保留原说话人声音进行实时翻译,延迟仅 2 秒,而现有级联式方案通常有 4–5 秒延迟并存在误差累积。

    推荐理由:原文对比了级联方案的延迟与误差累积问题,读者可据此理解端到端流式架构带来的改进方向。

  2. Google DeepMind92

    Google DeepMind 发布 Gemini 3 系列模型

    Google DeepMind 发布 Gemini 3,先推出 Gemini 3 Pro preview,并同步上线 Gemini app、AI Studio、Vertex AI、Gemini CLI 及 Search 的 AI Mode,首次在 Search 第一天接入。

    推荐理由:官方给出了各基准的具体分数与开放入口,读者可据此评估其相对 2.5 Pro 的实际提升。

  3. Google Research74

    Google 推出 Generative UI:Gemini 应用与 AI Mode 上线动态界面实验

    Google Research 发布论文并推出 Generative UI,让模型针对任意提示词动态生成网页、游戏、工具和应用等交互界面,该能力以 dynamic view 和 visual layout 两项实验形式在 Gemini 应用上线。

    推荐理由:原文说明了实现所需的三项关键设计和评测对比口径,读者可据此判断生成式 UI 目前的能力边界。

2025年11月13日周四
2025年10月28日周二
2025年10月21日周二
  1. Hugging Face Blog60

    Hugging Face AI Sheets 新增视觉能力,可在表格中提取、生成与编辑图片

    Hugging Face 宣布为开源工具 AI Sheets 加入视觉支持,用户可在表格中直接查看、分析、提取图片信息,生成新图并实时编辑,底层通过 Inference Providers 调用数千个开源模型。

    推荐理由:通过手写食谱的完整示例,读者可以看到从图片抽取到结构化导出的可迁移工作流。

2025年9月30日周二
  1. OpenAI News67

    OpenAI 发布 Sora 2 系统卡

    OpenAI 发布 Sora 2 系统卡,介绍其新一代视频与音频生成模型。Sora 2 在 Sora 基础上引入更准确的物理表现、更强的真实感、同步音频、增强的可控性以及更广的风格范围等此前视频模型难以实现的能力。

  2. OpenAI News60

    OpenAI 以安全为基础推出 Sora 2 与 Sora 应用

    OpenAI 宣布推出 Sora 2 视频模型和 Sora 应用,称针对前沿视频模型与全新社交创作平台带来的新型安全挑战,将安全作为基础,并以具体保护措施作为其做法的锚点。

    推荐理由:官方说明了面向视频模型与社交创作平台的具体安全保护措施,可了解其安全设计思路。

2025年8月7日周四
  1. OpenAI News81

    OpenAI 发布 GPT-5

    OpenAI 宣布推出 GPT-5,称其为迄今最好的 AI 系统,相比此前所有模型在智能上有显著跃升,在编码、数学、写作、健康、视觉感知等多个领域达到 state-of-the-art 表现。