跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

139 条精选近 30 天 16 条共收录 573 条

更新

精选归档 · 第 6 页

2025年7月17日周四第 101–120 条
  1. Mistral AI60

    Mistral AI 为 Le Chat 推出 Deep Research、语音模式等新功能

    Mistral AI 为 Le Chat 推出一批新功能,包括预览版 Deep Research 模式、基于 Voxtral 的语音模式、由推理模型 Magistral 驱动的多语言 Think 模式、Projects 文件夹,以及与 Black Forest Labs 合作的图像编辑。

    推荐理由:原文逐项说明了新功能的定位与底层模型,读者可据此判断 Le Chat 在研究、语音、推理场景的能力边界。

2025年7月8日周二
  1. Hugging Face Blog74

    Hugging Face 发布开源 3B 模型 SmolLM3:多语言、128k 长上下文与双模式推理

    Hugging Face 发布完全开源的 3B 模型 SmolLM3,包含 Base 与 Instruct/Reasoning 两个版本,用 11.2T tokens 训练,性能超过 Llama-3.2-3B 和 Qwen2.5-3B,并与 4B 级模型(Qwen3、Gemma3)竞争。

    推荐理由:完整公开了三阶段预训练配方与双模式推理的构建方法,可迁移给自建小模型的团队。

2025年6月26日周四
  1. Hugging Face Blog81

    Gemma 3n 在开源生态全面开放可用

    Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama、Google AI Edge 等主流开源库开放可用,原生支持图像、文本、音频和视频输入。

    推荐理由:原文给出了模型规格、显存需求和各库接入方式,读者可据此判断能否在自己的设备上跑起来。

2025年6月3日周二
  1. Hugging Face Blog74

    Hugging Face 发布开源 450M 视觉语言动作模型 SmolVLA

    Hugging Face 发布 SmolVLA-450M,一款 450M 参数的开源视觉语言动作模型,可在消费级硬件上运行,仅用 lerobot 标签下的社区共享数据集预训练,在 LIBERO、Meta-World 仿真及 SO100、SO101 真实任务上超过更大的 VLA 和 ACT 基线。

    推荐理由:原文给出了训练数据规模、架构取舍和异步推理收益,读者可据此评估小模型 VLA 在消费级硬件上的可行性。

2025年4月29日周二
2025年4月5日周六
  1. Hugging Face Blog88

    Hugging Face 迎来 Meta Llama 4 Maverick 与 Scout 模型

    Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub:Maverick 约 400B 总参数、128 专家,Scout 约 109B 总参数、16 专家,均为 17B 激活参数的 MoE 架构,支持文本与图像输入,训练数据最多 40 万亿 token、覆盖 200 种语言。

    推荐理由:原文拆解了 NoPE、分块注意力等架构选择,读者可理解超长上下文如何实现。

2025年3月18日周二
  1. Hugging Face Blog74

    NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1 三项开源成果

    NVIDIA 在 GTC 大会上发布三项面向物理 AI 开发者的开源成果:世界基础模型 Cosmos Transfer、开源数据集 Physical AI Dataset,以及首个通用人形机器人推理开源模型 Isaac GR00T N1。

    推荐理由:梳理了三项开源发布的具体规格与架构细节,便于开发者评估可直接复用的模型与数据资源。

2025年3月17日周一
  1. Mistral AI74

    Mistral AI 发布 Mistral Small 3.1 模型

    Mistral AI 宣布发布 Mistral Small 3.1,基于 Mistral Small 3 升级,改进了文本性能与多模态理解,上下文窗口扩展至 128k tokens,推理速度达 150 tokens per second,以 Apache 2.0 许可开源。

    推荐理由:原文列出了上下文、速度与运行门槛,读者可据此判断它是否适合端侧与低延迟场景。

2025年3月12日周三
  1. Hugging Face Blog84

    Google 发布 Gemma 3:多模态、多语言、128k 上下文的开源 LLM

    Google 发布 Gemma 3 系列开源模型,包含 1B、4B、12B、27B 四种参数规模,提供预训练与指令微调版本,上下文窗口最高达 128k tokens,支持 140+ 语言,4B/12B/27B 版本可处理图文输入。

    推荐理由:原文拆解了长上下文、多模态与多语言三项技术改进的具体做法,便于理解开源模型的能力来源。

2025年3月7日周五
2025年3月4日周二
2025年2月21日周五
  1. Hugging Face Blog65

    Google 发布多模态视觉语言编码器 SigLIP 2

    Google 发布多模态视觉语言编码器家族 SigLIP 2,在 sigmoid loss 基础上加入解码器、Global-Local Loss 和 Masked Prediction Loss 等辅助训练目标,以提升语义理解、定位与稠密特征能力。

    推荐理由:文章拆解了从 SigLIP 到 SigLIP 2 的训练目标演进,读者可据此理解辅助损失如何改进视觉编码器。

2025年2月20日周四
  1. Hugging Face Blog62

    Hugging Face 发布 SmolVLM2 系列视频理解模型

    Hugging Face 发布 SmolVLM2 系列三个新模型,参数量分别为 2.2B、500M 和 256M,主打在手机到服务器等各类设备上运行视频理解。2.2B 版本在 Video-MME 上超过现有 2B 模型,500M 和 256M 版本被称为迄今发布的最小视频语言模型,其中 500M 版本以不到四分之一的参数量接近 2.2B 的视频理解能力。

    推荐理由:原文给出三档参数量、Video-MME 表现和 MLX/Swift 接入方式,读者可据此判断小模型视频理解能否落到自己的设备上。

2025年2月7日周五
2025年1月23日周四
2024年11月18日周一
  1. Mistral AI65

    Mistral AI 为 le Chat 推出 Web 搜索、Canvas、图像生成等 beta 新功能

    Mistral AI 为免费生成式 AI 助手 le Chat 推出一批 beta 新功能,包括带引用的 Web 搜索、用于协作创作与就地编辑的 Canvas、由 Pixtral Large 驱动的文档与图像理解、由 Black Forest Labs Flux Pro 驱动的图像生成,以及可复用提示词的 Agents。

    推荐理由:原文逐项对比了与 ChatGPT、Perplexity、Claude 的功能差异,读者可据此判断其免费 beta 策略的切入点。

  2. Mistral AI75

    Mistral AI 发布 124B 开放权重多模态模型 Pixtral Large

    Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型,含 123B 多模态解码器与 1B 视觉编码器,支持 128K 上下文窗口,可容纳至少 30 张高分辨率图片。

    推荐理由:原文给出了模型结构、上下文窗口和多项基准成绩,读者可据此评估它与闭源前沿模型的差距。

2024年10月22日周二
2024年10月1日周二