Hugging Face 发布多模态模型 Visual Salamandra 7B
Hugging Face 语言技术实验室发布 Visual Salamandra 7B，将 Salamandra 7B 大语言模型扩展到图像和视频理解，基于 Salamandra Instructed 7B 集成 Google 的 SigLIP-So400m 编码器、2 层 MLP projector 和后期融合技术。
#多模态
Hugging Face BlogAI 评分5151
OpenAI NewsAI 评分1818 ChatGPT 中的视觉与语音功能
ChatGPT 的视觉与语音功能帮助团队处理多模态输入并进行更自然的沟通。
Hugging Face BlogAI 评分5454 Hugging Face 推出阿拉伯语指令跟随榜单并更新 AraGen
Inception 与 MBZUAI 合作推出 Arabic-Leaderboards Space，集中呈现阿拉伯语 AI 评测，目前上线 AraGen-03-25 与 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分1818 Canva 如何用 AI 激发创造力
OpenAI 与 Canva 联合创始人兼首席产品官 Cameron Adams 进行对话，探讨 Canva 如何借助 AI 激发用户的创造力。
Hugging Face Blog精选AI 评分8888 Hugging Face 迎来 Meta Llama 4 Maverick 与 Scout 模型
Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub：Maverick 约 400B 总参数、128 专家，Scout 约 109B 总参数、16 专家，均为 17B 激活参数的 MoE 架构，支持文本与图像输入，训练数据最多 40 万亿 token、覆盖 200 种语言。
推荐理由：原文拆解了 NoPE、分块注意力等架构选择，读者可理解超长上下文如何实现。
Hugging Face Blog精选AI 评分7474 NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1 三项开源成果
NVIDIA 在 GTC 大会上发布三项面向物理 AI 开发者的开源成果：世界基础模型 Cosmos Transfer、开源数据集 Physical AI Dataset，以及首个通用人形机器人推理开源模型 Isaac GR00T N1。
推荐理由：梳理了三项开源发布的具体规格与架构细节，便于开发者评估可直接复用的模型与数据资源。
Mistral AI精选AI 评分7474 Mistral AI 发布 Mistral Small 3.1 模型
Mistral AI 宣布发布 Mistral Small 3.1，基于 Mistral Small 3 升级，改进了文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens per second，以 Apache 2.0 许可开源。
推荐理由：原文列出了上下文、速度与运行门槛，读者可据此判断它是否适合端侧与低延迟场景。
Hugging Face Blog精选AI 评分8484 Google 发布 Gemma 3：多模态、多语言、128k 上下文的开源 LLM
Google 发布 Gemma 3 系列开源模型，包含 1B、4B、12B、27B 四种参数规模，提供预训练与指令微调版本，上下文窗口最高达 128k tokens，支持 140+ 语言，4B/12B/27B 版本可处理图文输入。
推荐理由：原文拆解了长上下文、多模态与多语言三项技术改进的具体做法，便于理解开源模型的能力来源。
Mistral AI精选AI 评分6262 Mistral AI 发布文档理解 OCR API Mistral OCR
Mistral AI 发布 OCR API Mistral OCR，可输入图像和 PDF，按顺序交错提取文本与图像，适合与 RAG 系统配合处理多模态文档。
推荐理由：原文给出基准对比与定价，读者可据此评估它在文档理解任务上替代现有 OCR 方案的空间。
Hugging Face Blog精选AI 评分6464 Cohere For AI 开源 Aya Vision 8B 和 32B 多语言视觉语言模型
Cohere For AI 发布并开源 Aya Vision 8B 和 32B 两个视觉语言模型，覆盖 23 种语言的图像理解与文本生成任务。
推荐理由：原文给出了数据增强与模型合并带来的具体胜率提升，可迁移的多语言多模态训练思路清晰。
OpenAI NewsAI 评分1818 Mercari 借助 GPT-4o mini 和 GPT-4 优化商品列表
Mercari 利用 GPT-4o mini 和 GPT-4 简化卖家流程、优化商品列表并提升销量，通过 AI Listing Support 和 Mercari AI Assistant 等功能改造在线市场体验。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Remote VAEs 远程解码实验功能
Hugging Face 在 Diffusers 中推出实验性 Remote VAEs 功能，把 VAE 解码交给远程 endpoint，缓解高分辨率图像和视频生成时 VAE 解码的显存压力，避免 offload 的传输开销和 tiling 对画质的影响。
Hugging Face Blog精选AI 评分6565 Google 发布多模态视觉语言编码器 SigLIP 2
Google 发布多模态视觉语言编码器家族 SigLIP 2，在 sigmoid loss 基础上加入解码器、Global-Local Loss 和 Masked Prediction Loss 等辅助训练目标，以提升语义理解、定位与稠密特征能力。
推荐理由：文章拆解了从 SigLIP 到 SigLIP 2 的训练目标演进，读者可据此理解辅助损失如何改进视觉编码器。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM2 系列视频理解模型
Hugging Face 发布 SmolVLM2 系列三个新模型，参数量分别为 2.2B、500M 和 256M，主打在手机到服务器等各类设备上运行视频理解。2.2B 版本在 Video-MME 上超过现有 2B 模型，500M 和 256M 版本被称为迄今发布的最小视频语言模型，其中 500M 版本以不到四分之一的参数量接近 2.2B 的视频理解能力。
推荐理由：原文给出三档参数量、Video-MME 表现和 MLX/Swift 接入方式，读者可据此判断小模型视频理解能否落到自己的设备上。
Hugging Face BlogAI 评分5555 Google 发布 PaliGemma 2 mix 指令微调视觉语言模型
Google 发布 PaliGemma 2 mix，即在 OCR、长短描述等多种视觉语言任务上微调的 PaliGemma 2 变体，覆盖 3B、10B、28B 三种尺寸与 224、448 两种分辨率，提供 HF Transformers 和 JAX 权重。
OpenAI NewsAI 评分1515 Wayfair 用 AI 塑造零售业的未来
Wayfair 首席技术官 Fiona Tan 分享了该公司如何用 AI 塑造零售业的未来。
Hugging Face BlogAI 评分4444 Open Arabic LLM Leaderboard 2 发布
Hugging Face 与 2A2I、TII 联合推出 Open Arabic LLM Leaderboard 2（OALL 2），在首版 14 项 benchmark 基础上扩充阿拉伯语方言、领域与真实场景数据集，并提升评测透明度。
Mistral AI精选AI 评分6464 Mistral AI 全新 le Chat 上线：Flash Answers、Pro/Team 套餐与移动端
Mistral AI 发布全新 le Chat，称其响应速度最高约 1000 words/sec（Flash Answers，预览中），并结合 web search 等多源信息给出带引用的回答。
推荐理由：原文逐项列出新能力与开放入口，读者可据此判断它与现有 AI 助手的差异在哪一层。
Hugging Face BlogAI 评分5757 smolagents 新增视觉语言模型支持，可构建能看网页的浏览智能体
Hugging Face 为 smolagents 加入视觉支持，使其能原生使用视觉语言模型（VLM）。图片可在 agent.run() 中一次性传入，也可通过 step_callbacks 回调在每步结束时写入 ActionStep 的 observation_images 动态注入。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布 SmolVLM-256M 与 SmolVLM-500M 视觉语言模型
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M，含 base 与指令微调共四个 checkpoint，可直接通过 transformers、MLX 和 ONNX 加载。
推荐理由：原文对比了视觉编码器与分词优化的取舍，读者可借鉴其在极小模型上做效率权衡的思路。
Mistral AIAI 评分4545 Mistral AI 与法新社（AFP）达成全球合作，Le Chat 接入其新闻内容
Mistral AI 宣布与法新社（AFP）达成全球合作，其 AI 助手 Le Chat 将接入 AFP 的新闻专线内容，使回答基于可靠、及时的信息。Le Chat 将利用 AFP 每日以法语、英语、西班牙语、葡萄牙语、德语和阿拉伯语 6 种语言发布的 2,300 条电讯稿，以及其全球 1,700 名记者的报道。该集成将在未来几周内向所有 Le Chat 用户推出。
Hugging Face BlogAI 评分5858 Hugging Face transformers 推出 TimmWrapper，支持任意 timm 模型
Hugging Face 在 transformers 中推出 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，获得 pipeline 推理、Auto Classes 加载、量化、Trainer 微调与 LoRA 支持。
Hugging Face BlogAI 评分5656 Hugging Face 与 LlamaIndex 发布多语言视觉文档检索模型 vdr-2b-multi-v1
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型，可将文档页面截图编码为单向量表示，无需 OCR 或分块即可检索多语言文档，同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
OpenAI NewsAI 评分3636 用 GPT-4o 视觉微调构建更智能的地图
OpenAI 介绍如何通过 GPT-4o vision fine-tuning（视觉微调）来构建更智能的地图应用。文章围绕 GPT-4o 的视觉微调能力展开，说明其在地图场景中的应用方式。
Mistral AI精选AI 评分6565 Mistral AI 为 le Chat 推出 Web 搜索、Canvas、图像生成等 beta 新功能
Mistral AI 为免费生成式 AI 助手 le Chat 推出一批 beta 新功能，包括带引用的 Web 搜索、用于协作创作与就地编辑的 Canvas、由 Pixtral Large 驱动的文档与图像理解、由 Black Forest Labs Flux Pro 驱动的图像生成，以及可复用提示词的 Agents。
推荐理由：原文逐项对比了与 ChatGPT、Perplexity、Claude 的功能差异，读者可据此判断其免费 beta 策略的切入点。
Mistral AI精选AI 评分7575 Mistral AI 发布 124B 开放权重多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，含 123B 多模态解码器与 1B 视觉编码器，支持 128K 上下文窗口，可容纳至少 30 张高分辨率图片。
推荐理由：原文给出了模型结构、上下文窗口和多项基准成绩，读者可据此评估它与闭源前沿模型的差距。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 Transformers.js v3，支持 WebGPU 加速与 120 种架构
Hugging Face 官方发布 Transformers.js v3，加入 WebGPU 支持，性能最高可达 WASM 的 100 倍，可通过设置 device: 'webgpu' 启用。
推荐理由：原文列出了 WebGPU 加速与 dtype 量化参数的具体用法，读者可据此判断浏览器端模型部署的性能与体积取舍。
OpenAI News精选AI 评分6464 OpenAI 为微调 API 引入图像支持
OpenAI 宣布开发者现在可以使用图像和文本微调 GPT-4o，以提升模型的视觉能力。
推荐理由：官方宣布开放图像微调入口，读者可据此判断视觉能力定制是否进入可落地阶段。
Hugging Face BlogAI 评分3838 将顶点着色网格转换为 UV 贴图纹理网格的教程
Hugging Face 发布教程，讲解如何将顶点着色的网格（如 InstantMesh 等生成式 3D 模型的输出）转换为带 UV 贴图的纹理网格。快速方案可直接安装其开源库 InstantTexture，通过 `Converter` 类将顶点着色的 .obj 网格转为 UV 贴图的 .glb 网格。
OpenAI NewsAI 评分4949 OpenAI 基于 GPT-4o 推出新版多模态审核模型，升级 Moderation API
OpenAI 基于 GPT-4o 推出新的多模态审核模型并升级 Moderation API，可更准确地检测有害文本和图像，帮助开发者构建更稳健的审核系统。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.2：多模态 Vision 与端侧 1B/3B 模型上线 Hugging Face
Meta 与 Hugging Face 合作发布 Llama 3.2 系列，共 10 个开放权重模型上线 Hub，包括 5 个多模态模型和 5 个纯文本模型。
推荐理由：原文给出各尺寸模型的显存需求与本地运行方式，读者可据此判断能否在自己的设备上跑起来。
Hugging Face BlogAI 评分5555 Hugging Face 拆解 FineVideo 数据集的构建流水线
Hugging Face 发布并详解 FineVideo 数据集的构建过程，该数据集包含 43k 段视频、共 3.4k 小时，配有丰富描述、场景切分和 QA 对。
Mistral AI精选AI 评分7272 Mistral AI 发布 Mistral Small v24.09 并全线降价
Mistral AI 宣布发布 Mistral Small v24.09（22B 参数，MRL 许可），同时对全系模型降价，Mistral Small 和 Codestral 输入价格降至 $0.2 / M input tokens（降幅 80%），Mistral Large 2 降至 $2 / M input tokens（降幅 33%）。
推荐理由：一次更新同时给出降价幅度、新模型参数与授权方式，便于读者对照自身用量评估迁移成本。
Mistral AI精选AI 评分7272 Mistral AI 发布原生多模态模型 Pixtral 12B
Mistral AI 发布 Pixtral 12B，一款原生多模态模型，采用图文交错数据训练，采用 Apache 2.0 许可，可在 Le Chat 和 La Plateforme 上使用。
推荐理由：原文给出了架构细节、评测协议和本地部署方式，读者可据此评估它能否替代现有开源多模态模型。
OpenAI NewsAI 评分1212 OpenAI：AI 点亮 The Met「Sleeping Beauties」时装展
OpenAI 与 The Met 服装学院合作的「Sleeping Beauties: Reawakening Fashion」展览，展示了 AI 通过美与创造力丰富生活的艺术潜力。
Hugging Face BlogAI 评分4444 Hugging Face 与 Albumentations AI 推出文档图像 TextImage Augmentation 数据增强教程
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage Augmentation 数据增强管线，同步修改图像内容与文本标注，以解决 VLM 微调中文档图像数据集有限、常规图像变换破坏文本提取精度的问题。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Quanto 和 Diffusers 降低扩散 Transformer 显存占用
Hugging Face 官方博客介绍如何用 Quanto 的量化工具优化 Diffusers 中 Transformer 架构的扩散管线显存占用。
Hugging Face BlogAI 评分4545 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测——还需要微调吗？
Hugging Face 用 LAVE（LLM-Assisted VQA Evaluation）指标对 Docmatix 约 200 张测试图做零样本评测，基线模型 MPLUGDocOwl1.5（在 DocVQA 测试子集上 ANLS 84%）的 LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别只有 0.1411、0.0032、0.002。
Hugging Face Blog精选AI 评分9393 Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态，Hub 上提供 8 个开放权重模型（3 个 base 和 5 个微调版本），涵盖 8B、70B、405B 三种尺寸，均支持 128K 上下文窗口和 8 种语言，并新增工具调用能力与更宽松的许可（允许用模型输出改进其他 LLM）。
推荐理由：详细列出三种尺寸的显存需求与量化方案，读者可据此判断自己硬件能否跑起来。
Hugging Face BlogAI 评分5555 Hugging Face 发布 DocVQA 数据集 Docmatix，规模达此前数据集的 240 倍
Hugging Face 发布 Docmatix 数据集，包含 240 万张图像、950 万组问答对，来自 130 万份 PDF 文档，规模是此前 DocVQA 数据集的 240 倍。