Hugging Face 推出 Remote VAEs 远程解码实验功能
Hugging Face 在 Diffusers 中推出实验性 Remote VAEs 功能，把 VAE 解码交给远程 endpoint，缓解高分辨率图像和视频生成时 VAE 解码的显存压力，避免 offload 的传输开销和 tiling 对画质的影响。
#多模态
Hugging Face BlogAI 评分5555
Hugging Face Blog精选AI 评分6565 Google 发布多模态视觉语言编码器 SigLIP 2
Google 发布多模态视觉语言编码器家族 SigLIP 2，在 sigmoid loss 基础上加入解码器、Global-Local Loss 和 Masked Prediction Loss 等辅助训练目标，以提升语义理解、定位与稠密特征能力。
推荐理由：文章拆解了从 SigLIP 到 SigLIP 2 的训练目标演进，读者可据此理解辅助损失如何改进视觉编码器。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM2 系列视频理解模型
Hugging Face 发布 SmolVLM2 系列三个新模型，参数量分别为 2.2B、500M 和 256M，主打在手机到服务器等各类设备上运行视频理解。2.2B 版本在 Video-MME 上超过现有 2B 模型，500M 和 256M 版本被称为迄今发布的最小视频语言模型，其中 500M 版本以不到四分之一的参数量接近 2.2B 的视频理解能力。
推荐理由：原文给出三档参数量、Video-MME 表现和 MLX/Swift 接入方式，读者可据此判断小模型视频理解能否落到自己的设备上。
Hugging Face BlogAI 评分5555 Google 发布 PaliGemma 2 mix 指令微调视觉语言模型
Google 发布 PaliGemma 2 mix，即在 OCR、长短描述等多种视觉语言任务上微调的 PaliGemma 2 变体，覆盖 3B、10B、28B 三种尺寸与 224、448 两种分辨率，提供 HF Transformers 和 JAX 权重。
OpenAI NewsAI 评分1515 Wayfair 用 AI 塑造零售业的未来
Wayfair 首席技术官 Fiona Tan 分享了该公司如何用 AI 塑造零售业的未来。
Hugging Face BlogAI 评分4444 Open Arabic LLM Leaderboard 2 发布
Hugging Face 与 2A2I、TII 联合推出 Open Arabic LLM Leaderboard 2（OALL 2），在首版 14 项 benchmark 基础上扩充阿拉伯语方言、领域与真实场景数据集，并提升评测透明度。
Mistral AI精选AI 评分6464 Mistral AI 全新 le Chat 上线：Flash Answers、Pro/Team 套餐与移动端
Mistral AI 发布全新 le Chat，称其响应速度最高约 1000 words/sec（Flash Answers，预览中），并结合 web search 等多源信息给出带引用的回答。
推荐理由：原文逐项列出新能力与开放入口，读者可据此判断它与现有 AI 助手的差异在哪一层。
Hugging Face BlogAI 评分5757 smolagents 新增视觉语言模型支持，可构建能看网页的浏览智能体
Hugging Face 为 smolagents 加入视觉支持，使其能原生使用视觉语言模型（VLM）。图片可在 agent.run() 中一次性传入，也可通过 step_callbacks 回调在每步结束时写入 ActionStep 的 observation_images 动态注入。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布 SmolVLM-256M 与 SmolVLM-500M 视觉语言模型
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M，含 base 与指令微调共四个 checkpoint，可直接通过 transformers、MLX 和 ONNX 加载。
推荐理由：原文对比了视觉编码器与分词优化的取舍，读者可借鉴其在极小模型上做效率权衡的思路。
Mistral AIAI 评分4545 Mistral AI 与法新社（AFP）达成全球合作，Le Chat 接入其新闻内容
Mistral AI 宣布与法新社（AFP）达成全球合作，其 AI 助手 Le Chat 将接入 AFP 的新闻专线内容，使回答基于可靠、及时的信息。Le Chat 将利用 AFP 每日以法语、英语、西班牙语、葡萄牙语、德语和阿拉伯语 6 种语言发布的 2,300 条电讯稿，以及其全球 1,700 名记者的报道。该集成将在未来几周内向所有 Le Chat 用户推出。
Hugging Face BlogAI 评分5858 Hugging Face transformers 推出 TimmWrapper，支持任意 timm 模型
Hugging Face 在 transformers 中推出 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，获得 pipeline 推理、Auto Classes 加载、量化、Trainer 微调与 LoRA 支持。
Hugging Face BlogAI 评分5656 Hugging Face 与 LlamaIndex 发布多语言视觉文档检索模型 vdr-2b-multi-v1
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型，可将文档页面截图编码为单向量表示，无需 OCR 或分块即可检索多语言文档，同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
OpenAI NewsAI 评分3636 用 GPT-4o 视觉微调构建更智能的地图
OpenAI 介绍如何通过 GPT-4o vision fine-tuning（视觉微调）来构建更智能的地图应用。文章围绕 GPT-4o 的视觉微调能力展开，说明其在地图场景中的应用方式。
Mistral AI精选AI 评分6565 Mistral AI 为 le Chat 推出 Web 搜索、Canvas、图像生成等 beta 新功能
Mistral AI 为免费生成式 AI 助手 le Chat 推出一批 beta 新功能，包括带引用的 Web 搜索、用于协作创作与就地编辑的 Canvas、由 Pixtral Large 驱动的文档与图像理解、由 Black Forest Labs Flux Pro 驱动的图像生成，以及可复用提示词的 Agents。
推荐理由：原文逐项对比了与 ChatGPT、Perplexity、Claude 的功能差异，读者可据此判断其免费 beta 策略的切入点。
Mistral AI精选AI 评分7575 Mistral AI 发布 124B 开放权重多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，含 123B 多模态解码器与 1B 视觉编码器，支持 128K 上下文窗口，可容纳至少 30 张高分辨率图片。
推荐理由：原文给出了模型结构、上下文窗口和多项基准成绩，读者可据此评估它与闭源前沿模型的差距。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 Transformers.js v3，支持 WebGPU 加速与 120 种架构
Hugging Face 官方发布 Transformers.js v3，加入 WebGPU 支持，性能最高可达 WASM 的 100 倍，可通过设置 device: 'webgpu' 启用。
推荐理由：原文列出了 WebGPU 加速与 dtype 量化参数的具体用法，读者可据此判断浏览器端模型部署的性能与体积取舍。
OpenAI News精选AI 评分6464 OpenAI 为微调 API 引入图像支持
OpenAI 宣布开发者现在可以使用图像和文本微调 GPT-4o，以提升模型的视觉能力。
推荐理由：官方宣布开放图像微调入口，读者可据此判断视觉能力定制是否进入可落地阶段。
Hugging Face BlogAI 评分3838 将顶点着色网格转换为 UV 贴图纹理网格的教程
Hugging Face 发布教程，讲解如何将顶点着色的网格（如 InstantMesh 等生成式 3D 模型的输出）转换为带 UV 贴图的纹理网格。快速方案可直接安装其开源库 InstantTexture，通过 `Converter` 类将顶点着色的 .obj 网格转为 UV 贴图的 .glb 网格。
OpenAI NewsAI 评分4949 OpenAI 基于 GPT-4o 推出新版多模态审核模型，升级 Moderation API
OpenAI 基于 GPT-4o 推出新的多模态审核模型并升级 Moderation API，可更准确地检测有害文本和图像，帮助开发者构建更稳健的审核系统。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.2：多模态 Vision 与端侧 1B/3B 模型上线 Hugging Face
Meta 与 Hugging Face 合作发布 Llama 3.2 系列，共 10 个开放权重模型上线 Hub，包括 5 个多模态模型和 5 个纯文本模型。
推荐理由：原文给出各尺寸模型的显存需求与本地运行方式，读者可据此判断能否在自己的设备上跑起来。
Hugging Face BlogAI 评分5555 Hugging Face 拆解 FineVideo 数据集的构建流水线
Hugging Face 发布并详解 FineVideo 数据集的构建过程，该数据集包含 43k 段视频、共 3.4k 小时，配有丰富描述、场景切分和 QA 对。
Mistral AI精选AI 评分7272 Mistral AI 发布 Mistral Small v24.09 并全线降价
Mistral AI 宣布发布 Mistral Small v24.09（22B 参数，MRL 许可），同时对全系模型降价，Mistral Small 和 Codestral 输入价格降至 $0.2 / M input tokens（降幅 80%），Mistral Large 2 降至 $2 / M input tokens（降幅 33%）。
推荐理由：一次更新同时给出降价幅度、新模型参数与授权方式，便于读者对照自身用量评估迁移成本。
Mistral AI精选AI 评分7272 Mistral AI 发布原生多模态模型 Pixtral 12B
Mistral AI 发布 Pixtral 12B，一款原生多模态模型，采用图文交错数据训练，采用 Apache 2.0 许可，可在 Le Chat 和 La Plateforme 上使用。
推荐理由：原文给出了架构细节、评测协议和本地部署方式，读者可据此评估它能否替代现有开源多模态模型。
OpenAI NewsAI 评分1212 OpenAI：AI 点亮 The Met「Sleeping Beauties」时装展
OpenAI 与 The Met 服装学院合作的「Sleeping Beauties: Reawakening Fashion」展览，展示了 AI 通过美与创造力丰富生活的艺术潜力。
Hugging Face BlogAI 评分4444 Hugging Face 与 Albumentations AI 推出文档图像 TextImage Augmentation 数据增强教程
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage Augmentation 数据增强管线，同步修改图像内容与文本标注，以解决 VLM 微调中文档图像数据集有限、常规图像变换破坏文本提取精度的问题。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Quanto 和 Diffusers 降低扩散 Transformer 显存占用
Hugging Face 官方博客介绍如何用 Quanto 的量化工具优化 Diffusers 中 Transformer 架构的扩散管线显存占用。
Hugging Face BlogAI 评分4545 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测——还需要微调吗？
Hugging Face 用 LAVE（LLM-Assisted VQA Evaluation）指标对 Docmatix 约 200 张测试图做零样本评测，基线模型 MPLUGDocOwl1.5（在 DocVQA 测试子集上 ANLS 84%）的 LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别只有 0.1411、0.0032、0.002。
Hugging Face Blog精选AI 评分9393 Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态，Hub 上提供 8 个开放权重模型（3 个 base 和 5 个微调版本），涵盖 8B、70B、405B 三种尺寸，均支持 128K 上下文窗口和 8 种语言，并新增工具调用能力与更宽松的许可（允许用模型输出改进其他 LLM）。
推荐理由：详细列出三种尺寸的显存需求与量化方案，读者可据此判断自己硬件能否跑起来。
Hugging Face BlogAI 评分5555 Hugging Face 发布 DocVQA 数据集 Docmatix，规模达此前数据集的 240 倍
Hugging Face 发布 Docmatix 数据集，包含 240 万张图像、950 万组问答对，来自 130 万份 PDF 文档，规模是此前 DocVQA 数据集的 240 倍。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 TRL 和 DPO 微调视觉语言模型减少幻觉
Hugging Face 官方博客宣布 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并给出完整教程。
Hugging Face BlogAI 评分5555 Hugging Face 教程：如何微调 Florence-2 完成 DocVQA 文档问答
Hugging Face 发布教程，展示如何将微软 Florence-2 微调到 DocVQA 数据集上获得 VQA 能力：微调前验证集 Levenshtein 相似度为 0，训练 7 个 epoch 后提升到 57.0。
Hugging Face BlogAI 评分2424 Prezi 如何借助 Hugging Face Expert Support Program 加速其多模态 ML 路线图
Prezi 加入 Hugging Face Expert Support Program，将开源 re-ranker 模型引入其 Prezi AI 系统的资产搜索管线，以更低成本、更快速度和更好效果筛选图片与文本。
OpenAI NewsAI 评分3838 OpenAI 与 Color Health 用 GPT-4o 推理改造癌症诊疗
Color Health 与 OpenAI 合作推出 Cancer Copilot 应用，用 GPT-4o 识别缺失的诊断信息并生成定制化检查计划，帮助医疗提供者就癌症筛查与治疗做出循证决策，从而加快癌症患者获得治疗的速度。
Hugging Face BlogAI 评分5555 TII 发布 Falcon2-11B 开源 LLM 与 VLM
TII 发布 Falcon 2 系列首批模型 Falcon2-11B，包括 11B 参数的 LLM 和具备图像理解能力的 VLM，基于超过 5,000 GT tokens 的 RefinedWeb 数据经四阶段训练，上下文长度扩展至 8192 tokens。
OpenAI NewsAI 评分4444 ChatGPT 数据分析功能改进
ChatGPT 改进数据分析功能，支持直接与表格和图表交互，并可从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI NewsAI 评分1515 Canva 用 AI 打造 Magic Studio
Canva 推出 AI 驱动的 Magic Studio，面向每月超 1.75 亿用户的视觉沟通平台。该平台结合易用界面、海量素材库与省时工具，让缺乏设计训练的知识工作者也能创作出视觉内容。
Hugging Face Blog精选AI 评分6565 Hugging Face 介绍 Google PaliGemma 开源视觉语言模型系列
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族，其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成，可接收图像与文本并输出文本。
推荐理由：详细拆解了三类检查点的用途差异与分辨率取舍，可帮助读者按任务选型并直接上手微调。
OpenAI News精选AI 评分8585 OpenAI 发布旗舰模型 GPT-4o，支持音频、视觉与文本实时推理
OpenAI 宣布推出新旗舰模型 GPT-4o（GPT-4 Omni），能够跨音频、视觉和文本进行实时推理。
OpenAI News精选AI 评分8686 OpenAI 发布 GPT-4o 并在 ChatGPT 免费开放更多能力
OpenAI 发布 GPT-4o，并让更多能力在 ChatGPT 中免费可用。
OpenAI News精选AI 评分8787 OpenAI 发布 GPT-4o 并向 ChatGPT 免费用户开放更多能力
OpenAI 宣布发布其最新旗舰模型 GPT-4o，并让更多能力在 ChatGPT 中免费提供给用户。