Hugging Face 从第一性原理推导 LLM 连续批处理
Hugging Face 博客从注意力机制和 KV cache 出发,以提升吞吐量为目标推导出连续批处理(continuous batching)。
Hugging Face 博客从注意力机制和 KV cache 出发,以提升吞吐量为目标推导出连续批处理(continuous batching)。
Hugging Face Blog 发布 Diffusers 对 FLUX.2 的支持,提供 Flux2Pipeline 与 Flux2Transformer2DModel 的加载代码,使用 diffusers/FLUX.2-dev-bnb-4bit 仓库、Mistral3 文本编码器和 enable_model_cpu_offload 进行文生图推理。
OVHcloud 现已成为 Hugging Face Hub 上受支持的 Inference Provider,可在模型页面直接调用 gpt-oss、Qwen3、DeepSeek R1、Llama 等开源模型。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道,截至 21 Nov 2025 已对比来自 18 个机构的 60+ 开源与闭源模型、覆盖 11 个数据集,并配有一篇预印本总结趋势。
Hugging Face TRL 官方集成 RapidFire AI,让用户在几乎不改代码、不增加 GPU 需求的前提下并发比较多种微调/后训练配置。
Hugging Face 发布 AnyLanguageModel,一个可直接替换 Apple Foundation Models 框架的 Swift 包,只需把 import 语句换掉即可保持相同 API。
Mistral AI 宣布与 SAP 建立多年期合作,将自身模型集成进 SAP 的 AI Foundation,为德国和欧洲交付完全主权的 AI 技术栈,并共同开发面向欧洲复杂行业与政务场景的行业解决方案。
Hugging Face 与 ServiceNow 的 SLAM Lab 发布 Apriel-H1 系列,将 15B 推理模型改造为 Mamba 混合架构,旗舰 Apriel-H1-15b-Thinker-SFT 在最小质量损失下实现 2.1x 吞吐。
Google DeepMind 宣布在新加坡开设新研究实验室,团队将由研究科学家、软件工程师和 AI impact 专家组成,聚焦 Gemini 核心能力与语言文化包容性研究。
Hugging Face 发布教程,介绍如何用 kernels 库的 kernel-builder 构建、测试并把 ROCm 内核分享到 Hub,以 RadeonFlow_Kernels 的 GEMM 内核为例。
AMD 与 Hugging Face、Data Monsters 联合举办 AMD Open Robotics Hackathon,12 月 5-7 日在东京、12 月 12-14 日在巴黎各办一场线下赛,每队最多 4 名 18 岁以上成员,3 天内完成 LeRobot 开发环境搭建与自由项目开发。
Hugging Face 宣布与 Google Cloud 达成新的深化战略合作,帮助企业在 Google Cloud 上用开放模型构建和定制自有 AI。
Google Research 在 Research@MTV 活动上公布三项最新突破:Earth AI 地理空间推理智能体、开源癌症基因变异工具 DeepSomatic,以及在 Willow 芯片上运行的 Quantum Echoes 算法。
Google Research 发布首个可证明隐私洞察(PPI)系统,结合 LLM、差分隐私(DP)与可信执行环境(TEE)分析非结构化 GenAI 数据,已在 Pixel Recorder 应用中部署。
Hugging Face 博文分析了全球 AI 算力格局的变化:美国出口管制与中国国产芯片发展相互关联,近几个月中国高性能开源模型的推理已开始由华为 Ascend、Cambricon 等国产芯片承载,部分模型也开始用国产芯片训练。
推荐理由:梳理了美国出口管制与中国国产芯片、开源模型发展之间的相互作用,可帮助读者理解全球算力格局变化的来龙去脉。
OpenAI 发布 gpt-oss-safeguard,这是一组面向安全分类的开放权重推理模型,开发者可以套用并迭代自定义策略。
Hugging Face 官方宣布 huggingface_hub 发布 v1.0,这是该库五年 35+ 个版本后的首个大版本,支撑 GitHub 上 200,000+ 仓库和 PyPI 上 3,000 个包,月下载量达 113.5 million。
推荐理由:官方系统梳理了 v1.0 的破坏性变更与迁移路径,读者可据此评估升级影响与兼容范围。
Mistral AI 发布 Mistral AI Studio,一个面向企业团队的生产级 AI 平台,现已开放 private beta 报名。
LeRobot 发布 v0.4.0,推出 LeRobotDataset v3.0(分块 episode 格式、Parquet 统一元数据,支持 OXE 级 >400GB 数据集)、lerobot-edit-dataset CLI 编辑工具,以及面向模型和硬件的两类 Processors 数据处理管线。
推荐理由:原文逐项列出了数据集、仿真、训练与硬件接入的改动,读者可据此评估开源机器人学习工作流会如何变化。
Meta-PyTorch 与 Hugging Face 合作推出 OpenEnv Hub,一个用于构建、分享和探索 OpenEnv 兼容智能体环境的开放社区中心,同时发布 OpenEnv 0.1 Spec (RFC) 征集反馈。
推荐理由:原文说明了智能体环境要解决的工具暴露问题和与RL训练栈的对接方式,读者可据此判断它在现有工作流中的位置。
Hugging Face 宣布与 VirusTotal 合作,对 Hub 上 2.2M+ 公开模型和数据集仓库进行持续扫描。访问仓库或文件页面时,平台会将文件哈希与 VirusTotal 威胁情报库比对,返回检出数、已知恶意关联等元数据,且不共享原始文件内容。
Hugging Face 宣布 Sentence Transformers(SBERT)从达姆施塔特工业大学 UKP Lab 转入 Hugging Face,Tom Aarsen 自 2023 年底起维护并将继续主导项目,项目保持 Apache 2.0 开源协议。
推荐理由:梳理了该库从高校实验室迁移到 Hugging Face 的来龙去脉与维护权交接,便于判断开源嵌入工具的治理走向。
Hugging Face 宣布为开源工具 AI Sheets 加入视觉支持,用户可在表格中直接查看、分析、提取图片信息,生成新图并实时编辑,底层通过 Inference Providers 调用数千个开源模型。
推荐理由:通过手写食谱的完整示例,读者可以看到从图片抽取到结构化导出的可迁移工作流。
Hugging Face 发布指南介绍如何挑选和使用开源 OCR 模型,覆盖模型能力、输出格式(DocTag、HTML、Markdown、JSON)、评测基准与成本对比。
推荐理由:文章给出模型能力、输出格式与成本的对照维度,读者可据此为自己的文档场景挑选 OCR 模型。
Hugging Face 发起 AI for Food Allergies 项目,旨在建立首个社区驱动的实验室,用 AI 推进食物过敏研究。全球约 220 million 人受至少一种食物过敏困扰,美国约占人口 10%。项目将整合 ProtBERT、ESM-2、AllergenBERT 等模型在过敏原预测、药物靶点相互作用和临床诊断上的进展,并解决数据稀缺、分散与难以获取的瓶颈。
Intel 与 Hugging Face 合作测试显示,Google Cloud C4 虚拟机(搭载 Intel Xeon 6 处理器)运行 OpenAI GPT OSS 大语言模型时,总拥有成本(TCO)较上一代 C3 虚拟机改善 1.7 倍(约 70%)。
Hugging Face 用 Optimum Intel 和 OpenVINO 演示了 3 步在 Intel CPU 上本地运行 VLM 的流程,无需 GPU,示例模型为 HuggingFaceTB/SmolVLM2-256M-Video-Instruct。
Hugging Face 发布 Nemotron-Personas-India,首个与印度真实人口、地理和文化分布对齐的开源合成人格数据集,采用 CC BY 4.0 许可,可商用与非商用。
Arm 将于 10 月 22-23 日参加 PyTorch Conference,展示如何借助 PyTorch 和 ExecuTorch 帮助开发者构建与部署 AI 应用。
Hugging Face BigCode 团队宣布推出 BigCodeArena,一个通过实际执行代码来评测代码生成模型的人机协同平台,用户可提交任务、让两个模型生成方案、执行并投票,结果汇总为排行榜。
推荐理由:原文给出平台机制、社区投票数据和分层排名,读者可据此理解执行反馈如何改变代码模型评测方式。
Hugging Face 发布三部分系列第一篇,讲解如何把 RedNote 的 3B 参数 OCR 模型 dots.ocr(在 OmniDocBench 上超过 Gemini 2.5 Pro)通过 Core ML 和 MLX 组合转到端侧运行,其中视觉编码器用 Core ML、Qwen2.5-1.5B 语言骨干用 MLX。
Hugging Face 发布检索嵌入基准 RTEB 的测试版,用于评估 embedding 模型在真实应用中的检索准确度。它采用公开与私有数据集混合策略,公开部分可复现,私有部分由 MTEB 维护者评测以保证公正,模型若在两者间表现落差明显即提示过拟合。
Hugging Face 博客发布 VibeGame,一个基于 three.js、rapier 和 bitecs 构建的高层声明式游戏引擎,专为 AI 辅助游戏开发设计,采用类 XML 声明式语法与 ECS 架构,并附带面向 AI 的 llms.txt 文档。
Hugging Face 发布 Smol2Operator 工作,展示如何用两阶段后训练把无 grounding 能力的 SmolVLM2-2.2B-Instruct 训练成可执行 GUI 任务的智能体。
Hugging Face 发布智能体评测基准 Gaia2 及配套开源框架 Meta Agents Research Environments(ARE),Gaia2 数据集以 CC by 4.0 许可发布,ARE 以 MIT 许可发布。
推荐理由:原文给出了评测维度与各模型的强弱分布,读者可据此判断当前智能体能力的真实短板所在。
Scaleway 正式成为 Hugging Face Hub 的 Inference Provider,其 Scaleway Generative APIs 为 gpt-oss。
Hugging Face 宣布 Public AI 成为其 Inference Providers 的新增服务商,用户可在 Hub 模型页面直接调用 Swiss AI Initiative、AI Singapore 等机构的公共与主权模型。
Hugging Face 发布 LeRobotDataset:v3.0,将多个 episode 合并进单个文件并用关系型元数据检索单集信息,解决 v2 每集一文件在百万级 episode 时的文件系统限制。
Hugging Face 官方博客详解为支持 OpenAI gpt-oss 系列而对 transformers 库做的多项升级,包括可从 Hub 下载的零构建 kernels、MXFP4 量化、Tensor Parallelism、Expert Parallelism、动态滑动窗口层与缓存、连续批处理与 Paged Attention 以及更快加载大模型。
推荐理由:逐项拆解了可直接复用的配置参数与代码片段,读者可按需移植到自己的模型上。
Together AI 与 Hugging Face 合作推出新能力,让 Hugging Face Hub 上任意兼容 LLM 都可通过 Together AI 基础设施进行微调。