Hugging Face 博客:10 亿次分类与嵌入推理的成本优化实测
Hugging Face 博客给出一套测算大规模分类与嵌入推理成本和延迟的方法,覆盖硬件选择、部署、负载测试与推理服务四个环节,并开源了代码 https://github.com/datavistics/encoder-analysis。
Hugging Face 博客给出一套测算大规模分类与嵌入推理成本和延迟的方法,覆盖硬件选择、部署、负载测试与推理服务四个环节,并开源了代码 https://github.com/datavistics/encoder-analysis。
Hugging Face 发布面向视频生成模型微调的数据集构建工具链,包含下载、预处理过滤与打标三阶段流水线,用 yt-dlp 下载、LAION-5B-WatermarkDetection 检测水印、improved-aesthetic-predictor 打美学分、OpenCV 计算运动分,并用 Florence-2 或 Qwen2.5 生成字幕。
Hugging Face 的 Xet 团队开源 xet-core 和 hf_xet,用基于 Rust 的分块方法替代文件级传输,部分场景下上传下载提速 2-3 倍。
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。
推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。
Hugging Face 与 2A2I、TII 联合推出 Open Arabic LLM Leaderboard 2(OALL 2),在首版 14 项 benchmark 基础上扩充阿拉伯语方言、领域与真实场景数据集,并提升评测透明度。
Hugging Face 在 24 小时冲刺中开源复现 OpenAI 的 Deep Research,基于 smolagents 构建的开源智能体在 GAIA 验证集上取得 55.15% 的成绩,超过此前开源框架 Magentic-One 约 46% 的水平。
推荐理由:文中给出了代码动作相对 JSON 的具体优势和可复现的性能差距,读者可据此判断智能体框架选型的影响。
Hugging Face 将 Physical Intelligence 开发的 π0 和 π0-FAST 两个 Vision-Language-Action 模型移植到 LeRobot 仓库,提供模型集合与 PyTorch 版本。
推荐理由:原文同时给出模型架构细节与可直接运行的命令,读者可据此在 LeRobot 中复现和微调。
Hugging Face 与 Adyen 联合发布 DABStep(Data Agent Benchmark for Multi-step Reasoning),包含 450+ 来自 Adyen 真实工作负载的数据分析任务,用于评估 LLM 与 AI 智能体的多步推理能力。
Hugging Face 发布 Open-R1 项目首周更新,称已在 MATH-500 Benchmark 上基本复现 DeepSeek-R1 蒸馏模型的报告分数,并上线了公开评测 leaderboard。
推荐理由:汇总了复现进度、训练管线细节和社区数据集,读者可据此评估开源复现 DeepSeek-R1 的可行性与路径。
Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment,训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。
推荐理由:教程给出可复现的 GRPO 训练配置与超参调整过程,读者可据此在自有硬件上复现类似实验。
Hugging Face 与 AWS 合作发布持续更新的文档,介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型。
Hugging Face 在 Hub 模型页上线 fal、Replicate、Sambanova、Together AI 四家 serverless 推理提供商的集成,并同步接入 JS 和 Python 客户端 SDK。
推荐理由:原文给出了统一接入方式、计费规则和可直接复用的调用示例,读者可据此判断如何在自己项目中切换推理提供商。
Hugging Face 发布 Open-R1 项目,旨在系统性重建 DeepSeek-R1 的数据与训练管线、验证其技术报告中的主张,并推动开源推理模型的发展。
推荐理由:原文拆解了 DeepSeek-R1 训练配方中尚未公开的部分,并给出 Open-R1 的三步复现路线,便于读者理解开源社区如何补齐这些环节。
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
Hugging Face 为 smolagents 加入视觉支持,使其能原生使用视觉语言模型(VLM)。图片可在 agent.run() 中一次性传入,也可通过 step_callbacks 回调在每步结束时写入 ActionStep 的 observation_images 动态注入。
NVIDIA 推出 Python 工具包 KVPress,通过 KnormPress、SnapKVPress、ExpectedAttentionPress 等多种压缩算法(presses)剪枝 KV Cache 中不重要的 KV 对,实现长上下文 LLM 的内存高效推理。
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M,含 base 与指令微调共四个 checkpoint,可直接通过 transformers、MLX 和 ONNX 加载。
推荐理由:原文对比了视觉编码器与分词优化的取舍,读者可借鉴其在极小模型上做效率权衡的思路。
Hugging Face 与 FriendliAI 达成合作,将 FriendliAI Endpoints 集成进 Hugging Face Hub 的“Deploy this model”按钮,提供一键部署。
Hugging Face 在 transformers 中推出 TimmWrapper,让任意 timm 视觉模型可直接接入 transformers 生态,获得 pipeline 推理、Auto Classes 加载、量化、Trainer 微调与 LoRA 支持。
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构,通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案,让用户按模型、硬件和性能需求切换后端。
Hugging Face 发布两款静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1(英文检索)和 static-similarity-mrl-multilingual-v1(多语言相似度)。
Hugging Face 官方博客发文梳理 AI 智能体的定义、能力谱系与伦理权衡,建议不要开发完全自主的 AI 智能体,因为用户让渡的控制越多风险越大,能自行编写并执行代码的智能体将获得凌驾于人类控制之上的能力。
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型,可将文档页面截图编码为单向量表示,无需 OCR 或分块即可检索多语言文档,同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
Hugging Face 对 Open LLM Leaderboard 上 2,742 个模型的推理 CO₂ 排放进行了分析,发现社区微调或合并模型通常比其官方基座模型更省碳。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的简洁库,核心特点是让智能体以代码形式编写动作而非 JSON 片段。库的逻辑约数千行代码,支持 E2B 沙箱执行、通过 Hub 分享加载工具,并经 LiteLLM 集成支持 OpenAI、Anthropic 等 100+ 云端模型,是 transformers.agents 的继任者。
推荐理由:原文对比了代码动作与 JSON 工具调用的取舍依据,读者可据此判断何时该用智能体。
Hugging Face 与 Atla 联合推出 Judge Arena,让任何人并排对比模型作为评判者的表现:系统随机生成或自定义样本,两个 LLM 评判者分别打分并给出理由,用户投票选出更符合自己判断的一方,投票后才揭示模型名以避免偏差。
Hugging Face Hub 提供数据集托管与分享服务,支持 TB 级数据集、单文件上限 50 GB(Xet 团队正升级至 500 GB),并内置 Dataset Viewer 全文搜索、排序与浏览器内 SQL Console。
Hugging Face 官方博客介绍其与 PyCharm 的集成,开发者可在代码中右键选择 Insert HF Model,按 image-text-to-text 等类别筛选并查看 Model Card 示例代码,直接粘贴运行,例如选用 microsoft/Phi-3.5-vision-instruct 实现图文对话。
Argilla 2.4 新增无代码功能,用户可在 Argilla UI 中直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈,无需编写代码。
Hugging Face 与 Intel Labs 联合推出 Universal Assisted Generation(UAG),让 assisted generation(投机解码)不再要求目标模型与助手模型来自同一模型族、共享同一 tokenizer,可为任意 decoder 或 MoE 模型带来 1.5x-2.0x 推理加速且几乎零开销。
Digital Green 在 Hugging Face Expert Support 项目支持下,为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系,覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标,其中 RAG 准确性用二元打分提示词(灵感来自 RAGAS 库)在约 360 道题上与人工评估高度相关。
Hugging Face 推出 Hugging Face Generative AI Services(HUGS),一套基于 Text Generation Inference(TGI)的零配置推理微服务,可在自有基础设施上部署开源模型,提供 OpenAI 兼容 API,支持 NVIDIA、AMD GPU,AWS Inferentia 和 Google TPU 即将支持。
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0,并开源了配套的对抗式数据集精炼(adversarial dataset refinement)方法实现。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印并用分类器检测。
推荐理由:原文给出了配置参数、检测器训练流程和局限,读者可据此评估如何在自己的模型上落地水印方案。
Hugging Face 宣布与 Protect AI 合作,将其安全扫描工具 Guardian 集成到 Hub 的扫描套件中,所有公开模型仓库在推送文件后会被 Guardian 自动扫描。
Hugging Face 官方博客给出将 Speech-to-Speech(S2S)级联语音管线(VAD、STT、LM、TTS,支持英法西中日韩多语言)部署到 Inference Endpoints 的完整步骤。
Hugging Face 与 dottxt 合作发布 outlines-core,即 outlines 结构化生成核心算法的 Rust 移植版本,0.1.0 版 Python 绑定已发布并集成进 outlines。
Stable Diffusion 3.5 已上线 Hugging Face Hub 并可用 Diffusers 调用,提供 8B 参数版和 timestep-distilled 少步推理版两个 checkpoint。
推荐理由:文章给出了量化推理和 LoRA 训练的具体配置,读者可直接迁移到自己的消费级显卡上跑 SD3.5 Large。
Hugging Face 官方发布 Transformers.js v3,加入 WebGPU 支持,性能最高可达 WASM 的 100 倍,可通过设置 device: 'webgpu' 启用。
推荐理由:原文列出了 WebGPU 加速与 dtype 量化参数的具体用法,读者可据此判断浏览器端模型部署的性能与体积取舍。
Keras 从第一天起就支持 Llama 3.2,可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint,需要转换时会自动完成。