Hugging Face Transformers 修复梯度累积损失计算问题
Hugging Face 官方博客说明 transformers Trainer 中梯度累积导致损失不匹配的问题及其修复方案。问题源于默认损失函数按批次平均而非按累积步内非 padding token 总数计算，官方将自动处理默认损失的梯度累积逻辑，并新增 loss_function 属性和 API 允许用户传入自定义损失函数。
#Hugging Face
Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分5151 Hugging Face 测评 AMD 第五代 EPYC Turin CPU：LLM 吞吐约 2 倍提升
AMD 发布基于 Zen5 架构的第五代 EPYC 服务器 CPU（代号 Turin），最高 192 核 384 线程，Hugging Face 与 AMD 合作验证了其生态支持。
Hugging Face BlogAI 评分5656 Gradio 5 发布前完成 Trail of Bits 独立安全审计并修复全部问题
Hugging Face 邀请网络安全公司 Trail of Bits 对 Gradio 代码库进行独立安全审计，发现的问题已在 Gradio 5.0 发布前全部修复并经对方验证。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 Gradio 5 稳定版，主打生产可用的机器学习 Web 应用
Hugging Face 宣布 Gradio 5 稳定版发布，用几行 Python 即可构建高性能、可扩展、符合 Web 安全最佳实践的机器学习应用，升级命令为 pip install --upgrade gradio。
推荐理由：原文逐条对应开发者痛点给出改进方案，读者可据此评估升级到 Gradio 5 的收益与迁移成本。
Hugging Face BlogAI 评分5454 Hugging Face 官方教程：用 Dask 将数据处理扩展到 2.11 亿行
Hugging Face 官方博客展示了如何用 Dask 把基于 FineWeb 数据集的 FineWeb-Edu 分类任务从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。
Hugging Face BlogAI 评分5555 Hugging Face Transformers 4.45.0 默认启用动态推测解码加速辅助生成
Hugging Face 与 Intel labs 合作开发的动态推测解码已集成进 Transformers 4.45.0，成为 assisted generation 的默认模式，最高可带来 2.7x 加速。
Hugging Face BlogAI 评分4545 Hugging Face Hub 优化 Parquet 文件去重
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验，发现追加操作去重率可达 99.1%（仅需 20MB 额外存储），而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%（需 230MB），删除行则会因行组重排使后半文件完全重写。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Open FinLLM Leaderboard 金融大语言模型评测榜
Hugging Face 推出 Open FinLLM Leaderboard（OFLL），一个面向金融领域的大语言模型零样本评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测、决策七大任务类别，使用 Accuracy、F1 Score、ROUGE Score、MCC 等指标，数据集取自真实金融场景，用于评估模型在金融任务上的实际可用性。
Hugging Face BlogAI 评分3434 BenCzechMark：你的 LLM 懂捷克语吗？
Hugging Face 推出 BenCzechMark，这是首个全面评估大语言模型（LLM）捷克语能力的评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.2：多模态 Vision 与端侧 1B/3B 模型上线 Hugging Face
Meta 与 Hugging Face 合作发布 Llama 3.2 系列，共 10 个开放权重模型上线 Hub，包括 5 个多模态模型和 5 个纯文本模型。
推荐理由：原文给出各尺寸模型的显存需求与本地运行方式，读者可据此判断能否在自己的设备上跑起来。
Hugging Face BlogAI 评分3434 探索 Hugging Face Daily Papers 页面的隐藏功能
Hugging Face Daily Papers 页面上线以来已收录超过 3,700 篇论文，订阅用户超过 12k。作者可一键认领论文并关联自己的模型或数据集，用户可在评论区 @librarian-bot 获取相关论文推荐，或通过 @username 与作者直接对话。页面还支持多语言评论与内置翻译、upvote 推荐、每日订阅推送，以及与 arXiv 的双向跳转集成（需安装浏览器扩展）。
Hugging Face BlogAI 评分4444 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Hugging Face Transformers 模型
Hugging Face 介绍了用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型的完整流程，涵盖导出 OpenVINO IR、权重量化与 GenAI API 部署。
Hugging Face BlogAI 评分5959 Hugging Face 将 Llama3 8B 微调至 1.58bit 并开源模型
Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit（每参数仅 -1/0/1 三值），模型已发布在 HF1BitLLM 组织下，其中两个用 10B tokens 微调、一个用 100B tokens 微调，MMLU 成绩超过 Llama 1 7B。
Hugging Face BlogAI 评分5656 Hugging Face 在 Datasets 上推出 SQL Console
Hugging Face 宣布在 Hub 的数据集页面上线 SQL Console，点击数据集上的 SQL Console 徽章即可在浏览器中直接对数据集运行 SQL 查询。
Hugging Face BlogAI 评分5555 HuggingChat 发布 Community Tools，可将任意 Space 变为模型工具
HuggingChat 发布 Community Tools，可把 Hugging Face 上的任意公开 Space 变成模型可直接调用的工具，同时扩展了图像理解、视频生成和文本转语音等模态。文中给出把 Space 转成工具的字段填写方法、用 Gradio 自建骰子工具的示例、在助手中最多添加 3 个工具的用法，以及一个可复制的 RAG 工具；该功能目前仍处实验阶段。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 官方发布 Accelerate 1.0.0 的首个 release candidate，补齐了 FP8 支持（MS-AMP 与 TransformersEngine）。
Hugging Face BlogAI 评分5454 Hugging Face 与 TruffleHog 合作集成密钥扫描功能
Hugging Face 宣布与 Truffle Security 合作，将开源工具 TruffleHog 的密钥扫描能力集成到平台，其自动化扫描流水线现包含恶意软件、pickle 和密钥三类扫描，检测到已验证密钥会通过邮件通知用户。
Hugging Face BlogAI 评分5555 Hugging Face LeRobot 推出视频编码数据集格式，平均压缩至原体积 14%
Hugging Face 官方博客介绍 LeRobot 团队为机器人数据集提出的 LeRobotDataset 格式，用视频编码替代逐帧 PNG 存储视觉模态，数据集平均体积降至原始版本的 14%，最好情况低至 0.2%，同时保持完整训练能力。
Hugging Face BlogAI 评分5555 Hugging Face Hub 上五个被低估的工具及其语义搜索实战
Hugging Face 官方博客以一个自动更新的语义搜索应用为例，介绍 Hub 上五个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分5858 Hugging Face 推出 DataCollatorWithFlattening，让无 padding 打包训练兼容 Flash Attention 2
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无 padding 的打包式指令微调训练兼容 Flash Attention 2，通过 flash_attn_varlen_func 计算 cu_seqlens 并保留序列边界，避免跨样本注意力影响收敛。
Hugging Face BlogAI 评分4444 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B：用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face BlogAI 评分4444 ggml 入门指南
Hugging Face 发布 ggml 入门教程，介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件，编译后体积小于 1MB，支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量，被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。
Hugging Face Blog精选AI 评分6262 Hugging Face Transformers 推出跨模型统一工具调用 API
Hugging Face 在 Transformers 中推出跨模型统一的工具调用 API，同一份代码可在 Mistral、Cohere、NousResearch、Llama 等模型间移植，几乎无需模型特定改动，并配套辅助功能与完整文档示例。
推荐理由：文章给出统一工具调用 API 的设计取舍与完整可运行示例，读者可直接迁移方法到自己的项目中。
Hugging Face BlogAI 评分5757 Hugging Face 收购 XetHub，将为 Hub 换用自研存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其团队将帮助把 Hub 仓库的存储后端从 Git LFS 换成自研的优化版本，以支撑未来 5 年数据集和模型的增长。
Hugging Face BlogAI 评分4141 Hugging Face 2024 年安全功能亮点盘点
Hugging Face 盘点了截至 2024 年 8 月 6 日 Hub 上的安全功能，分为面向所有用户的默认功能与 Enterprise Hub 高级控制两部分。
Hugging Face BlogAI 评分4444 Hugging Face 与 Albumentations AI 推出文档图像 TextImage Augmentation 数据增强教程
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage Augmentation 数据增强管线，同步修改图像内容与文本标注，以解决 VLM 微调中文档图像数据集有限、常规图像变换破坏文本提取精度的问题。
Hugging Face Blog精选AI 评分6464 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容：推出 2.6B 参数的 Gemma 2 2B（含 base 与 instruction-tuned 版本）。
推荐理由：梳理了三个新发布的定位与用法，读者可据此判断小模型在端侧和投机解码中的落地路径。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Quanto 和 Diffusers 降低扩散 Transformer 显存占用
Hugging Face 官方博客介绍如何用 Quanto 的量化工具优化 Diffusers 中 Transformer 架构的扩散管线显存占用。
Hugging Face BlogAI 评分4545 Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务
Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务，面向 Enterprise Hub 组织，基于 NVIDIA DGX Cloud 提供 Llama、Mistral 等开源模型的推理 API，兼容 OpenAI SDK，按计算时间计费（H100 GPU $8.25/小时）。
Hugging Face BlogAI 评分4545 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测——还需要微调吗？
Hugging Face 用 LAVE（LLM-Assisted VQA Evaluation）指标对 Docmatix 约 200 张测试图做零样本评测，基线模型 MPLUGDocOwl1.5（在 DocVQA 测试子集上 ANLS 84%）的 LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别只有 0.1411、0.0032、0.002。
Hugging Face Blog精选AI 评分9393 Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态，Hub 上提供 8 个开放权重模型（3 个 base 和 5 个微调版本），涵盖 8B、70B、405B 三种尺寸，均支持 128K 上下文窗口和 8 种语言，并新增工具调用能力与更宽松的许可（允许用模型输出改进其他 LLM）。
推荐理由：详细列出三种尺寸的显存需求与量化方案，读者可据此判断自己硬件能否跑起来。
Hugging Face Blog精选AI 评分6161 Hugging Face 教程：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 官方博客讲解如何借助 WWDC 24 新发布的 Core ML 特性，在 Mac 上以不到 4GB 内存运行 Mistral 7B。
推荐理由：逐步骤给出转换与运行命令，读者可照做在 Mac 上跑起 7B 模型并了解各项新特性的作用。
Hugging Face BlogAI 评分5858 Hugging Face TGI 推出 Multi-LoRA serving：一次部署可服务 30 个模型
Hugging Face 官方博客宣布 TGI 新增 Multi-LoRA serving 功能，可在单次部署一个基座模型（如 mistralai/Mistral-7B-v0.1）后，根据请求携带的 adapter_id 动态选择对应 LoRA adapter，实现一次部署服务多个微调模型。
Hugging Face BlogAI 评分5555 Hugging Face 发布 DocVQA 数据集 Docmatix，规模达此前数据集的 240 倍
Hugging Face 发布 Docmatix 数据集，包含 240 万张图像、950 万组问答对，来自 130 万份 PDF 文档，规模是此前 DocVQA 数据集的 240 倍。
Mistral AIAI 评分5555 Mistral AI 开源数学推理模型 Mathstral 7B
Mistral AI 发布并开源专注数学与 STEM 推理的指令模型 Mathstral 7B，基于 Mistral 7B 构建，与 Project Numina 合作产出。
Hugging Face BlogAI 评分4444 如何用 distilabel 构建 Argilla 2.0 文档 Chatbot
Hugging Face 展示了如何用 distilabel 从 Argilla 2.0 技术文档生成合成数据，微调领域专用 embedding 模型，并结合向量数据库与 Gradio 构建可对话的文档 Chatbot。
Hugging Face Blog精选AI 评分6161 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize 的技术方案
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize，在私有测试集 50 题中解出 29 题。
推荐理由：详细拆解了从数据构造到解码算法的完整配方，可迁移方法多。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 TRL 和 DPO 微调视觉语言模型减少幻觉
Hugging Face 官方博客宣布 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并给出完整教程。
Hugging Face BlogAI 评分4545 Hugging Face 在 Dataset Hub 上试验基于 Presidio 的自动 PII 检测报告
Hugging Face 在 Dataset Hub 上试验新功能，用开源 PII 检测工具 Presidio 为数据集生成 PII 存在情况的估算报告，帮助 ML 从业者在训练前判断数据集是否含敏感个人信息。
Hugging Face BlogAI 评分5454 Hugging Face 与 KerasHub 达成模型格式互通，KerasHub 可直接加载 300K+ Transformers 模型
Hugging Face 与 KerasHub 宣布 Transformers 与 KerasHub 共享模型保存格式，KerasHub 用户现在可以用一行代码直接加载 Hugging Face Hub 上 300K+ 的 Transformers 模型，首批支持 Gemma 1 和 2、Llama 3、PaliGemma。