Hugging Face 与 Adyen 发布 DABStep 数据分析多步推理基准
Hugging Face 与 Adyen 联合发布 DABStep（Data Agent Benchmark for Multi-step Reasoning），包含 450+ 来自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 与 AI 智能体的多步推理能力。
#数据/训练
Hugging Face BlogAI 评分5757
Hugging Face Blog精选AI 评分6161 Hugging Face Open-R1 项目一周进展：复现评测、GRPO 训练与合成数据生成
Hugging Face 发布 Open-R1 项目首周更新，称已在 MATH-500 Benchmark 上基本复现 DeepSeek-R1 蒸馏模型的报告分数，并上线了公开评测 leaderboard。
推荐理由：汇总了复现进度、训练管线细节和社区数据集，读者可据此评估开源复现 DeepSeek-R1 的可行性与路径。
Hugging Face Blog精选AI 评分6161 用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment 教程
Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment，训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。
推荐理由：教程给出可复现的 GRPO 训练配置与超参调整过程，读者可据此在自有硬件上复现类似实验。
Hugging Face BlogAI 评分5555 Hugging Face 分析 Open LLM Leaderboard 模型推理的 CO₂ 排放
Hugging Face 对 Open LLM Leaderboard 上 2,742 个模型的推理 CO₂ 排放进行了分析，发现社区微调或合并模型通常比其官方基座模型更省碳。
Hugging Face BlogAI 评分3838 在 Hugging Face Hub 上分享你的开源 ML 数据集
Hugging Face Hub 提供数据集托管与分享服务，支持 TB 级数据集、单文件上限 50 GB（Xet 团队正升级至 500 GB），并内置 Dataset Viewer 全文搜索、排序与浏览器内 SQL Console。
Hugging Face BlogAI 评分4949 Argilla 2.4：无需代码即可在 Hub 上构建微调与评测数据集
Argilla 2.4 新增无代码功能，用户可在 Argilla UI 中直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈，无需编写代码。
Hugging Face BlogAI 评分5858 Cohere For AI 发布 Aya Expanse 8B 和 32B 多语言开源模型
Cohere For AI 发布 Aya Expanse 8B 和 32B 多语言模型并以开放权重形式释出。成对比较中 Aya Expanse 32B 胜过 Gemma 2 27B、Mistral 8x22B 和 Llama 3.1 70B，8B 版本对 Gemma 2 9B、Llama 3.1 8B、Ministral 8B 的胜率在 60.4% 到 70.6% 之间。
Hugging Face BlogAI 评分4747 Hugging Face 发布 CinePile 2.0：用对抗式精炼打造更强的长视频 QA 数据集
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0，并开源了配套的对抗式数据集精炼（adversarial dataset refinement）方法实现。
Hugging Face BlogAI 评分5757 Hugging Face Transformers 修复梯度累积损失计算问题
Hugging Face 官方博客说明 transformers Trainer 中梯度累积导致损失不匹配的问题及其修复方案。问题源于默认损失函数按批次平均而非按累积步内非 padding token 总数计算，官方将自动处理默认损失的梯度累积逻辑，并新增 loss_function 属性和 API 允许用户传入自定义损失函数。
Hugging Face BlogAI 评分5454 Hugging Face 官方教程：用 Dask 将数据处理扩展到 2.11 亿行
Hugging Face 官方博客展示了如何用 Dask 把基于 FineWeb 数据集的 FineWeb-Edu 分类任务从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。
Hugging Face BlogAI 评分4545 Hugging Face Hub 优化 Parquet 文件去重
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验，发现追加操作去重率可达 99.1%（仅需 20MB 额外存储），而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%（需 230MB），删除行则会因行组重排使后半文件完全重写。
Hugging Face BlogAI 评分5555 Hugging Face 拆解 FineVideo 数据集的构建流水线
Hugging Face 发布并详解 FineVideo 数据集的构建过程，该数据集包含 43k 段视频、共 3.4k 小时，配有丰富描述、场景切分和 QA 对。
Hugging Face BlogAI 评分5959 Hugging Face 将 Llama3 8B 微调至 1.58bit 并开源模型
Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit（每参数仅 -1/0/1 三值），模型已发布在 HF1BitLLM 组织下，其中两个用 10B tokens 微调、一个用 100B tokens 微调，MMLU 成绩超过 Llama 1 7B。
Hugging Face BlogAI 评分5656 Hugging Face 在 Datasets 上推出 SQL Console
Hugging Face 宣布在 Hub 的数据集页面上线 SQL Console，点击数据集上的 SQL Console 徽章即可在浏览器中直接对数据集运行 SQL 查询。
Hugging Face BlogAI 评分5858 Hugging Face 推出 DataCollatorWithFlattening，让无 padding 打包训练兼容 Flash Attention 2
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无 padding 的打包式指令微调训练兼容 Flash Attention 2，通过 flash_attn_varlen_func 计算 cu_seqlens 并保留序列边界，避免跨样本注意力影响收敛。
OpenAI News精选AI 评分6464 OpenAI 为 GPT-4o 开放微调功能
OpenAI 宣布 GPT-4o 现已支持微调（fine-tuning）。
Hugging Face BlogAI 评分4444 Hugging Face 与 Albumentations AI 推出文档图像 TextImage Augmentation 数据增强教程
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage Augmentation 数据增强管线，同步修改图像内容与文本标注，以解决 VLM 微调中文档图像数据集有限、常规图像变换破坏文本提取精度的问题。
Hugging Face BlogAI 评分5555 Hugging Face 发布 DocVQA 数据集 Docmatix，规模达此前数据集的 240 倍
Hugging Face 发布 Docmatix 数据集，包含 240 万张图像、950 万组问答对，来自 130 万份 PDF 文档，规模是此前 DocVQA 数据集的 240 倍。
Hugging Face BlogAI 评分4444 如何用 distilabel 构建 Argilla 2.0 文档 Chatbot
Hugging Face 展示了如何用 distilabel 从 Argilla 2.0 技术文档生成合成数据，微调领域专用 embedding 模型，并结合向量数据库与 Gradio 构建可对话的文档 Chatbot。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 小模型系列与 SmolLM-Corpus 数据集
Hugging Face 发布 SmolLM 小语言模型系列，包含 135M、360M、1.7B 三种参数规模，并同步开源 SmolLM-Corpus 训练语料。
推荐理由：原文公开了数据配比与消融实验细节，读者可迁移其小模型数据筛选方法。
Hugging Face BlogAI 评分4545 Hugging Face 在 Dataset Hub 上试验基于 Presidio 的自动 PII 检测报告
Hugging Face 在 Dataset Hub 上试验新功能，用开源 PII 检测工具 Presidio 为数据集生成 PII 存在情况的估算报告，帮助 ML 从业者在训练前判断数据集是否含敏感个人信息。
Hugging Face Blog精选AI 评分7878 Hugging Face 介绍 Google 新开放模型 Gemma 2 的技术细节与生态集成
Google 发布 Gemma 2 系列开放 LLM，Hugging Face 与 Google 合作完成生态集成，Hub 上提供 4 个开放权重模型（9B 与 27B 各含 base 和指令微调版本），上下文长度 8192 tokens，27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由：详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节，便于读者理解其性能提升来源。
Hugging Face BlogAI 评分5555 Hugging Face 教程：如何微调 Florence-2 完成 DocVQA 文档问答
Hugging Face 发布教程，展示如何将微软 Florence-2 微调到 DocVQA 数据集上获得 VQA 能力：微调前验证集 Levenshtein 相似度为 0，训练 7 个 epoch 后提升到 57.0。
Hugging Face BlogAI 评分3838 Hugging Face Ethics and Society Newsletter #6：构建更好的 AI——数据质量的重要性
Hugging Face Ethics and Society Newsletter #6 探讨了 AI 开发中数据质量的重要性，以 Reddit 向 Google 提供数据导致搜索引擎出现"往披萨上加胶水"的荒谬推荐为例，说明低质量数据的危害。
Hugging Face BlogAI 评分4444 Hugging Face 与 Argilla 的 Data Is Better Together 计划回顾与展望
Hugging Face 与 Argilla 联合开源社区推进的 Data Is Better Together 计划，已发布 DIBT/10k_prompts_ranked 数据集（10K prompts，385 人参与），并基于其中 500 条 prompt 启动多语言评测项目 MPEP，荷兰语、俄语、西班牙语翻译已完成。
Hugging Face BlogAI 评分5757 Hugging Face 在 TRL 中推出 RLOO Trainer 作为 PPO 的替代方案
Hugging Face 在 TRL 中引入 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外更易实现的在线 RLHF 训练算法。
Mistral AIAI 评分5656 Mistral AI 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 推出模型定制功能，提供三条微调入口：开源微调 SDK mistral-finetune（基于 LoRA，可在自有基础设施上微调其开源模型）、la Plateforme 上的 serverless 托管微调服务，以及面向部分客户的定制训练服务（含持续预训练）。
OpenAI NewsAI 评分4444 OpenAI 改进 fine-tuning API 并扩展 custom models 计划
OpenAI 为 fine-tuning API 新增功能，帮助开发者更精细地控制微调过程，并宣布推出新的 custom models 构建方式。
Hugging Face Blog精选AI 评分6262 Hugging Face 开源 Cosmopedia 合成数据集与 cosmo-1b 模型
Hugging Face 发布 Cosmopedia，一个用 Mixtral-8x7B-Instruct-v0.1 生成、含超 3000 万文件和 25 billion tokens 的合成数据集，用于从零预训练大语言模型，目标是复现 Phi-1.5 的训练数据。
推荐理由：原文拆解了从几千到千万级样本的提示词工程方法，可迁移给要做大规模预训练数据的团队。
Hugging Face BlogAI 评分5555 Hugging Face 介绍 GaLore 如何在消费级 GPU 上训练大模型
Hugging Face 官方博客介绍 GaLore 如何利用梯度的低秩结构和投影技术，把优化器状态显存降低超过 82.5%，从而在 NVIDIA RTX 4090 这类消费级 GPU 上训练最多 70 亿参数的 Llama 架构模型。
Hugging Face BlogAI 评分4949 Argilla 与 Hugging Face 推出 Data is Better Together，邀请社区共建数据集
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验，几天内吸引 350 名社区贡献者标注出超过 11,000 条 prompt 评分，并发布数据集 10k_prompts_ranked（含 10,000 条带用户评分的 prompt）。
Hugging Face BlogAI 评分5454 Hugging Face 教程：用 PEFT 与 LoRA 微调 Gemma 模型
Hugging Face 官方博客介绍如何用 Transformers 和 PEFT 库在 GPU 与 Cloud TPU 上对 Gemma 模型做参数高效微调（PEFT）。
Hugging Face Blog精选AI 评分6868 Hugging Face 教程：用合成数据训练专用小模型，成本仅为 GPT4 API 的百分之一
Hugging Face 博客展示了用开源 LLM（Mixtral-8x7B-Instruct-v0.1）生成合成数据、再用 AutoTrain 微调约 0.13B 参数 RoBERTa-base 的完整流程。
推荐理由：通过具体成本与碳排数字对比，读者可直接判断何时该用合成数据训练专用小模型而非调用 LLM API。
Hugging Face Blog精选AI 评分6161 Hugging Face 开源 Constitutional AI 训练配方与 llm-swarm 工具
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源基于 Slurm 集群、由 TGI 和 vLLM 支撑的可扩展合成数据生成工具 llm-swarm。
推荐理由：完整给出用开源模型做 Constitutional AI 的可复用配方与评测数据，便于迁移实践。
Hugging Face BlogAI 评分5656 Hugging Face 教程：用 Transformers 微调 Wav2Vec2-BERT 做低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 MetaAI 的 Wav2Vec2-BERT 预训练 checkpoint facebook/w2v-bert-2.0，在低资源蒙古语 Common Voice 16.0 数据集（约 14 小时验证训练数据）上完成 ASR 任务。
Hugging Face BlogAI 评分5757 Hugging Face 实测对比 DPO、IPO、KTO 三种偏好对齐方法
Hugging Face Blog 发布对 DPO、IPO、KTO 三种无强化学习偏好对齐方法的实证评测，在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上扫描 β 从 0.01 到 0.9 的超参数并用 MT-Bench 评测。
Hugging Face BlogAI 评分5555 Hugging Face 介绍用 Unsloth 与 TRL 将 LLM 微调提速 2 倍
Hugging Face 官方博客介绍社区库 Unsloth，它与 Hub、transformers、PEFT、TRL 完全兼容，可让 LLM 微调提速 2 倍、显存占用降低 40% 且精度零损失。
Hugging Face Blog精选AI 评分6060 Hugging Face 2023 年开源 LLM 年度回顾
Hugging Face 发布 2023 年开源 LLM 年度回顾，梳理了从 BLOOM、OPT、GLM-130B 到 LLaMA、Llama 2、Mistral、Qwen、Yi 等模型的发布脉络，以及 Chinchilla 范式转变带来的小模型加更多数据趋势。
推荐理由：系统梳理了开源 LLM 的技术要素与全年脉络，可作为理解开源模型生态的入门地图。
Hugging Face Blog精选AI 评分6262 Hugging Face 博客详解 Mixture of Experts（MoE）
Hugging Face 官方博客发布 Mixture of Experts Explained，系统讲解 MoE 的组成、稀疏性、负载均衡、Switch Transformers、微调挑战与推理部署技巧。
推荐理由：系统梳理了 MoE 的原理、训练与推理权衡，读者可据此判断何时选用稀疏模型。
OpenAI NewsAI 评分4545 OpenAI Data Partnerships
OpenAI 推出 Data Partnerships 计划，与外部机构合作共创用于 AI 训练的开源与私有数据集。该计划同时提供两类数据集：可公开发布的开源数据集，以及仅 OpenAI 内部使用的私有数据集。