Hugging Face Hub 优化 Parquet 文件去重
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验，发现追加操作去重率可达 99.1%（仅需 20MB 额外存储），而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%（需 230MB），删除行则会因行组重排使后半文件完全重写。
#数据/训练
Hugging Face BlogAI 评分4545
Hugging Face BlogAI 评分5555 Hugging Face 拆解 FineVideo 数据集的构建流水线
Hugging Face 发布并详解 FineVideo 数据集的构建过程，该数据集包含 43k 段视频、共 3.4k 小时，配有丰富描述、场景切分和 QA 对。
Hugging Face BlogAI 评分5959 Hugging Face 将 Llama3 8B 微调至 1.58bit 并开源模型
Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit（每参数仅 -1/0/1 三值），模型已发布在 HF1BitLLM 组织下，其中两个用 10B tokens 微调、一个用 100B tokens 微调，MMLU 成绩超过 Llama 1 7B。
Hugging Face BlogAI 评分5656 Hugging Face 在 Datasets 上推出 SQL Console
Hugging Face 宣布在 Hub 的数据集页面上线 SQL Console，点击数据集上的 SQL Console 徽章即可在浏览器中直接对数据集运行 SQL 查询。
Hugging Face BlogAI 评分5858 Hugging Face 推出 DataCollatorWithFlattening，让无 padding 打包训练兼容 Flash Attention 2
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无 padding 的打包式指令微调训练兼容 Flash Attention 2，通过 flash_attn_varlen_func 计算 cu_seqlens 并保留序列边界，避免跨样本注意力影响收敛。
OpenAI News精选AI 评分6464 OpenAI 为 GPT-4o 开放微调功能
OpenAI 宣布 GPT-4o 现已支持微调（fine-tuning）。
Hugging Face BlogAI 评分4444 Hugging Face 与 Albumentations AI 推出文档图像 TextImage Augmentation 数据增强教程
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage Augmentation 数据增强管线，同步修改图像内容与文本标注，以解决 VLM 微调中文档图像数据集有限、常规图像变换破坏文本提取精度的问题。
Hugging Face BlogAI 评分5555 Hugging Face 发布 DocVQA 数据集 Docmatix，规模达此前数据集的 240 倍
Hugging Face 发布 Docmatix 数据集，包含 240 万张图像、950 万组问答对，来自 130 万份 PDF 文档，规模是此前 DocVQA 数据集的 240 倍。
Hugging Face BlogAI 评分4444 如何用 distilabel 构建 Argilla 2.0 文档 Chatbot
Hugging Face 展示了如何用 distilabel 从 Argilla 2.0 技术文档生成合成数据，微调领域专用 embedding 模型，并结合向量数据库与 Gradio 构建可对话的文档 Chatbot。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 小模型系列与 SmolLM-Corpus 数据集
Hugging Face 发布 SmolLM 小语言模型系列，包含 135M、360M、1.7B 三种参数规模，并同步开源 SmolLM-Corpus 训练语料。
推荐理由：原文公开了数据配比与消融实验细节，读者可迁移其小模型数据筛选方法。
Hugging Face BlogAI 评分4545 Hugging Face 在 Dataset Hub 上试验基于 Presidio 的自动 PII 检测报告
Hugging Face 在 Dataset Hub 上试验新功能，用开源 PII 检测工具 Presidio 为数据集生成 PII 存在情况的估算报告，帮助 ML 从业者在训练前判断数据集是否含敏感个人信息。
Hugging Face Blog精选AI 评分7878 Hugging Face 介绍 Google 新开放模型 Gemma 2 的技术细节与生态集成
Google 发布 Gemma 2 系列开放 LLM，Hugging Face 与 Google 合作完成生态集成，Hub 上提供 4 个开放权重模型（9B 与 27B 各含 base 和指令微调版本），上下文长度 8192 tokens，27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由：详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节，便于读者理解其性能提升来源。
Hugging Face BlogAI 评分5555 Hugging Face 教程：如何微调 Florence-2 完成 DocVQA 文档问答
Hugging Face 发布教程，展示如何将微软 Florence-2 微调到 DocVQA 数据集上获得 VQA 能力：微调前验证集 Levenshtein 相似度为 0，训练 7 个 epoch 后提升到 57.0。
Hugging Face BlogAI 评分3838 Hugging Face Ethics and Society Newsletter #6：构建更好的 AI——数据质量的重要性
Hugging Face Ethics and Society Newsletter #6 探讨了 AI 开发中数据质量的重要性，以 Reddit 向 Google 提供数据导致搜索引擎出现"往披萨上加胶水"的荒谬推荐为例，说明低质量数据的危害。
Hugging Face BlogAI 评分4444 Hugging Face 与 Argilla 的 Data Is Better Together 计划回顾与展望
Hugging Face 与 Argilla 联合开源社区推进的 Data Is Better Together 计划，已发布 DIBT/10k_prompts_ranked 数据集（10K prompts，385 人参与），并基于其中 500 条 prompt 启动多语言评测项目 MPEP，荷兰语、俄语、西班牙语翻译已完成。
Hugging Face BlogAI 评分5757 Hugging Face 在 TRL 中推出 RLOO Trainer 作为 PPO 的替代方案
Hugging Face 在 TRL 中引入 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外更易实现的在线 RLHF 训练算法。
Mistral AIAI 评分5656 Mistral AI 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 推出模型定制功能，提供三条微调入口：开源微调 SDK mistral-finetune（基于 LoRA，可在自有基础设施上微调其开源模型）、la Plateforme 上的 serverless 托管微调服务，以及面向部分客户的定制训练服务（含持续预训练）。
OpenAI NewsAI 评分4444 OpenAI 改进 fine-tuning API 并扩展 custom models 计划
OpenAI 为 fine-tuning API 新增功能，帮助开发者更精细地控制微调过程，并宣布推出新的 custom models 构建方式。
Hugging Face Blog精选AI 评分6262 Hugging Face 开源 Cosmopedia 合成数据集与 cosmo-1b 模型
Hugging Face 发布 Cosmopedia，一个用 Mixtral-8x7B-Instruct-v0.1 生成、含超 3000 万文件和 25 billion tokens 的合成数据集，用于从零预训练大语言模型，目标是复现 Phi-1.5 的训练数据。
推荐理由：原文拆解了从几千到千万级样本的提示词工程方法，可迁移给要做大规模预训练数据的团队。
Hugging Face BlogAI 评分5555 Hugging Face 介绍 GaLore 如何在消费级 GPU 上训练大模型
Hugging Face 官方博客介绍 GaLore 如何利用梯度的低秩结构和投影技术，把优化器状态显存降低超过 82.5%，从而在 NVIDIA RTX 4090 这类消费级 GPU 上训练最多 70 亿参数的 Llama 架构模型。
Hugging Face BlogAI 评分4949 Argilla 与 Hugging Face 推出 Data is Better Together，邀请社区共建数据集
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验，几天内吸引 350 名社区贡献者标注出超过 11,000 条 prompt 评分，并发布数据集 10k_prompts_ranked（含 10,000 条带用户评分的 prompt）。
Hugging Face BlogAI 评分5454 Hugging Face 教程：用 PEFT 与 LoRA 微调 Gemma 模型
Hugging Face 官方博客介绍如何用 Transformers 和 PEFT 库在 GPU 与 Cloud TPU 上对 Gemma 模型做参数高效微调（PEFT）。
Hugging Face Blog精选AI 评分6868 Hugging Face 教程：用合成数据训练专用小模型，成本仅为 GPT4 API 的百分之一
Hugging Face 博客展示了用开源 LLM（Mixtral-8x7B-Instruct-v0.1）生成合成数据、再用 AutoTrain 微调约 0.13B 参数 RoBERTa-base 的完整流程。
推荐理由：通过具体成本与碳排数字对比，读者可直接判断何时该用合成数据训练专用小模型而非调用 LLM API。
Hugging Face Blog精选AI 评分6161 Hugging Face 开源 Constitutional AI 训练配方与 llm-swarm 工具
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源基于 Slurm 集群、由 TGI 和 vLLM 支撑的可扩展合成数据生成工具 llm-swarm。
推荐理由：完整给出用开源模型做 Constitutional AI 的可复用配方与评测数据，便于迁移实践。
Hugging Face BlogAI 评分5656 Hugging Face 教程：用 Transformers 微调 Wav2Vec2-BERT 做低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 MetaAI 的 Wav2Vec2-BERT 预训练 checkpoint facebook/w2v-bert-2.0，在低资源蒙古语 Common Voice 16.0 数据集（约 14 小时验证训练数据）上完成 ASR 任务。
Hugging Face BlogAI 评分5757 Hugging Face 实测对比 DPO、IPO、KTO 三种偏好对齐方法
Hugging Face Blog 发布对 DPO、IPO、KTO 三种无强化学习偏好对齐方法的实证评测，在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上扫描 β 从 0.01 到 0.9 的超参数并用 MT-Bench 评测。
Hugging Face BlogAI 评分5555 Hugging Face 介绍用 Unsloth 与 TRL 将 LLM 微调提速 2 倍
Hugging Face 官方博客介绍社区库 Unsloth，它与 Hub、transformers、PEFT、TRL 完全兼容，可让 LLM 微调提速 2 倍、显存占用降低 40% 且精度零损失。
Hugging Face Blog精选AI 评分6060 Hugging Face 2023 年开源 LLM 年度回顾
Hugging Face 发布 2023 年开源 LLM 年度回顾，梳理了从 BLOOM、OPT、GLM-130B 到 LLaMA、Llama 2、Mistral、Qwen、Yi 等模型的发布脉络，以及 Chinchilla 范式转变带来的小模型加更多数据趋势。
推荐理由：系统梳理了开源 LLM 的技术要素与全年脉络，可作为理解开源模型生态的入门地图。
Hugging Face Blog精选AI 评分6262 Hugging Face 博客详解 Mixture of Experts（MoE）
Hugging Face 官方博客发布 Mixture of Experts Explained，系统讲解 MoE 的组成、稀疏性、负载均衡、Switch Transformers、微调挑战与推理部署技巧。
推荐理由：系统梳理了 MoE 的原理、训练与推理权衡，读者可据此判断何时选用稀疏模型。
OpenAI NewsAI 评分4545 OpenAI Data Partnerships
OpenAI 推出 Data Partnerships 计划，与外部机构合作共创用于 AI 训练的开源与私有数据集。该计划同时提供两类数据集：可公开发布的开源数据集，以及仅 OpenAI 内部使用的私有数据集。
Hugging Face BlogAI 评分3838 Prodigy-HF 发布：Prodigy 与 Hugging Face 直接集成
Explosion 上周推出 Prodigy-HF 插件，通过 hf.train.ner 和 hf.train.textcat 等 recipe 让用户直接在 Prodigy 标注数据上微调 Hugging Face 模型（如 distilbert-base-uncased），并可用 hf.correct.ner 复用模型辅助标注。
Hugging Face BlogAI 评分3838 用一行代码交互式探索 Hugging Face 数据集
Renumics Spotlight 支持用一行代码 `spotlight.show(ds)` 对 Hugging Face datasets 库中的数据集（如 speech_commands、CIFAR-100）生成交互式可视化，无需复制或预处理数据。
Hugging Face BlogAI 评分5757 Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 实现细节
Hugging Face 发布博客，复现 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在 sentiment 和 descriptiveness 等风格任务上得到与原版几乎一致的学习曲线，并整理出一份实现细节清单。
Hugging Face BlogAI 评分5555 Hugging Face 为 tokenizers 引入 chat_template 属性
Hugging Face 为 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时所用的对话格式，避免推理或微调时因格式不匹配导致难以察觉的性能下降。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践，训练约 13.5 小时完成。
Hugging Face Blog精选AI 评分7676 Hugging Face 迎来 TII 的 Falcon 180B 开源模型
Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态，这是当时最大的公开可用语言模型，拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens，是开源模型中最长的单轮预训练。
推荐理由：文章给出了硬件需求和量化实测，读者可据此评估自己能否跑起这个 180B 模型。
OpenAI NewsAI 评分3838 OpenAI 与 Scale 合作，为企业微调模型提供支持
OpenAI 与 Scale 达成合作，企业客户可通过 Scale 的 AI 专业能力定制 OpenAI 最先进的模型。Scale 将为企业微调模型提供支持服务。
OpenAI NewsAI 评分5858 OpenAI 开放 GPT-3.5 Turbo 微调及 API 更新
OpenAI 宣布开发者现在可以使用自己的数据对 GPT-3.5 Turbo 进行微调，以适配具体用例，同时发布了相关 API 更新。
Hugging Face BlogAI 评分5555 Hugging Face 教你用 DPO 微调 Llama 2
Hugging Face 官方博客介绍如何用 TRL 库中的 DPO 方法微调 Llama 2 7B 模型，DPO 绕过奖励模型和 RL 优化步骤，直接在偏好数据上用交叉熵损失优化语言模型。
Hugging Face BlogAI 评分4141 Huggy Lingo：用机器学习改进 Hugging Face Hub 数据集的语言元数据
Hugging Face 推出 Huggy Lingo，用机器学习检测 Hub 上缺失语言元数据的数据集，并由 librarian-bots 提交 pull request 补充元数据。