跳到正文
  1. AWS Machine Learning Blog61

    AWS 教程:在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

    AWS 发布教程,介绍如何在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏(SDC):all-reduce 前后的 NaN/Inf 梯度检查、跨节点重放的 ring replay 审计、以及 optimizer 更新后的权重指纹比对。

    推荐理由:原文给出三道检查的实现代码与开销实测数据,读者可据此评估在自己训练任务中落地的成本与收益。

  1. Hugging Face Blog71

    用 ML Intern 在几天内低成本训练 6 个定制模型的实践

    作者在 HuggingChat 中开启 ML-intern 模式,用提示词驱动其规划、训练、评估并发布模型,几天内做出 6 个模型,总算力成本约 USD 103。

    推荐理由:作者公开了七条完整提示词和预算控制写法,可直接迁移到自己的微调项目中。

  1. Hugging Face Blog61

    用 TRL 和 OpenEnv 开源复现训练代码模型画水彩的完整配方

    作者用 TRL 和 OpenEnv 开源复现了 Surya Narreddi 训练语言模型写 p5.brush 代码画水彩的配方,参考池数据集、RL 环境、训练脚本和模型全部公开,整条流水线可在 Hugging Face 上一条命令跑通。

    推荐理由:文章完整拆解了用 TRL 和 OpenEnv 复现审美奖励训练的全过程,含三组奖励配比对比与踩坑记录,可直接迁移。

  1. Hugging Face Blog62

    Hugging Face 用本地模型免费完成 OpenClaw 仓库 PR 分类

    Hugging Face 博客介绍了用本地模型 gemma-4-26b-a4b 和 qwen3.6-35b-a3b 搭配 pi agent harness 与受限 reposhell,在 NVIDIA GB10(DGX Spark,128 GB 统一内存)上对 OpenClaw 仓库的 issue 和 PR 做实时分类与 Discord 通知的完整方案。

    推荐理由:给出了本地模型做高吞吐分类的完整配方与实测数据,可迁移到其他实时筛选场景。

  1. Hugging Face Blog62

    Hugging Face 用七个维度对比16个开源异步RL训练库

    Hugging Face Blog 发布长文,为 TRL 的异步训练器设计做调研,按七个维度(编排原语、rollout buffer 设计、权重同步协议、staleness 管理、partial rollout 处理、LoRA 支持、分布式训练后端)对比了16个从零围绕异步训练构建的开源库。

    推荐理由:文章用七个维度拆解了16个开源RL库的异步训练设计,读者可据此对比选型并理解各自权衡。

  1. Hugging Face Blog68

    Photoroom 发布 PRX 文生图模型训练设计消融实验报告

    Photoroom 在 Hugging Face Blog 发布 PRX 文生图模型训练系列第二篇,以 PRX-1.2B 在 256×256 Flux VAE 潜空间的 Flow Matching 基线(100k 步、1M MidJourneyV6 合成数据、AdamW lr 1e-4)为参照,系统消融四类训练技巧并报告 FID、CMMD、DINO-MMD 与吞吐变化。

    推荐理由:以统一基线系统消融十余种训练技巧,给出各方法在质量与吞吐上的真实取舍,可直接迁移到自己的训练配置。

  1. Hugging Face Blog64

    Hugging Face 推出 Skills 让 Claude 微调开源 LLM 的教程

    Hugging Face 发布 hf-llm-trainer skill,让 Claude Code 等编码智能体通过对话完成开源 LLM 微调的全流程,包括校验数据集、选择硬件、生成并提交训练任务、监控进度以及把模型推到 Hub。

    推荐理由:教程给出了从数据校验到成本估算的完整闭环,读者可据此评估用对话完成微调的可行性。

  1. Hugging Face Blog61

    Hugging Face Open-R1 项目一周进展:复现评测、GRPO 训练与合成数据生成

    Hugging Face 发布 Open-R1 项目首周更新,称已在 MATH-500 Benchmark 上基本复现 DeepSeek-R1 蒸馏模型的报告分数,并上线了公开评测 leaderboard。

    推荐理由:汇总了复现进度、训练管线细节和社区数据集,读者可据此评估开源复现 DeepSeek-R1 的可行性与路径。

  1. Hugging Face Blog61

    用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment 教程

    Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment,训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。

    推荐理由:教程给出可复现的 GRPO 训练配置与超参调整过程,读者可据此在自有硬件上复现类似实验。

  1. Hugging Face Blog61

    Hugging Face 开源 Constitutional AI 训练配方与 llm-swarm 工具

    Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方,并开源基于 Slurm 集群、由 TGI 和 vLLM 支撑的可扩展合成数据生成工具 llm-swarm。

    推荐理由:完整给出用开源模型做 Constitutional AI 的可复用配方与评测数据,便于迁移实践。

  1. Hugging Face Blog62

    Hugging Face 博客详解 Mixture of Experts(MoE)

    Hugging Face 官方博客发布 Mixture of Experts Explained,系统讲解 MoE 的组成、稀疏性、负载均衡、Switch Transformers、微调挑战与推理部署技巧。

    推荐理由:系统梳理了 MoE 的原理、训练与推理权衡,读者可据此判断何时选用稀疏模型。

  1. Hugging Face Blog60

    BigCode 背后的大规模近似去重实践

    Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法,覆盖 MinHash 加 LSH 的完整流程:shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。

    推荐理由:系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案,并给出参数取舍的实验依据,可直接迁移到自有数据集。

  1. Hugging Face Blog68

    Hugging Face 官方发布 TRL 与 PEFT 集成,24GB 消费级 GPU 可用 RLHF 微调 20B 模型

    Hugging Face 官方正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程:用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits,从而省去两份模型副本。

    推荐理由:原文拆解了 8-bit 加载、LoRA 适配器与复用同一模型的三步流程,读者可直接迁移到自己的显存受限训练场景。

  1. Hugging Face Blog65

    Hugging Face 介绍如何用 LoRA 高效微调 Stable Diffusion

    Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。

    推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。

  1. Hugging Face Blog60

    Hugging Face 解读让对话智能体更有用的关键技术

    Hugging Face 博客梳理了 ChatGPT 背后的 RLHF、IFT、SFT、CoT、红队测试等技术,对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT、Assistant 在公开访问、训练数据、模型架构和评测维度上的差异。

    推荐理由:通过对比表和分类梳理,读者可快速理解 IFT、SFT、RLHF、CoT 各自作用与数据需求差异。

已经到底了