Hugging Face 分析全球算力格局变化:中国国产芯片与开源模型的相互推动
Hugging Face 博文分析了全球 AI 算力格局的变化:美国出口管制与中国国产芯片发展相互关联,近几个月中国高性能开源模型的推理已开始由华为 Ascend、Cambricon 等国产芯片承载,部分模型也开始用国产芯片训练。
推荐理由:梳理了美国出口管制与中国国产芯片、开源模型发展之间的相互作用,可帮助读者理解全球算力格局变化的来龙去脉。
技术方向
大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
78 条精选近 30 天 10 条共收录 350 条
Hugging Face 博文分析了全球 AI 算力格局的变化:美国出口管制与中国国产芯片发展相互关联,近几个月中国高性能开源模型的推理已开始由华为 Ascend、Cambricon 等国产芯片承载,部分模型也开始用国产芯片训练。
推荐理由:梳理了美国出口管制与中国国产芯片、开源模型发展之间的相互作用,可帮助读者理解全球算力格局变化的来龙去脉。
Google 宣布基于 Gemini 模型打造的个人健康教练将在未来一周内向美国 Fitbit Premium Android 用户推出可选公开预览,iOS 版本随后扩展。
推荐理由:原文拆解了健康教练背后的多智能体框架与评测体系,读者可了解其如何把通用模型落到具体健康场景。
Hugging Face 官方博客宣布 datasets 库的 streaming=True 流式加载获得大幅优化:数据文件解析时间快 10 倍、启动请求最多减少 100 倍、流式速度最高提升 2 倍,在 256 并发 worker 下零崩溃。
推荐理由:原文拆解了启动与流式两个阶段的具体优化手段,读者可迁移其缓存与预取思路到自己的数据管线。
LeRobot 发布 v0.4.0,推出 LeRobotDataset v3.0(分块 episode 格式、Parquet 统一元数据,支持 OXE 级 >400GB 数据集)、lerobot-edit-dataset CLI 编辑工具,以及面向模型和硬件的两类 Processors 数据处理管线。
推荐理由:原文逐项列出了数据集、仿真、训练与硬件接入的改动,读者可据此评估开源机器人学习工作流会如何变化。
Hugging Face 发布 Jupyter Agent 项目后续工作,通过生成高质量训练数据并微调 Qwen3-4B,使其在 DABStep 数据科学基准上成为 SOTA 小模型智能体。
推荐理由:完整拆解了从数据清洗到微调评测的全流程,可迁移的方法细节和踩坑经验较多。
Hugging Face 发布 mmBERT,一个基于 ModernBERT 构建的大规模多语言编码器模型,使用 3T+ tokens、覆盖 1800 多种语言训练,是首个在性能与速度上超越 XLM-R 的同类模型。
推荐理由:原文给出三阶段训练与低资源语言在衰减阶段快速学习的细节,可迁移其渐进式多语言训练思路。
Hugging Face 与 AI-MO 开源了 kimina-prover-rl 训练管线,用于 Lean 4 形式化定理证明,采用受 DeepSeek-R1 启发的先推理后生成范式,基于 GRPO 与 Verl 框架,训练配方以 recipe/kimina-prover-rl 形式随 Verl fork 发布。
推荐理由:原文给出了完整的训练配方与开源入口,读者可据此复现小参数模型上的强化学习定理证明流程。
Hugging Face 发布开源无代码工具 AI Sheets,用于用 AI 模型构建、转换和丰富数据集,可本地部署或部署到 Hub,通过 Inference Providers 或本地模型调用 Hub 上的数千个开放模型,包括 OpenAI 的 gpt-oss。
推荐理由:原文给出了免安装入口、导入与生成两种起步方式以及 few-shot 反馈机制,读者可据此判断它如何嵌入现有数据工作流。
Hugging Face Blog 发布 Ettin 系列,包含 17M 到 1B 六种规模的成对 encoder-only 与 decoder-only 模型,使用相同的 2T token 公开数据、架构和训练配方,仅在注意力模式和训练目标上不同。
推荐理由:用同一套数据和配方同时训练编码器与解码器,读者可据此看到架构本身的真实差异。
Hugging Face Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个微调代码模型,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 在 50 次提交限制下还超过 o1-mini 和 DeepSeek-R1。
推荐理由:文中给出的五条训练经验可直接迁移到用推理轨迹微调代码模型的实践中。
Hugging Face LeRobot 团队与 Yaak 联合发布 Learning to Drive(L2D)开源自动驾驶数据集,R4 版本包含 90+ TB 多模态数据、5000+ 小时驾驶、来自德国 30 个城市的 6 路环视摄像头与完整车辆状态。
推荐理由:对比表和分阶段发布计划让读者能直接评估该数据集相对现有开源数据集的规模与可用性差异。
Hugging Face 用 Math-Verify 替换 Open LLM Leaderboard 上的旧数学评测器,重新评估了提交过的全部 3,751 个模型。
推荐理由:原文给出旧评测器的三类解析缺陷与修复后分数变化,读者可据此理解评测口径对排行榜的实际影响。
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。
推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。
Hugging Face 发布 Open-R1 项目首周更新,称已在 MATH-500 Benchmark 上基本复现 DeepSeek-R1 蒸馏模型的报告分数,并上线了公开评测 leaderboard。
推荐理由:汇总了复现进度、训练管线细节和社区数据集,读者可据此评估开源复现 DeepSeek-R1 的可行性与路径。
Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment,训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。
推荐理由:教程给出可复现的 GRPO 训练配置与超参调整过程,读者可据此在自有硬件上复现类似实验。
OpenAI 宣布 GPT-4o 现已支持微调(fine-tuning)。
Hugging Face 发布 SmolLM 小语言模型系列,包含 135M、360M、1.7B 三种参数规模,并同步开源 SmolLM-Corpus 训练语料。
推荐理由:原文公开了数据配比与消融实验细节,读者可迁移其小模型数据筛选方法。
Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。
Hugging Face 发布 Cosmopedia,一个用 Mixtral-8x7B-Instruct-v0.1 生成、含超 3000 万文件和 25 billion tokens 的合成数据集,用于从零预训练大语言模型,目标是复现 Phi-1.5 的训练数据。
推荐理由:原文拆解了从几千到千万级样本的提示词工程方法,可迁移给要做大规模预训练数据的团队。
Hugging Face 博客展示了用开源 LLM(Mixtral-8x7B-Instruct-v0.1)生成合成数据、再用 AutoTrain 微调约 0.13B 参数 RoBERTa-base 的完整流程。
推荐理由:通过具体成本与碳排数字对比,读者可直接判断何时该用合成数据训练专用小模型而非调用 LLM API。