跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

78 条精选近 30 天 10 条共收录 350 条

更新

精选归档 · 第 3 页

2025年10月29日周三第 41–60 条
  1. Hugging Face Blog67

    Hugging Face 分析全球算力格局变化:中国国产芯片与开源模型的相互推动

    Hugging Face 博文分析了全球 AI 算力格局的变化:美国出口管制与中国国产芯片发展相互关联,近几个月中国高性能开源模型的推理已开始由华为 Ascend、Cambricon 等国产芯片承载,部分模型也开始用国产芯片训练。

    推荐理由:梳理了美国出口管制与中国国产芯片、开源模型发展之间的相互作用,可帮助读者理解全球算力格局变化的来龙去脉。

2025年10月28日周二
2025年10月27日周一
  1. Hugging Face Blog62

    Hugging Face datasets 流式加载提速,启动请求最多减少 100 倍

    Hugging Face 官方博客宣布 datasets 库的 streaming=True 流式加载获得大幅优化:数据文件解析时间快 10 倍、启动请求最多减少 100 倍、流式速度最高提升 2 倍,在 256 并发 worker 下零崩溃。

    推荐理由:原文拆解了启动与流式两个阶段的具体优化手段,读者可迁移其缓存与预取思路到自己的数据管线。

2025年10月24日周五
  1. Hugging Face Blog70

    LeRobot v0.4.0 发布:数据集 v3.0、PI0.5 与 GR00T N1.5 集成及硬件插件系统

    LeRobot 发布 v0.4.0,推出 LeRobotDataset v3.0(分块 episode 格式、Parquet 统一元数据,支持 OXE 级 >400GB 数据集)、lerobot-edit-dataset CLI 编辑工具,以及面向模型和硬件的两类 Processors 数据处理管线。

    推荐理由:原文逐项列出了数据集、仿真、训练与硬件接入的改动,读者可据此评估开源机器人学习工作流会如何变化。

2025年9月10日周三
2025年9月9日周二
  1. Hugging Face Blog61

    Hugging Face 发布 mmBERT 多语言编码器模型

    Hugging Face 发布 mmBERT,一个基于 ModernBERT 构建的大规模多语言编码器模型,使用 3T+ tokens、覆盖 1800 多种语言训练,是首个在性能与速度上超越 XLM-R 的同类模型。

    推荐理由:原文给出三阶段训练与低资源语言在衰减阶段快速学习的细节,可迁移其渐进式多语言训练思路。

2025年8月14日周四
  1. Hugging Face Blog60

    Hugging Face 开源 Kimina-Prover-RL 训练管线并发布 1.7B 与 0.6B 模型

    Hugging Face 与 AI-MO 开源了 kimina-prover-rl 训练管线,用于 Lean 4 形式化定理证明,采用受 DeepSeek-R1 启发的先推理后生成范式,基于 GRPO 与 Verl 框架,训练配方以 recipe/kimina-prover-rl 形式随 Verl fork 发布。

    推荐理由:原文给出了完整的训练配方与开源入口,读者可据此复现小参数模型上的强化学习定理证明流程。

2025年8月8日周五
  1. Hugging Face Blog65

    Hugging Face 推出开源无代码数据工具 AI Sheets

    Hugging Face 发布开源无代码工具 AI Sheets,用于用 AI 模型构建、转换和丰富数据集,可本地部署或部署到 Hub,通过 Inference Providers 或本地模型调用 Hub 上的数千个开放模型,包括 OpenAI 的 gpt-oss。

    推荐理由:原文给出了免安装入口、导入与生成两种起步方式以及 few-shot 反馈机制,读者可据此判断它如何嵌入现有数据工作流。

2025年7月16日周三
  1. Hugging Face Blog61

    Hugging Face 发布 Ettin 系列配对编码器与解码器模型

    Hugging Face Blog 发布 Ettin 系列,包含 17M 到 1B 六种规模的成对 encoder-only 与 decoder-only 模型,使用相同的 2T token 公开数据、架构和训练配方,仅在注意力模式和训练目标上不同。

    推荐理由:用同一套数据和配方同时训练编码器与解码器,读者可据此看到架构本身的真实差异。

2025年3月12日周三
  1. Hugging Face Blog72

    Hugging Face Open R1 发布 OlympicCoder 代码模型与 IOI 基准

    Hugging Face Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个微调代码模型,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 在 50 次提交限制下还超过 o1-mini 和 DeepSeek-R1。

    推荐理由:文中给出的五条训练经验可直接迁移到用推理轨迹微调代码模型的实践中。

2025年3月11日周二
  1. Hugging Face Blog66

    Hugging Face 与 Yaak 推出最大开源自动驾驶数据集 L2D

    Hugging Face LeRobot 团队与 Yaak 联合发布 Learning to Drive(L2D)开源自动驾驶数据集,R4 版本包含 90+ TB 多模态数据、5000+ 小时驾驶、来自德国 30 个城市的 6 路环视摄像头与完整车辆状态。

    推荐理由:对比表和分阶段发布计划让读者能直接评估该数据集相对现有开源数据集的规模与可用性差异。

2025年2月14日周五
2025年2月11日周二
  1. Hugging Face Blog61

    Hugging Face Open R1 发布 OpenR1-Math-220k 数学推理数据集

    Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。

    推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。

2025年2月2日周日
2025年1月31日周五
2024年8月20日周二
2024年7月16日周二
2024年6月27日周四
  1. Hugging Face Blog78

    Hugging Face 介绍 Google 新开放模型 Gemma 2 的技术细节与生态集成

    Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。

    推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。

2024年3月20日周三
  1. Hugging Face Blog62

    Hugging Face 开源 Cosmopedia 合成数据集与 cosmo-1b 模型

    Hugging Face 发布 Cosmopedia,一个用 Mixtral-8x7B-Instruct-v0.1 生成、含超 3000 万文件和 25 billion tokens 的合成数据集,用于从零预训练大语言模型,目标是复现 Phi-1.5 的训练数据。

    推荐理由:原文拆解了从几千到千万级样本的提示词工程方法,可迁移给要做大规模预训练数据的团队。

2024年2月16日周五