跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

78 条精选近 30 天 10 条共收录 350 条

更新

精选归档 · 第 2 页

9月16日周三第 21–40 条
  1. NVIDIA Blog60

    NVIDIA DSX 通过 MaxLPS 与 Flex 提升 AI 工厂每兆瓦产出

    NVIDIA 介绍 DSX 平台如何在固定电力预算下提升 AI 工厂产出:Lambda 在 HGX B200 服务器上首次验证 DSX MaxLPS,用与 16 节点满功率相同的预算运行 19 节点,集群 token 吞吐从约 4 million tokens per second 提升到 5 million(+24%),性能功耗比提升 23%。

    推荐理由:原文给出了 Lambda 实测的吞吐与能效数字,以及电网信号自动降载的生产案例,可据此评估其对电力受限场景的实际价值。

9月8日周二
  1. Google DeepMind78

    Google DeepMind 发布 AlphaGenome Atlas,覆盖人类基因组全部 90 亿个单字母变异预测

    Google DeepMind 发布 AlphaGenome Atlas,一个包含人类基因组全部 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,是 AlphaFold 数据库的 30 多倍。

    推荐理由:读者可了解 9 亿单核苷酸变异预测数据集如何把基因组变异解读从单点分析扩展到全基因组视图。

9月4日周五
  1. Google Research66

    Google 与 HHMI Janelia 等发布完整雄性果蝇脑图谱

    Google 与 HHMI Janelia、剑桥大学等合作在 Cell 发表论文,发布完整雄性果蝇大脑与中枢神经系统连接组图谱,包含超过 166,000 个神经元和 1.25 亿个突触连接,是迄今按神经元数量计算最大的脑图谱。

    推荐理由:Google 与 HHMI Janelia 等合作发布迄今神经元数量最多的脑图谱,读者可了解 AI 在连接组学中的具体作用。

9月3日周四
  1. Hugging Face Blog61

    用 TRL 和 OpenEnv 开源复现训练代码模型画水彩的完整配方

    作者用 TRL 和 OpenEnv 开源复现了 Surya Narreddi 训练语言模型写 p5.brush 代码画水彩的配方,参考池数据集、RL 环境、训练脚本和模型全部公开,整条流水线可在 Hugging Face 上一条命令跑通。

    推荐理由:文章完整拆解了用 TRL 和 OpenEnv 复现审美奖励训练的全过程,含三组奖励配比对比与踩坑记录,可直接迁移。

8月28日周五
  1. Google Research61

    Google Earth AI 推出 planetary prediction engine 自动化地理空间建模

    Google Research 介绍 Google Earth AI 的实验性能力 planetary prediction engine(PPE),可从自然语言查询出发自主完成数据发现、特征工程、模型训练与评估,把复杂地理空间预测模型的构建时间从数周缩短到数分钟。

    推荐理由:原文给出了三阶段架构与四类任务的具体指标,读者可据此判断自动化地理空间建模相对人工流程的实际增益。

7月31日周五
  1. Microsoft Research74

    Microsoft Research 发布 Echoverse:面向计算机使用智能体的深度可演化训练环境

    Microsoft Research 发布 Echoverse,一套面向计算机使用智能体的深度可演化训练环境,包含十个深度领域世界和两个能力世界,并开源其中四个世界的代码、数据与数据库接地验证器。

    推荐理由:原文用对照实验说明深度与多样性比环境数量更能带来迁移,可为构建计算机使用智能体训练环境提供方法参考。

7月9日周四
  1. Google Research62

    Google Research 发布 SensorFM 可穿戴健康数据基础模型

    Google Research 发布大型传感器基础模型 SensorFM,用 500 万名同意参与者、超过 1 万亿分钟的多模态传感器信号做自监督预训练,学习可迁移到心血管、代谢、睡眠和心理健康的通用生理表征。

    推荐理由:原文给出了预训练规模与下游任务收益的对应关系,读者可据此判断通用表征在可穿戴健康场景的迁移空间。

6月30日周二
  1. Google Research67

    Google Research 发布表格数据零样本基础模型 TabFM

    Google Research 发布面向表格数据分类与回归的基础模型 TabFM,将表格预测建模为上下文学习问题,无需手动训练、超参调优和特征工程,单次前向传播即可在未见过的表格上生成预测。

    推荐理由:原文说明了混合注意力架构与合成数据训练如何替代传统特征工程和调参流程,便于评估其对现有工作流的替代空间。

6月22日周一
  1. Hugging Face Blog62

    Hugging Face 用本地模型免费完成 OpenClaw 仓库 PR 分类

    Hugging Face 博客介绍了用本地模型 gemma-4-26b-a4b 和 qwen3.6-35b-a3b 搭配 pi agent harness 与受限 reposhell,在 NVIDIA GB10(DGX Spark,128 GB 统一内存)上对 OpenClaw 仓库的 issue 和 PR 做实时分类与 Discord 通知的完整方案。

    推荐理由:给出了本地模型做高吞吐分类的完整配方与实测数据,可迁移到其他实时筛选场景。

6月5日周五
  1. Google Research70

    Google Research 发表 Nature 论文:用智能手机前置摄像头被动监测心率

    Google Research 在 Nature 发表论文介绍 PHRM 系统,可在日常使用手机时通过前置摄像头在人脸解锁后拍摄视频,被动估计心率与静息心率,心率 MAPE < 10%,日均静息心率相对可穿戴设备 MAE < 5 bpm。

    推荐理由:原文给出了跨肤色非劣性标准与真实场景验证方法,可迁移用于评估rPPG类健康监测模型的公平性。

5月17日周日
4月22日周三
3月31日周二
  1. Hugging Face Blog61

    Hugging Face 发布 TRL v1.0 后训练库

    Hugging Face 发布 TRL v1.0,将后训练库从研究代码库转为带明确稳定性契约的正式库,已实现超过 75 种后训练方法,月下载量达 3 million。

    推荐理由:原文解释了稳定层与实验层并存的设计取舍,读者可理解后训练库如何应对算法快速更迭。

3月18日周三
3月10日周二
  1. Hugging Face Blog62

    Hugging Face 用七个维度对比16个开源异步RL训练库

    Hugging Face Blog 发布长文,为 TRL 的异步训练器设计做调研,按七个维度(编排原语、rollout buffer 设计、权重同步协议、staleness 管理、partial rollout 处理、LoRA 支持、分布式训练后端)对比了16个从零围绕异步训练构建的开源库。

    推荐理由:文章用七个维度拆解了16个开源RL库的异步训练设计,读者可据此对比选型并理解各自权衡。

2月3日周二
  1. Hugging Face Blog68

    Photoroom 发布 PRX 文生图模型训练设计消融实验报告

    Photoroom 在 Hugging Face Blog 发布 PRX 文生图模型训练系列第二篇,以 PRX-1.2B 在 256×256 Flux VAE 潜空间的 Flow Matching 基线(100k 步、1M MidJourneyV6 合成数据、AdamW lr 1e-4)为参照,系统消融四类训练技巧并报告 FID、CMMD、DINO-MMD 与吞吐变化。

    推荐理由:以统一基线系统消融十余种训练技巧,给出各方法在质量与吞吐上的真实取舍,可直接迁移到自己的训练配置。

2025年12月11日周四
2025年12月4日周四
  1. Hugging Face Blog64

    Hugging Face 推出 Skills 让 Claude 微调开源 LLM 的教程

    Hugging Face 发布 hf-llm-trainer skill,让 Claude Code 等编码智能体通过对话完成开源 LLM 微调的全流程,包括校验数据集、选择硬件、生成并提交训练任务、监控进度以及把模型推到 Hub。

    推荐理由:教程给出了从数据校验到成本估算的完整闭环,读者可据此评估用对话完成微调的可行性。

2025年12月1日周一