Google DeepMind 发布 Decoupled DiLoCo 论文:跨区域分布式训练 LLM
Google DeepMind 发表新论文 Decoupled DiLoCo,将大训练任务拆分为解耦的算力岛屿并以异步数据流连接,使局部硬件故障不影响其他部分继续训练。
推荐理由:原文给出了带宽、容错和跨代硬件混训的具体实验结果,可据此评估分布式训练路线的实际可行性。
Google DeepMind 发表新论文 Decoupled DiLoCo,将大训练任务拆分为解耦的算力岛屿并以异步数据流连接,使局部硬件故障不影响其他部分继续训练。
推荐理由:原文给出了带宽、容错和跨代硬件混训的具体实验结果,可据此评估分布式训练路线的实际可行性。
伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让基于学习动力学(世界模型)的长时程规划变得实用。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维视觉模型梯度脆弱等问题。
Google Research 在 Transactions on Machine Learning Research 发表论文,提出 reasoning-first 的合成数据生成框架 Simula,通过全局多样性、局部多样性、复杂度和质量四个可控轴从第一性原理构建数据集。
Hugging Face Blog 发布 EcomRLVE-GYM,把 RLVE 框架从单轮推理题扩展到多轮、带工具的电商对话场景,提供商品发现、缺货替代、加购、退货、订单追踪、政策问答、组合规划、多意图旅程共 8 个可算法验证的环境,每个环境含程序化题目生成、12 轴难度课程与可验证奖励。
Google Research 发布 ConvApparel 数据集,包含服装购物领域 4,000+ 段人机多轮对话(近 15,000 轮),用于量化 LLM 用户模拟器与真实人类行为之间的差距。
Hugging Face 宣布 Safetensors 加入 Linux Foundation 旗下的 PyTorch Foundation,与 DeepSpeed。
Hugging Face 发布 Granite 4.0 3B Vision,一款面向企业文档理解的紧凑视觉语言模型,主打表格抽取、图表理解和语义键值对(KVP)抽取,以 LoRA adapter 形式搭载于 Granite 4.0 Micro 之上,支持纯文本回退,可独立使用或与 Docling 组成文档处理流水线。
OpenMed 构建了从结构预测、序列设计到密码子优化的端到端蛋白 AI 流水线,其中自研的 CodonRoBERTa-large-v2 在密码子级语言建模上取得 perplexity 4.10、CAI Spearman 相关 0.404,显著优于 ModernBERT-base 的 26.24。
Hugging Face 发布 TRL v1.0,将后训练库从研究代码库转为带明确稳定性契约的正式库,已实现超过 75 种后训练方法,月下载量达 3 million。
推荐理由:原文解释了稳定层与实验层并存的设计取舍,读者可理解后训练库如何应对算法快速更迭。
Google Research 在 Google Earth AI 计划下推出自监督框架 S2Vec,通过 S2 Geometry 分区将建成环境栅格化为多层图像,再用 masked autoencoding(MAE)学习通用嵌入向量,无需人工标注即可预测人口密度、中位收入等指标。
Hugging Face 发布《State of Open Source on Hugging Face: Spring 2026》报告,用平台数据梳理过去一年开源 AI 在竞争、地域、技术趋势与社区上的变化。
推荐理由:报告用下载、派生模型等多维数据刻画开源生态一年变化,可帮助读者理解竞争与地域格局的迁移。
Mistral AI 推出 Forge,帮助企业用自有专有知识训练前沿级 AI 模型,已与 ASML、Ericsson、European Space Agency 等机构合作。Forge 支持预训练、后训练和强化学习,兼容 dense 与 MoE 架构及多模态输入,并可由 Mistral Vibe 这类自主 agent 用自然语言完成微调、超参搜索与合成数据生成,同时监控指标防止基准回退。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。
Hugging Face Blog 发布长文,为 TRL 的异步训练器设计做调研,按七个维度(编排原语、rollout buffer 设计、权重同步协议、staleness 管理、partial rollout 处理、LoRA 支持、分布式训练后端)对比了16个从零围绕异步训练构建的开源库。
推荐理由:文章用七个维度拆解了16个开源RL库的异步训练设计,读者可据此对比选型并理解各自权衡。
Google Research 在论文《Bayesian teaching enables probabilistic reasoning in large language models》中,通过监督微调让 LLM 模仿贝叶斯助手的预测来学习概率推理。
Hugging Face 官方博客介绍如何用 Unsloth 和 Hugging Face Jobs 通过 Claude Code、Codex 等 coding agent 快速微调 LLM(以 LiquidAI/LFM2.5-1.2B-Instruct 为例),Unsloth 相比标准方法约 2 倍提速、约 60% 省显存。
Google Research 提出 MapTrace 任务、数据集与合成数据生成流水线,用 Gemini 2.5 Pro 和 Imagen-4 开源 2M 问答对,帮助多模态大语言模型学会在地图上追踪路径。
OpenAI 推出开源工具包 GABRIEL,利用 GPT 将定性文本和图像转化为量化数据,帮助社会科学家规模化开展研究分析。
Hugging Face 推出 SyGra 2.0.0 的 Studio,一个把合成数据生成变成可视化画布操作的交互环境,取代手写 YAML 和终端流程。用户可在画布上拖拽节点、预览数据源、内联调提示词并实时查看执行流,Studio 会同步生成对应的 SyGra graph config 与任务执行脚本。
Photoroom 在 Hugging Face Blog 发布 PRX 文生图模型训练系列第二篇,以 PRX-1.2B 在 256×256 Flux VAE 潜空间的 Flow Matching 基线(100k 步、1M MidJourneyV6 合成数据、AdamW lr 1e-4)为参照,系统消融四类训练技巧并报告 FID、CMMD、DINO-MMD 与吞吐变化。
推荐理由:以统一基线系统消融十余种训练技巧,给出各方法在质量与吞吐上的真实取舍,可直接迁移到自己的训练配置。
OpenAI 与 Snowflake 达成一项 2 亿美元的合作协议,把前沿 AI 能力带入企业数据场景,使 AI agents 和洞察可以直接在 Snowflake 中运行。
OpenAI 打造了内部数据智能体,结合 GPT-5、Codex 与记忆能力,对大规模数据集进行推理并在数分钟内给出可靠洞察。
Google Research 发布 ATLAS 研究,将发表于 ICLR 2026,是迄今规模最大的公开多语言预训练研究,涵盖 774 次训练、10M–8B 参数模型、400+ 语言数据与 48 种语言评测。
Hugging Face 分析了 DeepSeek Moment 之后中国开源 AI 生态在架构与硬件上的选择:Kimi K2、MiniMax M2、Qwen3 等主流模型几乎一致转向 MoE 架构,Apache 2.0 成为默认开源许可,0.5B–30B 小模型因易本地运行和微调而广受欢迎,100B–700B 大模型则作为"教师模型"向下蒸馏。
Hugging Face 与 LinkedIn 团队复盘了在 verl 框架下为 GPT-OSS-20B 解锁 agentic RL 训练的过程,依次修复了三类问题。
Google Research 在 NeurIPS 2025 推出 Greedy Independent Set Thresholding(GIST)算法,通过平衡数据多样性与效用解决子集选择难题,在图像分类等 benchmark 上超越 SOTA,并提供数学保证:所选子集价值至少为最优解的一半。
Google Research 研究确认 Android Auto 采集的急刹车事件(HBE,减速度超 -3m/s²)与路段碰撞率呈统计显著正相关,可作为领先指标用于道路安全评估。
Google Research 发文介绍 NeuralGCM 在 Science Advances 上发表的新研究,通过直接用 NASA 2001 至 2018 年卫星降水观测训练模型的机器学习部分,改进了降水模拟。
伯克利 AI 研究团队提出一套基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,并在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证其能预测解码器性能。该方法优化出的设计达到端到端 SOTA 方法水平,同时占用更少内存和算力,且无需任务专用解码器设计。
Hugging Face 官方博客介绍 Transformers v5 对分词器的重新设计,将分词器架构与训练好的词表分离,类似 PyTorch 把网络结构与权重分开。
Hugging Face 发布教程,介绍让 OpenAI Codex 接入 HF Skills 仓库后完成端到端机器学习实验的流程。
推荐理由:教程给出从数据校验到成本预估的完整操作链,可直接迁移到自己的微调实验。
Google Research 在 COLM 2025 发表论文推出 Urania 框架,通过差分隐私(DP)聚类、DP 关键词提取与 LLM 摘要,为 LLM 聊天交互生成带形式化隐私保证的使用洞察。与非私有基线 Simple-CLIO 对比中,LLM 评估者在某次评测里最多有 70% 的时间偏好 DP 生成的摘要。隐私参数 ε 越小,摘要主题覆盖粒度越低,但隐私保证是数学性的而非启发式。
Hugging Face 发布 hf-llm-trainer skill,让 Claude Code 等编码智能体通过对话完成开源 LLM 微调的全流程,包括校验数据集、选择硬件、生成并提交训练任务、监控进度以及把模型推到 Hub。
推荐理由:教程给出了从数据校验到成本估算的完整闭环,读者可据此评估用对话完成微调的可行性。
Intel AI Software Group 推出 DeepMath,一个基于 Qwen3-4B Thinking、用 GRPO 微调的数学推理 Agent,通过生成短 Python 片段在沙箱中执行中间步骤,输出长度最多减少 66% 且准确率常有提升。
OpenAI 宣布收购 Neptune,以加深对模型行为的可见性,并强化研究人员用于跟踪实验和监控训练的工具。
Hugging Face 发布 Transformers v5.0.0rc-0,日安装量超 300 万次、累计超 12 亿次,模型架构从 v4 的 40 个增至 400 多个。
推荐理由:官方系统梳理了 v5 在简化、训练、推理和量化上的取舍,读者可据此判断迁移成本与生态兼容变化。
Hugging Face TRL 官方集成 RapidFire AI,让用户在几乎不改代码、不增加 GPU 需求的前提下并发比较多种微调/后训练配置。
Google Research 宣布发布 JAX-Privacy 1.0,这是一个基于 JAX 构建、用于开发和审计差分隐私(DP)模型的开源工具包,已通过 GitHub 仓库和 PIP 包提供。
Google Research 在 NeurIPS 2025 发表论文《Nested Learning: The Illusion of Deep Learning Architectures》,提出 Nested Learning 范式,将模型架构与优化算法视为同一系统的不同优化层级,以应对持续学习中的灾难性遗忘问题。
Google Research 提出数据科学智能体 DS-STAR,通过数据文件分析模块、LLM judge 验证与迭代式规划,在 DABStep、KramaBench、DA-Code 上取得 SOTA,准确率分别达 45.2%、44.7%、38.5%,超过 AutoGen 与 DA-Agent。