跳到正文
原文
Google DeepMind·· 2026-04-22精选AI 评分62

Google DeepMind 发布 Decoupled DiLoCo 论文:跨区域分布式训练 LLM

Decoupled DiLoCo: A new frontier for resilient, distributed AI training

AI 导读

Google DeepMind 发表新论文 Decoupled DiLoCo,将大训练任务拆分为解耦的算力岛屿并以异步数据流连接,使局部硬件故障不影响其他部分继续训练。

推荐理由

原文给出了带宽、容错和跨代硬件混训的具体实验结果,可据此评估分布式训练路线的实际可行性。

来源:Google DeepMind · deepmind.google