AWS 教程:在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
AWS 发布教程,介绍如何在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏(SDC):all-reduce 前后的 NaN/Inf 梯度检查、跨节点重放的 ring replay 审计、以及 optimizer 更新后的权重指纹比对。
推荐理由:原文给出三道检查的实现代码与开销实测数据,读者可据此评估在自己训练任务中落地的成本与收益。