AWS Machine Learning Blog· Siddharth Senger·· 13 小时前精选AI 评分61
AWS 教程：在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS 发布教程，介绍如何在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏（SDC）：all-reduce 前后的 NaN/Inf 梯度检查、跨节点重放的 ring replay 审计、以及 optimizer 更新后的权重指纹比对。
推荐理由
原文给出三道检查的实现代码与开销实测数据，读者可据此评估在自己训练任务中落地的成本与收益。
来源：AWS Machine Learning Blog · aws.amazon.com