Hugging Face Blog·· 2021-01-19AI 评分55
Hugging Face 教你用 ZeRO 通过 DeepSpeed 和 FairScale 更省显存地训练
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
AI 导读
Hugging Face 博客介绍如何在 transformers v4.2.0 中通过新增的 --sharded_ddp 和 --deepspeed 参数使用 FairScale 与 DeepSpeed 的 ZeRO 功能。
来源：Hugging Face Blog · huggingface.co