Hugging Face Blog·· 2022-05-02AI 评分54
Hugging Face 教程：用 Accelerate 调用 PyTorch FSDP 训练大模型
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel
AI 导读
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型，并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
来源：Hugging Face Blog · huggingface.co