Hugging Face Blog·· 2023-09-13AI 评分55
Hugging Face 教程：用 PyTorch FSDP 微调 Llama 2 70B
Fine-tuning Llama 2 70B using PyTorch FSDP
AI 导读
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践，训练约 13.5 小时完成。
来源：Hugging Face Blog · huggingface.co