Hugging Face Blog·· 2024-06-13AI 评分55
Hugging Face Accelerate 解析 DeepSpeed 与 FSDP 精度差异并新增对齐模式
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
AI 导读
Hugging Face Accelerate 团队发现用 Mistral-7B base 在 bfloat16 下训练时 DeepSpeed 与 FSDP 损失曲线不一致。
来源：Hugging Face Blog · huggingface.co