Hugging Face Blog·· 2025-08-08AI 评分49
Accelerate ND-Parallel:高效多 GPU 训练指南
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
AI 导读
Hugging Face 在 Accelerate 中通过 ParallelismConfig 类支持任意组合 DP、FSDP、Tensor Parallel、Context Parallel 等并行策略,并同步集成进 Axolotl,配置只需在 config 文件中添加 dp_shard_size、tensor_parallel_size 等字段。
来源:Hugging Face Blog · huggingface.co