跳到正文
Hugging Face Blog·· 2025-08-08AI 评分49

Accelerate ND-Parallel:高效多 GPU 训练指南

Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training

AI 导读

Hugging Face 在 Accelerate 中通过 ParallelismConfig 类支持任意组合 DP、FSDP、Tensor Parallel、Context Parallel 等并行策略,并同步集成进 Axolotl,配置只需在 config 文件中添加 dp_shard_size、tensor_parallel_size 等字段。

来源:Hugging Face Blog · huggingface.co