Hugging Face Blog·· 2025-08-08AI 评分40
Accelerate ND-Parallel 指南：如何高效进行多 GPU 训练
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
AI 导读
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel 训练方案，可通过 ParallelismConfig 类自由组合数据并行、FSDP、张量并行与上下文并行策略。
来源：Hugging Face Blog · huggingface.co