Hugging Face Blog·2021-01-19 08:00· 2021-01-19精选AI 评分60

通过 DeepSpeed 和 FairScale 用 ZeRO 训练更快、装下更大模型

Fit More and Train Faster With ZeRO via DeepSpeed and FairScale

AI 导读

Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --sharded_ddp 和 --deepspeed 命令行参数。

推荐理由

作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时，可据此判断两种方案的取舍。

来源：Hugging Face Blog · huggingface.co