Hugging Face Blog·· 2022-09-16AI 评分58
用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
Hugging Face 发布教程，展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 做推理，并给出 8x80GB A100 上的吞吐基准。
来源：Hugging Face Blog · huggingface.co