Hugging Face Blog·· 2023-03-28AI 评分42
BLOOMZ 在 Habana Gaudi2 加速器上的快速推理实测
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
AI 导读
Hugging Face 用 Optimum Habana 在 Habana Gaudi2 上部署 176B 参数的 BLOOMZ，16-bit 精度下 8 卡推理延迟 3.103 秒，比 A100 80GB 的 4.402 秒快 1.42 倍。
来源：Hugging Face Blog · huggingface.co