Hugging Face Blog·· 2022-08-17精选AI 评分67
Hugging Face 详解 transformers 中的 8-bit 矩阵乘法量化
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
AI 导读
Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 和 accelerate，使 BLOOM-176B 等大模型显存占用减半且推理性能几乎无损。
推荐理由
Hugging Face 官方详解 LLM.int8() 量化原理与 transformers 集成细节，可了解大模型显存减半的落地方式。
来源：Hugging Face Blog · huggingface.co