Hugging Face Blog·· 2023-09-12AI 评分40
Hugging Face Transformers 原生支持的量化方案概览
Overview of natively supported quantization schemes in 🤗 Transformers
AI 导读
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据即可开箱量化任意含 torch.nn.Linear 的模型，后者文本生成速度更快且支持 2-bit 量化。
来源：Hugging Face Blog · huggingface.co