Hugging Face Blog·· 2024-01-30AI 评分22
在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与投机解码
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
AI 导读
Hugging Face 博客展示了在第四代 Intel Xeon 上通过 8bit/4bit 量化结合辅助生成（assisted generation），让 StarCoder-15B 推理加速超过 7 倍。
来源：Hugging Face Blog · huggingface.co