Hugging Face Blog·· 2024-04-03AI 评分34
用 Optimum Intel 在 Xeon 上实现 7.8 倍加速的 SetFit 推理
Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon
AI 导读
Hugging Face 联合 Intel Labs 与 UKP Lab 开发的 SetFit 少样本微调框架，借助 Optimum Intel 在 Intel Xeon CPU 上通过训练后静态量化（PTQ）可将推理速度提升 7.8 倍。
来源：Hugging Face Blog · huggingface.co