跳到正文
Hugging Face Blog·· 2024-03-15AI 评分34

使用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型

CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG

AI 导读

Hugging Face 发布教程,展示如何借助 Optimum Intel 与 IPEX 在英特尔 Xeon CPU 上加速 BGE 嵌入模型,并集成进 fastRAG 的 RAG 流程。优化聚焦 45M、110M、355M 参数的 BGE small、base、large 三款模型,通过 int8 量化、bf16 及 AMX 加速降低单条查询延迟并提升吞吐。

来源:Hugging Face Blog · huggingface.co