Hugging Face Blog·· 2021-11-04AI 评分22
在现代 CPU 上扩展 BERT 类模型推理(第二部分):Intel 软件优化与 Ice Lake 性能实测
Scaling up BERT-like model Inference on modern CPU - Part 2
AI 导读
Hugging Face 博客第二部分聚焦用 Intel 软件栈优化 CPU 上的 BERT 类模型推理,并给出 Ice Lake 代 Xeon 的性能实测。Ice Lake Xeon 在多种 NLP 任务上推理最高比上代 Cascade Lake 快 75%,依托 AVX512、VNNI 等指令及 oneAPI 下的 oneMKL、oneDNN、oneCCL 等库。
来源:Hugging Face Blog · huggingface.co