跳到正文
Hugging Face Blog·· 2021-11-04AI 评分22

在现代 CPU 上扩展 BERT 类模型推理(第二部分):Intel 软件优化与 Ice Lake 性能实测

Scaling up BERT-like model Inference on modern CPU - Part 2

AI 导读

Hugging Face 博客第二部分聚焦用 Intel 软件栈优化 CPU 上的 BERT 类模型推理,并给出 Ice Lake 代 Xeon 的性能实测。Ice Lake Xeon 在多种 NLP 任务上推理最高比上代 Cascade Lake 快 75%,依托 AVX512、VNNI 等指令及 oneAPI 下的 oneMKL、oneDNN、oneCCL 等库。

来源:Hugging Face Blog · huggingface.co