Hugging Face Infinity 在 Intel Ice Lake CPU 上的毫秒级延迟案例研究

Hugging Face 公布 Infinity 在 Amazon EC2 C6i（Intel Ice Lake）实例上的端到端推理基准：优化后的 DistilBERT 序列分类容器相比 Ice Lake 上原生 Transformers 延迟与吞吐最高提升 800%，相比 Cascade Lake 实例最高提升 34%。