Hugging Face 实测：10 亿次分类与嵌入推理的成本与延迟优化

Hugging Face 博客实测了 10 亿次分类与嵌入推理的成本：在 nvidia-L4（$0.8/hr）上，135M 的 DistilBERT 分类模型处理 10 亿输入需 $253.82，149M 的 gte-modernbert-base 嵌入需 $409.44，2.21B 的 ColQwen2 视觉嵌入则高达 $44,496.51。