在 GCP 第五代 Xeon 上基准测试语言模型性能

Hugging Face 在 Google Cloud 的 N2 与 C4 实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载，C4 的文本嵌入吞吐量是 N2 的 10x 至 24x，文本生成吞吐量是 N2 的 2.3x 至 3.6x。