Hugging Face Blog·· 2024-05-29AI 评分36
Hugging Face 详解 TGI Benchmarking 工具：如何权衡吞吐与延迟
Benchmarking Text Generation Inference
AI 导读
Hugging Face 发布博客介绍 Text Generation Inference（TGI）配套的 TGI Benchmarking 工具，可同时测量吞吐量与延迟，帮助用户按需调优 LLM 部署。
来源：Hugging Face Blog · huggingface.co