Hugging Face Blog·· 2024-02-01AI 评分42
Hugging Face Text Generation Inference 正式支持 AWS Inferentia2
Hugging Face Text Generation Inference available for AWS Inferentia2
AI 导读
Hugging Face 宣布 Text Generation Inference（TGI）在 AWS Inferentia2 和 Amazon SageMaker 上正式可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
来源：Hugging Face Blog · huggingface.co