Hugging Face Blog·· 2022-01-11AI 评分34
使用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker
AI 导读
Hugging Face 发布教程，介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 模型，在 NVIDIA T4 GPU 实例（约 500 美元/月）上实现可扩展的实时推理。
来源：Hugging Face Blog · huggingface.co