在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B

Hugging Face 发布教程，介绍如何在 Google Cloud Vertex AI 上以 FP8 量化版本部署 Meta Llama 3.1 405B Instruct，运行于配备 8 块 H100 GPU 的 A3 节点，并使用 Text Generation Inference（TGI）与 Hugging Face 深度学习容器（DLC）。