使用 PyTorch FSDP 微调 Llama 2 70B

Hugging Face 发布教程，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并给出在 2 节点、每节点 8 张 80GB A100 上的配置。