Unsloth 支持 Llama 3 微调，8B 训练提速 2 倍

Llama 3 is now on Unsloth 🦙

AI 导读

Unsloth 宣布支持 Meta 的 Llama 3 模型微调，称 Llama 3 8B 训练速度比 Flash Attention 2 加 Hugging Face 快 2 倍、内存占用减少 63%，70B 版本快 1.8 倍、显存减少 68%。

推荐理由

Unsloth 给出 Llama 3 微调的加速与显存数据，并附免费 Colab 笔记本，可据此评估训练成本。

正文 · AI 翻译

Meta 的新 Llama 3 模型是迄今为止能力最强的开放 LLM——在行业标准基准测试中超越了众多开放模型。

Unsloth 让 Llama 3 (8B) 模型的训练速度提升 2 倍，内存占用比 Flash Attention 2 + Hugging Face 减少 63%。Llama 3 (70B) 速度提升 1.8 倍，VRAM 占用减少 68%。

要免费训练你自己的 Llama 3 模型，我们上传了一个 Google Colab notebook 来微调 Llama 3 (8B)： Notebook。

我们还上传了预量化的 4bit 模型，下载速度提升 4 倍，可在我们的 Hugging Face 页面获取。在一块 A100 80GB GPU 上，使用 Unsloth 的 Llama 3 (70B) 现在可以容纳 48K 总 token（8192 * bsz 为 5），而不使用 Unsloth 时仅为 7K token。上下文长度提升了 6 倍！

P.S. 别忘了在 GitHub 上 ⭐Star 我们，并加入我们的 Discord 服务器 ❤️

来源：Unsloth Blog · unslothai.substack.com