Hugging Face Blog·· 2024-03-20精选AI 评分60
GaLore：在消费级硬件上推进大模型训练
GaLore: Advancing Large Model Training on Consumer-grade Hardware
AI 导读
Hugging Face 博客介绍 GaLore 方法，通过将梯度投影到低秩子空间，可在 NVIDIA RTX 4090 等消费级 GPU 上训练 Llama 架构的 7B 参数模型，优化器状态内存减少超过 82.5%。
推荐理由
原文给出 GaLore 在消费级显卡上训练 7B 模型的内存节省数据与 transformers 接入方式，便于判断显存受限场景的可行性。
来源：Hugging Face Blog · huggingface.co