LoRA 与 QLoRA：单卡微调大模型
先了解这件事
2026年10月24日，X 平台账号 Dongxi 东锡 NLP（@dongxi_nlp）发布文章《LoRA 与 QLoRA：用一块 GPU 微调大模型》，介绍这两种低秩适配微调方法。文章以“模式（一列乘一行）”和“秩”为核心概念，说明 LoRA 冻结原权重、只训练低秩更新 B·A；量化则保留全部模式，但降低每个数的位数。文章称 QLoRA 用 4 位 NF4 存储冻结权重、以 16 位训练 LoRA 分支，并配合分块缩放、双重量化和分页优化器。按只计权重、梯度和优化器状态估算，7B 模型全参数微调约需 100 GB，LoRA 约 15 GB，QLoRA 约 5 GB。上述内存数字为文章给出的估算值，并非实测结果。同日 17:01，同一账号发布跟进文章，称该文是东锡NLP后训练文章系列的第三篇，主题为 LoRA 和 QLoRA，围绕 rank 秩、low-rank approximation 低秩近似、quantization 量化三个基本概念展开，并用矩阵中的 pattern 模式概念将三者串联。目前尚无其他来源跟进或提出不同说法。
AI 根据报道生成 · 56 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Dongxi 东锡 NLP东锡NLP后训练系列第三篇：LoRA与QLoRA
东锡NLP发布后训练文章系列第三篇，主题为LoRA和QLoRA。文章围绕rank秩、low-rank approximation低秩近似、quantization量化三个基本概念展开，并用矩阵中的pattern模式这一概念将三者串联起来。
- Dongxi 东锡 NLPLoRA 与 QLoRA：用一块 GPU 微调大模型
文章以模式（一列乘一行）和秩为核心概念，解释 LoRA 冻结原权重、只训练低秩更新 B·A，量化则保留全部模式但降低每个数的位数。QLoRA 用 4 位 NF4 存储冻结权重、16 位训练 LoRA 分支，并配合分块缩放、双重量化和分页优化器。按只计权重、梯度和优化器状态估算，7B 模型全参数微调约 100 GB，LoRA 约 15 GB，QLoRA 约 5 GB。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。