跳到正文
Dongxi 东锡 NLP· @dongxi_nlp · X·· 2 小时前AI 评分53
AI 导读

文章以模式(一列乘一行)和秩为核心概念,解释 LoRA 冻结原权重、只训练低秩更新 B·A,量化则保留全部模式但降低每个数的位数。QLoRA 用 4 位 NF4 存储冻结权重、16 位训练 LoRA 分支,并配合分块缩放、双重量化和分页优化器。按只计权重、梯度和优化器状态估算,7B 模型全参数微调约 100 GB,LoRA 约 15 GB,QLoRA 约 5 GB。

正文

来源:Dongxi 东锡 NLP · x.com