NVIDIA 提出 LoGRA 低秩梯度草图 RL 后训练
热点事件持续更新
NVIDIA 提出 LoGRA 低秩梯度草图 RL 后训练
1 篇报道1 个报道来源57 分钟前更新
先了解这件事
AI 综述
2026年10月13日，X 用户 Elvis Saravia（DAIR.AI）发帖推荐并解读 NVIDIA 一篇关于 LoGRA 的论文。该论文提出用低秩梯度草图做 LLM 强化学习后训练，可更新全部权重而显存低于 LoRA。据该帖，在 1.5B 模型上，LoGRA 平均训练显存 7.2 GiB，rank-256 LoRA 需 13.2 GiB，Pass@4 分别为 81.8% 和 81.4%，Pass@1 低约 2 个百分点；在 7B 上，每 GPU 平均训练显存从 31.8 GiB 降至 17.3 GiB，降幅 45.7%，峰值准确率接近 dense Adam（Pass@1 分别为 72.3% 和 72.5%）；此外，LoGRA 还在单台八卡节点上训练 27B 模型超过 1,100 步，而 dense Adam 在此场景下显存不足。上述数据均来自该帖对论文的转述。
AI 根据报道生成 · 55 分钟前更新
最新进展10月13日 06:20
NVIDIA 论文提出 LoGRA：低秩梯度压缩降低 RL 后训练显存报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- Elvis SaraviaNVIDIA 论文提出 LoGRA：低秩梯度压缩降低 RL 后训练显存
NVIDIA 论文提出 LoGRA，用低秩梯度草图做 LLM 强化学习后训练，可更新全部权重而显存低于 LoRA。在 1.5B 模型上，LoGRA 平均训练显存 7.2 GiB，rank-256 LoRA 需 13.2 GiB，Pass@4 分别为 81.8% 和 81.4%，Pass@1 低约 2 个百分点。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。