FFT压缩AdamW状态降低微调显存

2026年10月6日，在 r/LocalLLaMA 上，用户 /u/Spectra-Global 提出并分享了一种用 FFT 压缩 AdamW 优化器状态以降低微调显存的方法。其做法是不再存储完整梯度，而是将梯度用 FFT 变换到频域，分离高能量信号与噪声，动态丢弃低影响频率以压缩状态，再逆变换回来；据称这样能保持方向完整性，显存占用减少约 50%。该方法面向消费级 GPU 上微调 8B 和 70B 模型时的 OOM 问题。代价是 FFT 运算带来额外计算开销，每步耗时略长，但换来的是完全避免 OOM 崩溃，并能在标准硬件上大幅提高 batch size。团队表示正开放内部 Colab 环境和基线权重，供他人验证或挑错。目前尚无独立复现或第三方验证的报道。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。