Q Labs提出零阶优化方法Dust

2026年10月，机器之心报道，小型研究实验室 Q Labs 提出一种名为 Dust 的零阶优化方法，尝试在不执行反向传播的情况下预训练 Transformer。其做法是在每层激活值上按 token 独立加入高斯噪声，构建虚拟种群，再通过损失变化估计梯度。报道同时列出多项限制：Dust 目前仍远比反向传播昂贵，需再便宜几个数量级才谈得上“替代”；论文实验最大仅到 243M 参数、20M token 训练预算，与工业界动辄千亿 token 的预训练规模相去甚远；部分优于反向传播的结果来自曲线拟合推测，尚未在真实训练中直接实现；部分加速技巧也无法扩展到更大规模。目前该工作仍处于小规模实验阶段，尚无更大规模验证或实际替代反向传播的进展。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。