Soft-MTP 多 Token 预测改进论文发布

2026年10月31日，r/MachineLearning 论坛出现一篇关于多 Token 预测（MTP）改进的论文分享帖。帖子称，标准多 Token 预测的梯度中混有会损害下一 Token 预测的噪声残差，作者据此提出 Soft-MTP 方法，将这部分噪声残差分离出来。该方法只需一行代码改动 h_ntp += h_mtp.detach() - h_mtp，即可提取出用于改进投机解码的 KL 自蒸馏信号。作者称 Soft-MTP 在多项任务上提升了 MTP 表现，并已开源代码、论文与 HuggingFace 资源。目前该事件仅有这一篇主报道，尚无后续跟进报道，上述性能提升与开源情况均为作者自述，报道未提供独立验证或具体任务数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。