DeepMind 研究揭示 Softmax 与交叉熵精度 Bug

2026 年 10 月 22 日，Google DeepMind 首席研究科学家 Jonathan T. Barron 与 Dan Gnanapragasam、Michael Tschannen 将论文提交至 arXiv，指出 PyTorch、JAX、TensorFlow 中 Softmax 与交叉熵的标准实现存在两个数值精度 Bug，分别称为 Softmax Collapse 和 Softmax Cancellation，并提出修复方案。据机器之心 10 月 25 日报道，该研究主要通过模运算 Grokking 任务和特定知识蒸馏实验验证修复效果。研究团队承认，实验中出现的极大 Logit Margin 以及学生与教师几乎完全相同的输出，在常规大规模训练中并不常见，因此目前还不能认定主流大模型训练普遍受这两个问题严重影响，也无法直接推断修复后能让大模型训练整体提速；修复方案在大规模模型训练中的实际效果仍需进一步验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。