NeurIPS'26 | Attention Residuals 让注意力也能弃权，改善长上下文与低比特鲁棒性

Attention Residuals（AttnResidual）将注意力从 token 之间扩展到让注意力本身可以"弃权"，从而增强 Transformer 的表达能力。该方法在 NeurIPS'26 相关研究中被提出，目标是改善长上下文与低比特量化下的鲁棒性。