如何一步步推导出 Transformer 的 SOTA 位置编码 RoPE

Hugging Face 博客通过逐步改进位置编码方案，推导出 Llama 3.2 及多数现代 Transformer 使用的旋转位置编码（RoPE）。文章以 Llama 3.2 1B 为例，演示无位置信息时自注意力对同一 token 在不同位置输出完全相同，并提出位置编码应满足唯一性、线性关系、长度泛化、确定性生成和可扩展至多维等五项理想属性。