复旦创智OpenMOSS团队提出混合位置视角，比较滑窗与线性注意力混合架构

复旦大学与上海创智学院 OpenMOSS 团队发布论文《Mechanics of Long-Context Hybrid Models》，从混合位置角度比较 RoPE/NoPE 全注意力与滑窗注意力、GLA/GDN 门控线性注意力组合的混合架构在长上下文任务中的表现。