复旦OpenMOSS发布长上下文混合架构研究

2026年11月1日，机器之心报道，复旦大学与上海创智学院OpenMOSS团队（报道中亦提及复旦创智邱锡鹏团队）发布论文《Mechanics of Long-Context Hybrid Models》，从混合位置视角比较长上下文混合架构。研究对比了RoPE/NoPE全注意力与滑窗注意力、GLA/GDN门控线性注意力组合的混合架构在长上下文任务中的表现。报道称，该工作对滑窗注意力与线性注意力的组合给出了“我全都要”的答案，即同时采用两类机制。目前该研究处于论文发布阶段，报道未披露具体实验数据、基准结果或应用限制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。