开发者发布ALHR树状稀疏注意力系统

2026年10月9日，Reddit r/MachineLearning 用户 /u/Alarming-Emotion-894 发布 ALHR（Adaptive Learnable Hierarchical Routing）树状稀疏注意力系统。据其介绍，该系统使用静态二叉树和可学习函数，减少注意力需要读取的 key 数量；在 1024 token 的 MQAR 测试中，每查询平均只读 30 个 key，而稠密模型需读 512 个，KV 压缩达 35.3 倍（仅读取 2.83%）。开发者同时说明，训练第一阶段仍使用稠密教师模型；完整规模测试尚未完成，训练仍为二次复杂度，推理为 NlogN（据仓库日志）。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。