提出FactorEngram分解式n-gram记忆方法

2026年10月6日，有研究者在 r/LocalLLaMA 发布 FactorEngram，一种面向语言模型的因子化 n-gram 记忆机制。其做法是在共享基向量字典上检索稀疏正则化系数，并用主干隐藏状态对每个基向量打分，实现基级上下文门控，使多义模式能按上下文选择性读取记忆分量。据该报道，在 340M 和 1B 参数 Transformer 主干上，FactorEngram 提升了语言建模与下游任务表现；消融实验确认了各组件的贡献，并指出将记忆分支插入中间层注意力子层之前是有效配置。目前进展仅限该方法的提出与上述实验结论，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。