memt-1.0 记忆原生架构技术解读

2026年10月25日，r/MachineLearning 用户 /u/Mrs-Grumpy23 发布对 memt-1.0 记忆原生架构的解读，讨论完整上下文 KV 缓存与内化参数记忆之间的工程权衡。该解读称，memt-1.0 采用 gated deltanet-2 与 mixture-of-storage（MoS）层，将记忆直接写入模型计算层，而非依赖追加式提示词堆叠或外部 RAG 流程。据其说法，在 128k token 历史长度下，memt-1.0-nano 相比完整上下文 KV 缓存方案，端到端推理速度约提升 1.86 倍，持久存储缩减 66 倍；其两阶段训练流程（持续预训练加后训练，共 34b token）使通用推理能力保持竞争力，并优于现有参数化记忆基线。上述数字与结论均出自该解读帖，属单一来源说法，尚无独立跟进报道予以核实。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。