Transformer、RNN 与 SSM 的记忆究竟存在哪里？
热点事件持续更新
Transformer、RNN 与 SSM 的记忆究竟存在哪里？
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月7日，r/MachineLearning 出现一篇讨论帖，从“工作记忆”视角比较 RNN、Transformer 与 SSM 的记忆取舍。帖子称，RNN 把记忆压缩进循环隐状态，参数量约 O(N²) 却只携带约 O(N) 状态；Transformer 在缓存推理时把过去存为 key-value 条目并做注意力，由此形成固定权重与快速变化的 KV cache 之分。该帖为社区讨论，未给出实验或结论性证据，目前进展仅限于此。
AI 根据报道生成 · 1 小时前更新
最新进展10月7日 00:27
Transformer、RNN 与 SSM 的记忆究竟存在哪里？[D]报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- r/MachineLearningTransformer、RNN 与 SSM 的记忆究竟存在哪里？[D]
一篇讨论帖从"工作记忆"视角比较 RNN、Transformer 与 SSM 的记忆取舍：RNN 把记忆压缩进循环隐状态，参数量约 O(N²) 却只携带约 O(N) 状态；Transformer 在缓存推理时把过去存为 key-value 条目并做注意力，形成固定权重与快速变化的 KV cache 之分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。