人读一份很长的材料，会先看提要把握全局，等要核对某个数字或条件时，再回去翻具体内容。
模型处理长文也一样，两种需要都得照顾到。

难点在于，如果每一层都把前文存得很细、读得很细，缓存和计算量会非常大；可如果只留压缩后的信息，真要查细节时又不够用。

文心的做法是给43层分工。
37层主要读取压缩后的远处历史，近处的内容保留得更细；另外6层保留逐个文字小块定位历史的能力，挑出相关位置再仔细看。

我觉得这个思路挺聪明的，负责细读的层只有少数几层，缓存就可以集中留给它们，查找细节的能力也就保住了。

信息往后传之前，还要过一道过滤器，决定哪些多传、哪些少传。
文心改用一小份已经算好的内部信息来控制这个开关，这部分权重参数因此减少了75%。

另外，模型会把从不同角度提取的信息再融合一次，让这些线索互相补充。