文心长文处理：43层分工与缓存优化

2026年11月5日，X平台用户“凡人小北”发布内容，介绍文心在长文本处理上的架构设计。该内容称，文心为长文本处理设计了43层分工：其中37层读取压缩后的远处历史并保留近处细节，另外6层保留逐token定位历史的能力，先挑出相关位置再细看。信息向后传递前会经过过滤器决定传递量，并改用已算好的内部信息控制开关，这部分权重参数减少75%。模型还会将从不同角度提取的信息再融合一次，使线索互相补充。上述说法均来自该条X内容，目前仅有这一篇报道，暂无其他来源跟进或印证。

AI 根据报道生成 · 3 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。