文心MoE模型改进专家路由机制

2026年11月5日，X平台用户“凡人小北”发布内容，介绍文心MoE模型在专家路由机制上的改进。据该报道，文心MoE模型总参数为2800亿，但每处理一个文字小块时仅有140亿参数参与计算。其改进之处在于让多个路由器分别打分再汇总，以降低单个调度员判断失准的影响，同时上场的专家数量并未增加。此外，模型会在专家计算前将内部信息压缩成更紧凑的形式，算完后再接回原网络，以减轻专家负担。目前该事件仅有这一篇报道，尚无后续跟进报道，上述参数与机制细节均来自该来源的单方面说法。

AI 根据报道生成 · 3 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。