MoE模型里有很多负责计算的「专家」，每一步只调用其中一部分。

文心总参数2800亿，但每处理一个文字小块，实际参与计算的只有140亿。
剩下的容量，要等到合适的内容出现时才派得上用场。
负责挑选专家的路由器，可以理解成一个调度员。
问题是，一个调度员打出的高分，不一定对应最有帮助的专家。一旦选错，就白白占掉了这一次有限的调用名额。

文心的办法是让多个路由器分别打分，再把结果汇总。有的专家得到某一路的强烈支持，有的得到几路共同支持，都有机会被选上，这样单次判断失准的影响就小了。

值得注意的是，同时上场的专家数量并没有增加，改进全在怎么选人上。

专家总量决定了容量上限，调度得好，这份容量才能在每次计算里真正发挥出来。

此外，在专家计算之前，模型会先把内部信息压成更紧凑的形式，算完再接回原来的网络，给专家部分减轻负担。