社区讨论扩大词表能否提升生成速度

2026年10月7日，有用户在 LinuxDo 提问：能否在现有模型底座上扩大词表，把“地球是圆的”这类多 token 短语内置成单个 token，以空间换时间提升生成速度。回帖指出，这种做法并未提升速度，只是减少了 token 数量，类似目标检测论文中把 100 这类数字写入词表的做法。也有观点认为，tokenizer 由数据训练得出，强行加入超长 token 而数据不匹配会导致语义问题、训练失败。目前讨论停留在社区层面，报道中未出现模型方或研究者的回应，也没有实验数据支持任何一方结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。