发布合成先验语言上下文学习论文

2026年10月6日，有用户在 r/MachineLearning 发布论文《Learning to Learn a Language》，并公开代码与权重。论文提出一种语言先验：每条训练序列都来自随机采样的循环因果模型，即一种新的合成语言。据发布者称，一个仅在这类合成序列上训练的 300M 参数字节级 Transformer，在冻结权重下阅读维基百科文本时，下一字节预测随阅读量增加而变好，在英语、中文、印地语、阿拉伯语、日语、韩语六种语言上从 8 bits per byte 降至百万字节后的 0.9–2.4。发布者同时表示，该模型在文本上仍远差于用数万亿 token 训练的经典语言模型，因为其在测试时最多只看到一种语言的一百万字节。目前进展为论文、代码与权重已公开，尚无其他跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。