数据受限下双语预训练优于超参搜索

2026年10月13日，Apple Machine Learning Research 发表研究，比较数据受限预训练中的两种补救手段：混入高资源语言数据与激进超参数调优。研究以阿拉伯语为目标语言、英语为辅助语言，覆盖 150M 到 1.43B 四个模型规模，进行约 1000 次预训练运行。结果显示，混合高资源语言数据带来的验证损失提升相当于 2–3 倍目标数据，下游任务准确率提升相当于 2–13 倍，且这一差距随模型规模扩大。研究结论认为，在数据受限场景下，双语预训练比超参数搜索带来更大提升。上述规模、语言对与提升倍数均出自该研究自身的实验设定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。