PBT在grokking上的实验研究

2026年10月26日，Reddit r/MachineLearning 用户 /u/Virtual-Message-9739 发布了一项关于基于种群训练（PBT）与 grokking 的实验研究。该研究在模 97 加法 grokking 任务上进行，采用 35% 训练集划分、小型 MLP、20 个种群成员、20k 步、全批量，对学习率和权重衰减运行 PBT。作者称，PBT 并未加速收敛：最佳固定超参数组合在 317±29 步达到 95% 验证准确率，而 PBT 需 2667±2244 步；但 PBT 能逃离无法 grokking 的超参数区间。作者列出的局限包括：仅一个任务、一个模型、一个数据划分；每项测试 3 至 10 个随机种子，p 值大多高于 0.05；回放的调度是事后挑选的优胜者；尚未测试完全不存在 grokking 区域的超参数范围，而该范围正是 PBT 应优于随机搜索之处。上述数字与结论均来自该单一来源的实验报告。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。