研究：LLM 自我改进 harness 效果有限

2026年10月25日，X 平台用户 Elvis Saravia（DAIR.AI，@omarsar0）介绍了一项针对 ARC-AGI-3 的受控研究，考察 LLM 能否自主生成并改进自身的 harness。该研究让每个前沿模型从固定的编码 bootstrap 出发写出完整 harness，在 5 个开发游戏上运行后，将全部代码库重写两次，所有版本都在 20 个不参与重写的游戏上评分。结果显示，对 harness 做两次完整重写后，留出集分数仅提升 2.80 分，且 95% 区间跨过零。上述数字与结论均来自该条介绍性帖文，研究原文细节尚未在现有报道中展开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。