414k参数Transformer模拟鸟群并探测规则

2026年10月11日，r/MachineLearning 用户 /u/rage_81 发帖介绍一项实验：用 Python 和 PyTorch 从零编写 Transformer，每只鸟一个 token、两层注意力、约 414k 权重，在笔记本 CPU 上训练，数据来自自写的 12 只鸟 boids 模拟器录像，任务是预测每只鸟的下一步动作，且模型事先不知道任何 boids 规则。据该帖，4 次完整运行在未见片段上取得 R² 0.990–0.994，模型还能驱动 50 只鸟（训练时仅 12 只）。帖子还称，用线性探针可在训练前读出“凝聚”（靠近邻居）规则，探针 R² 约 0.85，并据此提出疑问：读出的规则是否真被模型使用。目前该事件仅有这一篇主报道，尚无跟进报道，上述数值与结论均来自发帖者自述。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。