15M参数决策模型：线性递归对比Transformer

2026年10月15日，r/MachineLearning 有用户发布一项对比实验：受 TypeSafe 的 Jev（一种只输出有界决策——选项、概率、校准置信度——的非生成模型）启发，其用相同预算和任务端到端训练了两个约 15.09M 参数的“仅决策”模型，分别采用线性递归骨干与标准 Transformer 注意力，两者预算匹配至 ±0.02%，在 Colab T4 上训练，全部可在 notebook 中复现。在 2k–8k 字符长上下文检索决策任务上，两者测试精度分别为 26.8% 和 28.2%，接近 25% 的随机水平；但在 T=8192 时，线性模型延迟快 2.37×（108.6 对 257.7 ms），训练速度差距约 6–7×。该用户表示目前正在运行 V5，即两种架构的双向变体（15M，相同预算）。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。