StartLux-Decision 决策模型论文发布

2026年11月4日，机器之心报道，StartLux、香港大学与南方科技大学的研究者提出 StartLux-Decision 按需推理决策模型，将单次预测版本 Instant 与按需推理版本 AutoThink 建立在统一的选项概率接口上，通过三阶段训练发展两类能力，并提出 RLCD²，用推理前后概率预测质量的变化来训练推理策略。论文提供 vLLM、llama.cpp 与 MLX 支持，并评测了不同量化格式。报道称，在单张 H200、BF16、256-token 提示与单请求条件下，Instant 的单次读出中位延迟为 24—52 毫秒；一旦 AutoThink 触发推理，端到端延迟还包括轨迹生成和后续读出，不能沿用单次预测的毫秒数。在配备 64GB 统一内存的 Apple M5 Pro 上，27B 的 BF16 版本超出可用内存，8-bit 与 4-bit 量化则使本地运行成为可能。报道还指出，DI 0.3 公开部分只对应完整榜单评分的 20%，且曾用于本研究的数据配方与模型选择，并非独立测试集。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。