Modal研究混合精度混合加速器RL训练

2026年10月13日，Modal 研究团队发布研究，提出用混合精度、混合加速器采样器做大规模强化学习：各采样器运行自己的精度与 kernel，由一个 BF16 训练器统一更新。团队在 Qwen3.6-35B-A3B 上以最高 256K 上下文做智能体编码任务的全异步训练，采样器分布在 B200、B300、H100、H200、A100 和 RTX PRO 6000 六种加速器上。据其介绍，借助 off-policy correction 与自动扩缩容的无服务器 GPU，这种混合采样器方案可实现稳定、高效且更便宜的 RL 训练；训练大部分时间里，混合采样器每次更新的成本比同构采样器低约 15%；运行保持稳定，平均 staleness 约 4。评估从完整词表采样，SC + MIS + top-p 与 SC + MIS 表现相当。上述数据均为 Modal 单方说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。