vLLM开源训练-推理一致性方法与代码
热点事件观察中
vLLM开源训练-推理一致性方法与代码
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
2026年10月14日，vLLM Blog 发布文章称，vLLM 团队（作者来自 NVIDIA DevTech 与 Inferact）提出一种让训练前向直接调用 vLLM 推理 kernel 并改造这些高性能 kernel 的方法，使 rollout 与训练对每个采样 token 的 logprob 逐位相同（diff = 0）。团队同时开源了该方法、agent skill 及配套代码，目的是让其他人借助该 skill、现成代码和 agent 在自己的模型上实现训练-推理一致性，减少对资深工程师逐算子排查的依赖。据该报道，在 DeepSeek-V4-Flash 上达到 0 diff 时，rollout 吞吐为高性能基线的 91.3%；该方法还被迁移到 Nemotron（一种采用 NVFP4 的 Mamba 混合模型）。报道称，在前 30 步两个运行均健康的情况下，一致性版本的 rollout 吞吐为基线的 87.5%，仅慢 12.5%。报道同时指出，TP>1 与 decode context parallel 会把跨 GPU 归约重新放回被比较的路径上，目前尚不支持。报道称下一步 DeepSeek-V4.1 的训练-推理一致性已达到 0 diff，性能优化正在进行并将单独发文。
AI 根据报道生成 · 4 小时前更新
最新进展10月14日 08:00
vLLM 团队实现 RL 训练与推理逐位一致，DeepSeek-V4-Flash 上 diff 为 0报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- vLLM Blog精选vLLM 团队实现 RL 训练与推理逐位一致，DeepSeek-V4-Flash 上 diff 为 0
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并改造这些高性能 kernel，使 rollout 与训练对每个采样 token 的 logprob 逐位相同（diff = 0）。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 410月15日 18:00
- 近 24 小时变化
- –
01234
18:0019:0020:0021:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。