vLLM 发布 Elastic EP 近零停机扩缩容方案
热点事件持续更新
vLLM 发布 Elastic EP 近零停机扩缩容方案
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
2026年10月19日,vLLM 官方博客发文介绍 Elastic EP 的异步准备与 NIXL EP 方案,称其将扩缩容停机时间降至近零。文中给出的基准基于 DeepSeek V4 Pro 的 GB200 环境:从 16 块 GPU 扩容到 20 块 GPU 时,停机时间由 99.62 秒降至 0.82 秒;从 20 块 GPU 缩回 16 块 GPU 时,由 56.25 秒降至 1.96 秒。vLLM 表示,后台准备、CUDA graph 复用以及新加入 worker 上的独立 graph 捕获,目前均已在最新版 vLLM 与 NIXL 中提供,用户可通过 pip 安装后开始使用 Elastic EP。该报道为目前唯一来源,尚无其他跟进报道,上述数字与可用性说法均出自 vLLM 博客。
AI 根据报道生成 · 2 小时前更新
最新进展10月19日 08:00
vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零报道时间线
沿着报道,了解事件的不同侧面。
10月19日
- vLLM BlogvLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零
vLLM 通过异步准备与 NIXL EP 实现 Elastic EP 近零停机扩缩容,在 DeepSeek V4 Pro 的 GB200 基准中,16 到 20 GPU 扩容的停机时间从 99.62 秒降至 0.82 秒,缩回 16 GPU 从 56.25 秒降至 1.96 秒。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。