跳到正文
热点事件持续更新

vLLM 发布 Elastic EP 近零停机扩缩容方案

1 篇报道1 个报道来源23 小时前更新

先了解这件事

AI 综述

2026年10月19日,vLLM 官方博客发文介绍 Elastic EP 的异步准备与 NIXL EP 方案,称其将扩缩容停机时间降至近零。文中给出的基准基于 DeepSeek V4 Pro 的 GB200 环境:从 16 块 GPU 扩容到 20 块 GPU 时,停机时间由 99.62 秒降至 0.82 秒;从 20 块 GPU 缩回 16 块 GPU 时,由 56.25 秒降至 1.96 秒。vLLM 表示,后台准备、CUDA graph 复用以及新加入 worker 上的独立 graph 捕获,目前均已在最新版 vLLM 与 NIXL 中提供,用户可通过 pip 安装后开始使用 Elastic EP。该报道为目前唯一来源,尚无其他跟进报道,上述数字与可用性说法均出自 vLLM 博客。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. vLLM Blog
    vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零

    vLLM 通过异步准备与 NIXL EP 实现 Elastic EP 近零停机扩缩容,在 DeepSeek V4 Pro 的 GB200 基准中,16 到 20 GPU 扩容的停机时间从 99.62 秒降至 0.82 秒,缩回 16 GPU 从 56.25 秒降至 1.96 秒。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。