vLLM 博客介绍 Kimi K3 解码优化方法

2026年10月16日，vLLM 团队发布技术博客，介绍在 vLLM 中优化 Kimi K3 解码性能的方法与验证流程。据该博客，团队用智能体辅助开发，为 Kimi K3 构建了统一的 CuTe DSL 解码路径，并在 16 张 NVIDIA GB300 上以 batch 1 达到 842 tokens/s，比原生 vLLM 快 1.73 倍。博客称，该优化面向配备 8 或 16 张 GPU 的 NVIDIA Blackwell 平台，解码 batch 为 1 至 64，并可选启用长上下文解码上下文并行；K3 的初步硬件验证覆盖 GB300 的 TP8 与 TP16、最高 64 的解码 batch、多种草稿长度的投机解码，以及单一 NVLink 域内的解码上下文并行配置。博客同时指出，这一隔离验证方式排除了输入准备、采样和 KV 缓存管理等环节的开销。团队表示将在后续文章中分享优化细节与性能结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。