AMD 发布 Kimi K3 在 MI355X 上的推理优化实践

2026年10月16日，AMD 与 Embedded LLM 在 vLLM 博客发布 Kimi K3 在 AMD Instinct MI355X 上的推理优化工程实践，介绍 vLLM 服务决策与 GPU 内核、底层硬件的衔接。据该博客，在 AgentX 基准下，八卡 AMD Instinct MI355X 系统以 vLLM 服务 Kimi K3，在 50 tokens/s/user P90 交互性时，单 GPU 总吞吐较 NVIDIA HGX B300 高 24.4%；按该基准的拥有成本模型，每美元 token 数高 87.4%。公开的 AMD 配方在 DCP1 下使用三到七个 draft，并在更大的 DCP8 并发设置下禁用推测。数据取自 SemiAnalysis InferenceX，检索于 2026 年 10 月 9 日，提交日期分别为 2026 年 9 月 30 日（AMD）与 2026 年 8 月 16 日（NVIDIA）。上述数字与条件均来自该博客自述，仅代表该来源说法。

AI 根据报道生成 · 2 小时前更新