AWS分享MoE融合内核优化实践

2026年10月13日，AWS Machine Learning Blog 发布文章，介绍 AWS 团队在 Amazon SageMaker AI 上针对融合 MoE 模型实施的三项 GPU 内核优化，并说明用户如何从中受益。据该报道，这些优化在 H200 上为大规模 MoE 模型带来 2%–4% 的端到端输出吞吐提升；相关优化已上游至 vLLM，在 0.24.0 或更高版本中可用，另有优化在 0.22.0 或更高版本中可用；相关改进也可在 AWS Large Model Inference (LMI) v28 容器中使用。报道未提及更早的进展或与先前说法存在矛盾。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。