美团分享SLM高并发推理引擎工程实践
热点事件持续更新
美团分享SLM高并发推理引擎工程实践
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月15日，美团技术团队发布技术文章，公开了面向搜索推荐场景SLM的生成式高并发推理引擎设计与优化实践。该引擎针对“具有确定decode次数上界的请求”这一工作负载，重新设计在线执行路径：以静态DAG组织完整业务请求，结合AOTInductor编译、Packed Prefill、请求内K/V共享及选择性FP8，系统性压缩调度与计算开销。据该文章，在平均端到端时延低于20ms的约束下，Prefill-only有效MFU达到67%，吞吐较SGLang提升10倍。单卡容量取同时满足平均端到端时延低于20ms、P99低于80ms的最高完成QPS。当前部署采用单个请求不跨卡、每张GPU部署完整模型副本的方式。文章称其专项优化主要面向控制流和状态容量稳定、单次生成较短的SLM负载，为SLM在搜推场景的大规模落地提供了一套高性能、可复用的工程实践。上述数据与结论均来自美团技术团队自述。
AI 根据报道生成 · 3 小时前更新
最新进展10月15日 15:24
美团 SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- 美团技术团队精选美团 SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
美团技术团队公开了面向搜索推荐场景 SLM 的生成式高并发推理引擎，以静态 DAG 组织完整业务请求，结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月15日 16:00
- 近 24 小时变化
- –
02.557.510
16:0017:0018:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。