联想发布存算融合池化系统及测试结果
热点事件持续更新
联想发布存算融合池化系统及测试结果
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月23日,钛媒体报道,联想集团首席科学家肖利民团队提出将内存池化与近存计算结合的存算融合池化系统,面向大模型推理,旨在同时解决KV Cache容量不足和GPU访存外部存储开销大两大痛点。肖利民介绍,团队在三个核心模块上进行了分项性能测试:内存池卸载方面,与NVMe层池化方案对比,固定输入长度场景下首Token延迟降低3.5倍,多轮对话场景下降低2.4倍,且随对话轮次增多优势愈发明显;KV跨实例共享方面,借助内存池实现KV复用,相比完全重算首Token延迟最高加速12~28倍,相比RDMA分布式内存架构也有2~3倍加速;存算融合方面,把注意力计算下沉到内存池侧后,解码延迟降低2.5倍,同时腾出大量显存以支持更长上下文、更大规模模型。整体上,与RDMA分布式内存池相比推理延迟取得2~3倍加速,系统吞吐随上下文变长提升6~20倍。上述数据均为联想团队公布的测试结果。
AI 根据报道生成 · 3 小时前更新
最新进展10月23日 10:28
联想存算融合池化技术:每天500万亿Token背后,KV Cache如何推倒存储墙报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- 钛媒体联想存算融合池化技术:每天500万亿Token背后,KV Cache如何推倒存储墙
联想集团首席科学家肖利民团队提出将内存池化与近存计算结合的存算融合池化系统,同时解决KV Cache容量不足和GPU访存外部存储开销大两大痛点。测试显示,内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算首Token延迟最高加速12~28倍,注意力计算下沉内存池侧后解码延迟降低2.5倍,端到端系统吞吐随上下文变长提升6~20倍。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月23日 11:00
- 近 24 小时变化
- –
02.557.510
11:0012:0013:0014:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。