Baseten 重构 GPU 端增量权重同步

2026年10月31日，Baseten 博客介绍其重构后的 delta 权重同步路径：以 GPU 上已有的权重作为父版本，不再在 CPU 内存保留完整副本。据该报道，约 770 GB 的 GLM-5.3 checkpoint 同步时间从 36 秒降至 15 秒，请求暂停从 6 秒降至 0.8 秒，吞吐提升最高可达 3.2 倍。报道还称，在 8.4 GB delta 下，Kimi K3 从发起同步请求到权重生效需 75 秒，暂停 4.1 秒；并发为 16 时 KV cache 已能放入 GPU，该优化没有差别；并发为 48 时，agent 前缀超出 GPU 显存但可放入主机内存，offloading 使命中率从 2% 升至 92%，每 GPU 输出吞吐提升 3.2 倍。上述数据均来自 Baseten 单篇一手报道，尚无独立跟进报道。

AI 根据报道生成 · 2 小时前更新