Google发布TPU原生PyTorch推理引擎

2026年10月20日，Google Developers Blog 发布消息称，Google 推出基于 TorchTPU 的 vLLM-TorchTPU 和 SGLang-TorchTPU 推理引擎，使 PyTorch 原生运行在 TPU 上。据该来源介绍，这两个引擎分别与 Inferact、RadixArk 合作开发，并保留 vLLM 和 SGLang 各自的 worker、调度器、KV cache 管理与 API server，底层改用 TPU 实现。Google 表示，这两个引擎已在预览客户的生产环境中规模化运行；vLLM 还推出首个社区贡献 TPU 算力池，为积极贡献这两个引擎的开发者提供免费 TPU 算力。Google 同时称，vLLM-Jax 和 SGLang-JAX 仍是重要项目。目前进展以官方发布信息为准，尚无独立跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。