vLLM 发布 TorchTPU 后端支持 Cloud TPU
先了解这件事
2026年10月20日，vLLM Blog 发布消息称，Inferact 与 Google 团队推出 vLLM TorchTPU（vllm-torchtpu），这是让 vLLM 运行在 Google Cloud TPU 上的新后端，基于 Google 的 TorchTPU 栈，复用 vLLM 现有模型定义，多数模型无需改动模型代码即可在 TPU 上服务。使用条件方面，需在 Cloud TPU VM 上使用 Python 3.12，并随插件安装匹配版本的 vLLM、torch、torch_tpu 与 libtpu；硬件上推荐 TPU v7x（Ironwood），且每次拉取请求均在 CI 中测试，v6e、v5e、v5p 为实验性支持。基于 vllm-torchtpu 构建者可申请免费 TPU 时长，Inferact 的核心 vLLM 维护者将协助设计与 PR 评审。首次启动会为配置的形状编译 TPU 图，可能耗时数分钟。目前尚无后续跟进报道。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- TechCrunch · AIGoogle 开源 TorchTPU，让 PyTorch 应用无需重写即可跑在 TPU 上
Google 宣布开源 TorchTPU，这是 PyTorch 面向 Google TPU 的版本，开发者只需修改配置、无需重写代码，就能把现有 PyTorch 应用迁移到 TPU 和 Google Cloud。
- vLLM Blog精选vLLM 发布 TorchTPU 后端，支持在 Google Cloud TPU 上运行 vLLM
vLLM 发布 vLLM TorchTPU（vllm-torchtpu），这是让 vLLM 运行在 Google Cloud TPU 上的新后端，基于 Google 的 TorchTPU 栈，复用 vLLM 现有模型定义，多数模型无需改动模型代码即可在 TPU 上服务。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 610月21日 01:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。