Google发布适配TPU的TorchTitan分支

2026年10月20日，Google Developers Blog 发布消息称，Google 将 TorchTPU 作为原生后端接入 PyTorch，并把 Meta 的 TorchTitan 实现适配为可在 Google Cloud TPU 上训练模型的 fork，代码开源于 google-pytorch/torchtitan。该分支被描述为 Meta TorchTitan 的 fork，用于在 Google Cloud TPU 上进行模型训练。报道同时列出当前限制：TorchTPU 尚不支持 PyTorch 的 torch.Stream 抽象，这限制了将基于 eager 的 FSDP2 与逐层 torch.compile 混用的性能；mixture-of-experts 检查点走同一路径，但尚不支持专家并行。报道称，随着相关能力在 Google Cloud 上可用，TorchTitan 将予以支持，并沿用相同配方。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。