跳到正文
SemiAnalysis· Alec Ibarra·· 28 天前精选AI 评分78

SemiAnalysis 发布 TPUv7 Ironwood 第三方推理实测:每美元性能最高领先 B200/B300 50%

TPU Inference Externalization Full Steam Ahead - InferenceX

AI 导读

SemiAnalysis 在 InferenceX 预览中发布 TPUv7 Ironwood 的首批第三方推理结果,在 FP8 聚合服务、单 token 预测的同等对比下,Ironwood 每美元性能最高比 B200/B300 高 50%。

推荐理由

首次第三方实测 TPUv7 Ironwood 推理性能,给出与 B200/B300 的每美元性能对比及软件栈外化路线。

来源:SemiAnalysis · newsletter.semianalysis.com