PyTorch Blog· AMD: Xiaobing Zhang, Yutao Xu, Rui Li, Heng Yi, Xinya Zhang, Shijie Feng, Felix Li, Jeff Daily, Jiong Gong, Hattie Wu, Peng Sun, Emad Barsoum; META: Jason Ansel and Simon Layton·· 4 小时前精选AI 评分64
AMD 在 MI350 系列 GPU 上通过 FlyDSL 加速 PyTorch
Accelerating PyTorch on AMD GPUs with FlyDSL
AI 导读
AMD 与 Meta 团队在 PyTorch 博客介绍,MI350 系列 GPU(gfx950)用户可通过现有算子 API 使用 FlyDSL 后端,覆盖 Dense/Grouped GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK,注意力内核经 AOTriton 0.14b 系列提供。
推荐理由
AMD 与 Meta 作者给出了 FlyDSL 接入 PyTorch 的具体算子范围、各套件加速比和 vLLM 端到端数据,可据此判断低精度推理的收益边界。
来源:PyTorch Blog · pytorch.org