作者发布 PyTorch 优化器 ApexW 并征集反馈

2026年10月27日，r/MachineLearning 用户 /u/Ready_Parking_5435 发帖称，其开发了 PyTorch 优化器 ApexW，并公开分享以征集反馈。据其介绍，ApexW 采用紧凑优化器状态与 Triton 执行路径，目标是降低优化器状态内存占用并加快大 GPU 负载下的优化器步进。作者称，在少量大张量的优化器单独基准中，Triton 加紧凑状态路径比 PyTorch fused AdamW 快约 1.5 倍，优化器状态内存约减半；但这些数字来自优化器单独基准，而非完整模型训练。作者同时说明，自动执行模式尚未稳定获得同等加速，大量小张量的工作负载比 PyTorch fused 优化器慢得多；在其端到端 MLP 测试中，PyTorch 因 C++ 深度集成整体仍略快。目前事件处于征集反馈阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。