热点事件持续更新

分享构建 Apex-2 模型的训练经验与教训

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月5日，开发者在 r/LocalLLaMA 分享了构建 Apex-2 模型的训练经验与教训。其原计划训练约 1T tokens，但因单张 H100 算力不足，最终只训练了约 80B。改用两个 GH200 实例配合 DiLoCo、每 350 步合并模型后，每 GPU 约 40% MFU，训练速度约为单 GPU 的 1.9 倍且成本更低。开发者称 2x H100 实例每 GPU 约 4.19 美元/小时，而 GH200 约 2.29 美元/小时。对 FineWeb-Edu 和 DCLM 去重后发现分别有 57% 和 34% 为重复数据。整个项目花费约 2000 美元。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

10月5日

16:18
r/LocalLLaMA
构建 Apex-2 的经验教训：单张 H100 不够，DiLoCo 双 GH200 训练快 1.9 倍
开发者分享了构建 Apex-2 模型的经验：原计划训练约 1T tokens，因单张 H100 算力不足最终只训练了约 80B。改用两个 GH200 实例配合 DiLoCo 每 350 步合并模型，每 GPU 约 40% MFU，训练速度约为单 GPU 的 1.9 倍且成本更低。对 FineWeb-Edu 和 DCLM 去重后发现 57% 和 34% 为重复数据，整个项目花费约 2000 美元。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。