Prime Intellect 梳理全球分布式训练方法

2026年10月7日，Prime Intellect 发布技术博客，梳理全球分布式训练的前沿方法。文章介绍了 Google DeepMind 的 DiLoCo，其通过内层 AdamW 与外层 Nesterov 动量优化，将梯度同步从每步一次降至每 500 步一次；并指出跨数据中心训练面临 200Mb/s 至 100Gb/s 的低带宽、异构硬件、算力动态增减与容错等挑战，同时介绍了数据并行、张量并行与流水线并行三种基础方法及其权衡。文中提到，若要在当下部署 Hivemind 训练任务，最简单的方式是通过其计算平台 app.primeintellect.ai，选择“Prime Intellect Hivemind”基础镜像来部署工作负载。文章还披露，Prime Intellect 近期完成了 550 万美元种子轮融资，投资方与天使投资人包括 HuggingFace 的 Clem 和 SemiAnalysis 的 Dylan Patel，并正在招聘 AI 研究工程师。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。