Prime Intellect 发布全球分布式训练 10B 模型 INTELLECT-1
热点事件持续更新
Prime Intellect 发布全球分布式训练 10B 模型 INTELLECT-1
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Prime Intellect 启动并发布 INTELLECT-1，称其为首个在全球分布式节点上训练的 10B 参数语言模型。据其介绍，模型基于 Llama-3 架构，规模是此前研究的 10 倍，在 1T token 数据集上训练 42 天，横跨五个国家、三大洲，最多同时使用 112 张 H100 GPU，全球分布式训练算力利用率达 83%，全美范围内达 96%。启动阶段，Prime Intellect 邀请任何人通过其平台贡献算力参与，并称后续也可更方便地用自有硬件贡献；其生产训练每 100 步同步一次，在 8xH100 节点组成的 island 上约需 40 分钟。发布时一并放出详细技术报告、INTELLECT-1 基础模型、中间检查点与后训练模型、聊天界面、预训练数据集、由 Arcee AI 提供的后训练数据集以及 PRIME 框架。早先报道称该模型将主要在 Hugging Face 的 Fineweb-Edu 开源数据集上训练。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 19:14
Prime Intellect 启动 INTELLECT-1：首个全球分布式训练的 10B 参数模型事件进展
2 个进展
- 10月7日 19:14 · 1 篇报道Prime Intellect启动INTELLECT-1全球分布式训练Prime Intellect Blog：Prime Intellect 启动 INTELLECT-1：首个全球分布式训练的 10B 参数模型
- 10月7日 19:14 · 1 篇报道发布全球分布式训练的10B参数模型INTELLECT-1Prime Intellect Blog：Prime Intellect 发布 INTELLECT-1：全球分布式训练的 10B 参数模型
报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- Prime Intellect BlogPrime Intellect 启动 INTELLECT-1：首个全球分布式训练的 10B 参数模型
Prime Intellect 启动 INTELLECT-1，这是首个在全球分布式节点上训练的 10B 参数模型，基于 Llama-3 架构，邀请任何人贡献算力参与。
- Prime Intellect BlogPrime Intellect 发布 INTELLECT-1：全球分布式训练的 10B 参数模型
Prime Intellect 发布 INTELLECT-1，称其为首个在全球范围内协作训练的 10B 参数语言模型，规模是此前研究的 10 倍。模型基于 Llama-3 架构，在 1T token 数据集上训练 42 天，横跨五个国家、三大洲，最多同时使用 112 张 H100 GPU，全球分布式训练算力利用率达 83%，全美范围内达 96%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。