Cognition· @cognition · X·· 4 小时前AI 评分43
AI 导读
我们首次在 RL 之前加入了中期训练阶段。我们在数万亿 token 的代码、科学文章、博客等数据上进行了训练,把最稀缺、最高质量的数据留到最后。
正文
For the first time, we also added a mid-training stage before RL. We trained on several trillion tokens of code, scientific articles, blogs, and more, saving the scarcest, highest-quality data for last.
来源:Cognition · x.com