Hugging Face Blog·· 2026-04-29精选AI 评分62
Granite 4.1 LLM 是如何构建的:IBM 公开预训练、SFT 与强化学习全流程
Granite 4.1 LLMs: How They’re Built
AI 导读
IBM Granite 团队发布技术文章,详解 Granite 4.1 系列(3B、8B、30B 稠密 decoder-only 模型)的构建流程:约 15T token 五阶段预训练、上下文扩展至 512K、约 4.1M 高质量样本的 SFT,以及基于 on-policy GRPO 与 DAPO loss 的多阶段强化学习。
推荐理由
Granite 团队公开了从数据配比到多阶段 RL 的完整训练细节,可对照其 8B 稠密模型追平 32B MoE 的取舍。
来源:Hugging Face Blog · huggingface.co