百度文心开源发布 ERNIE 5.5 Flash Base 基座模型，总参数 280B
百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B
百度文心发布并开源 ERNIE-5.5-Flash-Base 预训练终点权重，这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型，在 33.5T tokens 上从零完成预训练，最长训练上下文 128K，微调与推理支持 1M tokens 上下文。
IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。
这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。
本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。
官方表示，Base 模型只是起点。经过后训练的 ERNIE 5.5 Flash 将随后推出。
ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练，采用 Muon 优化器与 FP8 混合精度。预训练语料覆盖广泛的领域与语言，并重点建设了三个方向：
网页数据：多语言网页抓取、高保真文本抽取与模型驱动的多维质量过滤。
代码数据：仓库与网页代码经非代码过滤、去重与质量分级，并补充 commit、issue、pull request、代码评审、自动生成的测试、经 CI 验证的修复等软件演化与执行验证类数据。
长文数据：精选的天然长文档、混入语义相近检索干扰文本的长序列，以及合成的检索、基于引用的问答与多跳问答数据。
据介绍，训练系统与模型结构协同设计。优化器采用分布式 Muon：在数千卡规模下，Dense 参数与 MoE 参数的跨机通信合并为一次集合通信，降低了跨机时延与抖动。注意力算子采用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v），可直接用于 HCA 层 512 维宽头的计算。
IT之家附评测数据与开源链接：
文心大模型在 30 项 Benchmark 上评测了 ERNIE-5.5-Flash-Base，涵盖综合、知识、理科、推理、多语言、代码与长上下文七类能力，并列出同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 的结果，四个模型均基于各自公开发布的 checkpoint、使用同一套评测框架。
ERNIE-5.5-Flash-Base 在各能力维度上均表现良好；长上下文方面，尽管 43 层中有 37 层在 128 倍压缩后的序列上做注意力，6 层 MLA-DSA 已足以支撑细粒度检索。完整表格见 Hugging Face 模型卡。
技术博客：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
Hugging Face（FP8）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
Hugging Face（BF16）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
微调示例（Megatron-Bridge）：https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55
来源：IT之家 · ithome.com