Hugging Face 发布 mmBERT：基于 ModernBERT 的多语言编码器，覆盖 1800+ 语言

Hugging Face 发布 mmBERT，一个基于 ModernBERT 架构的多语言编码器模型，在 3T+ tokens、1800 多种语言上训练，成为首个在性能上超越 XLM-R 的多语言模型。base 版含 110M 非嵌入参数（总计 307M），采用 Gemma 2 tokenizer，训练分三阶段将语言数从 60 逐步扩展至 1833，并引入逆掩码率调度与退火语言学习等新技术。