Hugging Face Blog·· 2024-12-19精选AI 评分73
Answer.AI 与 LightOn 发布 ModernBERT，替代 BERT 的编码器模型
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 与 LightOn 发布 ModernBERT，一个仅编码器模型系列，提供 base（149M 参数）和 large（395M 参数）两个版本，支持 8192 token 上下文，可作 BERT 类模型的直接替换。
推荐理由
ModernBERT 以 8k 上下文和更快推理替换 BERT 类编码器，读者可据此判断 RAG 与代码检索的升级空间。
来源：Hugging Face Blog · huggingface.co