Hugging Face Blog·· 2024-12-18精选AI 评分62
IBM 等联合发布 Bamba-9B 混合 Mamba2 模型
Bamba: Inference-Efficient Hybrid Mamba2 Model
AI 导读
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，训练数据量 2.2T tokens。
推荐理由
原文给出混合 Mamba2 架构在 vLLM 中的吞吐与延迟实测数据，以及开放权重和训练配方，便于判断该架构的推理效率取舍。
来源：Hugging Face Blog · huggingface.co