TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型

阿布扎比 TII 发布 Falcon Mamba 7B，称其为首个大规模通用纯 Mamba 模型，采用开放许可并已上线 Hugging Face 生态。该模型基于原始 Mamba 架构并加入额外 RMS 归一化层以稳定大规模训练，用约 5500GT 数据训练，可处理任意长度序列且生成每个 token 耗时恒定，单张 A10 24GB GPU 即可运行。