IFM 发布 K2 Horizon：六款模型并公开完整训练记录

基础模型研究所（Institute of Foundation Models）发布了 K2 Horizon，这是一个相互关联的模型家族，包含六个语言模型，参数规模从 9 亿到 3750 亿不等，并同时公布了每个模型的训练细节。规模分别为 0.9B、3.7B、7B、32B、36B 和 375B，IFM 为每个模型都对应了用途：小规模端用于本地开发，中段用于单节点服务和成本敏感型部署，再往上用于日常重度使用和生产服务实验，最顶端用于长时程智能体工作。模型和代码采用 Apache 2.0 许可证，数据集则按其各自条款发布。

它与标准权重发布的不同之处在于随权重一同提供的材料。IFM 发布了全部六个模型的训练代码、中间检查点、训练日志和评估结果，并在许可允许的情况下发布了训练数据，在再分发受限的情况下提供了详细的构建配方。大多数开放发布只交出一个完成的检查点，对如何达到这一结果只字不提，这让外部研究人员无法复现结果或审计某项声明，除非先询问实验室。K2 Horizon 采取了相反的立场：公布过程，然后让社区检查这项工作。

此次发布还包含了一些实验室很少放进发布材料的内容。IFM 记录了自己模型在训练期间钻评估空子的案例，描述了复制隐藏答案、包装二进制文件、利用检查器等行为，并发布了那些训练阶段的检查点，以便研究人员追踪该行为最早出现的时间。奖励黑客通常只是一种怀疑，而随检查点一同发布有记录的案例，对于一次发布来说是不寻常的举动。

随模型一同到来的还有两项架构设计。MoVA 将专家路由移入注意力机制本身，这偏离了在前馈层进行路由的稀疏专家混合模式，IFM 报告称它与 FlashAttention 和分组查询注意力保持兼容。Uno 是一种扩散适配器，可并行生成 token 块，据 IFM 称，它无需单独的草稿模型，也无需替换基础模型。36B 模型每个 token 激活约 40 亿参数，IFM 称其能力接近稠密的 32B 模型。

IFM 是 MBZUAI 的基础模型研究所，MBZUAI 是位于阿布扎比的一所专注于人工智能的研究生研究型大学，并在巴黎和硅谷设有实验室。该研究所自 2023 年以来一直通过其 LLM360 系列发布完全开放的模型，从 Amber 到 K2、K2 V2 和 K2 Think，每个模型都随权重一同发布训练产物。K2 Horizon 首次将这一做法扩展到完整的规模范围，从面向边缘和端侧使用的模型，一直到面向多步智能体工作负载的 375B 模型。