Meta 开源 Muse Spark Open，面向编码智能体的开放权重模型

Meta 发布了 Muse Spark Open 的权重，该开放权重版本在发布首日即可在 Baseten Model APIs 和 Dedicated Inference 上使用。它是迄今为止能力最强的美国开放权重模型。

Muse Spark Open 具备：

• 总参数 816B，推理时激活 42.7B，

• 1M token 上下文窗口，以及

• 全模态输入（文本、图像、视频、音频），输出为文本。

Muse Spark Open 与 Muse Code 联合训练，专为编码智能体工作流设计。其全模态输入还支持纯文本模型无法实现的开发者工作流。对于支持图像、视频或音频输入的智能体，你可以利用：

• 截图驱动的 UI 调试：智能体将渲染页面的截图与设计稿或缺陷报告图像进行对比，并直接修复布局代码。

• 视频复现为测试用例：你录制一段缺陷的屏幕录像。智能体观看后提取步骤，并编写复现脚本或端到端测试。

• 语音驱动的结对编程：你一边说话一边打字来引导智能体，音频作为直接输入，而非先转写为文本。

编码智能体的竞争力表现

除 Muse Code 外，Muse Spark Open 还可集成第三方编码智能体，如 OpenCode、Pi 和 Deep Agents Code。根据 Meta 公布的基准测试分数，Muse Spark Open 在智能体编码和知识工作方面与其他前沿实验室的模型具有竞争力。

在智能体编码基准测试中，每个当前模型都使用其所属实验室自己的编码智能体进行测试（Muse Spark 搭配 Muse Code，Claude Opus 5 搭配 Claude Code，GPT-5.6 Terra 搭配 Codex），而非使用统一的测试框架，因此这些分数反映的是每个模型在其专属工具链中的表现。

✕

Meta 将 Muse Spark Open 与前沿实验室的模型进行了基准对比。对比集包含各实验室的旗舰模型，但不包括其之上的顶级模型（Claude Fable 5.1、GPT-6 Astra）。

来源：https://developer.meta.com/ai/models/muse-spark-1-2/

在常规智能体循环中（运行命令、读取输出、修复出错之处），Muse Spark Open 的体验应接近旗舰闭源模型。在跨多步骤的大型多文件修改中，预计它比 Claude Opus 5 或 GPT-5.6 Terra 需要更多引导或重试，但面对 Grok 4.5 和 Gemini 3.6 Flash 时表现稳健。当智能体需要撰写其工作成果时，它击败了图表中除 Opus 5 之外的所有模型。

为智能体设计的模型架构

编码智能体工作流既需要高吞吐量以支持迭代推理循环，也需要内存效率以跟踪长上下文。为满足这些需求，Muse Spark Open 采用了特定的模型架构设计：

• 压缩的混合专家（MoE）模块，通过减少参数占用和 GPU 间通信来提升吞吐量。

• 混合全局/局部注意力调度，在长上下文下将 KV 缓存内存开销缩减 3.7 倍。

通过压缩 MoE 模块提升吞吐性能

编码智能体在紧密循环中读取上下文、推理、生成并重新读取结果，要求模型具备高吞吐量。并行运行后台子智能体会进一步推高这一吞吐量需求。

为了提升吞吐能力，Muse Spark Open 使用了压缩的专家混合（MoE）模块。一个共享池化器在将输入向量传递给专家之前对其进行压缩，专家的组合输出由一个共享反池化器投影回原始维度。而为每个 token 选择专家的路由器仍然读取全宽向量。

✕

压缩 MoE 在专家之前添加了一个共享池化器，并在专家输出组合之后添加了一个共享反池化器。

在这个压缩向量上进行操作：

• 将每个专家的参数量减半，与未压缩设计相比，模型总规模缩小约 800B 参数。

• 释放 GPU 内存，用于更大的 KV 缓存和并发序列。

• 减少 MoE 层中的 GPU 间通信量，从而直接提升吞吐量。

通过全局/局部注意力高效服务长上下文

编码智能体在每一步都会累积上下文，因为它们会构建任务轨迹、推理以及代码库的大部分内容。该上下文中的每个 token 都会作为 KV 缓存占用 GPU 内存，而在传统模型中，每一层都保留自己的 KV 缓存。

为了管理 GPU 内存使用，Muse Spark Open 使用了混合注意力调度。在其 62 层中，有 46 个局部注意力层，使用 2048 token 的滑动窗口和旋转位置嵌入（RoPE）来跟踪词序。此外，还有 16 个全局注意力层，它们以无位置编码（NoPE）的方式查看完整序列，依赖早期层已经捕获的词序信息。

传统架构与混合注意力调度对比

✕

Muse Spark Open 将 46 个局部注意力层与 16 个全局注意力层交错排列，在 128K 上下文（典型的智能体工作集）下，将每个序列的 KV 缓存内存从 31 GiB 降至 8.4 GiB。节省量随上下文长度增长。

每个局部注意力层只跟踪最近的 2048 个 token，其存储的早期 token 的 KV 缓存数据可以被覆盖。旧 token 的完整上下文不会被模型遗忘，而是保留在全局注意力层的 KV 缓存中。这种设计限制了局部注意力层的 KV 缓存，与仅有全局注意力层的模型相比，在 128K token 上下文下将 KV 缓存内存使用量减少约 3.7 倍。

从架构到推理优化

智能体工作负载在服务时的一项关键成本是模型权重的内存占用，这限制了单个节点上能容纳多少智能体会话。Baseten 的 Muse Spark Open Model API 通过服务 NVFP4 检查点来解决这个问题，这将权重占用减少约三分之二，并为 KV 缓存释放内存。

在 NVFP4 检查点中，专家权重以 4 位存储，仅在精度最重要的地方使用完整 bf16：注意力权重以及第一层和最后一层中的专家。这将模型权重规模从约 1.6 TB 减少到 540 GB。完整模型可容纳在单个 4×GB300 节点上，避免了权重和 KV 缓存的多节点互连。释放的内存用于 KV 缓存，使每个节点上能运行更多并发智能体会话并提高吞吐量。

开始使用 Muse Spark Open

Muse Spark Open 现已在 Baseten Model APIs 上提供。该端点兼容 OpenAI，因此你可以连接你的编码智能体并将其指向 Muse Spark Open，而无需更改你的框架。我们提供针对 Blackwell 优化的 NVFP4 权重，并支持工具调用、推理输出以及完整的 1M 上下文窗口。

对于大规模运行智能体的团队，我们还提供具有预留容量的专用推理部署。联系我们，与我们的工程师探讨您工作负载的具体需求。