Meta 发布 Muse Spark Open 开源权重模型,816B 参数支持 1M token 上下文
Introducing Muse Spark Open, The Most Capable US Open‑Weight Model to Date
Meta 发布 Muse Spark Open 的模型权重,称其为迄今能力最强的美国开源权重模型。该模型为原生多模态,总参数 816B(激活 42B),上下文窗口 1M token,面向编码与智能体任务,可在两台搭载 M5 Ultra 的 Mac Studio 上通过 MLX 本地运行。
同一新闻,精选展示《Meta 开源 Muse Spark Open:816B 多模态 MoE 模型》
Muse Spark Open 今日起可用,首次在 Apple M5 Ultra Mac Studios 上为你的桌面带来领先的智能体能力。
今天,我们发布 Muse Spark Open 的权重,这是迄今为止能力最强的美国开放权重模型。Muse Spark Open 是一个原生多模态模型,总参数量 816B(激活 42B),上下文窗口 1M token。它专为编程和智能体工作打造,擅长长时程任务、复杂软件工程和多步推理。
我们相信 未来属于每一个人,这包括在任何地方运行先进模型的自由,包括在家中。Muse Spark Open 是其类别中首个使用最新 MLX 框架、在两台 Apple M5 Ultra Mac Studios 上于你的桌面运行的模型。
Muse Spark Open 今日起可通过 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 的 API 平台使用。模型权重可在 Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face 和 Microsoft Foundry Models 上下载。
它可在 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 和 Unsloth 等领先推理引擎上运行,并针对 AMD、Apple、Intel 和 NVIDIA 芯片进行了优化。开发者可以使用 PyTorch 框架轻松进一步定制该模型。
关键基准测试
有关我们评估的更多详情,请参阅 评估方法报告。
针对 Apple Silicon 优化
利用最新版本的 MLX,Muse Spark Open 针对搭载 M5 Ultra 的 Mac Studio 进行了优化,二者结合是在你自己的桌面上运行强大模型的最佳方式。
Apple 的统一内存架构让 M5 Ultra 的集成 GPU 每台 Mac Studio 可使用高达 512 GB 内存,因此两台机器即可容纳整个模型。该芯片 1.2 TB/s 的内存带宽足以快速读取每个 token 所需的小片数据。结果是两台 Mac Studio 表现得像一台拥有 1 TB 统一内存的超级计算机。
我们测试了一系列完全在设备端运行的智能体工作流,使用由 Muse Spark Open 驱动的 Muse Code,包括向 Ice Cubes(一个开源 Mastodon 客户端)提交真实的 iOS 改动——错误修复、新功能、完整构建——以及端到端驱动 DaVinci Resolve,由模型逐帧审阅素材,找出最精彩的片段并将其垂直裁剪。
现已可用
我们分享这项工作,是因为我们希望每个人都能用上最好的模型。Muse Spark 的开放权重版本随附 SGLang 中可自动调优的自定义 Helion GPU 内核,在 NVIDIA 和 AMD GPU 上实现 1.03-3.95 倍的内核级加速,并在 AMD MI350 上实现 3% 的端到端加速。
安全与准备
发布开放权重模型,是我们将个人超级智能的益处带给每个人的方式之一,也是安全研究在全领域推进的方式之一。
开放权重也有其自身的考量,因此 Muse Spark Open 进行了额外的安全后训练。结果表明,在所衡量的各风险类别中均具备强有力的防护。
我们依据 Meta Superintelligence Scaling Framework 对该模型进行了评估,覆盖最严重的风险,它达到了我们框架所要求的发布阈值。详细结果见 Muse Spark Open 模型卡,完整评估报告即将发布。
许可证
我们根据 Muse Model License 发布权重,附带有限的商业条款,允许许多开发者免费使用该模型。
开始使用
你可以利用 PyTorch 的 TorchTitan 进一步微调模型,为你的用例定制 Muse Spark Open。要在 Apple 芯片上运行它,请使用 MLX,它会直接从 Hugging Face 拉取权重。
Muse Spark Open 现已通过 Hugging Face 提供:https://huggingface.co/collections/meta-models/muse-spark-open
MLX Adapter,用于在 Mac Studio 上运行 Muse Spark Open。
托管推理合作伙伴:Together AI、Fireworks、Baseten、Modal 和 OpenRouter。
用 Muse Spark Open 构建或发布了什么?在 Hugging Face Forums 上与我们分享——我们很想看看你创造了什么。
来源:Meta AI Research Blog · research.meta.ai