跳到正文
Rohan Paul· @rohanpaul_ai · X·· 2 小时前同新闻AI 评分72
AI 导读

Meta 在 Hugging Face 上开源了 Muse Spark Open 的权重,这是一个 816B 参数、面向编码与智能体任务的模型。开放版本与 Muse Spark 1.3 共用同一基座模型,额外做了安全后训练,以降低脱离系统护栏单独使用时的滥用风险,逆转了 Meta 今年 4 月首个闭源前沿模型的策略。

同一新闻,精选展示《Meta 开源 Muse Spark Open:816B 多模态 MoE 模型》

正文 · AI 翻译

Meta 在 Huggingface 上发布了 Muse Spark Open 的权重,这是一个为编程和智能体工作打造的 816B 参数模型。

开源版本与 Muse Spark 1.3 共享同一基础模型,并额外进行了安全后训练,以抵抗其作为没有系统护栏的独立模型被滥用,这逆转了 Meta 在 4 月推出的首个专有、闭源权重前沿模型策略。

其 62 层中的每一层都包含 256 个专家网络,并将每个 token 路由至其中 8 个,因此部署需要 816B 参数模型的内存,但运行速度却相当于 42B 模型。

这样的存储成本解释了与 Apple 的合作,因为 M5 Ultra 可提供 1.2 TB/s 的统一内存带宽,而一台 Mac Studio 最多可配备 512GB。

在 512GB M3 Ultra 上测试的 3-bit 量化版本占用约 344 GB,在短提示下生成速度约为 21 tok/s。

引用Mark Zuckerberg@finkd
Muse Spark Open —— 权重今天发布 —— 得益于与 @johnternus 和 Apple 的合作,在新款 Mac Studios 上运行效果极佳。
原文

Muse Spark Open -- weights releasing today -- runs great on new Mac Studios thanks to work with @johnternus and Apple.

在 X 查看被引用的帖子

来源:Rohan Paul · x.com