跳到正文
Rohan Paul· @rohanpaul_ai · X·· 3 小时前精选AI 评分79
AI 导读

Moonshot AI 在 Hugging Face 发布 2.8T 参数的 Kimi K3.1 Pro 模型权重。该模型以 4-bit 精度训练并直接以该精度发布,避免 16-bit 版本所需的 5.6TB 存储;每个 token 仅激活 104B 参数,93 层中有 69 层使用线性注意力,以降低 1M token 上下文的处理成本。

推荐理由

材料把开源权重、4-bit 精度、稀疏激活与许可限制放在一起,便于判断这次发布的开放程度和商用边界。

正文 · AI 翻译

Moonshot AI 在 Huggingface 上发布了 2.8T 参数规模的 Kimi K3.1 Pro 权重。

在 Terminal-Bench 上,它与 Claude 5.5 正面交锋

以 4-bit 权重训练,也以该精度发布,避免了 16-bit 副本所需的 5.6TB。

Moonshot 将稳步上升的漏洞利用技能追溯到其通用中期训练语料和 RL 环境中埋藏的网络内容,并在开放权重前将两者移除。

在 Moonshot 自己的测试中,该模型在 Terminal-Bench 4.0 上得分 65.7%,接近 Claude Opus 5.5 的 66.4%,但在无工具情况下在 HLE-Diamond 上仅达到 39.4%,而 GPT-6 Astra 为 65.8%。

每个 token 仅激活其 104B 参数,其 93 层中有 69 层使用线性注意力,这使得 100 万 token 上下文的处理成本更低。

其修改版 MIT 许可证豁免内部使用,但要求年收入超过 2000 万美元的模型托管公司进行谈判,从而约束可能压低公司自家 API 价格的转售商。

引用Kimi.ai@Kimi_Moonshot
发布 Kimi K3.1 Pro 的模型权重:https://huggingface.co/moonshotai/Kimi-K3.1-Pro 我们将继续推进开放智能。
原文

Releasing the model weights of Kimi K3.1 Pro: https://huggingface.co/moonshotai/Kimi-K3.1-Pro We'll keep advancing open intelligence.

在 X 查看被引用的帖子

来源:Rohan Paul · x.com