Kimi K3.1 Pro 在 Artificial Analysis Cyber Index 上得分 64%,成为开放可用模型中排名第一的模型,比此前的领先者 DeepSeek V4.1 Flash 1017(57%)高 7 分,比仅通过 OpenAI 可信访问计划提供的 GPT-6 Sol(Daybreak Blue,max,69%)低 5 分。
第三方评测给出 Kimi K3.1 Pro 在智能体网络防御任务上的分项成绩与单任务成本,可据此比较开源模型与受限访问模型的差距。
Kimi K3.1 Pro 是代理式网络防御领域新的 #1 公开可用模型,在 Artificial Analysis Cyber Index 上仅次于受信任访问模型 GPT-6 Sol(Daybreak Blue)
@Kimi_Moonshot 的 Kimi K3.1 Pro 在 Artificial Analysis Cyber Index 上得分 64%,领先此前领先的公开可用模型 DeepSeek V4.1 Flash 1017(57%)7 分,落后 GPT-6 Sol(Daybreak Blue,max,69%)5 分,后者仅通过 OpenAI 的受信任访问计划提供。一旦 K3.1 Pro 的权重发布,K3.1 Pro 也将成为网络防御领域领先的开源权重模型。
Artificial Analysis Cyber Index 衡量代理式网络防御任务上的能力,由三个基准组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。该指数主要通过模型公开可访问的 API 进行评估,反映开发者可用的网络能力。
来自 OpenAI、Anthropic 和 Google 的专有模型可能具有更强的网络能力,但因安全拒答而失分:通过 OpenAI 受信任访问计划提供的 GPT-6 Sol(Daybreak Blue,max)比其公开版本高 32 分。Kimi K3.1 Pro 未遇到任何安全拒答。
关键结果:
➤ #1 公开可用模型、总排名 #2:Kimi K3.1 Pro 得分 64%,较 Kimi K3(41%)提升 23 分,并领先 DeepSeek V4.1 Flash 1017(57%)。仅受信任访问的 GPT-6 Sol(Daybreak Blue,max,69%)得分更高
➤ CyberGym-E2E-AA 得分在所有模型中最高:K3.1 Pro 在 CyberGym-E2E-AA 上得分 95%,领先 GPT-6 Sol(Daybreak Blue,93%)以及下一个公开可用模型 Mistral Large 4(82%)。在 DeepsecBench-AA 上,K3.1 Pro 得分 37%,落后于 GPT-6 Sol(Daybreak Blue,48%)和 GPT-6 Sol(46%)。在 CWE-Bench-AA 上得分 61%,落后 GPT-6 Sol(Daybreak Blue,65%)4 分,DeepSeek V4.1 Flash 1017 以 69% 领先
➤ 尽管 token 价格更低,每任务成本仍增加 15%:K3.1 Pro 的每任务成本为 $2.81,高于 GPT-6 Sol(Daybreak Blue,max,$1.77)和 DeepSeek V4.1 Flash 1017($0.42)。Kimi K3.1 Pro 每 token 比 Kimi K3 便宜 33%(每 1M 输入/输出 token 为 $2/$10 对 $3/$15),但使用的输入 token 约为 2 倍,导致每任务成本高出 15%($2.81 对 $2.45)
来源:Artificial Analysis · x.com