跳到正文
Artificial Analysis· @ArtificialAnlys · X·· 4 小时前精选AI 评分65
AI 导读

Reflection 发布首个模型 Beam,在 Artificial Analysis Intelligence Index 上得分 30,位列美国开源权重模型第二,仅次于 Meta 的 Muse Spark Open(39),高于昨日发布的 NVIDIA Nemotron 3.5 Super VL(26)。

推荐理由

第三方评测给出 Beam 在开源模型中的排名与 token 效率、幻觉率等对比数据,可据此判断其能力定位。

正文 · AI 翻译

Reflection 的首个模型 Beam 在 Artificial Analysis Intelligence Index 上得分 30,在美国开放权重模型中排名第 2

Beam 是一个开放权重模型,总参数 501B,激活参数 23B,已在 @huggingface 上发布

恭喜 @reflection_ai 发布!

关键要点:

➤ 美国开放权重模型中的第二名:Beam 得分 30,仅次于 Meta 的 Muse Spark Open(39),领先于昨天发布的 NVIDIA Nemotron 3.5 Super VL(26)。在中国以外,只有 Muse Spark Open 和阿联酋的 K2 Horizon(31)得分更高

➤ 就其智能水平而言 token 高效:Beam 在每项 Intelligence Index 任务上使用约 26k 输出 token,而领先一分的 K2 Horizon 使用的 token 是其两倍(约 52k)。专有模型仍处于前沿,GPT-6 Astra(max)在相同预算(约 27k)下得分 53

➤ 在智能体工作流上表现强劲,在终端方面较弱:Beam 在 AutomationBench-AA 上得分 48.5%,领先 K2 Horizon(37.2%)11 个百分点,与 Qwen3.8 27B(48.2%)持平。Terminal-Bench 4.0 是弱项,Beam 得分 3.0%,落后于 Qwen3.8 27B(5.6%)和 Muse Spark Open(8.1%)

➤ 知道得更多,也猜得更多:在 AA-Omniscience 上,它正确回答了 33% 的问题,远超 K2 Horizon(18%)和 Qwen3.8 27B(16%)。但其幻觉率为 47%,而 K2 Horizon 为 26%,Qwen3.8 27B 为 30%,这使 Beam 的净指数得分为 1.5,领先于两个同类模型(−3.0 和 −10.0)

其他模型细节
上下文窗口:1M token
模态:文本
参数:501B / 23B

来源:Artificial Analysis · x.com