Artificial Analysis 发布 AA-3D 基准,评测 AI 模型构建交互式 3D 场景的能力。模型在离线沙盒中作为智能体把文字简报转成 three.js 网页,由人工评审在不知模型身份的情况下两两比较,共 55 份简报、21 个模型、超过 1 万次有效投票,按 Elo 排名并给出 95% 置信区间。
AA-3D 用 55 份场景简报和 1 万多次人工投票给 21 个模型排 Elo,可看智能体构建 3D 场景的能力分布。
我们已测量了智能。现在,是时候亲眼见证它了。
我们推出 AA-3D,这是我们全新的基准测试,用于衡量 AI 模型构建交互式 3D 场景的能力。每个模型都在一个离线沙盒中作为智能体运行,将一份书面简报转化为一个 three.js 网页。由人类评审小组在不知道哪个模型构建了哪个场景的情况下,对基于同一份简报构建的场景进行两两比较。
AA-3D 详情:
➤ 涵盖七个领域的 55 份书面简报,包括地标、机械、生物体、游戏和太空。每份简报说明场景必须展示什么以及人们应如何与之交互,其余部分留给模型发挥
➤ 每个模型最多有三个小时和 250 轮。其沙盒中有 Blender、Rapier 物理引擎、Python、一个用于测试自身工作的无头浏览器,以及一个 CC0 素材、3D 模型和角色库
➤ 评审在投票前会花至少 30 秒查看每个场景。每四次比较中有一次是验证检查
➤ 来自 1,000 多名评审的超过 10,000 张计票,按 Elo 对 21 个模型进行排名,并给出 95% 置信区间
主要发现:
➤ 四个模型在统计上并列榜首:Claude Sonnet 5.5(1194)、Claude Opus 5.5(1190)、GPT-6 Astra(1165)和 Claude Fable 5.1(1131)。其他三个模型的 95% 置信区间与 Claude Sonnet 5.5 的重叠
➤ AA-3D Elo 随智能提升:Artificial Analysis Intelligence Index 上每一点约值 18 Elo(Pearson 0.92)
➤ 排名最高的开放权重模型 Kimi K3(982)和 MiMo-V2.6-Pro(977)分别位列第 11 和第 12,落后第一名 200 多分
➤ 一个场景的成本从 $0.20 到 $32.08 不等,取决于模型。最便宜的 GPT-6 Luna 排名第八
更多结果、更多场景以及 AA-3D 的工作原理,请见下方推文串。
来源:Artificial Analysis · x.com