Artificial Analysis 推出研究预览版 AA-Robotics v0.1,让前沿语言模型通过 HTTP API 控制一台 6 轴机械臂(5 个关节加一个夹爪),用四路摄像头观察场景并编写代码规划动作,首批公布 8 项桌面任务结果。
Artificial Analysis 首次把前沿语言模型放进真实机械臂任务里评测,给出了速度与成本相对人类基线的量化差距。
欢迎来到具身 AI 时代。
我们推出 AA-Robotics v0.1,这是我们的研究预览版,用于衡量前沿语言模型在理解、规划以及在物理世界中行动方面的表现。在 v0.1 中,每个模型都被赋予对一个 6 轴机械臂(5 个关节和一个夹爪)的控制权,以及一个简单的目标。我们今天发布前八个任务的结果。
我们发现,编码智能体框架中的前沿语言模型最近已经能够直接操控机械臂完成简单任务。如今,它们对于任何形式的生产使用来说都太慢、太昂贵——比人类基线差了近两个数量级。我们预计这种情况会迅速改变。
GPT-6 Astra 在 AA-Robotics v0.1 中排名第一,紧随其后的是 GPT-6.1 Sol、Gemini 4 Argon 和 Claude Opus 5.5。
AA-Robotics v0.1 详情:
➤ 我们的前八个任务测试了一系列能力:控制与灵巧性(精确抓取和物体操作)、空间推理(物体之间如何相互作用)以及适应性(模型如何应对意外情况)
➤ 模型只获得简短指令:如何连接到机械臂(通过简单的 HTTP API)、机械臂的名称以及如何提交尝试。它们可以通过四个摄像头查看场景,并编写和运行代码来规划并发送动作
➤ 一旦模型提交尝试,其最终状态会根据任务的通过标准进行评分。通过得 100 分;未完成的尝试获得部分分数。所有尝试均为零样本
主要发现:
➤ GPT 系列位居榜首:GPT-6 Astra 得分为 69,领先于 GPT-6.1 Sol 的 65 和 Gemini 4 Argon 的 55。Claude Opus 5.5(49)和 Claude Fable 5.1(46)落后
➤ 如今的模型在我们的任务上极其缓慢,完成每个桌面任务平均需要约 30 分钟
➤ 成本差异很大:GPT-6.1 Sol 最便宜,平均每个任务 $1.93;GPT-6 Astra 最贵,成本为 $16.36,是前者的八倍多
➤ 与人类相比,如今表现最好的前沿语言模型约慢 100 倍,成本约高 10 倍
更多结果、片段以及 AA-Robotics v0.1 的工作原理见下方推文串
来源:Artificial Analysis · x.com