机器之心·· 4 小时前AI 评分57
英伟达与UT-Austin发布Realtime-Bench,GPT-6 Astra实时任务成功率仅44%
英伟达、UT-Austin发布Realtime-Bench,实时互动任务难倒GPT-6
AI 导读
英伟达与UT-Austin等机构提出实时交互基准Realtime-Bench,包含30个网页任务和20个游戏任务,测试12个前沿模型。在环境按真实推理耗时推进时,表现最好的GPT-6 Astra在高推理强度下Pass^3仅36%,多数模型延迟超过1秒。研究还对比Wall Clock、Paused Clock和Token Clock三种时钟协议,发现提高推理强度对成功率的影响因模型而异。
来源:机器之心 · mp.weixin.qq.com