ServiceNow与McGill发布AgentHorizon评测基准

2026年10月14日，ServiceNow 与 McGill 的研究团队发布论文并推出 AgentHorizon 评测基准，用于考察 AI 判分模型在长程电脑操作任务中的表现。该基准包含 1,373 个判分任务，素材来自人类屏幕录制：录制者拍摄成对近乎相同的任务并互换指令，使每次失败都是请求略有差异的干净运行。论文发现，AI 判分模型在长程电脑操作任务中仍会漏掉细微错误，给它们配工具也不能稳定改善。据该报道，表现最好的判分模型 GPT-5.5 在 Codex 中于困难划分上取得 80.9% 的平衡准确率，而“总是回答是”的基线为 50%；Qwen 3.6 27B 使用工具后反而更差，直接读取整个运行过程得分为 77.6%，作为智能体运行则为 70.4%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。