TasteVal基准衡量AI实验研究品味

2026年10月6日，Jaffe与Sherburn发布TasteVal基准，用于衡量AI模型在AI研发任务中的实验科研品味，并将其操作化为实验算力效率，即模型达到给定分数所需的实验算力相对人类专家的比例。据该报道，每次运行在受评模型用满40 GPU小时算力或120小时挂钟时间时结束；人类基线取自24位专家的最佳尝试，每个任务至少两人，这些专家近期曾在OpenAI、Google DeepMind、NVIDIA和微软研究院等机构工作。研究者同时指出，其结果可能高估科研品味提升的速度，且TasteVal并不衡量模型选择最有价值问题的能力。目前尚无后续报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。