Rohan Paul· @rohanpaul_ai · X·· 2 小时前精选AI 评分73
AI 导读
Google DeepMind 与多所高校的新论文用专家提供的 50 道未公开研究级理论物理题测试 AI 智能体,每题约相当于专家一天的工作量。GPT-6-Astra 在 Codex 中联网解出 49 道,单题成本低于 3 美元;它和 Opus 5.5 在 Claude Code 中不联网均解出 46 道,去掉联网后准确率变化很小,作者据此认为模型可能已记住大量物理文献。
推荐理由
该研究用专家未公开的物理题测试智能体,并给出成本与联网与否的对比,可观察当前智能体在真实科研计算上的边界。
正文 · AI 翻译
Google Deep Mind 与多所顶尖大学的新论文发现,测试中表现最好的 AI 智能体解决了 50 道未发表的研究级理论物理问题中的 49 道,每道题大约相当于一位世界级专家一天的工作量。
每道题成本不到 3 美元。
物理学中 AI 的基准测试通常使用教科书或竞赛题目,或者屏蔽真实研究者使用的工具。因此,智能体如何处理日常研究中大量的计算工作此前并不清楚。
专家们贡献了来自自己研究的 50 道未发表问题,每道大约相当于一位专家一天的工作量。智能体独立作答,分别在有和没有网络搜索的条件下进行,且仅根据最终数值答案评分。
Codex 中的 GPT-6-Astra 在有网络搜索的情况下解决了 50 道中的 49 道,而它和 Claude Code 中的 Opus 5.5 在没有搜索的情况下都解决了 50 道中的 46 道。没有搜索时准确率几乎没有变化,这表明这些模型已经记住了大量物理学文献。
来源:Rohan Paul · x.com