Ai2 发布新颖性评判基准与自动化数据管线
先了解这件事
2026年10月27日，Allen AI（Ai2）发布研究《Old Ideas, Novel Problems》，考察大语言模型能否可靠评判科学研究想法的新颖性。据Ai2介绍，随论文一同公开的还有用于测试新颖性评判器的基准、数据与代码，以及一条可供研究者自动构建新评测集的流水线。该研究基于ICLR 2026评审意见，构建了154条高新颖性人类想法与145条低新颖性想法，并将154条人类想法与LLM生成想法配对。次日（10月28日），Hugging Face Blog发布跟进报道，称该研究测试了GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6六个LLM判断研究想法新颖性的可靠性，并同步开放基准、数据和代码。两篇报道对发布内容的表述一致；基准、数据、代码及自动化管线的具体适用范围与使用条件，以Ai2的表述为准。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face Blog精选Ai2 研究：LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems，测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个 LLM 判断研究想法新颖性的可靠性，并同步开放基准、数据和代码。
- Allen AI (Ai2)精选Ai2 发布 Old Ideas, Novel Problems：LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems，并公开用于测试新颖性评判器的基准、数据和代码，以及可自动构建新评测集的流水线。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性人类想法和 145 条低新颖性想法，另将 154 条人类想法与 LLM 生成想法配对。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。