Ai2报告：大模型评估科研想法新颖性易受设置微调影响

2026年10月28日，AI研究机构Ai2发布研究报告《Old Ideas, Novel Problems》，系统考察大语言模型评估科研想法新颖性的可靠性，并同步发布配套基准测试、数据、代码及自动化评估流程。

随着AI辅助科学发现系统逐步介入提出假设、生成研究思路等环节，判断一个想法是否真正新颖成为关键问题。实践中，研究团队常调用另一个大语言模型充当"新颖性评估器"，但模型选择、提示词、评估格式、推理预算和检索系统的差异都可能影响最终判断。

研究显示，六种LLM评估器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6——对同一想法的判断会因评估设置的微小变化而显著不同。在一项实验中，提示词仅改动几个词，GPT-5.4在区分两个想法新颖性上的准确率从93.5%降至40.9%。此外，增加检索和推理并不总能带来更一致的判断；两个专门构建的评估系统在准确率和成本上均不如简单的Claude Opus 4.6提示基线。

Ai2表示，基于大语言模型的新颖性评估仍是一个重大开放问题，此次发布的基准与自动化流程可供研究人员用于构建更稳健的评估体系。