Ai2发布研究：LLM评判想法新颖性不可靠
热点事件持续更新
Ai2发布研究：LLM评判想法新颖性不可靠
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Ai2（艾伦人工智能研究所）发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测流水线，测试大语言模型作为新颖性判断器评估科研想法的可靠性，结论是 LLM 的此类判断并不可靠。 研究中，仅改动提示词里的几个词，模型判断两个想法哪个更新颖的准确率变化就超过 50 个百分点；检索和额外推理也不能一致改善判断，两个专门构建的新颖性评估系统表现反而不如简单的 Claude Opus 4.6 提示基线。 其高新颖性想法池含 154 个人类撰写的研究想法，取自 ICLR 各研究领域排名前 10% 的接收论文中评审明确认定新颖且无人质疑者；生成想法被假定新颖性低于人类想法，Ai2 称这些是弱标签，并非对每个想法的核实判断。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 00:12
Ai2 发布 Old Ideas, Novel Problems 研究与基准：LLM 评判研究想法新颖性并不可靠报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face BlogAi2 发布 Old Ideas, Novel Problems 研究与基准：LLM 评判研究想法新颖性并不可靠
Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和可复用评测流水线，测试 LLM 作为 novelty judge 评估科研想法新颖性的可靠性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。