Ai2 / Allen Institute for AI·2026-10-27 16:00· 7 天前精选AI 评分64

Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定

Can we trust LLMs to judge whether a research idea is novel?

AI 导读

Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线，测试 LLM 作为研究想法新颖性裁判的可靠性。

推荐理由

原文给出了跨六个 LLM 裁判的敏感性实验数据，读者可据此判断现有新颖性评估在 AI 生成想法上的可靠性边界。