Исследование показывает, что LLM с трудом надежно оценивают научную новизну

Выпуск "Old Ideas, Novel Problems" знаменует собой новое и значимое исследование и эталонный тест, разработанный для проверки надежности больших языковых моделей (LLMs) при оценке новизны научных идей. Авторы подчеркивают, что хотя системы ИИ быстро развиваются для поддержки различных этапов научных открытий — от анализа структурированных данных (DataVoyager) до генерации гипотез (AutoDiscovery) и синтезирования литературы в теории (Theorizer) — остается критическая проблема: как гарантировать, что сгенерированные идеи действительно новы и не являются просто переупаковкой существующих знаний.

Эта необходимость приводит к концепции "судьи новизны" (novelty judge), который часто представляет собой другую LLM, используемую для оценки того, является ли предложенная исследовательская идея новой по отношению к предыдущей работе. В исследовании немедленно указывается, что в настоящее время не существует стандартизированной методологии для создания такого судьи. Командам исследователей приходится делать множество субъективных выборов, включая выбор базовой модели, определение структуры промпта, установление формата оценки, определение бюджета рассуждений и иногда интеграцию системы поиска литературы. Эти, казалось бы, незначительные выборы могут кардинально изменить окончательное суждение, однако эти судьи часто валидируются с использованием уже существующих, написанных человеком статей, а не тех ИИ-сгенерированных идей, которые они на самом деле предназначены оценивать.

Основной вывод нового эталона заключается в том, что сама оценка новизны далека от надежной. Исследователи протестировали шесть различных "судей" на базе LLM, включая различные версии моделей GPT и Claude. Они продемонстрировали, что даже минимальные изменения в настройке оценки — например, изменение всего нескольких слов в промпте — могут вызвать смещение точности модели в различении двух новых идей более чем на 50 процентных пунктов. Более того, исследование показало, что включение таких продвинутых методов, как поиск литературы или дополнительные шаги рассуждений, не привело к последовательному улучшению суждений. Фактически, две сложные, специально разработанные системы оценки новизны показали худшие результаты, чем простой базовый промпт, предоставленный Claude Opus 4.6.

Чтобы тщательно протестировать эту проблему, исследователям сначала потребовался надежный источник "истины" (ground truth) относительно оригинальности. Они разработали автоматизированный конвейер, центрированный на рецензиях ICLR 2026. Критически важно, что они избегали использования статуса принятия статьи в качестве прокси для новизны, признавая, что статья может быть принята, не будучи высоко новой, и наоборот. Вместо этого они извлекали сами рецензии, конкретно ища отрывки, где рецензенты явно обсуждали оригинальность вклада. Это различие было первостепенным для валидности исследования.

Используя этот метод, они сконструировали две различные настройки оценки. Первая, пул "Только человек" (Human-Only), состоял из 154 идей, написанных людьми и обладающих высокой степенью новизны. Они были выбраны из принятых статей в топ-10% их области исследований ICLR, при условии, что рецензенты положительно определили новизну, и ни один рецензент не оспаривал оригинальность. И наоборот, они создали пул идей с низкой новизной — 145 идей из отклоненных статей в нижнем 10%, где рецензенты выразили опасения по поводу оригинальности, и ни один рецензент не положительно подтвердил новизну. Эта настройка позволяет судьям различать идеи, написанные людьми, с сильными доказательствами высокой и низкой новизны.

Признавая, что практический сценарий использования включает идеи, сгенерированные ИИ, исследователи создали вторую настройку: "Человек + Сгенерировано" (Human+Generated). Для этого пула они сопоставили 154 проверенные идеи высокой новизны, написанные людьми, с 154 идеями, сгенерированными базовым генератором LLM. Этот генератор получил только область исследования и инструкцию предложить новую идею, без доступа к поиску литературы, инструментам, итерациям или обратной связи, что обеспечило консервативное сравнение. Авторы предположили, что эти базовые сгенерированные идеи менее новы, чем их аналоги высшего уровня, написанные людьми. Исследование завершается подчеркиванием того, что, хотя эталонный тест предоставляет необходимые инструменты для изучения проблемы, он одновременно выявляет, как много остается нерешенным в области автоматизированной научной валидации.

Выводы подчеркивают, что способность надежно проверять подлинную научную новизну является основным узким местом в автоматизации научных открытий. Нынешняя зависимость от субъективного промптинга и отсутствие стандартизированных метрик оценки означают, что исследовательские предложения, управляемые ИИ, должны рассматриваться с крайней осторожностью. Результаты убедительно свидетельствуют о том, что современные судьи LLM очень чувствительны к промпт-инжинирингу, и что сложные, специализированные системы могут не превзойти простые, хорошо промптированные модели. Это требует фундаментального сдвига в том, как научное сообщество валидирует исследования с помощью ИИ, переходя от простого учета коэффициентов принятия к проверяемым, структурированным доказательствам оригинальности.