- ИИ умеет доставать числа и считать — но не всегда понимает, почему они важны
- Что именно проверяли авторы исследования
- Контрольный набор расчётов и разброс результатов
- Роль поправки к параллаксу и её «неочевидность» для ИИ
- Почему воспроизведение часто даёт неверный или неоднозначный результат
- Рекомендации авторов по оценке научных ИИ‑систем
ИИ умеет доставать числа и считать — но не всегда понимает, почему они важны
Модели искусственного интеллекта способны извлечь из научных публикаций нужные величины и выполнить расчёты, однако это не гарантирует достоверное воспроизведение результатов исследования. В эксперименте по восстановлению астрономического анализа 12 разных вариаций обработки одного и того же набора данных дали оценки расстояния от 2,16 до 3,53 килопарсека, тогда как в исходной статье было указано примерно 2,70 килопарсека. Только в одном случае получилось получить совпадающий результат, хотя соответствующая поправка уже содержалась в оригинальной работе.
Что именно проверяли авторы исследования
Авторы статьи «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy» протестировали подход на 14 астрономических публикациях — среди них одна статья из The Astrophysical Journal и 13 публикаций в Nature. В 11 из 13 статей в Nature исследователи обнаружили методологические или интерпретационные неясности, которые мешали однозначно восстановить последовательность действий, необходимых для повторения анализа.
Контрольный набор расчётов и разброс результатов
В контрольном эксперименте были выполнены 12 заранее определённых вариантов расчёта: различались методы отбора объектов, маскировка участков неба и учёт поправок к нулевой точке параллакса. Параллакс служит для оценки расстояния по видимому смещению объекта относительно более удалённых источников. В зависимости от выбранных настроек оценки расстояния варьировались от 2,16 до 3,53 килопарсека, тогда как в публикации указано около 2,70 килопарсека. Авторы подчёркивают, что они не подбирали параметры под опубликованный результат: совпадающий вариант оказался лишь после выполнения всех 12 анализов.
Роль поправки к параллаксу и её «неочевидность» для ИИ
Одним из ключевых источников расхождения оказалась поправка к параллаксу на +0,02 миллисекунды дуги. ИИ‑агенты не смогли установить её влияние на итоговую оценку до тех пор, пока последовательный анализ не показал, как эта поправка меняет результат. То есть причина ошибок заключалась не столько в отсутствии числовой информации, сколько в невозможности связать отдельный параметр с его последствиями для конкретного вычисления.
Почему воспроизведение часто даёт неверный или неоднозначный результат
Авторы выделяют несколько факторов, затрудняющих воспроизведение: программные или вычислительные ошибки, нечетко описанные методики и неспособность связать различные фрагменты статьи в последовательную процедуру анализа. Из этого следует, что совпадение итогового числа с опубликованным не всегда подтверждает восстановление логики авторов — оно может быть случайным или следствием одного из множества приемлемых подходов. Аналогично, несовпадение не обязательно означает ошибку в оригинальной работе.
Рекомендации авторов по оценке научных ИИ‑систем
Исследователи предлагают оценивать работу научных ИИ‑систем по полному циклу воспроизведения: от выбора данных и настроек до проверки промежуточных и финальных результатов, а не только по совпадению финальной величины с опубликованной. Такой подход помогает выявлять неявные решения, которые специалисты принимают по опыту и профессиональным соглашениям. При этом аудит вычислений не заменяет предметных знаний: чтобы отличить оправданные предположения от тех, что искажают выводы, системе необходимо восстановить связь между методикой и рассматриваемой научной задачей.
Источники: arXiv — оригинал
