Новый метод анализа частоты маркерных слов оценил реальный масштаб использования LLM, проанализировав более миллиона полнотекстовых статей из PubMed
18 сентября 2026, 14:33Искусственный интеллектDarth Sahara0
К концу 2025 года 89% биомедицинских статей, доступных в открытом доступе, содержат следы редактирования или написания с использованием больших языковых моделей. Эта оценка была получена международной командой исследователей, которая разработала новый статистический метод, позволяющий впервые измерить не только нижнюю границу использования LLM, как это делали все предыдущие подходы, но и более близкую к реальной долю текстов, затронутых ИИ. Метод применили к 1 194 287 полнотекстовым статьям из базы PubMed Central, опубликованным с 2017 по 2025 год.
В основе метода лежит анализ частоты 379 служебных и стилевых слов, таких как these, potential, delves, частота которых значительно возросла после появления ChatGPT в конце 2022 года. Для каждого маркерного слова был построен контрфактический тренд: линейная регрессия на данных за 2018–2022 годы экстраполировалась на 2023–2025 годы, а отклонение реальной частоты от прогнозируемой позволяло оценить долю текстов, прошедших через LLM. Исследователи отбирали оптимальное по размеру подмножество слов, при котором расчетная доля оказывалась максимальной, а стандартная ошибка не превышала 2,5 процентных пункта. Валидация на симулированных данных — 100 000 документов в год с реалистичными параметрами — показала, что ошибка метода составляет не более 2 процентных пункта во всем диапазоне возможных значений.
Приведение всех разделов статьи к единой длине в 255 слов дало наивысшую оценку для обсуждения — 68% в декабре 2025 года, почти столько же для аннотаций — 67%. Методы оказались наименее затронутыми — 32%, причем внутри этого раздела ИИ-редактирование распределено неравномерно: оценка по полному тексту методов составила 54%. Этот разрыв объясняется тем, что авторы чаще используют LLM для интерпретации результатов, а не для описания процедур.
Различия между странами оказались значительными. Лидерами по использованию LLM в 2025 году стали Южная Корея (85%), Китай (82%) и Тайвань (80%). Наименьший показатель был зафиксирован в Великобритании — 28%. Когда все страны с преимущественно англоязычным населением объединили и сравнили с остальным миром, разрыв составил 37% против 72%. Частота маркерных слов в текстах авторов из неанглоязычных стран до 2023 года была заметно ниже, но к 2025 году практически сравнялась с уровнем носителей языка.
Полученные данные значительно выше предыдущих оценок, которые для 2024 года колебались в пределах 12–16%. Авторы объясняют это принципиальным ограничением старых методов: анализ частотного зазора обеспечивает лишь нижнюю границу, детекторы ИИ неоднократно признавались неточными, а подходы с измерением частоты слов в текстах, сгенерированных LLM, критически зависят от выбора конкретных промптов и моделей. Новые же оценки хорошо согласуются с опросами самих ученых: например, издательство Wiley в середине 2025 года зафиксировало, что более 70% респондентов использовали LLM для помощи в написании черновиков.
Исследователи предостерегают: метод основывается на предположении о линейности тренда в отсутствие ChatGPT, и по мере того как люди привыкают к стилю LLM или, наоборот, сознательно избегают маркерных слов, точность экстраполяции может снижаться. Тем не менее масштаб внедрения ИИ в научную коммуникацию ставит перед академическим сообществом двойную задачу: с одной стороны, LLM снижают языковой барьер для неанглоязычных исследователей, с другой — создают риски галлюцинаторных ссылок, гомогенизации научного языка и ослабления связи между письмом и критическим мышлением.
Источники:arXivИскусственный интеллект0Искусственный интеллектЯзыковые моделибиблиометрия30 минут назад
Источник