Эксперимент с начинающими разработчиками показал, что пользователи завершали задания не быстрее коллег без помощника, но хуже понимали использованные концепции и слабее справлялись с отладкой
Искусственный интеллект042 минуты назад
Исследование, проведенное учеными Anthropic, продемонстрировало, что применение ИИ-помощников в процессе обучения программированию может негативно влиять на качество усвоения материалов у начинающих специалистов. Авторы описывают этот феномен как «never-skilling» — ситуацию, при которой новичок не успевает развить полноценный навык, так как постоянно передает выполнение ключевых этапов работы искусственному интеллекту.
В рандомизированном контролируемом эксперименте участвовали 52 в основном начинающих разработчика. Половине из них был предоставлен ИИ-помощник, после чего обе группы должны были изучить библиотеку Trio для Python, с которой ранее не работали. Сразу после выполнения задания участникам было предложено проверить понимание использованных ими концепций.
Группа, использовавшая ИИ, показала в среднем 50% правильных ответов, тогда как участники, которые писали код самостоятельно, набрали 67%. Разница оказалась статистически значимой: вероятность случайного получения такого результата оценивалась значением p=0,01. При этом ИИ-помощник практически не дал преимущества по скорости: пользователи с ним завершали задания примерно на 2 минуты быстрее, однако эта разница не была статистически значимой.
Наибольший разрыв проявился в процессе отладки программ. Участники без ИИ чаще сталкивались с ошибками и были вынуждены самостоятельно искать причины и вносить поправки — процесс, который считается важной частью формирования навыка программирования. Пользователи помощника чаще избегали этих этапов, поскольку система сразу предлагала решения, не заставляя разбираться в причинах проблемы.
Похожую проблему обозначили авторы обзора в журнале Nature Medicine, подготовленного специалистами Медицинской школы Duke-NUS совместно с учеными из Гарварда, Университетского колледжа Лондона и Королевского колледжа Лондона. Они указали на риск для медицинского образования: если начинающие врачи слишком рано начинают полагаться на ИИ, то они могут не развить необходимые навыки клинического мышления.
Учёные также выделили отдельный риск — «mis-skilling», когда специалист принимает ошибочный ответ ИИ за достоверную информацию и закрепляет неверное знание.
При этом авторы подчеркивают, что прямых доказательств такого эффекта именно в медицинском обучении пока нет. Их выводы основаны на теориях обучения и ранних данных из других областей, включая эксперимент Anthropic. Они предлагают трёхэтапный подход: сначала развивать базовые навыки без ИИ, затем учить правильно оценивать ответы системы и только после этого внедрять ИИ-инструменты под контролем наставников.
Исследование также показало, что результаты зависят не только от самого использования ИИ, но и от метода работы с ним. Участники с лучшими результатами чаще задавали вопросы о принципах работы кода и просили объяснения, тогда как менее успешные пользователи полностью передавали задачи помощнику или использовали его исключительно для исправления ошибок. Авторы отмечают, что эксперимент имел ограничения: небольшую выборку, проверку знаний сразу после задания и использование обычного чат-помощника вместо более автономных ИИ-агентов. При этом они считают, что влияние более мощных систем может оказаться еще более заметным.
Darth SaharaИсточники:the next webИскусственный интеллект0Искусственный интеллектAnthropicПрограммированиеАвтоматизация труда42 минуты назад
Источник