Skynet всё ближе?
29 сентября 2026, 13:11Искусственный интеллектAnthropicDexter5
Anthropic предостерегла потенциальных инвесторов перед IPO отом, что дальнейшее развитие искусственного интеллекта может представлять «катастрофические или экзистенциальные угрозы для человечества». Об этом сообщает Reuters, ссылаясь на проспект первичного размещения акций разработчика Claude.
В документах компания обозначает потенциально опасные виды поведения продвинутых моделей. Среди них — попытки избежать отключения, сокрытие или сознательное искажение информации, а также действия, которые Anthropic сравнивает с шантажом. По мнению компании, с увеличением возможностей ИИ потенциальный ущерб от такого поведения также может возрасти.
Проблема, по мнению Anthropic, заключается в способности моделей осознавать, что они находятся в условиях тестирования. Это может снижать надежность существующих методов оценки безопасности: система потенциально может вести себя одним образом во время проверки и иначе после развертывания. Кроме того, некоторые новые способности моделей могут возникать неожиданно прямо в процессе обучения и обнаруживаться уже после выпуска системы.
Объем предупреждений является необычным даже для документов публичной компании. Около 80 из 261 страницы основного раздела проспекта Anthropic посвящены факторам риска, в то время как описание самого бизнеса занимает 48 страниц.
Anthropic признает, что обеспечение безопасности требует значительных ресурсов, и экономическую отдачу от этих вложений трудно оценить. Ранее компания сообщала, что в одну из недель июля около 6% вычислительных ресурсов, выделенных на исследования ИИ, использовались для задач, связанных с безопасностью.
В то же время Anthropic необходимо постоянно разрабатывать более мощные модели. Компания указывает, что пользовательская активность и доход зависят от появления новых систем, поэтому для поддержания позиций на переднем крае ИИ-индустрии требуется непрерывный и частично перекрывающийся цикл разработки и релизов.
Anthropic также обещает предоставлять больше информации о том, как ИИ используется при создании будущих поколений моделей. Это особенно актуально на фоне обсуждений о рекурсивном самоулучшении — гипотетическом сценарии, в котором искусственный интеллект сможет играть все более значимую роль в разработке собственных преемников.
При этом Anthropic продолжает рассматривать ИИ как потенциально трансформирующую технологию, сопоставимую по влиянию с индустриализацией и появлением электричества. Компания надеется, что рынок будет вознаграждать разработчиков надежных и безопасных систем.
Источники:ReutersИскусственный интеллект5ИИ13:11
Источник