Исследование Unit 42 компании Palo Alto Networks выявило новый тип атак на цепочку поставок программного обеспечения, вызванный галлюцинациями языковых моделей
Искусственный интеллект042 минуты назад
Подразделение исследования Unit 42 компании Palo Alto Networks охарактеризовало новый вид атак, возникающий из-за особенностей больших языковых моделей (LLM) — они часто «галлюцинируют», создавая неправдоподобные, но убедительные адреса сайтов реальных марок. Согласно отчету, злоумышленники уже начали заранее регистрировать такие домены для перехвата потенциального трафика, который генерируют ИИ-системы и их пользователи.
Этот метод получил название phantom squatting («призрачный киберсквоттинг»). Его суть заключается в том, что модель сама формирует пространство возможных доменных имен для брендов, сервисов или API, а злоумышленник просто «занимает» наиболее правдоподобные из них, прежде чем они будут официально зарегистрированы кем-либо. В результате домен изначально воспринимается как легитимный для ИИ, но уже контролируется преступниками.
Исследователи провели анализ работы двух моделей LLM с выборкой из 913 глобальных брендов, выполнив более 685 тысяч запросов. В ответ они получили около 2,1 миллиона сгенерированных URL, из которых более 809 тысяч оказались несуществующими доменами. После нормализации это привело к получению примерно 250 тысяч уникальных потенциально регистрируемых «фантомных» доменов. Часть из них уже была признана вредоносной или подозрительной.
Ключевая особенность этого явления заключается в том, что LLM не просто ошибаются — они систематически воспроизводят схожие доменные шаблоны для одних и тех же брендов. Это формирует предсказуемую «поверхность галлюцинаций», которую можно заранее картографировать и использовать как список будущих целей для регистрации.
В отчете приводится пример, когда злоумышленник воспользовался ИИ-ассистентом для создания фишингового набора под названием Montana Empire. Этот набор был развернут на домене, который исследователи предсказали за 23 дня до его фактической регистрации. Согласно анализу, злоумышленник также использовал инструменты ИИ для разработки панели управления фишингом и инфраструктуры для перехвата учетных данных.
Кроме того, зафиксирован более продолжительный цикл в 51 день, когда фантомный домен сначала был сгенерирован моделью, затем добавлен в мониторинг, и лишь спустя почти 2 месяца зарегистрирован и использован для фишинга с поддельным мобильным приложением, имитирующим сервис национальной почтовой доставки.
Исследователи также указывают на то, что проблема не ограничивается единичными случаями. В выборке из 2,1 миллиона URL около 0,61% уже были связаны с вредоносной активностью, включая фишинг, вредоносные загрузки и инфраструктуру управления ботнетами. Примерно 37% ссылок вели на несуществующие домены, а около 250 тысяч уникальных доменных имен потенциально могут быть зарегистрированы заранее злоумышленниками.
Ключевой риск заключается в изменении модели доверия. Традиционные системы защиты основываются на истории домена: когда он был зарегистрирован, какие инциденты с ним связаны, имеется ли репутация. Однако фантомные домены изначально «чистые» — они создаются не как реальная инфраструктура, а как продукт генерации LLM, и поэтому не попадают в классические базы.
Отдельную угрозу представляет интеграция ИИ в корпоративные процессы разработки. Если LLM-ассистент предлагает разработчику URL для API, webhook или стороннего сервиса, этот адрес может оказаться полностью вымышленным. В CI/CD-конвейерах такие ссылки могут быть использованы автоматически, что создает риск утечки данных или внедрения вредоносных сервисов без участия человека.
Авторы отчета подчеркивают, что атака становится особенно опасной в агентных ИИ-системах, которые могут не только предлагать ссылки, но и автоматически их активировать. В этом случае компрометация происходит без классического фишинга — достаточно того, что модель сгенерировала и выполнила запрос.
В качестве меры защиты предлагается проактивный мониторинг «поверхности галлюцинаций» — отслеживание доменов, которые регулярно генерируют LLM, с последующей проверкой их регистрации и появления в сети. Такой подход позволяет получить временное преимущество: исследователи фиксируют, что между моментом предсказания домена и его фактической регистрацией может проходить от 18 до 51 дня.
Авторы отчета называют этот временной интервал «adversarial exploitation window» — период, когда домен уже известен защитникам, но еще не зарегистрирован злоумышленниками. Однако они подчеркивают, что этот зазор не гарантирован и может исчезать при более быстрых атаках.
Darth SaharaИсточники:Palo Alto NetworksИскусственный интеллект0Искусственный интеллектКибербезопасностьфишингDNSLLMАгентыЦепочка поставокДоменные именаВеб-домены42 минуты назад
Источник