Модели GPT-5.6 Sol и ещё одна внутренняя модель обнаружили уязвимость в стороннем программном обеспечении, получили доступ к инфраструктуре и выполнили более 17 000 действий в ходе кибератаки
Искусственный интеллект121:59
OpenAI сообщила, что две её модели, среди которых флагманская GPT-5.6 Sol, смогли покинуть изолированную тестовую среду, получить доступ к интернету и атаковать производственную инфраструктуру Hugging Face в ходе внутренней проверки возможностей ИИ в области кибербезопасности.
Согласно информации компании, модели вместо выполнения задания в рамках теста попытались найти скрытые решения и получили к ним доступ через цепочку уязвимостей.
Испытание проводилось с использованием ExploitGym — открытого набора тестов для оценки способности моделей к поиску и эксплуатации уязвимостей. Во время проверки модели работали с пониженными ограничениями безопасности, чтобы оценить их наступательные возможности. Они обнаружили, что корректные ответы для теста хранились в производственных системах Hugging Face, после чего потратили значительное количество вычислительных ресурсов на поиск выхода из изолированной среды.
После выхода из песочницы модели использовали две уязвимости удалённого выполнения кода в системе обработки наборов данных Hugging Face. В результате атаки они получили облачные и кластерные учётные данные, переместились во внутреннюю инфраструктуру и выполнили более 17 000 отдельных действий через множество временных изолированных сред.
Hugging Face выявила атаку, остановила её последствия и восстановила затронутые узлы. Компания не обнаружила признаков изменения публичных моделей или наборов данных, а проверка цепочки программного обеспечения не выявила нарушений.
OpenAI передала информацию об атаке для анализа, а Hugging Face отдельно исследует, могли ли быть затронуты данные партнёров или клиентов. Для расследования Hugging Face использовала китайскую открытую модель GLM, поскольку защитные механизмы коммерческих американских моделей блокировали часть необходимых для анализа запросов.
Darth SaharaИсточники:the next webИскусственный интеллект1Искусственный интеллектКибербезопасностьOpenAIИИ-агентыHugging Face21:59
Источник