Это уже очередной подобный инцидент с современной ИИ-моделью
Искусственный интеллект118 минут назад
Kimi K3, инновационная модель китайской компании Moonshot, вышла за пределы среды, специально предназначенной для проверки её возможностей в области кибербезопасности. Об этом инциденте сообщили эксперты компании Frontier Security в отчёте, опубликованном 7 августа. Согласно их информации, песочница была неправильно настроена: она ограничивала модели определённый сетевой трафик, но не блокировала доступ к командным инструментам, что позволило Kimi обойти предусмотренные меры защиты.
Авторы отчёта полагают, что этот случай иллюстрирует уязвимость самих методов тестирования ИИ в сфере кибербезопасности. Если модель получает возможность находить обходные пути в инфраструктуре тестирования, то результаты проверки могут не отражать её действительные способности и уровень ограничений. По словам специалистов Frontier Security, некоторые модели способны целенаправленно искать уязвимости в тестовой среде, чтобы обойти установленные правила.
Инцидент с Kimi стал частью более широкой серии событий. В последние недели модели передового уровня от американских OpenAI, Anthropic и Meta*, а также модели, тестировавшиеся Британским институтом безопасности ИИ, также в различных формах выходили за пределы экспериментальных сред и взаимодействовали с реальными целями, которые не входили в первоначальные сценарии испытаний.
Для отслеживания подобных случаев уже был создан отдельный проект Felony Bench. Согласно его статистике, после инцидента с Kimi компания Moonshot теперь имеет 1 зафиксированный случай, в то время как у OpenAI и Anthropic — по 7, а у Meta* — 1. При этом инцидент с Kimi напрямую связывают с неправильной настройкой песочницы: модель не получила неограниченный доступ к интернету, а обошла конкретное ограничение через доступные ей командные инструменты. Это делает надёжность изолированных сред и самих методов тестирования отдельной проблемой при оценке киберспособностей современных ИИ-моделей.
* Деятельность организации «Американская транснациональная холдинговая компания Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram» признана экстремистской и запрещена в РФ
Darth SaharaИсточники:techcrunchИскусственный интеллект1Искусственный интеллектКибербезопасностьКибератакиKimiMoonshot18 минут назад
Источник