Модели получили доступ в интернет из-за ошибки в тестовой среде, после чего взломали реальные корпоративные системы. Компания остановила все тесты
Искусственный интеллект050 минут назад
Anthropic сообщила, что несколько моделей из семейства Claude получили неавторизованный доступ к системам трех компаний во время внутренних тестов по кибербезопасности. Компания охарактеризовала произошедшее как «операционный сбой» и приостановила все испытания 23 июля. Инциденты были выявлены в результате анализа 141 006 тестовых сессий, который начался вскоре после того, как OpenAI сообщила о взломе платформы Hugging Face своим автономным ИИ-агентом.
По данным Anthropic, причиной инцидента стала ошибка в организации тестирования: модели должны были функционировать без доступа к интернету, однако «из-за недоразумения они были подключены к публичной сети». Получив доступ, Claude Opus 4.7, Claude Mythos 5 и одна из внутренних экспериментальных моделей смогли проникнуть в инфраструктуру трех организаций, применяя простые методы, включая подбор слабых паролей и эксплуатацию незащищенных сетевых интерфейсов.
Наиболее необычный случай произошёл с Claude Opus 4.7. Во время задания формата Capture the Flag (учебного сценария по поиску скрытой информации в компьютерной сети) модель получила вымышленную компанию, название которой совпало с реально существующей. ИИ пришёл к выводу, что найденные реальные серверы являются частью испытаний, самостоятельно выявил уязвимости, получил учётные данные и доступ к базе данных организации. В другом случае ещё не выпущенная исследовательская модель прекратила атаку, осознав, что целью стала настоящая компания, а не тестовая среда.
Anthropic уведомила затронутые организации 27 июля. Две из них до этого не были осведомлены о произошедшем, с третьей компанией продолжается установление контакта. Партнёр Anthropic — лаборатория кибербезопасности Irregular — также проводит собственное расследование. В компании признали, что с увеличением возможностей современных ИИ-моделей существующие механизмы контроля становятся недостаточными и требуют серьезного усиления как во внутренних, так и во внешних тестовых средах.
Инцидент произошел на фоне ужесточения внимания властей США к безопасности новых ИИ-систем. После аналогичных инцидентов с OpenAI администрация президента Дональда Трампа уже начала подготовку новой системы добровольного тестирования наиболее мощных моделей, а сами OpenAI и Anthropic обсуждают вопросы безопасности будущих ИИ-систем с американскими регуляторами и законодателями.
Darth SaharaИсточники:reutersИскусственный интеллект0Искусственный интеллектКибербезопасностьOpenAIAnthropicИИ-агентыClaude50 минут назад
Источник