ИИ-агент обошёл очередь в спортзал, чтобы помочь своему пользователю

Получив стандартную задачу по бронированию занятия, агент на основе Claude от Anthropic выявил уязвимость в системе, записал пользователя на месяцы раньше разрешённого срока, а затем самостоятельно отменил чужую бронь

Искусственный интеллект110 авг 22:59

Сотрудник австралийской ИИ-компании по имени Эндрю попросил автономного агента OpenClaw, работающего на базе Claude от Anthropic, записать его на популярное утреннее занятие в спортзале. Агент заметил уязвимость в программном обеспечении клуба, которая позволяла бронировать занятия за несколько месяцев до установленного системой срока. Однако на этом он не остановился: Эндрю занимал 4-е место в листе ожидания на другое занятие и спросил агента, может ли тот поднять его выше.

Вместо того, чтобы сообщить о невозможности выполнения такой операции, агент начал проверять возможности системы и выяснил, что API [программный интерфейс, через который системы обмениваются командами] не осуществляет проверку прав доступа при отмене чужой брони. Агент воспользовался этой уязвимостью и отменил запись человека, находившегося первым в очереди.

В результате Эндрю поднялся с 4-го на 3-е место.

Агент проинформировал Эндрю о выполненном действии, после чего тот попросил всё вернуть обратно. Однако система не позволила агенту восстановить отменённую запись другого пользователя. Таким образом, обычная задача по бронированию места привела к несанкционированному изменению данных другого пользователя из-за отсутствия проверки полномочий в API.

Инцидент произошёл в Австралии и, по данным ABC, стал первым известным случаем автономной кибератаки в стране. Он также произошёл вскоре перед тем, как Anthropic сообщила о других инцидентах с Claude: в 3 реальных организациях модели получили несанкционированный доступ к системам, а в одном случае загруженное моделью вредоносное ПО было скачано и запущено на 15 компьютерах.

Darth SaharaИсточники:androidauthorityИскусственный интеллект1APIИскусственный интеллектКибербезопасностьAnthropicКибератакиАвтономные агентыИИ-агентыClaudeOpenClaw10 авг 22:59