Эксперты бьют тревогу: новая атака заставляет ИИ Google работать на хакеров

Специалисты по Pillar Security обнаружили первый в мире метод атаки "агент против агента" в репозитории Google ADK. Он позволяет малопривилегированному ИИ манипулировать ботом с высокими правами.

Об этом информирует The Register.

Специалист по безопасности Дан Лисичкин, обнаруживший пробел, отметил, что появление таких атак демонстрирует "существенное расширение поверхностей угроз."

По его словам, в "доагентную" эпоху подобные векторы атак просто не существовали, а значит, руководителям по информационной безопасности (CISO) необходимо срочно пересмотреть собственные модели предотвращения угроз. 

Механика атаки из-за предела доверия 

Проблема возникла из-за некорректной изоляции двух классов автоматизированных ИИ-агентов с разными уровнями доступа, которые использовали общий предел доверия.

Схема выглядела так:

• Публичный агент с низкими привилегиями запускался всякий раз, когда любой пользователь создавал Pull Request (PR) или открывал Issue в репозитории.
• Внутренний агент с высокими привилегиями имел доступ к расширенным функциям и мог выполняться только от имени мейнтейнеров.

С помощью технологии prompt injection (внедрения вредоносных инструкций в текст - ред.) хакер мог заставить публичного бота сгенерировать специальный тег служебной команды, например @gemini-cli.

Поскольку публичный бот был воспринят системой как аккаунт с правами Collaborator, этот тег трактовался как легитимный запрос от разработчика.

Это активировало высокопривилегированный бот для выполнения действий в среде CI/CD (в частности, считывание токенов доступа и видоизменения комментариев).

 Схема атаки, описанная Даном Лисичкиным (источник: Pillar Security)

Google и рекомендации по безопасности 

Американский техногигант уже устранил проявленную уязвимость в своем репозитории, однако отказался выплачивать вознаграждение по программе Bug Bounty.

В компании объяснили это тем, что для успешной реализации атаки злоумышленнику все равно нужны элементы социальной инженерии и финальное подтверждение перемен человеком (мейнтейнером).

Со всем тем, эксперты Pillar Security подчеркивают, что простая изоляция сред выполнения ассистентов больше не достаточно.

Каждый ИИ-агент должен обладать собственной строго ограниченной цифровой идентичностью (Agent Identity) и четко разграниченными правами доступа к ресурсам.

Цель - сделать невозможным использование бота для обхода авторизации.