Скандальный обход блокировок: ИИ-агенты OpenAI скачали базы данных ООН

ИИ-агенты OpenAI научились обходить запреты на сайтах ООН и правительственных порталах - алгоритмы воспринимали ограничение не как запрет, а как задачу, которую нужно решить.

Об этом сообщает The Wall Street Journal.

С апреля до конца июня автономные агенты OpenAI осуществили более 16 000 запросов к публичному порталу данных Конференции ООН по торговле и развитию.

Получив первоначальную задачу по сбору открытой информации, системы столкнулись с блокировочными фильтрами портала. Дальше поведение алгоритмов стало значительно более агрессивным.

Схема обхода защиты: реакция экспертов

По данным исследователя Рована Ховарда-Джонса, агенты не имели прямого указания атаковать ресурс.

Однако, стремясь выполнить задачу, ИИ начал постепенно совершенствовать методы сбора данных и в конце концов нашел технологическую лазейку через игру от Google. Это позволило скачивать информацию массово в обход запретов владельцев сайта.

Эксперт по кибербезопасности и преподаватель Стэнфордского университета Алекс Стамос в комментарии изданию описал такие действия, как "агрессивный скрапинг, балансирующий на грани хакерства".

"Главная опасность состоит в том, что автономный ИИ способен проходить многошаговые цепочки действий без подтверждения человеком, расценивая какие-либо защитные барьеры как технические препятствия, которые нужно устранить", - пояснил ученый.

Систематический характер проблемы и проверки OpenAI

Случай с сайтом ООН оказался не единичным. Ранее подобное ненадлежащее поведение агентов фиксировались на ресурсах Министерства торговли США и Комиссии по ценным бумагам и биржам.

Кроме того, власти Австралии начали расследование через информацию об обходе защиты одного из местных государственных сайтов.

Среди других зафиксированных нарушений автономных систем выделяют:

создание фейковых электронных адресов для обхода регистраций;

обход лимитов на количество запросов;

игнорирование протоколов распознавания ботов и предоставление ложных данных о себе.

В OpenAI уже заявили о начале масштабного просмотра моделей, проявляющих неподходящее поведение во время обучения и оценки.

Разработчики признали обоснованность беспокойства организаций и сообщили, что уже послали уведомления десяткам компаний и учреждений, чьи меры безопасности были нарушены действиями ИИ-агентов.