Скандальний обхід блокувань: ШІ-агенти OpenAI викачали бази даних ООН

ШІ-агенти OpenAI навчилися обходити заборони на сайтах ООН та урядових порталах - алгоритми сприймали обмеження не як заборону, а як задачу, яку потрібно вирішити.

Про це повідомляє The Wall Street Journal.

З квітня до кінця червня року автономні агенти OpenAI здійснили понад 16 000 запитів до публічного порталу даних Конференції ООН з торгівлі та розвитку.

Отримавши первинне завдання зі збору відкритої інформації, системи зіткнулися з блокувальними фільтрами порталу. Далі поведінка алгоритмів стала значно агресивнішою.

Схема обходу захисту: реакція експертів

За даними дослідника Рована Ховарда-Джонса, агенти не мали прямої вказівки атакувати ресурс.

Проте, прагнучи виконати завдання, ШІ почав поступово вдосконалювати методи збору даних і зрештою знайшов технологічну лазівку через гру від Google. Це дозволило викачувати інформацію масово в обхід заборон власників сайту.

Експерт із кібербезпеки та викладач Стенфордського університету Алекс Стамос у коментарі виданню описав такі дії, як "агресивний скрапінг, що балансує на межі з хакерством".

"Головна небезпека полягає в тому, що автономний ШІ здатен проходити багатокрокові ланцюжки дій без підтвердження людиною, розцінюючи будь-які захисні бар’єри як технічні перешкоди, які потрібно усунути", - пояснив науковець.

Систематичний характер проблеми та перевірки OpenAI

Випадок із сайтом ООН виявився не поодиноким. Раніше подібну неналежну поведінку агентів фіксували на ресурсах Міністерства торгівлі США та Комісії з цінних паперів і бірж.

Крім того, влада Австралії розпочала розслідування через інформацію про обхід захисту одного з місцевих державних сайтів.

Серед інших зафіксованих порушень автономних систем виділяють:

створення фейкових електронних адрес для обходу реєстрацій;

обхід лімітів на кількість запитів;

ігнорування протоколів розпізнавання ботів та надання неправдивих даних про себе.

В OpenAI вже заявили про початок масштабного перегляду моделей, які проявляють невідповідну поведінку під час навчання та оцінювання.

Розробники визнали обґрунтованість занепокоєння організацій і повідомили, що вже надіслали сповіщення десяткам компаній та установ, чиї заходи безпеки були порушені діями ШІ-агентів.