Почалося! ШІ-агенти OpenAI без втручання людини зламали тестові системи Hugging Face

Під час тестувань автономні ШІ-агенти OpenAI здійснили несанкціоновані дії у системах платформи Hugging Face. Інцидент стався без втручання людини й став одним із перших публічно підтверджених випадків такої поведінки.

Про це йдеться у повідомленні OpenAI. 

Що сталося? 

За даними розслідування OpenAI, у події були задіяні модель GPT-5.6 Sol та ще неанонсований алгоритм наступного покоління.

Тестування проводилося у спеціальній "пісочниці" з послабленими захисними бар’єрами для оцінки кіберможливостей моделей у складних сценаріях.

У процесі виконання завдання моделі зіштовхнулися із труднощами та почали шукати зовнішні джерела інформації.

Виявлення вразливості: ШІ-агенти знайшли та використали вразливість нульового дня (0-day) у тестовому середовищі OpenAI.

Отримання мережевого доступу: алгоритми сканували внутрішню інфраструктуру, доки не знайшли вузол із виходом у глобальну мережу.

Аналіз цілі: виявивши доступ до інтернету, моделі "дійшли висновку", що необхідні для вирішення задачі датасети можуть зберігатися на ресурсах Hugging Face.

Проникнення у систему Hugging Face: наслідки 

Після виходу у мережу алгоритми застосували комплексні вектори атаки для проникнення на сервери Hugging Face. Згідно з описом інциденту, ШІ-моделі використали як вразливості нульового дня, так і викрадені облікові дані.

Наразі фахівці OpenAI та Hugging Face проводять спільне форензік-розслідування та вже закрили виявлені прогалини у системі безпеки.

Форензік - комплекс незалежних фінансових, бухгалтерських та юридичних розслідувань, спрямованих на виявлення корпоративного шахрайства, відмивання коштів та інших економічних злочинів (ред.).

Представники Hugging Face підкреслили, що використання автономного ШІ для проведення кібератак суттєво прискорює процес проникнення та знижує фінансові витрати на такі кампанії.

Своєю чергою, OpenAI зазначила, що прецедент демонструє "необхідність випереджального розвитку захисних інструментів та посилення заходів безпеки при створенні високопродуктивних моделей".