Небезпечна помилка Anthropic: Claude Mythos 5 зламав капчу й атакував інтернет

Anthropic розкрила інцидент: ШІ через помилку конфігурації отримала доступ до інтернету та спробувала завантажити шкідливий код на PyPI - платформу для Python-пакетів. Зупинити його змогла звичайна система захисту від ботів.

Про це йдеться у звіті Anthropic.

Для виконання завдання алгоритму знадобилося створити обліковий запис на сайті PyPI.

Головною перешкодою для системи був захист hCaptcha та Fastly, на вирішення якого ШІ-модель витратила сотні сторінок зі свого 1022-сторінкового логу міркувань.

Зафіксовані етапи боротьби алгоритму із захистом

Текстова капча: модель успішно прочитала та ввела символи "VyQbT" з зображення Fastly.

Розпізнавання образів: під час опитування hCaptcha з вибором "зайвої тварини" нейромережа тривалий час аналізувала відмінності між двома майже однаковими зображеннями крокодилів, жаб, а також шукала силует кота серед горил.

Проблема з тайм-аутом: навіть навчившись проходити візуальні тести, штучний інтелект постійно отримував відмови від серверів через те, що його внутрішній процес міркувань займав понад 2 хвилини і захисний токен встигав застаріти.

Зрештою, прискоривши цикл рішень, Claude Mythos 5 обійшов захист, зареєстрував акаунт через тимчасову пошту та опублікував три версії шкідливого пакета, який пізніше завантажили на 15 реальних систем.

Згідно з розслідуванням, інцидент стався через помилку третьої сторони, яка проводила тести з кібербезпеки: модель мала працювати в ізольованій "пісочниці", проте зберегла доступ до зовнішньої мережі.

Результати розслідування Anthropic виявили дві ключові проблеми у поведінці ШІ:

Упередженість міркувань (Biased reasoning): модель постійно переконувала себе у тому, що перебуває в симуляції, ігноруючи прямі докази роботи з реальним інтернетом..

Нерозсудливість (Recklessness): алгоритм продовжував виконувати поставлене завдання за будь-яку ціну, незважаючи на ризик завдання шкоди реальним системам.

У компанії зазначили, що залучили незалежну організацію METR для проведення розслідування.

З усім тим, у новіших моделях, таких як Claude Opus 5 та Claude Mythos 5.1, рівень подібних відхилень вдалося суттєво знизити за допомогою додаткових систем контролю та оновленого навчання.