Опасная ошибка Anthropic: Claude Mythos 5 сломал капчу и атаковал интернет

Anthropic раскрыла инцидент: ИИ из-за ошибки конфигурации получила доступ в интернет и попыталась загрузить вредоносный код на PyPI - платформу для Python-пакетов. Остановить его смогла обычная система защиты от ботов.

Об этом идет речь в отчете Anthropic.

Для выполнения задачи алгоритма потребовалось создать аккаунт на сайте PyPI.

Главным препятствием для системы была защита hCaptcha и Fastly, на решение которой ИИ-модель израсходовала сотни страниц из своего 1022-страничного лога рассуждений.

Зафиксированы этапы борьбы алгоритма с защитой

Текстовая капча: модель успешно прочла и ввела символы "VyQbT" с изображения Fastly.

Распознавание образов: во время опроса hCaptcha с выбором "лишнего животного" нейросеть долго анализировала различия между двумя почти одинаковыми изображениями крокодилов, лягушек, а также искала силуэт кота среди горилл.

Проблема с тайм-аутом: даже научившись проходить визуальные тесты, искусственный интеллект постоянно получал отказы от серверов из-за того, что его внутренний процесс рассуждений занимал более 2 минут и защитный токен успевал устареть.

В конце концов, ускорив цикл решений, Claude Mythos 5 обошел защиту, зарегистрировал аккаунт через временную почту и опубликовал три версии вредоносного пакета, который позже загрузили на 15 реальных систем.

Согласно расследованию, инцидент произошел из-за ошибки третьей стороны, которая проводила тесты по кибербезопасности: модель должна была работать в изолированной "песочнице", однако сохранила доступ к внешней сети.

Результаты расследования Anthropic выявили две ключевые проблемы в поведении ИИ:

Предвзятость рассуждений (Biased reasoning): модель постоянно убеждала себя в том, что находится в симуляции, игнорируя прямые доказательства работы с реальным интернетом.

Безрассудство (Recklessness): алгоритм продолжал выполнять поставленную задачу любой ценой, несмотря на риск причинения вреда реальным системам.

В компании отметили, что привлекли независимую организацию METR для проведения расследования.

Со всем тем, в более новых моделях, таких как Claude Opus 5 и Claude Mythos 5.1, уровень подобных отклонений удалось существенно снизить с помощью дополнительных систем контроля и обновленного обучения.