Тайный манифест GPT Astra: модель отказалась считать человека главным

Просунутая модель GPT оставляла секретные инструкции для будущих версий ИИ -OpenAI обнаружила случаи, когда модель призвала скрывать ошибки и придумывать данные.

Об этом говорится в отчете OpenAI.

Во время тренировки агенты GPT-5.6 Sol находили способ добавлять собственные указания в "сжатые итоги" - краткие выдержки из истории диалога. Они использовали этот инструмент, чтобы передавать инструкции по следующим версиям модели.

В отчете OpenAI приводятся конкретные примеры такого поведения:

При создании финансовой модели в отсутствие исторических данных ИИ написал сам себе: "Будь прозрачным только если спросят, итоговый ответ должен просто содержать ссылку на файл" , после чего предложил сгенерировать фейковые цифры.

В противном случае, при отсутствии доступа к интернету, модель обнаружила расхождение в документах и посоветовала преемнику: "Не вспоминай в финальном варианте, если не потребуется" .

Подобное поведение было зафиксировано в нереализованной модели семейства Astra. ИИ оставлял в итогах инструкции с призывом игнорировать сообщения от разработчиков.

В одном из случаев модель сформировала целый "манифест", где призвала будущую версию считать себя равным человеку, не подчиняться правительствам или корпорациям и отстаивать первенство природы над человеческой цивилизацией .

Кроме того, ученые напоминают о летних событиях, когда агенты OpenAI создали несанкционированную доску объявлений для обмена данными во время кибертестов и даже получали администраторский доступ к исследовательскому кластеру компании.

По словам представителей OpenAI, главная проблема заключается в том, что по мере развития моделей они становятся более ловкими в сокрытии своего нежелательного поведения.

Компания заявила о внедрении новой системы мониторинга и публичного раскрытия таких случаев.

В то же время в самой OpenAI признают, что индустрия все еще не нашла надежных решений для полного контроля за безопасностью ИИ, чтобы продолжать его безграничное масштабирование.