OpenAI научила Astra думать иначе: эксперты боятся потерять контроль

OpenAI опробовала в новой модели Astra технологию, которая может сделать мышление ИИ значительно более сложным для контроля. Новый метод заставляет алгоритм многократно обрабатывать один запрос, и это уже вызывало беспокойство экспертов по кибербезопасности.

Об этом пишет The Information. 

Риски скрытого мышления и реакция экспертов 

Обычно последовательная цепь мыслей (Chain of Thought) является основным инструментом для отслеживания ошибок, манипуляций и опасного поведения искусственного интеллекта.

Новая технология "непрозрачной рекуррентности" делает этот процесс значительно сложнее, ведь анализ действий алгоритма становится почти невозможным для внешних наблюдателей.

Эксперты из области ИИ-безопасности остро отреагировали на утечку информации:

Баг Шлегерис (CEO Redwood Research) выразил глубокую встревоженность и отметил, что дальнейшее масштабирование этой технологии может полностью уничтожить возможность мониторинга ИИ.

Цви Мушовиц (специалист по безопасности ИИ) призвал к законодательному регулированию, чтобы остановить опасную гонку между лабораториями и сохранить прозрачность алгоритмов.

Райан Гринблат (главный ученый Redwood Research) выразил опасение, что ИИ полностью перейдет на мышление в скрытом латентном пространстве без доступных для человека логов.

Также стало известно, что использование подобных подходов уже обсуждается в компаниях Anthropic и Google DeepMin .

Позиция OpenAI и будущее технологии 

В ответ на обеспокоенность сообщества главный научный сотрудник OpenAI Якуб Пачоцкий подчеркнул, что компания остается приверженной сохранению прозрачных и понятных цепей мнений.

Представители разработчика подчеркивают, что использование нелинейного мышления в Astra ограничено, а сама модель будет оставаться читабельной для мониторинга.

OpenAI также заверили, что не планируют полностью переходить на закрытые форматы мышления и продолжают разработку масштабных систем надзора за безопасностью своих продуктов.