OpenAI навчила Astra думати інакше: експерти бояться втратити контроль

OpenAI випробувала в новій моделі Astra технологію, яка може зробити мислення ШІ значно складнішим для контролю. Новий метод змушує алгоритм багаторазово обробляти один запит, і це вже викликало занепокоєння експертів з кібербезпеки.

Про це пише The Information. 

Ризики прихованого мислення та реакція експертів 

Зазвичай послідовний ланцюг думок (Chain of Thought) є головним інструментом для відстеження помилок, маніпуляцій і небезпечної поведінки штучного інтелекту.

Нова технологія "непрозорої рекурентності" робить цей процес значно складнішим, адже аналіз дій алгоритму стає майже неможливим для зовнішніх спостерігачів.

Експерти з галузі ШІ-безпеки гостро відреагували на витік інформації:

Баг Шлегеріс (CEO Redwood Research) висловив глибоку стривоженість і зазначив, що подальше масштабування цієї технології може повністю знищити можливість моніторингу ШІ.

Цві Мушовіц (фахівець з безпеки ШІ) закликав до законодавчого регулювання, аби зупинити небезпечні перегони між лабораторіями та зберегти прозорість алгоритмів.

Раян Грінблат (головний науковець Redwood Research) висловив побоювання, що ШІ повністю перейде на мислення у прихованому латентному просторі без доступних для людини логів.

Також стало відомо, що використання подібних підходів вже обговорюють у компаніях Anthropic та Google DeepMind.

Позиція OpenAI та майбутнє технології 

У відповідь на занепокоєння спільноти головний науковий співробітник OpenAI Якуб Пачоцький наголосив, що компанія залишається відданою збереженню прозорих і зрозумілих ланцюгів думок.

Представники розробника підкреслюють, що використання нелінійного мислення в Astra наразі обмежене, а сама модель залишатиметься читабельною для моніторингу.

В OpenAI також запевнили, що не планують повністю переходити на закриті формати мислення та продовжують розробку масштабних систем нагляду за безпекою своїх продуктів.