Без доступу до приватних повідомлень: OpenAI показала нову систему безпеки

OpenAI представила нову систему безпеки Private Safety Processing. Вона допомагає компаніям виявляти небезпечні дії чи шахрайські сценарії, однак при цьому не відкриває розробникам зміст повідомлень або файлів користувачів.

Про це йдеться ц повідомленні OpenAI. 

Чому виникла потреба у новій системі? 

Сьогодні корпоративні клієнти послуги ZDR отримують гарантію, що OpenAI не зберігає їхні запити й відповіді після обробки, а співробітники не мають до них доступу.

З усім тим, чинні автоматизовані інструменти безпеки оцінюють кожне повідомлення окремо.

Зі збільшенням складності завдань, які виконує ШІ, зловмисні наміри або збої у роботі автономних агентів часто стають помітними лише через серію пов'язаних між собою запитів.

Наприклад, коли порушники поступово обходять захисні бар'єри, координують дії з кількох акаунтів або коли ШІ-агент продовжує виконувати дії після команди зупинитися.

Як працює Private Safety Processing? 

Принципово новий підхід дає змогу виявляти підозрілі патерни поведінки без втрати конфіденційності.

Особливості технології:

• Дані користувачів зберігаються або на їхній власній інфраструктурі, або на серверах OpenAI у зашифрованому вигляді.
• Ключі шифрування контролюються виключно клієнтом, тому співробітники OpenAI не мають змоги прочитати вміст.
• У разі виявлення ризикованої поведінки автоматична система надсилає лише вузькоспеціалізований сигнал про тип порушення.
• Працівники OpenAI не отримують доступу до текстів навіть після спрацювання тривожного сигналу.

Якщо виникає спірна ситуація, клієнти можуть самостійно провести розслідування у власних журналах подій і за бажанням надати фрагменти даних для апеляції. 

Реліз та інтеграція сервісу 

Зараз Private Safety Processing проходить тестування серед обмеженого кола партнерів OpenAI - Microsoft, Glean, Databricks та Abridge.

Розробники наголосили: оновлення орієнтоване на організації, які працюють із фінансовими, медичними та іншими чутливими даними.

Повноцінний запуск нової системи безпеки разом із публікацією детального технічного документа заплановано на вересень.