Без доступа к частным сообщениям: OpenAI показала новую систему безопасности

OpenAI представила новую систему безопасности Private Safety Processing. Она помогает компаниям выявлять опасные действия или мошеннические сценарии, однако при этом не раскрывает разработчикам содержание сообщений или файлов пользователей.

Об этом говорится в сообщении OpenAI.

Почему возникла необходимость в новой системе?

Сегодня корпоративные клиенты услуги ZDR получают гарантию, что OpenAI не хранит их запросы и ответы после обработки, а сотрудники не имеют к ним доступа.

Тем не менее, существующие автоматизированные инструменты безопасности оценивают каждое сообщение отдельно.

С увеличением сложности задач, которые выполняет ИИ, злонамеренные намерения или сбои в работе автономных агентов часто становятся заметны только через серию связанных между собой запросов.

Например, когда нарушители постепенно обходят защитные барьеры, координируют действия с нескольких аккаунтов или когда ИИ-агент продолжает выполнять действия после команды остановиться.

Как работает Private Safety Processing?

Принципиально новый подход позволяет выявлять подозрительные паттерны поведения без потери конфиденциальности.

Особенности технологии:

•  Данные пользователей хранятся либо на их собственной инфраструктуре, либо на серверах OpenAI в зашифрованном виде. 
• Ключи шифрования контролируются исключительно клиентом, поэтому сотрудники OpenAI не могут прочитать содержимое. 
•  При обнаружении рискованного поведения автоматическая система отправляет только узкоспециализированный сигнал о типе нарушения. 
• Сотрудники OpenAI не получают доступа к текстам даже после срабатывания тревожного сигнала. 

Если возникает спорная ситуация, клиенты могут самостоятельно провести расследование в собственных журналах событий и при желании предоставить фрагменты данных для апелляции.

Релиз и интеграция сервиса

Сейчас Private Safety Processing проходит тестирование среди ограниченного круга партнеров OpenAI - Microsoft, Glean, Databricks и Abridge.

Разработчики подчеркнули: обновление ориентировано на организации, которые работают с финансовыми, медицинскими и другими чувствительными данными.

Полноценный запуск новой системы безопасности вместе с публикацией подробного технического документа запланирован на сентябрь.