Anthropic знайшла спосіб викривати тексти Claude: користувач нічого не помітить

Anthropic пояснила, як Claude позначає текст, створений ШІ. Система має допомогти відрізняти відповіді чат-бота від тексту, написаного людиною, та відповідати новим вимогам ЄС.

Про це йдеться в повідомленні Anthropic. 

Як працюватимуть водяні знаки та захист анонімності? 

Для реалізації маркування Anthropic обрала алгоритм SynthID-Text, раніше розроблений командою Google DeepMind.

Як він працює?

Принцип синтаксичного вибору: під час створення тексту модель вибирає між синонімічними словами (наприклад, "хмарно" або "похмуро") на базі спеціального ключа генерації випадкових чисел. Це утворює прихований математичний патерн.

Відсутність візуальних змін: водяний знак повністю непомітний для читача, не додає прихованих символів чи додаткових токенів і не впливає на швидкість генерації або вартість послуг.

Приватність: розробники запевняють, що патерн не містить персональних даних користувачів, інформації про організації чи історії конкретних діалогів.

C2PA для медіафайлів: для зображень і файлів (формати .png, .jpg, .svg) використовуватимуться криптографічні метадані стандарту C2PA без зміни самого вмісту.

Стійкість до редагування та специфіка роботи з кодом 

Представники Anthropic окремо окреслили межі застосування та алгоритмічні особливості технології у різних робочих сценаріях.

Редагування та перефразування: незначне редагування тексту людиною не видалить водяний знак повністю. Водночас повне переписування із заміною кожного слова повністю знищує маркування.

Вимоги до точності та програмний код: у ситуаціях, де потрібна сувора точність (фактичні дані або програмний код), водяний знак майже не застосовується, оскільки модель не має свободи вибору синонімів.

Винятком можуть бути лише довільні назви змінних або коментарі у коді.

Перевірка наявності: компанія планує запустити спеціальний API для детекції водяних знаків.

Інструмент визначатиме лише ймовірність участі Claude у створенні тексту, але не ідентифікуватиме автора чи факт повного написання тексту чи коду людиною.