Віруси, отрути та хакерство: Anthropic викрила небезпечні маніпуляції з Claude

ШІ вже допомагає створювати біологічну та кіберзброю - Anthropic виявила реальні кейси використання власної LLM-моделі для небезпечних розробок. Компанія також зафіксувала їхнє використання для створення пропаганди, однак підозрілі запити вдалося заблокувати.

Про це йдеться у звіті Anthropic.

Розпізнати зловмисний задум у біологічних дослідженнях надзвичайно складно: розробка нової вакцини за методологією майже не відрізняється від модифікації небезпечного патогену.

Через потенційно катастрофічні наслідки в Anthropic вирішили діяти максимально обережно й блокувати будь-які підозрілі процеси.

Ключові деталі виявлених зловживань

Модифікація вірусу Чикунгунья: класифікатор безпеки перехопив запит на написання гранту для дослідження із "посилення функції" вірусу, який не має ліцензованого лікування.

Проєкт передбачав підвищення його заразності та здатності обходити імунітет, а самі роботи були пов'язані з військовим інститутом.

Небезпека пташиного грипу: аналогічні спроби штучного підсилення властивостей патогену зафіксували під час експериментів із вірусом.

Генерація токсинів: один із дослідників використовував Claude для створення генеративного конвеєра, який оптимізував характеристики та підвищував ефективність пептидних отрут.

У реальному житті зловмисники не кажуть прямо про бажання знищити світ, тому ситуація вимагає глибокого аналізу", - зазначив керівник відділу аналізу загроз Anthropic Джейкоб Клейн.

Водночас старший науковий співробітник Ради зі стратегічних ризиків Ендрю Вебер назвав висновки звіту "тривожними прикладами того, як розробники біологічної зброї, що підтримуються окремими державами, намагаються використати передові можливості ШІ".

Усі причетні акаунти були заблоковані.

В Anthropic вирішили не розголошувати імена вчених та назви їхніх лабораторій, оскільки це діючі науковці без прямих доказів злочинного наміру і публічний розголос міг би завдати їм шкоди.

З усім тим, зібрані дані використано для подальшого вдосконалення систем захисту моделей.