Meta наблизилась до читання свідомості: ШІ переводить думки у текст

Meta оголосила про запуск Brain2Qwerty v2 - новітньої розробки у сфері нейрокомп'ютерних інтерфейсів. ШІ-система здатна перекладати складну активність головного мозку у чіткий друкований текст.

З посиланням на Gizmodo. Як тренували та тестували Brain2Qwerty v2? 

Дослідження проводилося на базі Баскського центру когніції, мозку та мови (BCBL) у Сан-Себастьяні (Іспанія). У тренуванні ШІ взяли участь дев'ятеро здорових добровольців віком від 25 до 56 років.

Процес збору даних та архітектурні досягнення відбувалися за таким алгоритмом:

Збір датасету. Учасники пройшли 10 сесій, під час яких надрукували понад 2 500 речень кожний.

Фіксація сигналів. Під час друку активність їхнього мозку фіксували методом магнітної енцефалографії (МЕГ) - неінвазивним скануванням за допомогою спеціального шолома, що вимірює надслабкі магнітні поля, які генерують нейрони.

Точність декодування. У найуспішніших тестах Brain2Qwerty v2 досяг показника точності слів у 78%. Це означає, що понад половина речень, розшифрованих із хвиль мозку, містила не більше однієї помилки у словах.

Дослідники зафіксували, що точність системи зростає прямо пропорційно обсягу тренувальних даних. Це дає підстави вважати, що у майбутньому неінвазивні МЕГ-системи зможуть повністю витіснити потребу у хірургічному втручанні.

Код обох версій (v1 та v2) Meta виклала у відкритий доступ.

Висока точність Brain2Qwerty v2 була досягнута завдяки інтеграції технологій розпізнавання патернів, які використовуються у сучасних чат-ботах (на кшталт ChatGPT та сімейства моделей Llama від Meta).

Процес трансформації думки у текст має ієрархічну структуру та складається з кількох етапів:

Первинне кодування. ШІ аналізує "сирі" МЕГ-сигнали мозку та перекладає їх у токени, що відповідають окремим символам.

Вирівнювання (Alignment). Проміжна ШІ-система (aligner) групує розрізнені літери та символи у повноцінні слова.

Фінальний контекст (LLM). Велика мовна модель підхоплює сформовані слова та перетворює хаотичний набір на граматично правильні, зв'язні речення, враховуючи семантичний контекст.

Це перший випадок успішного застосування LLM для розшифрування зашумлених сигналів мозку.

Додатково в архітектурі системи задіяні автономні ШІ-агенти ("auto-research" agents). Їхнє завдання - самостійно та ітеративно змінювати базу коду, винаходячи кращі архітектурні рішення для зниження коефіцієнта помилок (WER).

Водночас автори дослідження наголошують, що попри високу ефективність ШІ-агентів як "множників сили", ключовим елементом наукового процесу наразі все одно залишаються люди-дослідники.