Читающий мысли ИИ может переводить мозговые волны в письменный текст

Система, записывающая электрическую активность мозга через кожу головы, может превращать мысли в слова с помощью большой языковой модели, но результаты далеки от совершенства. Используя только наполненный датчиками шлем в сочетании с искусственным интеллектом, группа ученых объявила, что может превратить мысли человека в письменные слова.

В исследовании участники читали отрывки текста, надевая кепку, которая записывала электрическую активность мозга через кожу головы. Эти записи электроэнцефалограммы (ЭЭГ) затем были преобразованы в текст с помощью модели искусственного интеллекта под названием DeWave.

Чин-Тенг Лин из Технологического университета Сиднея (Австралия) говорит, что эта технология неинвазивна, относительно недорога и легко транспортируется.

Хотя система далека от совершенства и имеет точность около 40 процентов, Лин говорит, что более свежие данные, которые в настоящее время рецензируются, показывают повышение точности, превышающее 60 процентов.

В исследовании, представленном на конференции NeurIPS в Новом Орлеане (США), участники читали предложения вслух, хотя программа DeWave не использует произнесенные слова. Однако в последнем исследовании команды участники читали предложения молча.

В прошлом году группа под руководством Джерри Танга из Техасского университета в Остине сообщила об аналогичной точности преобразования мыслей в текст, но для интерпретации мозговой активности использовались снимки МРТ. Использование ЭЭГ более практично, поскольку испытуемым не нужно лежать неподвижно внутри сканера.

Модель DeWave была обучена на основе множества примеров, когда сигналы мозга совпадают с конкретными предложениями, говорит член команды Чарльз Чжоу.

«Например, когда вы думаете о том, чтобы сказать «привет», ваш мозг посылает определенные сигналы», — говорит Чжоу. «DeWave узнает, как эти сигналы связаны со словом «привет», просматривая множество примеров этих сигналов для разных слов или предложений».

Как только DeWave хорошо поняла сигналы мозга, команда подключила их к модели большого языка с открытым исходным кодом (LLM), похожей на ИИ, который поддерживает ChatGPT.

«Этот LLM похож на умного писателя, который умеет составлять предложения. Мы советуем этому писателю обращать внимание на сигналы DeWave и использовать их в качестве руководства для создания предложений», — говорит Чжоу.

Наконец, команда совместно обучила DeWave и языковую модель, чтобы еще лучше писать предложения на основе данных ЭЭГ.

Исследователи предсказывают, что при дальнейшем усовершенствовании система может произвести революцию в общении людей, потерявших речь, например, тех, кто пострадал от инсульта, а также может найти применение в робототехнике.