ИИ овладел умением считывать и переводить в слова сложные мыслительные образы

Наука уже более десятка лет достаточно точно предсказывает, что люди видят или слышат, по активности его мозга. Но считать из мозга более сложные построения, скажем, сюжет просмотренного видеоролика или абстрактную фигуру, намного сложнее. Не удавалось это и ИИ.

Новый многоэтапный метод предложил Томояши Хорикава из компании NTT Communication, рассказало издание Nature. Модель ИИ сначала анализировала субтитры более чем 2000 видеороликов, кодируя их в смысловые сигнатуры. Далее отдельный инструмент ИИ обучили на сканировании мозга шести участников. Задачей было научиться находить у испытуемых во время просмотра видеороликов паттерны мозговой активности, которые соответствуют определённой смысловой сигнатуре.

Затем устройство применяло эти навыки на практике, считывая данные сканирования мозга человека в процессе просмотра видео. Наконец. На завершающем этапе текстовый генератор на базе ИИ подбирал предложения, максимально близкие к смысловым сигнатурам, полученным из мозга этого человека.

«Понимание» приходило к нейросети постепенно. Пример. Зритель отсматривал короткое видео, в котором человек прыгнул с вершины водопада. Активность его мозга подсказывает ИИ-модели цепочки слов. Сначала нейросеть распознаёт что-то вроде «поток воды», «над бурным водопадом» и пр. Наконец, с сотой попытки, выдаёт «осмысленное»: «человек прыгает в глубокий водопад с горной вершины».

Эта технология хороша тем, что она неинвазивна, то есть, не требует вмешательства непосредственно в мозг, установки чипов и пр. Нужна лишь функциональная магнитно-резонансная томография. Это более щадящий способ, который в будущем сможет быть полезным пациентам, потерявшим способность говорить.

Первым человеком, который уже воспользовался схожей технологией стал американец Ник Рэй, страдающий боковым амиотрофическим склерозом. Он научился управлять механической рукой, не задействуя при этом свои мышцы. В опубликованном недавно видео он при помощи мозгового импланта Neuralink заставляет роботизированный манипулятор поднимать стаканчик с водой и подносить его к губам.