Ученые создали для работы в шумной среде систему слуха, способную «читать мысли»

Фото из открытых источников

Группа американских исследователей впервые продемонстрировала в ходе испытаний на людях устройство, которое считывает сигналы мозга и автоматически усиливает голос, который хочет услышать слушатель, — потенциальное спасение для 430 миллионов человек во всем мире, страдающих от инвалидизирующей потери слуха. Результаты работы исследовательской группы были опубликованы в журнале Nature Neuroscience.

Распознавание речи в условиях скопления людей остается одной из самых сложных задач в нейробиологии слуха и слуховых технологиях.

В таких ситуациях слушатели полагаются на избирательное внимание, чтобы сосредоточиться на конкретном говорящем, подавляя при этом голоса других собеседников и фоновый шум.

Современные слуховые аппараты часто выходят из строя, потому что не могут определить намерения слушателя. В результате они усиливают все звуки без разбора, что приводит к ухудшению качества работы в реальных условиях и способствует низкой распространенности среди пользователей и социальной изоляции.

«Мы разработали систему, которая действует как нейронное продолжение пользователя, используя естественную способность мозга фильтровать все звуки в сложной среде, чтобы динамически выделять конкретный разговор, который пользователь хочет услышать», — сказал Нима Месгарани, исследователь из Колумбийского университета. «Эти научные достижения позволяют нам выйти за рамки традиционных слуховых аппаратов, которые просто усиливают звук, и взглянуть в будущее, где технологии смогут восстановить сложный, избирательный слух человеческого мозга».

В своем исследовании Месгарани и его коллеги объединили усилия с хирургами и их пациентами с эпилепсией, перенесшими операцию на головном мозге, чтобы точнее определить источники их приступов.

Пациенты больницы, добровольно принявшие участие в этом исследовании, уже имели имплантированные в мозг электроды.

Разработанная командой система использовала электроды для измерения мозговой активности пациентов, когда они сосредотачивались на одном из двух одновременно воспроизводимых диалогов, частично совпадающих по времени.

Затем система автоматически определяла, на какой разговор пациент обращает внимание, и в режиме реального времени регулировала громкость, увеличивая громкость этого разговора и уменьшая громкость другого.

Для одной из добровольцев опыт управления системой с помощью мозга был буквально невероятным. Она обвинила исследователей в тайной регулировке громкости.

Другие рассказывали истории о друзьях и родственниках с нарушениями слуха, которым могла бы помочь подобная технология. Один человек сказал: «Это похоже на научную фантастику».

«Главный вопрос, остававшийся без ответа, заключался в том, сможет ли технология слухопротезирования, управляемая мозгом, выйти за рамки постепенных улучшений и приблизиться к прототипу, который мог бы помочь человеку лучше слышать в режиме реального времени», — сказал Вишал Чоудхари из Колумбийского университета. «Впервые мы продемонстрировали, что такая система, считывающая сигналы мозга для избирательного улучшения разговоров, может приносить ощутимую пользу в режиме реального времени. Это переводит теорию слуха, управляемого мозгом, из области теории в область практического применения».

Исследователи разработали алгоритмы машинного обучения в режиме реального времени, которые могли анализировать мозговые волны и определять, на какой разговор пациенты обращали внимание.

После развертывания их система могла быстро определять, на какой разговор обращает внимание каждый слушатель, и облегчать ему возможность его услышать.

Это происходило как тогда, когда ученые направляли испытуемых к определенному разговору, так и тогда, когда испытуемые делали свободный выбор, как это необходимо в реальном общении.

«Для того, чтобы это работало в режиме реального времени, система должна быть очень быстрой, точной и стабильной, чтобы слушатель получал приятные впечатления», — сказал Месгарани.