Исследование показывает, как мозг организует разговорный контент

Фото из открытых источников

Разговоры позволяют людям сообщать свои мысли, чувства и идеи другим. Это, в свою очередь, позволяет им узнавать новое, углублять свои социальные связи и сотрудничать с коллегами для решения конкретных задач.

Понимание того, как человеческий мозг осмысливает сказанное во время разговора, может помочь в разработке вычислительных моделей, основанных на работе мозга.

И наоборот, агенты на основе машинного обучения, предназначенные для обработки и ответа на запросы пользователей на разных языках, такие как ChatGPT, могут помочь пролить новый свет на организацию разговорного контента в мозге.

Ученые из Университета Осаки и Национального института информационно-коммуникационных технологий (NICT) провели исследование, направленное на дальнейшее изучение того, как мозг извлекает смысл из спонтанных разговоров, используя большую языковую модель (LLM), лежащую в основе функционирования ChatGPT, и данные функциональной магнитно-резонансной томографии (фМРТ), собранные во время разговора людей друг с другом.

Их выводы, опубликованные в журнале Nature Human Behaviour, предлагают ценную новую информацию о том, как мозг позволяет людям интерпретировать язык во время разговоров в реальном времени.

«Наша долгосрочная цель — понять, как человеческий мозг обеспечивает повседневную жизнь. Поскольку языковое общение является одним из самых фундаментальных проявлений человеческого интеллекта и социального взаимодействия, мы решили исследовать, как мозг поддерживает естественный диалог», — рассказал соавтор исследования Синдзи Нисимото. «Последние достижения в области крупных языковых моделей, таких как GPT, предоставили количественные инструменты, необходимые для моделирования обширного, поминутного потока лингвистической информации, что сделало это исследование возможным».

В рамках своего исследования Нисимото и его коллеги провели эксперимент с участием восьми человек, которых попросили спонтанно обсуждать определенные темы.

Во время беседы в ходе одного из экспериментов мозговая активность участников отслеживалась с помощью фМРТ — широко используемого метода нейровизуализации, который фиксирует изменения кровотока в мозге.

«Мы измеряли активность мозга с помощью фМРТ, пока участники вели спонтанные беседы с экспериментатором», — пояснил соавтор исследования Масахиро Ямасита. «Чтобы проанализировать содержание этих разговоров, мы преобразовали каждое высказывание в числовые векторы с помощью GPT, основного компонента ChatGPT. Чтобы охватить различные уровни лингвистической иерархии, такие как слова, предложения и дискурс, мы варьировали временную шкалу анализа от 1 до 32 секунд».

Используя вычислительную модель GPT, исследователи создали числовые представления языка, используемого участниками во время разговоров. Эти представления позволили им предсказать, насколько сильно мозг разных людей реагировал как во время разговора, так и во время прослушивания собеседника.

«Все больше исследований показывают, что значения устной речи и воспринимаемого языка представлены в пересекающихся областях мозга», — сказал Ямасита. «Однако в реальных разговорах то, что говорю я, и то, что говорите вы, должно быть различимо, и мало что известно о том, как происходит это различие. Наше исследование показало, что мозг по-разному объединяет слова в предложения и дискурс во время производства речи по сравнению с ее пониманием».

Результаты этого исследования показывают, что мозг использует разные стратегии для построения смысла из того, что говорится во время разговора, в зависимости от того, работает ли он над созданием речи или обработкой того, что говорит другой человек. Это интересное наблюдение способствует пониманию сложных процессов, которые позволяют людям извлекать смысл из повседневных разговоров.

В будущем работа Нисимото, Ямаситы и их коллеги Риэко Кубо может вдохновить другие исследовательские группы на изучение мозговых процессов с использованием комбинации данных LLM и нейровизуализации.

«В своих следующих исследованиях я хотел бы изучить, как мозг выбирает, что сказать из множества возможных вариантов во время разговора в реальном времени», — добавил Ямашита. «Меня особенно интересует, как эти решения принимаются так быстро и эффективно в контексте естественных разговоров».