Ученые выяснили, как мозг распознает эмоции по выражению лица и голосу

Фото из открытых источников

Сканирование 24 взрослых показало, что области мозга, отвечающие за восприятие лица и голоса, передают эмоциональные сигналы друг другу, и три области используют один общий код. Результаты исследования были опубликованы в журнале JNeurosci.

Друг здоровается по телефону, и что-то в голосе выдает его плохой день. На другом конце комнаты один взгляд на лицо производит тот же эффект. Считалось, что мозг обрабатывает эти два сигнала в разных местах: одна группа областей отвечает за лица, а другая — за голоса.

Новое исследование с использованием методов нейровизуализации показало, что области мозга, отвечающие за восприятие лица, также хранят информацию об эмоциях, выраженных в голосе, а области мозга, отвечающие за восприятие голоса, хранят информацию об эмоциях, выраженных на лице.

В нескольких местах грустный голос и грустное лицо были представлены частично одинаковым образом. Возможно, именно это совпадение является частью того, как человек мгновенно оценивает настроение другого.

Руководили этой работой Стефания Маттиони из Гентского университета и Оливье Коллиньон из Лувенского университета (оба из Бельгии). Исследовательская группа провела сканирование 24 здоровых взрослых, при этом каждый из них наблюдал за молчаливыми лицами, слушал голоса или воспринимал и то, и другое одновременно. В исследовании пока ничего не говорится о людях, которым трудно распознавать социальные сигналы.

В исследовании приняли участие носители французского языка в возрасте от 20 до 44 лет, половина из них — мужчины. Каждый участник провел два сеанса продолжительностью около 90 минут в аппарате функциональной МРТ в университетской клинике Сен-Люк в Брюсселе.

Сначала команда определила области лица и голоса каждого человека. Они показали видео с лицами, а затем с обычными предметами, после чего воспроизвели голоса, а затем звуки этих предметов. Карта распознавания лиц включала веретенообразную лицевую область — участок на нижней стороне мозга, давно связанный с распознаванием лиц. Также она включала второй участок в задней части мозга и складку вдоль боковой стороны головы. На голосовой карте отображалась полоса височной доли, а на обеих картах — полоса лобной доли.

В ходе эксперимента использовались видеоролики длительностью в одну секунду, в которых четыре актера демонстрировали отвращение, страх, радость, грусть или нейтральное выражение лица. Звук представлял собой короткое голосовое сообщение без слов. Участники нажимали кнопку всякий раз, когда одна и та же эмоция появлялась дважды подряд от разных актеров, и им удавалось зафиксировать примерно девять из десяти повторов.

Затем компьютерная программа научилась различать пять эмоций по характеру активности в каждой из этих областей. Это можно сделать в любой области лица, даже если лицо молчаливое, а в любой области лица, где слышен голос, — только голосом.

Веретенообразная форма лица, боковая складка и передняя полоса передавали эмоции голосом, при этом на экране лица не было. Области мозга, отвечающие за передачу голоса, выражали эмоции через безмолвное выражение лица. Единственным исключением был участок лица в задней части мозга, где голоса отсутствовали.

Ни одна из этих областей в целом не стала более активной при поступлении сигнала другого типа. Веретенообразная лицевая область в среднем почти не реагировала на голоса, поэтому информация содержалась в характере активности, а не в её интенсивности.

Дело было не только в движениях рта или громкости звука. Команда исключила из видеозаписей простые параметры, такие как амплитуда движений рта или громкость звука. Эмоциональный сигнал сохранялся во многих областях.

«Важно отметить, что эти области не ограничивались предпочитаемым ими чувством: некоторые области, избирательно реагирующие на лица, также содержали информацию об эмоциях, слышимых в голосе, в то время как области, избирательно реагирующие на голос, содержали информацию об эмоциях, видимых на лицах», — объясняет Маттиони. «В некоторых областях мозга одна и та же эмоция воспринималась одинаково независимо от того, была ли она видимой или услышанной».

Передача обоих типов информации — это не то же самое, что использование одного кода для обоих. Поэтому команда обучила программу на распознавании лицевых паттернов, а затем попросила её считывать голосовые паттерны, и наоборот. В веретенообразной области лица это не сработало. В боковой складке, голосовых связках и лобной области грустный голос и грустное лицо давали частично одинаковый результат.

Внутри боковых карманов и в зонах для передачи голоса, задняя часть каждого из этих участков лучше всего передавала лица, а передняя — голоса. Место пересечения частот находилось посередине. В лобной области такого разделения не наблюдалось, что, по мнению авторов, свидетельствует о более смешанном составе.

Эмоциональные выражения лица было легче распознать по голосовым областям, чем эмоции, выражаемые голосом, по выражению лица. Более ранние исследования, в том числе и собственное исследование Коллиньона 2008 года, показали, что люди точнее распознают эмоции по выражению лица, чем по голосу. Авторы предположили, что более надежный сигнал с большей вероятностью проявится в областях, отвечающих за другие органы чувств.

Когда одновременно появлялись лицо и голос, программа справлялась с определением эмоции не лучше, чем если бы использовала только местные ощущения. Однако лица не просто игнорировали голос. В большинстве регионов программа могла отличить простое изображение счастливого лица от изображения, сопровождаемого соответствующим голосом.

Совокупная картина по-прежнему напоминала реакцию отдельных органов чувств в веретенообразной области лица и голосовых областях. Однако в боковой складке и лобной полосе наблюдались более значительные различия. Авторы описали градиент, от областей, которые в основном обслуживают одно чувство, до областей, где чувства смешиваются.

Эмоции передавались от четырех актеров, которых никто из участников не знал. Миндалевидное тело и передняя часть височной доли, две области, которые часто фигурируют в исследованиях лиц, не удалось достоверно локализовать у каждого человека, поэтому они были исключены из исследования.

Исследователи также рассматривали вопрос о том, могли ли участники представить себе лицо, услышав эмоциональный голос. В задании никому не предлагалось ничего представлять, а веретенообразная область лица сохраняла эмоции лица и голоса как отдельные паттерны, что невозможно было предсказать с помощью воображения.

Вопрос о том, обрабатывает ли один и тот же общий код знакомый голос и лицо, остается открытым. Также остается открытым вопрос, работают ли эти области по-разному у людей, испытывающих трудности с распознаванием социальных сигналов. Следующий шаг – сравнение знакомых и незнакомых людей, пишут авторы. Также потребуются более крупные наборы видеороликов, чтобы отделить эмоции от других сопутствующих им характеристик.