Алгоритм ИИ раскрывает мотивацию нашего мозга

Небольшая область мозга, известная как вентральная область покрышки (VTA), играет ключевую роль в том, как мы обрабатываем вознаграждения. Она вырабатывает дофамин, нейромодулятор, который помогает предсказывать будущие вознаграждения на основе контекстных сигналов. 

Группа из университетов Женевы (UNIGE), Гарварда и Макгилла показала, что VTA идет еще дальше: она кодирует не только ожидаемое вознаграждение, но и точный момент его ожидания. Это открытие, ставшее возможным благодаря алгоритму машинного обучения, подчеркивает ценность объединения искусственного интеллекта с нейронаукой. Исследование опубликовано в журнале  Nature.

Вентральная область покрышки (VTA) играет ключевую роль в мотивации и цепи вознаграждения мозга. Основной источник дофамина, этот небольшой кластер нейронов посылает этот нейромодулятор в другие области мозга, чтобы вызвать действие в ответ на положительный стимул.

«Изначально считалось, что VTA — это просто мозговой центр вознаграждения. Но в 1990-х годах ученые обнаружили, что он кодирует не само вознаграждение, а его прогнозирование», — объясняет профессор Александр Пуже изUNIGE.

Эксперименты на животных показали, что когда награда последовательно следует за световым сигналом, например, VTA в конечном итоге высвобождает дофамин не в момент награды, а как только появляется сигнал. Таким образом, эта реакция кодирует прогноз награды, связанный с сигналом, а не саму награду.

Это «обучение с подкреплением», требующее минимального надзора, является центральным для человеческого обучения. Это также принцип, лежащий в основе многих алгоритмов искусственного интеллекта, которые повышают производительность посредством обучения, например, AlphaGo, первый алгоритм, победивший чемпиона мира по игре в го.

В недавнем исследовании команда Александра Пуже в сотрудничестве с Наосигэ Учидой из Гарвардского университета и Полом Массетом из Университета Макгилла показывает, что кодирование VTA еще более сложное, чем считалось ранее. «Вместо того, чтобы предсказывать взвешенную сумму будущих вознаграждений, VTA предсказывает их временную эволюцию. Другими словами, каждый выигрыш представлен отдельно, с точным моментом, в который он ожидается», — объясняют ученые. «Хотя мы знали, что нейроны VTA отдают приоритет вознаграждениям, которые находятся ближе по времени, чем тем, которые находятся дальше в будущем, — по принципу «лучше синица в руках, чем журавль в небе», — мы обнаружили, что разные нейроны делают это в разных временных масштабах: некоторые фокусируются на вознаграждении, которое возможно через несколько секунд, другие — на вознаграждении, которое ожидается через минуту, а третьи — на более отдаленных горизонтах. Это разнообразие позволяет кодировать время вознаграждения. Это гораздо более точное представление дает обучающейся системе большую гибкость, позволяя ей адаптироваться для максимизации немедленных или отсроченных вознаграждений в зависимости от целей и приоритетов индивидуума».

Эти результаты являются результатом плодотворного диалога между нейронаукой и искусственным интеллектом. Александр Пуже разработал чисто математический алгоритм, который включает в себя синхронизацию обработки вознаграждения. Тем временем исследователи из Гарварда собрали обширные нейрофизиологические данные об активности VTA у животных, получающих вознаграждение.

«Затем они применили наш алгоритм к своим данным и обнаружили, что результаты идеально совпадают с их эмпирическими выводами». Хотя мозг вдохновляет ИИ и методы машинного обучения, эти результаты показывают, что алгоритмы также могут служить мощными инструментами для раскрытия наших нейрофизиологических механизмов.