Ожидание может значительно ускорить процесс обучения в мозге

Фото из открытых источников

Более века ученые считали, что механизм обучения — это повторение. Чем чаще подсказка и вознаграждение появляются вместе, тем сильнее становится связь — медленно, постепенно, почти механически. Но новое исследование предполагает, что эта идея может быть ошибочной. Результаты исследования были опубликованы в журнале Nature Neuroscience.

В ходе исследований на мышах ученые обнаружили, что обучение зависело не столько от количества появлений вознаграждения, сколько от времени, которое мыши проводили в ожидании между вознаграждениями.

Чем больше были промежутки между вознаграждениями, тем большее значение придавалось каждому из них. Мозг быстрее обновлял свои ожидания, даже несмотря на то, что общее количество полученных впечатлений было меньше.

Полученные результаты ставят под сомнение один из старейших принципов психологии и ставят во главу угла то, как мозг учится на опыте, не повторение, а фактор времени.

Короткий звуковой сигнал, за которым последовала подслащенная сахаром вода, стал полигоном для проверки этой переосмысленной идеи, существовавшей уже столетие.

Работая с этим простым сигналом и вознаграждением, Виджай Мохан Намбудири из Калифорнийского университета в Сан-Франциско (UCSF) задокументировал, что увеличение интервала между вознаграждениями значительно повышает эффективность обучения мозга каждым из них.

Когда вознаграждения выдавались с интервалом от 5 до 10 минут, мышам требовалось примерно в десять раз меньше пар для обучения, чем тем, кто получал вознаграждение каждые 30–60 секунд, однако обе группы достигли одинакового уровня обучения за одинаковое общее время.

Поскольку общее количество опытов перестало предсказывать скорость обучения, полученные результаты потребовали более тщательного изучения того, какой сигнал в мозге влияет на скорость обучения во времени.

В системе вознаграждения мозга химическое вещество, называемое дофамином, помогает сигнализировать о том, чего следует ожидать. Первоначально активность дофамина резко возрастала, когда мыши действительно получали сахарную воду.

Но по мере того, как они узнавали, что звуковой сигнал предсказывает вознаграждение, этот всплеск постепенно смещался. Вместо реакции на момент вознаграждения, уровень дофамина начинал повышаться, как только звучал звуковой сигнал.

Время получения вознаграждения влияло на скорость этого перехода. Когда вознаграждения поступали реже — примерно в 10% случаев — дофаминовая реакция переключалась на сигнал после меньшего количества таких событий.

Более длительные паузы, казалось, делали каждое вознаграждение более информативным. Мозг воспринимал это как более убедительное доказательство того, что тон действительно имел значение, и дофамин поддерживал это более сильное эмоциональное воздействие.

С тех пор как Павлов дрессировал собаку с помощью колокольчика и еды, многие ученые предположили, что повторение постепенно укрепляет обучение. Чем больше пар, тем сильнее ассоциация.

Но новые данные указывают на другое правило. Вместо подсчета количества одновременных появлений сигнала и вознаграждения, мозг, по-видимому, оценивает временной промежуток между ними. Более длительные промежутки повышали эффективность обучения на одно вознаграждение, смещая акцент с повторения на время.

«Оказывается, промежуток времени между такими парами стимул-вознаграждение помогает мозгу определить, насколько полезно извлечь урок из этого опыта», — сказал Намбудири.

При использовании нескольких схем вознаграждения кривые обучения совпадали, когда команда строила графики по прошедшему времени, а не по номеру попытки. Длительное ожидание не просто давало мышам отдых — оно заставляло каждое вознаграждение действовать как более сильный сигнал к обучению.

Вычислительная модель, которая обновлялась только при получении вознаграждения, воспроизводила этот эффект масштабирования, поскольку мозг корректировал свое предсказание в момент получения результата.

На практике плотное повторение может нивелировать вклад каждого урока. В течение фиксированного часа добавление большего количества пар «подсказка-вознаграждение» может вообще не ускорить обучение.

Это может просто привести к пустой трате усилий и внимания, в то время как распределенный опыт позволяет каждому успеху более эффективно изменять ожидания.

Распределение вознаграждений по интервалам способствовало обучению, но лишь до определенного момента. Когда интервал между вознаграждениями увеличился примерно до часа, закономерность перестала быть такой четкой.

Мыши все же научились распознавать звуковой сигнал, предвещающий поступление сахарной воды, но им потребовалось не одна-две попытки, чтобы это понять.

По-видимому, происходило что-то ещё. Хотя сигналы дофамина в мозге стабильно повышались до более высоких уровней при таком длительном перерыве, поведение мышей не улучшилось так сильно, как ожидалось.

Исследователи предполагают, что когда вознаграждения выдаются с слишком большими интервалами, промежуток времени между ними заполняется другими впечатлениями.

Дополнительные визуальные, звуковые и отвлекающие факторы могут размыть связь, снижая эффективность восприятия времени. Другими словами, интервалы помогают, но чрезмерные интервалы могут ослабить эффект.

Полученные результаты могут помочь объяснить, почему от некоторых привычек так трудно избавиться. Возьмем, к примеру, курение с перерывами. Когда человек курит время от времени, вид или запах сигареты предвещают никотиновую зависимость, но не постоянное курение.

Эта непредсказуемость может создавать у мозга ощущение, что каждая затяжка – редкое и мощное подтверждение, укрепляющее связь между сигналом и вознаграждением.

Позже, когда эти сигналы появляются снова, тяга может резко усилиться. В отличие от этого, никотиновый пластырь обеспечивает равномерное поступление вещества в течение всего дня.

Стабильный график может снизить связь между конкретными стимулами в мозге – такими как перерыв на кофе или общение с друзьями – и никотином. Хотя отказ от курения по-прежнему требует поддержки и изменения поведения, изменение времени получения вознаграждений может смягчить вызванные этими стимулами позывы.

Тот же принцип может применяться и в классах. Исследователям давно известно о «эффекте распределения времени» — идее о том, что распределение учебных занятий во времени улучшает усвоение материала больше, чем заучивание всего материала одновременно.

Когда тренировочные занятия проходят одно за другим, каждое последующее повторение может приносить мозгу меньше пользы, поскольку материал кажется предсказуемым.

Но когда сеансы проводятся с интервалом, каждый последующий обзор воспринимается как более информативный. Мозг активнее обновляет свою память.

В ходе многочисленных исследований было установлено, что студенты, использовавшие метод распределенной практики, запоминали больше информации, чем те, кто зубрил в последний момент. Если эти новые исследования верны, то, возможно, фактор времени не только способствует обучению, но и контролирует объем информации, которую мозг усваивает из каждого опыта.

Современные системы искусственного интеллекта часто обучаются, внося небольшие обновления после каждого примера, что может потребовать огромных объемов данных и вычислительной мощности.

В рамках модели Намбудири более длительные промежутки между результатами повышали эффективность обучения по каждому результату, что указывает на более быстрый способ обновления значений.

«Модель, которая заимствует идеи из того, что мы обнаружили, потенциально может учиться быстрее на меньшем количестве опытов», — сказал Намбудири.

Инженерам все равно придется тестировать такие правила синхронизации в сложных условиях, когда обратная связь поступает с задержкой или вообще не поступает.

Процесс обучения человека гораздо сложнее, чем лабораторные условия. Он включает в себя деньги, похвалу, страх и меняющиеся социальные сигналы, поэтому одно и то же простое правило выбора времени может не подходить для реальной жизни.

Вне рамок простых экспериментальных задач вознаграждения и наказания пересекаются, и мозгу постоянно приходится решать, какой из сигналов заслуживает признания за тот или иной результат.

Эта сложность делает следующие шаги особенно важными. Если обучение зависит не столько от частоты повторения событий, сколько от времени, разделяющего значимые вознаграждения, то время может незаметно определять скорость обучения мозга.

Клинические исследователи могли бы проверить, улучшают ли тщательно подобранные вознаграждения эффективность экспозиционной терапии, снижают ли факторы, провоцирующие рецидивы, или помогают ли они изменить привычки в течение нескольких недель.

В будущих исследованиях, посвященных людям, клиникам и даже искусственному интеллекту, необходимо будет определить, какие графики являются безопасными, эффективными и устойчивыми, а также выявить области, где эти правила начинают давать сбои.

Если время действительно определяет ход обучения, то корректировка графиков вознаграждения может стать практическим инструментом лечения, а не просто лабораторным трюком.