ИИ раскрыл скрытые решения, которые принимают человеческие глаза во время чтения

Фото из открытых источников

Модель искусственного интеллекта раскрывает скрытые решения, лежащие в основе человеческого чтения, показывая, как люди выбирают, на каких словах сосредоточиться, какие пропустить или к каким вернуться. Результаты исследования были опубликованы в журнале Nature Human Behaviour.

Чтение кажется плавным движением по строке, но ваши глаза останавливаются на одних словах, пропускают другие и возвращаются к фразе, которую вы видели три секунды назад. Четыре исследователя теперь рассматривают каждый из этих шагов как решение о том, где следующий взгляд принесет наибольшую пользу. Основанная на этой единственной идее, их программа удивительно похожа на то, как это делают люди.

Его написала команда из Университета Аалто в Финляндии совместно с коллегами из Городского университета Гонконга и Национального университета Сингапура. Они создали компьютерную программу, а не устройство для измерения работы мозга человека. Ее способность объяснять процесс чтения основана на том, насколько хорошо ее поведение соответствует зафиксированному поведению человека.

На протяжении десятилетий существуют два направления исследований, описывающие чтение, но они развивались в значительной степени независимо друг от друга. С одной стороны, исследователи объяснили, куда направляются глаза, рассматривая каждый скачок как побочный продукт скорости распознавания слова.

Другие объясняли, как смысл накапливается, предложение за предложением, превращаясь в нечто, что можно резюмировать позже. Ни один из подходов не объяснил, как связаны движения глаз и понимание.

Юньпэн Бай, Сяофу Цзинь, Шэндун Чжао и Антти Уласвирта исходят из простой предпосылки. Внимание, память и время — всё это исчерпывается, поэтому читателю приходится постоянно решать, какие слова заслуживают внимания, а какие нет.

«Чтение кажется легким, но ваш мозг постоянно решает, куда смотреть, что пропустить и когда вернуться назад — распределяя внимание как бюджет, чтобы максимально улучшить понимание», — говорит Чжао, профессор Городского университета Гонконга.

Программа работает сразу на трех уровнях. На самом низком уровне она выбирает, какие буквы внутри слова нужно посмотреть, поскольку один взгляд охватывает лишь часть слова. Выше находится кнопка, которая выбирает, какое слово прочитать дальше, или пропустить его. В самом верху выбирается, какое предложение прочитать, а какое перечитать.

На этих уровнях никто не устанавливал правила, запрещающие пропускать короткие слова или перечитывать непонятные. Команда обучала каждый уровень методом проб и ошибок на миллионах текстов, выбирая те варианты, которые обеспечивали наилучшее понимание при минимальных затратах времени и усилий.

Этот метод обучения имеет своё название: обучение с подкреплением, тот же подход, который используется для обучения роботов движению.

«Мы поместили модель в мир, содержащий миллионы текстов. Затем, используя обучение с подкреплением на основе ИИ, мы обучили ее оптимизировать движения глаз, чтобы она действительно понимала, что читает», — сказал Уласвирта.

Команда проверила программу на восьми наборах записей чтения людей, большинство из которых были собраны другими лабораториями с использованием оборудования для отслеживания движений глаз за последние десятилетия.

Люди дольше рассматривали длинные слова, и программа делала то же самое. В обоих случаях чаще пропускались распространенные, предсказуемые слова, и меньше времени уделялось тем, которые не пропускались. В обоих случаях наблюдалось большее возвращение к сложным словам или словам, которые можно было прочитать двумя способами.

На каждую дополнительную букву в слове человек тратил примерно на 14 миллисекунд больше времени, рассматривая его. В симуляции это время составляло около 21 миллисекунды. Таким образом, программа правильно определяет направление каждого эффекта, но лишь приблизительно верна в отношении его величины.

Один из менее значительных результатов особенно поразителен. Когда люди впервые сосредотачиваются на слове, они не целятся в середину. Их взгляд падает между началом и центром. Программа поступила точно так же, и ей никогда не сообщали, где находится цель.

В одном из экспериментов, проведенных командой самостоятельно, 39 взрослых читали короткие тексты на экране, в то время как устройство для отслеживания движений глаз регистрировало их взгляд 1200 раз в секунду.

В анализ понимания текста были включены 32 человека, а в анализ движений глаз — 28. Средний возраст участников составил 24 года. Команда хотела выяснить, от чего отказывается читатель, когда времени мало.

Каждый участник читал в течение 30, 60 или 90 секунд. Затем следовали 20 секунд арифметических вычислений, чтобы прервать их запоминание прочитанного, после чего следовал тест на свободное воспроизведение прочитанного и пять вопросов с несколькими вариантами ответа. Из-за нехватки времени люди читали быстрее, пропускали больше слов, реже возвращались назад и хуже запоминали. Программа также претерпела аналогичные изменения.

По результатам 15 агрегированных показателей, охватывающих три временных периода, оценки программы совпали с результатами, полученными людьми, с коэффициентом корреляции 0,9999.

Команда также создала версии без ограничений, и эти версии перестали выглядеть как программы для чтения. Когда модель могла хранить всю прочитанную информацию, она правильно отвечала на 85,2% вопросов с несколькими вариантами ответа, по сравнению с 71,6% у людей.

Книга показала лучшие результаты и в тесте на свободное воспроизведение, и практически перестала возвращаться назад. Ничего не стоило перечитывать, потому что ничего не было забыто.

Команда создала другие, недальновидные версии, поэтому учитывался только следующий момент. Те, кто их использовал, читали начало текста и останавливались там, продвигаясь со скоростью 34 и 42 слова в минуту, в то время как другие справлялись со 176 словами.

Для чтения, имитирующего человеческий образ, необходимы как память, способная к самовоспроизведению, так и некоторое представление о ценности каждой страницы. Авторы прямо заявляют, что модель описывает читателей в целом, а не вас лично. Они не адаптировали её к конкретному человеку и не проверяли, соответствуют ли полученные данные реальным привычкам этого читателя.

Во-вторых, их доказательства весьма ограничены. Команда провела одно исследование в условиях ограниченного времени, с использованием одного типа коротких текстов, с участием студентов университетского возраста, и тесты на понимание оценивали только запоминание и ответы на вопросы викторины.

Модель также предсказывает, что чтение у людей с дислексией должно выглядеть иначе: более длинные паузы и больше скачков назад даже в словах, которые читатель мог бы угадать.

Исследователи хотят получить в результате инструменты поддержки чтения. Одна из идей — текст, который подстраивается под человека и момент, как это делают создаваемые сейчас умные очки и легкие гарнитуры.

«Мы хотим помочь пользователям в ситуациях, требующих оперативного реагирования, например, создавая текст, который помогает водителям, не отвлекая их», — сказал Уласвирта.