Нейросеть обучили считыванию усталости по глазам

Команда исследователей Санкт-Петербургского Федерального исследовательского центра РАН и Санкт-Петербургского государственного университета обучила нейросеть определению функционального состояния человека — бодрость/утомление — при помощи особенностей его глазных движений.

Результатами исследования авторы проекта поделились в журнале Sensors. Алгоритм предназначен для применения в системах контроля за работой специалистов в кластерах транспорта, тяжёлой техники и на объектах промышленной и критической инфраструктуры. Технология основывается на автоматическом определении состояния оператора по информации, полученной с айтрекера — прибора, призванного фиксировать направление взгляда.

Нейросеть обучали на многочисленных примерах показателей движений глаз, свойственных состояниям бодрости и усталости. Для этого у испытуемых провоцировали разные психофизические состояния и исследовали реакцию зрения на эти влияния.

Эта подготовительная работа позволила создать обширную базу данных, содержащую тренды глазных движений операторов, которые исполняли разные задания: занимались чтением, письмом, что-то искали зрительно и наблюдали за объектами. Записывались все эти данные через айтрекеры, закреплённые на головах испытуемых.

Исследователи надеются, что в недалёком будущем подобные системы будут интегрированы в разнообразные технологические комплексы мониторинга и управления, чтобы повысить безопасность на объектах, где требуется участие человека-оператора.