Учёные МФТИ близки к созданию аппаратов «безмолвной речи»

Фото из открытых источников

Учеными Московского физико-технического института разработан бенчмарк — эталон для компьютерных программ, с помощью которого проведено сравнение более десятка популярных нейросетей и классических алгоритмов распознавания жестов незнакомого человека на базе сигналов электромиографии. Разработка даёт возможность лучшего понимания «голоса тела» для дистанционного управления техникой, теледроидами, дополненной и виртуальной реальностью. О деталях новации рассказал ресурс Naked Science со ссылкой на публикацию в сборнике 2026 28th International Conference on Digital Signal Processing and its Applications (DSPA).

Электромиографией, пояснили специалисты, называют регистрацию электрической активности мышц в моменты сокращения. Она осуществляется при помощи датчиков и электродов. Так, при шевелении пальцами, сигнал генерируется мышцами предплечья, сенсоры улавливают его, а программа транслирует их в команды для особых устройств. Подобные технологии дают возможность оперировать протезами, дронами, виртуальной и дополненной реальностью.

Главное достоинство методики в том, что регистрирующие датчики прилегают к телу вплотную. В отличие от камер, лидаров, систем отслеживания взгляда и т. п., подобные ЭМГ-устройства способны успешно работать в темноте, им не мешает перекрытие одеждой или другими предметами. Они же обеспечивают высокую разрешающую способность, улавливая мельчайшие движения мышц.

Сегодня, отмечают авторы работы, в распознавании важное значение отводится нейросетевым алгоритмам. Они трансформируют мышечную активность в ясные команды. Но предложенный бенчмарк показывает, что современные нейросети не способны точно распознавать жесты разных людей без предварительной калибровки. Причиной этого ограничения являются особенности биологии каждого человека.

В ходе эксперимента протестировали свыше десятка нейросетевых архитектур. Модели обучались на данных группы, а далее программы проверялись на незнакомых испытуемых. Но ни одна из программ не продемонстрировала приемлемого качества распознавания, и даже лучшие модели давали точность около 35%.

Главной причиной стало то, что сигнал одного и того же жеста отличается от человека к человеку сильнее, чем модель способна их обобщать. Так, при тех же самых задачах у женщин активность мышц предплечья в 1,3–2,8 раза выше, но на фоне усталости точность распознавания понижается в среднем на 7%. На спектр оказывает влияние и температура тела.

Авторы пришли к выводу, что путь к универсальным ЭМГ-устройствам, самый востребованный в массовом сегменте, кроется в комбинации обученных базовых моделей и алгоритмов мини-калибровки. Спектр их применения очень широк. В частности, разработки ведутся в области создания устройств «безмолвной речи». Они будет регистрировать активность артикуляционных мышц на лице и шее, преобразуя их в слова.