Создана система ИИ, переводящая устные математические формулы в текст

Фото из открытых источников

Российскими учеными разработана система ИИ, способная качественно «переводить» устную речь математиков в текстовые математические формулы и печатать их в том формате, что чаще всего используют при подготовке научных публикаций. Об этом сообщает пресс-служба Института искусственного интеллекта AIRI.

Как работает? Человек произносит формулу или целое предложение с математическими выражениями, а на выходе получается структурированный текст в формате LaTeX. Этот стандарт широко используют в научных статьях, учебных материалах и цифровых редакторах, таких как Overlea, рассказывает сообщение.

Модель ИИ была разработали специалисты Института AIRI, «Иннополиса», МТУСИ, НИУ ВШЭ и МГУ на основе российского открытого набора данных, подготовленного при участии математиков-добровольцев. В нём более 66 тысяч человеческих аудиозаписей и 571 тысяча синтетических, а также около 12 тысяч уникальных математических предложений и 10,7 тысячи отдельных уравнений на русском и английском языках.

Система позволяет не только переводить формулы в текстовый формат LaTeX. Он может применяться и для автоматического распознавания речи, определения языка, голосовой биометрии, защите от подделки голоса и по другим направлениям, где важен анализ аудиосигнала и речевых особенностей.

Сочетание живой и сгенерированной речи придало моделям большую устойчивость к разным голосам, акцентам и особенностям произношения. Это позволило российской разработке превзойти уже существующие аналоги более чем на 36%.