Нейросеть научилась переводить текст в жестовую речь

Вторник, 01 Декабря 2020 12:01

Фото из открытых источников

Разработчики из Великобритании научили нейросеть превращать текст в видео, на котором человек произносит этот же текст на языке жестов. Статья, посвященная новому алгоритму, приближенному к искусственному интеллекту, появилась на портале arXiv.org.

В отличие от существующих алгоритмов такого типа, новая разработка британских ученых проверяет результаты своей работы после отрисовки видео — за счет этого качество работы растет на порядок. О том, как устроена технология, рассказали ее авторы — ученые под руководством Ричарда Боудена из Университета Суррея.

"Особенность нашего алгоритма — более качественный синтез кистей, которые очень важны для корректной передачи информации при помощи жестовых языков. ИИ принимает данные в виде текста и создает скелетную модель тела, которая используется для передачи текста в виде жестов", — говорит Боуден, добавляя, что для переноса векторных движений на реалистичное видео используется сверточная нейросеть U-Net.

Результаты нейросети размечались при помощи алгоритма OpenPose. Алгоритм сравнивал свои результаты с результатами аналогичной работы, проделанной людьми, и совершенствовался, достигнув в итоге значительного прогресса. Авторы технологии говорят, что речь идет о самом качественном в мире ИИ-сурдопереводчике — новый алгоритм значительно превосходит существующие аналоги.

Колесников Андрей Опубликовано в Наука Теги Новости

Новости партнеров

Главное за сутки

В России за сутки выявлено чуть более 19 тысяч новых случаев заражения коронавирусом Как следует из сообщения Оперативного штаба по борьбе с распространением коронавируса, в России за 27 января было выявлено 19138 новых случаев заражения коронавирусной инфекцией COVID-19, из которых 2208 или 11,5%…

Владимир Путин послал позитивный сигнал в Европу От Путина в Давосе привычно ждали жесткой риторики, но он удивил аудиторию, внезапно заговорив о «взаимной любви». Он призвал вспомнить о единстве российской и европейской цивилизации, сделав культуру и науку…

Инфекционист негативно оценила идею ношения двух масок одновременно Если носить две маски сразу, как делают некоторые чиновники из США, то можно столкнуться лишь с такими последствиями, как усталость и сонливость. Такая практика защиты от коронавируса является избыточной и…

Интернет и СМИ

Новости СМИ2

Читайте также

Ученые рассказали, кто наблюдает за нами из глубин космоса Ученые обнаружили в окрестностях Земли место, из которого за нашей планетой может осуществляться постороннее наблюдение. Кто и зачем наблюдает за землянами из космических глубин — пишет издание "Популярная Механика". Гипотезу…

Квантовый дарвинизм: две физики, существующие в одной Вселенной Классические физические законы серьезно отличаются от тех, которые действуют в квантовом мире. Но как такое возможно? Как две физические модели могут существовать в рамках одной Вселенной? Статью по теме опубликовало…

Математику удалось решить загадку числа 42 Математики из разных стран мира пытались решить головоломку, связанную с числом 42, в течение шестидесяти пяти лет. Речь идет, как пишет издание "Популярная Механика", о поиске трех чисел, которые, будучи…

Тема дня