Алгоритм Disney научился «снимать» видео по имеющемуся сценарию

Разработанный инженерами компании Disney Research алгоритм машинного обучения может создавать короткие анимационные ролики, используя в качестве сценария текстовые описания. Уникальному алгоритму, приближенному к искусственному интеллекту, посвящен материал, опубликованный на портале arXiv.org

Алгоритм анализирует текст сценария, написанный обычным языком, и максимально упрощает исходные предложения.

Затем ИИ сопоставляет каждый объект или действие с аналогами, которые присутствуют в его обширной библиотеке, и производит анимированные ролики с 3D-моделями.

Синтез изображений и видео на основе текста — это задача, которая уже довольно давно интересует многих ученых.

Соответственно, в мире существует целый ряд подобных технологий, однако все они пока что находятся на зачаточных стадиях развития и не могут применяться для решения сколько-нибудь практических задач.

"Такие алгоритмы действительно есть, однако они содержат очень принципиальное ограничение — для них нужно составлять специальные сценарии, написанные схематическим языком. Наша разработка позволяет работать с обычными сценариями, написанными на естественном языке. Единственное требование — грамматическая корректность", — рассказывает сотрудник Disney Research Ашутош Моди, разработавший алгоритм на основе нейросетей совместно с коллегами.