Нейросеть научилась оживлять фигуры людей на фотографиях

Ученые из Соединенных Штатов Америки разработали основанный на нейронных сетях алгоритм, который может "оживлять" людей, запечатленных на фотографиях. Алгоритм создает для человеческой фигуры 3D-модель, а затем воспроизводит с ее помощью заданную анимацию.

Когда мы смотрим на изображения с людьми, застигнутыми фотографом в момент движения, то обычно примерно представляем себе, как эти люди двигались через мгновение после спуска затвора камеры. Для программных алгоритмов эта задача невероятно сложна. Но вполне реализуема — доказали сотрудники Вашингтонского университета, а также участвовавшие в проекте представители компании Facebook.

Как выглядят результаты работы уникальной нейронной сети — можно увидеть на видео ниже.

"На самом деле тут используется связка из нескольких сложных алгоритмов, т.к. задач в процессе возникает тоже несколько — нужно распознать и отделить человека от фона, построить его трехмерную модель, покрыть ее текстурой и анимировать", — рассказывает автор проекта, Ира Кемельмахер-Шлицерман.

Отмечается, что алгоритм существует в нескольких версиях — например, для дополненной реальности, в которой результаты его работы смотрятся особенно эффектно.