Нейросеть научили воссоздавать фигуру человека по фотографии

Алгоритм, созданный разработчиками из США и Японии, умеет создавать трехмерные модели людей лишь по одной или нескольким фотографиям. Алгоритм, при этом, воссоздает даже вид со спины, то есть, "додумывает" то, чего нет на оригинальном снимке. Доклад, посвященный алгоритму, был представлен на мероприятии ICCV 2019. Смотрите видео ниже.

Преобразование плоских фотографий в 3D-модели связано с некоторыми фундаментальными затруднениями. Например — одному и тому же плоскому изображению могут соответствовать совершенно разные объемные объекты. Однако если речь идет об узкоспециализированном алгоритме, который заточен исключительно под изображения людей, то эту проблему можно обойти.

Сложности, тем не менее, все равно есть. Например — люди на фотографиях обычно изображены только с одного ракурса, и, как правило, не со спины. Однако для построения 3D-модели нужен и вид сзади. Ученые из Университета Южной Калифорнии, группу которых возглавил Хао Ли, решили эту проблему, создав сложный алгоритм на основе двух сверточных нейросетей.

Использовав для обучения нейросетей пять сотен моделей и сто шестьдесят тысяч изображений, полученных благодаря моделям, ученые получили вполне рабочую систему, которая может эффективно создавать трехмерные модели из обычных фотографий людей. Авторы алгоритма говорят, что их детище справляется со своей работой лучше, чем аналогичные системы.