Система DeepFaceDrawing превращает в портреты любые каракули

Система DeepFaceDrawing, разработанная сотрудниками Института компьютерных технологий Китайской академии наук, может превращать "грубые" наброски в высококачественные портреты людей. Алгоритм описан в статье, которая была опубликована в репозитории arxiv.org.

В основе системы DeepFaceDrawing — приближенные к искусственному интеллекту алгоритмы, "натренированные" на базе лиц реально существующих людей. Для того, чтобы создать реалистичный портрет с применением DeepFaceDrawing, нужно "скормить" алгоритму схематический набросок, который может быть самым грубым.

Алгоритм DeepFaceDrawing воспринимает эскиз в качестве ориентировочной схемы, по которой создается финальное изображение. ИИ ищет совпадения между линиями наброска и фотографиями людей в базе данных, а затем, основываясь на обнаруженных особенностях, создает итоговый результат.

Создатели системы отмечают, что в ее основе три базовых модуля — компонент вложения, сопоставление деталей и синтез изображения. Первый модуль анализирует отдельные элементы эскиза (глаза, нос, рот, и так далее), а второй и третий работают в связке для синтеза картинки. Как и прочие подобные алгоритмы, китайская разработка выдает картинки в невысоком разрешении — из размер составляет 512 на 512 пикселей. Очевидно, что это обусловлено технологическими ограничениями, связанными с потреблением вычислительных ресурсов.