Компьютер научился создавать портреты людей по текстовому описанию

Программист из Индии разработал программу, которая умеет создавать портреты людей по текстовому описанию их внешности. Описание, при этом, задается при помощи довольно простого набора параметров.

Основана программа, как несложно предположить, на нейронных сетях. В конкретном случае были использованы сразу два алгоритма генеративно-состязательных нейросетей, разработанные другими специалистами ранее.

"Я использовал часть алгоритма StackGAN, позволяющую делать из простого текстового описания вектор, который затем передается нейронной сети, отвечающей за синтез картинки. Это — алгоритм ProGAN, который постепенно увеличивает количество слоев при обучении", — рассказывает автор программы Анимеш Карневар.

Для обучения нейросети Карневар использовал датасет Face2Text, в котором содержится четыре сотни фотографий с текстовыми описаниями.

Процесс тренировки алгоритма Карневара можно посмотреть на видео ниже. Разработчик отмечает, что итоговые изображения не являются сколько-нибудь фотореалистичными, однако черты людей на портретах все-таки довольно неплохо соответствуют тестовым описаниям.