Нейросеть научилась рисовать сложные сцены по текстовому описанию

Созданная в недрах корпорации Microsoft генеративно-состязательная нейронная сеть, основанная на новой архитектуре, умеет создавать изображения по текстовым описаниям.

Подобные алгоритмы были и раньше, однако разработка "Майкрософт" позволяет получать намного более качественные изображения.

Нейросеть, о которой идет речь, была представлена на мероприятии CVPR 2019, которое проходит сейчас в Калифорнии (Соединенные Штаты Америки).

Существующие генеративно-состязательные нейросети, применяемые в алгоритмах text-to-image, являются довольно эффективными только в тех случаях, когда с их помощью воссоздаются базовые примеры.

Однако если необходимо изобразить сложную сцену по текстовому описанию, то возникают серьезные сложности.

Разработка Microsoft выводит алгоритмы text-to-image на новый уровень. Автор технологии, Вэньбо Ли, говорит, что нейросеть может весьма качественно справляться с генерацией изображений даже по описаниям с большим количеством объектов.

Команда под руководством Ли обучила нейросеть на стандартном для таких технологий наборе данных COCO, который состоит из трехсот двадцати восьми тысяч картинок с текстовыми описаниями. В будущем, как отмечает Ли, нейросеть будет дорабатываться, чтобы получаемые с ее помощью изображения были еще более реалистичными.