Виртуальный дом научил нейросеть описывать бытовые действия

Виртуальная среда, созданная учеными из Соединенных Штатов Америки, Канады и Словении, была использована для обучения нейронной сети пониманию простых для человека, но сложных для роботов сценариев взаимодействия с бытовым пространством.

"Когда вы просите домочадца принести вам, скажем, воды, то вы же не говорите ему: "Пойди на кухню (выйди в коридор, пройди определенное количество шагов, поверни налево), возьми стакан, открой холодильник, возьми бутылку с водой, закрой холодильник, налей воду в стакан, снова открой холодильник, положи бутылку с водой обратно, закрой холодильник, неси воду в стакане мне (путь из кухни в мою комнату, надеюсь, найдешь, но если что, то вот карта)". Вы говорите просто "принеси воды". И вас понимают! Наша задача — сделать так, чтобы вас понимали и роботы", — говорят ученые.

Для того, чтобы роботы могли правильно интерпретировать команды с высокой степенью абстракции, ученые создали виртуальный дом, в котором происходят вполне обыкновенные для дома процессы — виртуальные человечки смотрят ТВ, едят, ходят туда-сюда и так далее (смотрите видео ниже). Все действия, при этом, были детально описаны и использованы для обучения нейросети.

Следующий шаг — обучать нейросеть при помощи видео на YouTube. Как итог, у ученых должна появиться технология, которая позволит создавать по-настоящему умных домашних роботов.