Искусственный интеллект научился искать на видео целующихся людей

Американские разработчики создали приближенный к искусственному интеллекту алгоритм, способный находить целующихся людей на видео. Системе на основе нейросетей посвящена публикация, появившаяся в репозитории arXiv.org

Распознавание объектов в видеопотоке — одна из ключевых задач в области машинного зрения. Ученые уже достигли значительных успехов в этой обрасти, однако системы компьютерного зрения продолжают активно развиваться и совершенствоваться.

Сотрудник Стэнфордского университета по имени Амир Зиай решил разработать ИИ-алгоритм, который смог бы определять поцелуи на видео. Система, созданная Зиаем, состоит из двух модулей — сегментатора и бинарного классификатора.

Бинарный классификатор проверяет секундные отрывки, на которые разбивается входной видеопоток, и анализирует видео и аудио при помощи сверточных нейронных сетей ResNet и VGG. Сегментатор позволяет определять вероятность поцелуя на том или ином секундном отрывке видео, а также готовит данные к анализу.

Точность распознавания поцелуев на видео — около девяносто пяти процентов. Для того, чтобы обучить нейросеть распознавать поцелуи, разработчики использовали нарезки из более чем 100 голливудских картин — всего двести шестьдесят три сцены с поцелуями и триста шестьдесят три отрывка без поцелуев.

Одно из гипотетических применений такой технологии — автоматические системы озвучивания фильмов, предназначенные для слабовидящих.