Ученые обучили нейросеть подбирать звук для беззвучных видео

Американские исследователи опубликовали препринт исследовательской работы в области искусственного интеллекта, в котором сообщается о создании нейросети, способной угадать звук для беззвучных видеороликов. Помимо этого нейросеть, названная CLIP, умеет изменять параметры звука, определяя источник и особенности его распространения.

Разработка американских ученых направлена на упрощение работы людей, которые занимаются монтажом видео. Обычно видеокамеры снимают видео сразу со звуком за счет микрофона. Тем не менее бывают случаи, когда видеоролик получается умышленно без звука, например, при съемке квадрокоптером.

По причине отсутствия встроенного микрофона, а также из-за громкого звучания моторов дрона, монтажерам приходится искусственно создавать фоновые звуки на видео. Например, звуки дождя, моря или ветра. Это долгий и кропотливый труд.

Именно на облегчение такой работы команда ученых из США под руководством Николаса Мартеларо разработали искусственный интеллект, обученный на подбор звука для беззвучных видеороликов.

Нейросеть сперва определяет тип источника звука: звучит конкретный объект или звучание исходит от мест с фоновым шумом. Далее система, обученная на библиотеке с более 90 тысячами звуков, подбирает необходимое звучание, разбив при этой видео на кадры по одной секунде.