Ученые обучили нейросеть подбирать звук для беззвучных видео

Суббота, 11 Декабря 2021 13:21

Американские исследователи опубликовали препринт исследовательской работы в области искусственного интеллекта, в котором сообщается о создании нейросети, способной угадать звук для беззвучных видеороликов. Помимо этого нейросеть, названная CLIP, умеет изменять параметры звука, определяя источник и особенности его распространения.

Разработка американских ученых направлена на упрощение работы людей, которые занимаются монтажом видео. Обычно видеокамеры снимают видео сразу со звуком за счет микрофона. Тем не менее бывают случаи, когда видеоролик получается умышленно без звука, например, при съемке квадрокоптером.

По причине отсутствия встроенного микрофона, а также из-за громкого звучания моторов дрона, монтажерам приходится искусственно создавать фоновые звуки на видео. Например, звуки дождя, моря или ветра. Это долгий и кропотливый труд.

Именно на облегчение такой работы команда ученых из США под руководством Николаса Мартеларо разработали искусственный интеллект, обученный на подбор звука для беззвучных видеороликов.

Нейросеть сперва определяет тип источника звука: звучит конкретный объект или звучание исходит от мест с фоновым шумом. Далее система, обученная на библиотеке с более 90 тысячами звуков, подбирает необходимое звучание, разбив при этой видео на кадры по одной секунде.

Рахимов Айрат Опубликовано в Технологии

Интернет и СМИ

Новости СМИ2

Главное за сутки

Повреждение школы в Калужской области и 604 БПЛА. Последствия атак ВСУ на российские регионы Средства противовоздушной обороны в течение ночи сбили 604 украинских беспилотника над российскими регионами, сообщили в Минобороны РФ. Школа, два частных дома и один автомобиль получили повреждения в результате атаки дронов…

Поражены предприятия ВПК, логистические центры и объекты ж/д инфраструктуры. Удары ВС РФ по объектам на Украине Российские войска в ходе ночных групповых ударов поразили предприятия военно-промышленного комплекса, логистические центры, а также объекты железнодорожной и портовой инфраструктуры Украины. Об этом сообщили в Минобороны РФ. ТАСС собрал основное…

В Хиросиме нашли неизвестные киноматериалы о последствиях атомных бомбардировок Неизвестные ранее киноматериалы, на которых запечатлены последствия американских атомных бомбардировок, обнаружены в Библиотеке визуальной культуры города Хиросима. Об этом объявила администрация этого учреждения. Найденные материалы были отсняты по указанию американских…

Тема дня

Европа заявила о предательстве со стороны США в войне до последнего украинца

Дизельная сделка США и РФ привела европейцев в состояние шока. Украина и лидеры ЕС недовольны готовн...

Фото

Замерзший объект за Юпитером превращается в комету

Замерзший объект за Юпитером выбрасывает в космос углекислый газ, что указывает на причины активност...

Опрос

Останется-ли Сербия дружественной России страной?

Показать результаты »

Анекдот дня

Финляндия ограничила доступ к полученным из России документам до 9999 года. А они таки оптимисты!

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.