Ученые обучили нейросеть подбирать звук для беззвучных видео

Суббота, 11 Декабря 2021 13:21

Американские исследователи опубликовали препринт исследовательской работы в области искусственного интеллекта, в котором сообщается о создании нейросети, способной угадать звук для беззвучных видеороликов. Помимо этого нейросеть, названная CLIP, умеет изменять параметры звука, определяя источник и особенности его распространения.

Разработка американских ученых направлена на упрощение работы людей, которые занимаются монтажом видео. Обычно видеокамеры снимают видео сразу со звуком за счет микрофона. Тем не менее бывают случаи, когда видеоролик получается умышленно без звука, например, при съемке квадрокоптером.

По причине отсутствия встроенного микрофона, а также из-за громкого звучания моторов дрона, монтажерам приходится искусственно создавать фоновые звуки на видео. Например, звуки дождя, моря или ветра. Это долгий и кропотливый труд.

Именно на облегчение такой работы команда ученых из США под руководством Николаса Мартеларо разработали искусственный интеллект, обученный на подбор звука для беззвучных видеороликов.

Нейросеть сперва определяет тип источника звука: звучит конкретный объект или звучание исходит от мест с фоновым шумом. Далее система, обученная на библиотеке с более 90 тысячами звуков, подбирает необходимое звучание, разбив при этой видео на кадры по одной секунде.

Рахимов Айрат Опубликовано в Технологии

Читайте также

В Пензе придумали замену имплантации зубов для пациентов с противопоказаниями Учеными Пензенского государственного университета создан модернизированный анкерный штифт, дополненный площадкой, он предназначен для замены процедуры имплантации зубов для пациентов, имеющих противопоказания. Новая конструкция способна продлевать срок службы зуба до 10…

Создан материал для ракет, способный сам себя восстанавливать Сотрудники Европейского космического агентства в тандеме с коллегами из швейцарской компании CompPair разработали «умный» материал для космических кораблей. Композит способен сам автоматически реагировать на трещины и исправлять эти проблемы, сообщает…

Редкоземельные металлы в имплантах провоцируют повреждения печени и почек Российский научный коллектив выяснил, что ряд редкоземельных металлов, используемых для улучшения свойств костных имплантатов, наносит вред внутренним органам. Исследование, организованное при поддержке Российского научного фонда, доказало, что добавление лантана и…

Интернет и СМИ

Новости СМИ2

Главное за сутки

МО: за ночь над регионами России сбили 80 украинских БПЛА Российские средства ПВО в течение прошедшей ночи перехватили и уничтожили 80 украинских БПЛА над регионами страны и акваториями Азовского и Черного морей. Об этом сообщили в Минобороны РФ. На Кубани…

Прорывные инновации и новые угрозы для человечества. Заявления Дмитрия Медведева Современный технологический прогресс беспрецедентен по скорости, к столь быстрым переменам человечество не готовилось. Такое мнение высказал замглавы Совбеза России Дмитрий Медведев в статье для журнала "Эксперт". Он высказал мнение, что…

Роль нефти и газа России в мировой экономике. Главное о встрече Дмитриева с делегацией США Спецпредставитель президента РФ по инвестиционно-экономическому сотрудничеству с зарубежными странами, глава РФПИ Кирилл Дмитриев провел во Флориде встречу с представителями администрации США. ТАСС собрал основное о контактах. О встрече Дмитриев сообщил,…

Тема дня

США воюют с Ираном ради второго пришествия

Принято считать, что за агрессией США и Израиля против Ирана кроются чисто экономические интересы – ...

Фото

Ученые разработали эффективные фотокатализаторы с использованием овечьей шерсти в качестве биотемплата

Специалисты ФИЦ «Институт катализа СО РАН» совместно с коллегами из Ивановского государственного хим...

Опрос

Как долго продлится операция США против Ирана?

Показать результаты »

Анекдот дня

Когда вам покажется, что вы не справитесь, вспомните, что вы из поколения, которое писало сочинения на три страницы. Из головы! Ручкой на большой перемене!

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.