Ученые обучили нейросеть подбирать звук для беззвучных видео

Суббота, 11 Декабря 2021 13:21

Американские исследователи опубликовали препринт исследовательской работы в области искусственного интеллекта, в котором сообщается о создании нейросети, способной угадать звук для беззвучных видеороликов. Помимо этого нейросеть, названная CLIP, умеет изменять параметры звука, определяя источник и особенности его распространения.

Разработка американских ученых направлена на упрощение работы людей, которые занимаются монтажом видео. Обычно видеокамеры снимают видео сразу со звуком за счет микрофона. Тем не менее бывают случаи, когда видеоролик получается умышленно без звука, например, при съемке квадрокоптером.

По причине отсутствия встроенного микрофона, а также из-за громкого звучания моторов дрона, монтажерам приходится искусственно создавать фоновые звуки на видео. Например, звуки дождя, моря или ветра. Это долгий и кропотливый труд.

Именно на облегчение такой работы команда ученых из США под руководством Николаса Мартеларо разработали искусственный интеллект, обученный на подбор звука для беззвучных видеороликов.

Нейросеть сперва определяет тип источника звука: звучит конкретный объект или звучание исходит от мест с фоновым шумом. Далее система, обученная на библиотеке с более 90 тысячами звуков, подбирает необходимое звучание, разбив при этой видео на кадры по одной секунде.

Рахимов Айрат Опубликовано в Технологии

Читайте также

Учёные из Швейцарии тайно использовали ИИ для манипуляции пользователями Reddit Учёные из Цюрихского университета оказались в центре скандала после того, как стало известно об их эксперименте по незаметной манипуляции пользователями Reddit с помощью искусственного интеллекта. Об этом сообщает издание Decrypt,…

В России создан жаропрочный и недорогой сплав, получаемый из металлолома Специалистами Университета МИСИС создан жаропрочный сплав, выдерживающий температуру до 400 градусов. Его можно производить из старых пивных банок и проволоки, сообщает ТАСС со ссылкой на пресс-службу Минобрнауки РФ. Сплаву дали…

В России разработали программу для раннего обнаружения шести видов рака Российские специалисты из Сеченовского университета завершили работу над программным обеспечением «Онкопро», предназначенным для ранней диагностики рака. Об этом сообщает издание «Известия» со ссылкой на представителей университета. «Онкопро» — это цифровой…

Интернет и СМИ

Новости СМИ2

Главное за сутки

Выступление президента Путина перед журналистами. Полный текст заявления Президент России Владимир Путин выступил с заявлением для представителей средств массовой информации, в котором подвел итоги работы 7-10 мая после праздничных мероприятий, посвященных 80-летию Победы. ТАСС публикует полный текст выступления…

Гладков: за сутки ВСУ выпустили более 100 боеприпасов по Белгородской области Вооруженные силы Украины с помощью 102 боеприпасов и 66 беспилотных летательных аппаратов нанесли удары по населенным пунктам Белгородской области за прошедшие сутки. Об этом сообщил в Telegram-канале губернатор региона Вячеслав…

Макрон назвал «неприемлемым» для Киева предложение России о переговорах Президент Франции Эмманюэль Макрон считает, что выдвинутое его российским коллегой Владимиром Путиным предложение о начале переговоров с украинской стороной без предварительных условий "недостаточно" и "неприемлемо" для Киева. Такое мнение он…

Тема дня

Почему Иран разозлился из-за подарка США арабам

Соединенные Штаты собираются сделать большой географический подарок своим арабским союзникам – переи...

Фото

Разработан новый подход к лечению мерцательной аритмии с учётом 22 состояний

Международная группа специалистов при кураторстве Европейского общества кардиологов и Ассоциации сер...

Опрос

Какова, по вашему мнению, вероятность заключения мирного соглашения по украинскому кризису в 2025 году?

Показать результаты »

Анекдот дня

В детстве я мечтала о суперспособностях. Моя мечта сбылась и теперь я чувствую магнитные бури, заморозки и любые капризы природы.

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.