Audiocraft представил ИИ MusicGen, генерирующий мелодии

Исследовательская группа Audiocraft из Meta* создала MusicGen, ИИ способная генерировать новую музыку на основе текстовых подсказок, сообщает The Decoder. Демонстрация на сайте Facebook Hugging Face AI позволяет пользователям описать свою музыку, предоставив несколько примеров, таких как «драйвовая поп-песня 80-х с тяжелыми барабанами и синтезаторными пэдами на заднем плане»  и нажать «Создать».   

Для обучения команда использовала 20 000 часов лицензированной музыки, в том числе 10 000 высококачественных музыкальных треков из внутреннего набора данных, а также треки Shutterstock и Pond5. Чтобы ускорить процесс, они использовали звуковой токенизатор Meta 32Khz EnCodec для создания небольших фрагментов музыки, которые можно обрабатывать параллельно. «В отличие от существующих методов, таких как MusicLM, MusicGen не требует самоконтролируемого семантического представления [и имеет] только 50 авторегрессивных шагов в секунду звука», — написал инженер Hugging Face ML Ахсен Халик в твите.  

Meta* - Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.