HUAWEI представляет «симфонию северного сияния» на базе искусственного интеллекта

Компания HUAWEI объявляет о реализации международного музыкального проекта «Симфония света». После выхода на рынок флагманского смартфона HUAWEI Mate 20 Pro, компания HUAWEI совместно с международной творческой командой взяли на себя задачу продемонстрировать широту возможностей мобильного искусственного интеллекта и передать звучание северного сияния. Объединяя технологии и искусство, этот проект трансформирует удивительное природное явление в совершенно новую форму музыкального искусства. Подробнее - в материале Planet Today. 

«Симфония света» («Sound of Light») — международный проект, целью которого была проверка возможности обучения искусственного интеллекта созданию звуковых фрагментов на основе визуального ряда. Команда художников поставила перед собой задачу запечатлеть норвежское северное сияние, научить специально созданный для смартфона HUAWEI Mate 20 Pro интеллектуальный алгоритм распознавать ключевые особенности этого светового явления и превращать их в музыкальные фрагменты. Эти фрагменты впоследствии были использованы при написании симфонии. Финальной целью творческого коллектива было создание мультисенсорного произведения, сочетающего в себе инновационные достижения в сфере искусственного интеллекта с классической оркестровой музыкой.

От первых кадров до финального оркестра 

Неподалёку от норвежского города Тромсе, охотник за северным сиянием Кетил Скольи запечатлел на камеру это атмосферное явление. Отснятые видеоролики были отправлены в звуковую лабораторию, где обладатель многочисленных наград, композитор Марк Сайфритц (Mark Sayfritz) работал со специально созданной для HUAWEI Mate 20 Pro системой искусственного интеллекта и написал «симфонию северного сияния». 

Когда все музыкальные фрагменты были составлены, один из лучших аранжировщиков и дирижёров мира, Джеймс Ширман (James Shearman) превратил их в оркестровую композицию «Симфония света», которая была исполнена в знаменитом Брамсовском зале в Вене. 

Роль HUAWEI Mate 20 Pro в создании симфонии

Чтобы написать «Симфонию света» требовалось мощное вычислительное устройство. Смартфон HUAWEI Mate 20 Pro стал подходящим инструментом для этого проекта. Многие из его функций оказались незаменимы для эффективной работы системы искусственного интеллекта иреализации проекта. 

Перед инженерами была поставлена задача создания уникальной интеллектуальной системы, способной обучиться распознаванию и анализу различных характеристик видеоряда. Затем искусственный интеллект научили сопоставлять  музыкальные фрагменты и детали видеозаписи северного сияния. 

Композитор Марк Сайфритц отметил: «Внедрение искусственного интеллекта в мою музыку открывает целый ряд новых творческих возможностей. Теперь я могу загрузить в систему видеозапись северного сияния, и она проанализирует целый набор характеристик, таких как: цвет, размер, форма и скорость изменения. Затем система сгенерирует на основе этих данных вариации из моих музыкальных фрагментов. Например, если система распознает особенно драматические моменты светового шоу, она создаст звуки, которые отражают эти эмоции в музыкальной композиции. Я смогу использовать эти музыкальные фрагменты в своем произведении».

Обычно для создания музыкальных фрагментов, пригодных для живого исполнения, требуются мощные компьютеры. Однако благодаря специально разработанной интеллектуальной системе, команда смогла превратить в такой компьютер смартфон HUAWEI Mate 20 Pro. Во время живого исполнения конвертированные данные поступали прямо со смартфона на электронные инструменты, которые отвечали за музыкальные акценты в шоу. 

«Искусственный интеллект уже долгое время является приоритетным направлением исследований HUAWEI. Как и многие другие инновационные технологии, он позволяет преодолеть ограничения, чтобы добиться результатов, которые ранее считались недостижимыми. Проект «Симфония света» очень точно иллюстрирует эту идею», — прокомментировал президент HUAWEI Consumer Business Group в  Центральной, Восточной и Северной Европе, Ван Янмин.

Живой концерт в Вене 

Аудиовизуальное представление при поддержке искусственного интеллекта состоялось в Брамсовском зале Венского Общества любителей музыки Musikverein 28 ноября 2018 г. в присутствии более 300 слушателей, среди которых были представители прессы и специально приглашённые гости. «Симфония света» была исполнена оркестром Synchron Stage под руководством Джеймса Ширмана. В программу также вошел фильм Genesis, рассказавший о процессе создания произведения, от съёмки норвежского неба до финального представления.

Ключевые участники проекта

Кетил Скольи — фотограф. из норвежского города Тромсе. Работал с BBC, 60 Minutes Australia, NRK и многими другими телекомпаниями, снимая для них северное сияние. Он сыграл ключевую роль в проекте «Симфония света», став проводником при поиске этого атмосферного явления. Его опыт и знания в этом вопросе сделали возможной реализацию проекта.

Марк Сайфритц — композитор. Один из самых популярных музыкантов, композиторов и продюсеров современности, Марк имеет множество наград за партитуры и аранжировки, в частности за работы для Audi, Nike, Levi’s, NBA и Reebok. Роль Марка состояла в том, чтобы взять звуковые фрагменты, созданные искусственным интеллектом и создать на их основе оригинальную симфонию. Его понимание технологий, а также экспертные знания в музыкальной сфере сделали неоценимый вклад в успех проекта.

Джеймс Ширман — дирижёр. Знаменитый британский дирижёр и руководитель оркестра, принимавший участие в создании музыки для более 80 известных кинокартин, среди которых «Красавица и чудовище», «Манчестер у моря» и «Гарри Поттер и кубок огня». Роль Джеймса Ширмана как аранжировщика и дирижёра «Симфонии света» стала решающей для создания финального облика произведения. Именно он сумел объединить технологическую природу искусственного интеллекта с живым организмом оркестра.

Музыканты оркестра Synchron Stage Orchestra. Оркестр Synchron Stage Orchestra был создан путём тщательнейшего отбора лучших музыкантов самых известных оркестров Вены. Оркестр выступает в студии звукозаписи Synchron Stage Vienna, специализирующейся на записи больших оркестров и музыки для кинофильмов. Оркестр обладает большим опытом исполнения музыкальных партий для фильмов, который помог им в создании уникального живого аудиовизуального представления.