ИИ от российских разработчиков научился распознавать эмоции по речи

Российские исследователи создали новый алгоритм искусственного интеллекта, который способен с высокой точностью определять эмоциональное состояние человека по его речи. Согласно информации, опубликованной пресс-службой Сбера, новая модель заметно превосходит большинство существующих аналогов, особенно при анализе сложных речевых конструкций и эмоционально насыщенного контента.

Разработчики открыли исходный код модели, что дает возможность другим специалистам тестировать её на различных языках и датасетах, а также адаптировать для практического применения. В частности, модель может быть обучена на русскоязычных эмоциональных корпусах и использована в голосовых помощниках или в системах обслуживания клиентов, где важно точно определять настроение пользователя.

Алгоритм, получивший название CA-SER, разработан совместными усилиями специалистов лаборатории искусственного интеллекта Сбербанка, Института AIRI и Московского физико-технического института. В его основе лежит метод самообучения (SSL), объединяющий несколько подходов, применяемых в обработке речи и анализе эмоций.

Принцип работы алгоритма заключается в поэтапном анализе речевых сигналов. В первую очередь система выделяет ключевые характеристики произношения, а затем добавляет сведения о громкости, тональности и других звуковых особенностях, учитывая, какие частоты воспринимаются человеческим слухом наиболее эффективно. Далее, специальный механизм объединяет эти данные, что позволяет максимально точно интерпретировать эмоциональный окрас речи.

Для проверки эффективности новой технологии команда исследователей протестировала её, а также девять других алгоритмов, используя данные из базы IEMOCAP. Этот набор содержит аудиофайлы, видеозаписи и расшифрованные тексты, отражающие широкий спектр человеческих эмоций.

Испытания подтвердили, что CA-SER значительно обходит большинство аналогичных решений и демонстрирует результаты, сопоставимые с нейросетью HuBERT. Ученые полагают, что внедрение их алгоритма позволит существенно повысить качество работы голосовых интерфейсов и цифровых сервисов, ориентированных на взаимодействие с пользователями.