Российская разработка позволила европейцам ускорить обучение ИИ в 60 раз

Фото из открытых источников

В России разработали крупнейший набор данных для обучения рекомендательных систем. С его помощью европейские исследователи создали новый подход, позволяющий в десятки раз ускорять обучение ИИ без утраты качества. Об этом ТАСС сообщила пресс-служба "Яндекса".

В сообщении авторы работы поясняют, что на протяжении долгого времени у исследовательского сообщества был ограниченный доступ к крупномасштабным промышленным данным. "Яндекс" открыл Yambda и стал одним из первых, кто смог устранить этот разрыв через предоставление уникального инструмента для глобального прорыва в данной области.

В начале лета 2025 года специалисты "Яндекса" создали и выложили в открытый доступ один из самых крупных в мире комплексов данных для развития рекомендательных систем. В его полной версии пять миллиардов элементов, а построили его на базе обезличенных данных "Яндекс. Музыки". Набор включает агрегированные прослушивания, лайки, дизлайки и ряд характеристик музыкальных записей.

Набором обучающих данных недавно воспользовались ученые из Амстердамского университета, чтобы разработать новый подход к обучению рекомендательных систем, базирующихся на созданном китайскими учеными алгоритме SEATER. Этот программный продукт даёт возможность организовать все товары или треки в чёткий иерархический каталог, аналогичный дереву папок на компьютере.

Теоретически, каталог даёт возможность системе быстрее и точнее выдавать рекомендации, но на его обучение требуется очень много времени. В реальных продуктах это мешает частому обновлению рекомендаций и быстрому реагированию на изменения пользовательских предпочтений. Экспертами из Нидерландов подготовлены два альтернативных подхода, которые позволяют активировать подготовку каталога, и осуществили их проверку на данных "Яндекса".

Проверки показали: один из новых алгоритмов позволил сократить время подготовки данных с 82 минут до 83 секунд, то есть, почти в 60 раз. Он почти не оказал влияния на качество рекомендаций, поэтому продукт, созданный китайскими специалистами, по-прежнему считается лучшим на рынке подобных систем. Как отмечают эксперты "Яндекса", весь код улучшенной модели SEATER выложили в открытый доступ, что наглядно показывает пользу от публикации и применения больших наборов данных в разработке и обучении ИИ.