Эффективный процесс «натаскивания» нейросетей похож на обучение ребенка

В издании Journal of Statistical Mechanics опубликован материал, раскрывающий детали успешного обучения нейросетей. Оказалось, что на ранних стадиях обучения они, подобно детям, концентрируются на последовательности слов в предложении. Но когда накапливается достаточный объём информации, происходит резкий скачок, и система начинает анализировать значения слов.

Это похоже на фазовый переход в физике, когда вода мгновенно превращается в пар. Сначала ИИ выявляет структурные закономерности: порядок слов и их взаимосвязи. Далее, накопив определённый багаж знаний, нейросеть переключается на анализ семантики смысла слов и предложений.

Считалось, что модель будет использовать оба подхода одновременно, но на деле обучение шло поэтапно. Для сравнения: примерно так же ребёнок перестаёт читать по слогам и начинает понимать целые фразы.

Если программисты разберутся, как именно нейросеть делает этот качественный скачок, это поможет существенно оптимизировать процесс обучения при сокращении объема необходимых данных.

Появится и возможность предотвращения ошибок, и разработки специализированных ИИ-систем. Так, для юридических текстов важнее строгая форма, а в творческих текстах основное значение имеет контекст.

Исследователи признают, что их проект имеет ограничения: протестировали упрощенную модель. В реальных условиях она, скорее всего, будет использовать комбинированные стратегии, без резкого "перехода", сможет работать с позициями и смыслом одновременно.