Научный метод: как отличить ИИ-текст от человеческого

Фото из открытых источников

Российские ученые из Сколтеха представили инновационный метод идентификации текстов, созданных искусственным интеллектом, на конференции по языковому моделированию в Университете Пенсильвании. В журнале "Коммерсантъ" освещается значимое достижение исследовательской группы под руководством Сергея Баранникова.

Проблема распознавания машинных текстов стала особенно актуальной на фоне стремительного развития больших языковых моделей. Современные технологии ИИ научились генерировать настолько правдоподобные тексты, что их сложно отличить от человеческих, особенно в ситуациях, требующих точной атрибуции авторства.

Научный коллектив разработал уникальный подход, который позволяет надежно определять происхождение текста даже при ограниченном объеме материала. Ключевым элементом методики стало использование так называемых "замороженных" моделей, которые не адаптируются к новым данным. Это принципиально важно, поскольку такие модели способны выявлять стабильные характеристики машинных текстов без риска "запоминания" конкретных образцов.

Исследователи обнаружили существенные недостатки в существующих методах детекции. Например, современные трансформеры, такие как RoBERTa, имеют склонность к переобучению и демонстрируют низкую эффективность при работе с текстами из разных областей знаний. Чтобы преодолеть эти ограничения, ученые применили несколько инновационных подходов.

Особое внимание было уделено методам на основе перплексии – показателя, который оценивает предсказуемость текста. Высокая перплексия характеризует текст с неожиданными поворотами, что типично для человеческого письма. Напротив, низкая перплексия указывает на более шаблонную структуру, характерную для машинных текстов.

Команда Баранникова также разработала способы нивелирования влияния структурных параметров текста. Они обнаружили, что длина предложений и их стандартизированная форма могут дезориентировать алгоритмы распознавания. Особенно это касается текстов с четкой структурой, например, инструкций или кулинарных рецептов.

Результаты исследования были представлены на международной конференции и получили высокую оценку научного сообщества. Статья была удостоена престижной награды Outstanding Paper Award, а выступление завершилось продолжительными аплодисментами. Ректор Сколтеха Александр Кулешов подчеркнул, что подобные достижения демонстрируют высокий уровень российской научной школы в области искусственного интеллекта.