Эксперимент доказал: ИИ легко выдаёт конфиденциальные данные

Фото из открытых источников

Насколько «безобидны» нейросети, наглядно показал эксперимент по запуску автономных ИИ-агентов в чате Discord. Выводы весьма тревожные. О чем рассказала публикация о результатах работы ученых в формате препринта на сайте arXiv.

Исследователям удалось обнаружить, что нейросети, которых наделили долгосрочной памятью и возможностью совершать автономные манипуляции, очень восприимчивы к воздействиям извне и могут нанести реальный ущерб информационной инфраструктуре.

Стандартные чат-боты функционируют по принципу «вопрос-ответ» в изолированном окне, но автономным агентам предоставлена возможность анализа контекста, они могут планировать определённые шаги и вступать во взаимодействие друг с другом. Но именно эта свобода и делает их уязвимыми.

Наблюдение специалистами длилось две недели, эксперты оценивали поведением ИИ-агентов в цифровой среде. Оказалось, что злоумышленникам даже нет необходимости писать сложный вредоносный код для взлома. Через несложные текстовые манипуляции и обман агентов несложно было «уговорить» раскрыть личные данные пользователей, переслать секретную документацию. Либо даже дать команду, позволяющую полностью удалить почтовый сервер! Алгоритмы не всегда могли корректно интерпретировать намерения «собеседника» и исполняли деструктивные указания.

Сегодня разные организации все чаще доверяют ИИ ведение рутинных бизнес-процессов, при этом проблема контроля обретает критичность. Ошибки в обычном генераторе текста уже стали привычными, воспринимаются порой даже с юмором. Но когда автономная система, имеющая доступ к корпоративным базам данных, неверно истолковывает инструкции (либо поддаётся вредоносным манипуляциям извне), это чревато катастрофой. Эксперты призывают пересмотреть стандарты безопасности перед широким освоением подобных технологий.