Искусственный интеллект может извлечь выгоду из общения сам с собой

Многие люди говорят, что у них в голове крутится внутренний монолог, рассказывающий о их жизни. Это явление, а также множество исследований позволяют предположить, что люди используют язык не только для общения, но и для мышления.

Теперь кажется, что искусственный интеллект (ИИ) может извлечь выгоду из имитации внутреннего монолога человека. В ходе лабораторного эксперимента привязка языка к действиям улучшила способность программы ИИ изучать сложные задачи, сообщили исследователи в прошлом месяце на конференции Neural Information Processing Systems (NeurIPS). Это достижение может позволить ИИ учиться, скажем, на обучающих видеороликах YouTube.

В качестве доказательства концепции Шенгрань Ху и Джефф Клюн, ученые-компьютерщики из Университета Британской Колумбии, разработали агента искусственного интеллекта, который может выполнять миссии в виртуальном 2D-мире, состоящем из сетки 20 на 20. В нескольких испытаниях сетка была разделена на девять комнат различной конфигурации и разделенных дверями, которые иногда были заперты. ИИ, возможно, придется найти один конкретный объект и поместить его рядом с другим, что может потребовать сотен шагов, таких как взятие ключей и отпирание дверей.

У агента было два компонента, каждый из которых содержал нейронную сеть — архитектуру программного обеспечения, имитирующую процесс обучения мозга. Агент мог «видеть» часть сетки в том направлении, в котором он смотрел, и первый компонент использовал эту «визуальную» информацию, а также миссию и предыдущие мысли агента, чтобы создать новую мысль, например. «открыть синюю дверь, чтобы исследовать». или «иди в фиолетовую коробку». Второй компонент объединял мысль с миссией и наблюдениями для выбора действий. Для выполнения одной мысли может потребоваться от нескольких до более чем 100 шагов.

ИИ пришлось обучить, и для этого исследователи опирались на большой набор данных о миссиях, выполненных ботом, созданным специально для решения таких задач, а также на создание текста, описывающего шаг за шагом то, что он делает. Для сравнения они также обучили агента, используя существующую технику под названием «поведенческое клонирование». Он научился прогнозировать действия на основе миссии и наблюдений, не используя четко сформулированных мыслей.

Обученным агентам затем поручались новые миссии в новых лабиринтах. В самых сложных миссиях агент, обученный имитировать и действия, и мысли, добивался успеха примерно в 80% случаев, тогда как агент, обученный имитировать только действия, добивался успеха только примерно в 30% случаев. Ху объясняет, что язык помогает изучать концепции на разных уровнях абстракции, а затем комбинировать их по-новому. Передовой агент мог даже переосмыслить планы после встречи с неожиданными препятствиями, что Ху считал «крутым». 

Помимо повышения производительности, ИИ, обученный с помощью того, что Ху и Клюн называют «клонированием мыслей», предлагает пользователям нечто редкое в мире нейронных сетей: возможность увидеть, о чем думает агент. По словам исследователей, это должно помочь в отладке систем, а также повысить безопасность: если ИИ планирует что-то опасное, человек-оператор может сообщить об этом и вмешаться. По словам Ху, при существующих безгласных системах «когда вы видите, что ваш агент спешит в банк, вы не знаете, попытается ли он ограбить банк или просто попытается получить для вас немного наличных».

В ходе испытаний такого «предпреступного вмешательства» исследователи показали, что могут остановить агента до того, как он выполнит запрещенное действие, например, прикоснется к красному предмету. Они просто добавили правило, срабатывающее по его мыслям, без необходимости переобучения модели. Клун был удивлен тем, насколько хорошо сработал этот подход. «Вы, вероятно, все время берете в руки ножи, но слова «Я собираюсь взять нож» не появляются у вас в голове», - сказал он. Но агент последовательно действовал заранее, позволяя сработать мерам безопасности.

Исследователи обучали свои системы с нуля. Ху говорит, что в будущем они могут попытаться добавить компонент внутреннего монолога к предварительно обученным моделям, таким как OpenAI GPT-4 Vision, которая уже содержит элементы общих знаний и рассуждений. В конечном итоге они надеются, что их агенты по клонированию мыслей научатся полезным навыкам из массы информации в таких источниках, как видеоролики на YouTube, где рассказчик описывает каждый шаг. «Каждое видео, где кто-то говорит: «Сейчас я покажу вам, как приготовить круассан», или приготовить саг-панир, или заменить карбюратор на этом старом «Шевроле», или починить спущенное колесо, или отредактировать фотографию в Photoshop, или написать книгу, полететь на Expedia или построить дом в Minecraft — все это станет пищей для обучения», - говорит Клун.

«Я думаю, что идея видео на YouTube очень интересна», — говорит Шуньюй Яо, ученый-компьютерщик из Принстонского университета, который недавно разработал ReAct, еще одну систему для рассуждения и действия. По его словам, такой подход может быть возможен, если исследователям «предоставятся ресурсы уровня OpenAI». Однако это также может привести к новым опасениям по поводу того, что разработчики ИИ получают прибыль от контента, который они не создавали.

В мире, где ИИ может клонировать наши способности абстрагировать и адаптироваться, «мы можем внедрить интеллект людей и их ясные и мощные мыслительные процессы прямо в агентов ИИ», — говорит Клун. «Это простая задача для человека, но гигантский скачок вперед для ИИ или чего-то в этом роде», — говорит он, очевидно, подыскивая правильные слова.