Суббота 16 мая 2026 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 

 
Ваган Григорян Опубликовано в Наука   Теги Новости
Читайте также
В Испании обнаружен старейший монументальный мегалитический некрополь  В Испании обнаружен старейший монументальный мегалитический некрополь  Археологическое исследование показало, что на территории Вальделасильи (Ильескас) находилось спланированное кладбище с камерными гробницами, построенными из дерева, глины и камня, первоначальное использование которого датируется 6000 лет назад. Исследователи из нескольких…
Стало понятно, как жизнь уцелела на Земле-«снежке» за 56 млн лет Стало понятно, как жизнь уцелела на Земле-«снежке» за 56 млн лет Новая работа исследователей из Гарвардского университета предполагает, что в эпоху самого сурового оледенения в истории нашей планеты Земля всё же не была полностью закованной в лёд все время. Геологами обнаружены…
Ранние предки человека обрабатывали и транспортировали мясо 1,6 млн лет назад Ранние предки человека обрабатывали и транспортировали мясо 1,6 млн лет назад Как ранние предки человека добывали себе пищу? Этот вопрос может показаться тривиальным, но он имеет важное значение для понимания нашей эволюции. В частности, изучение того, как ранние виды человека сформировали…
Интернет и СМИ
Главное за сутки
МО: за ночь над регионами России сбили 138 украинских БПЛА МО: за ночь над регионами России сбили 138 украинских БПЛА Российские средства ПВО перехватили и уничтожили за ночь над регионами РФ 138 украинских БПЛА. Об этом сообщили в Минобороны России. По информации ведомства, силы ПВО в период с 20:00 мск…
Хинштейн: ВСУ за сутки более 160 раз обстреляли из артиллерии Курскую область  Хинштейн: ВСУ за сутки более 160 раз обстреляли из артиллерии Курскую область  В Курской области за прошедшие сутки сбиты 88 беспилотников Вооруженных сил Украины (ВСУ) различного типа, 163 раза ВСУ применили артиллерию по отселенным районам региона. Погибших нет, сообщил губернатор Александр Хинштейн.…
Кремль анонсировал визит президента Путина в Китай 19-20 мая Кремль анонсировал визит президента Путина в Китай 19-20 мая Президент РФ Владимир Путин 19-20 мая посетит с официальным визитом Китайскую Народную Республику. Об этом сообщили в Кремле. В Кремле отметили, что российский лидер посетит Китай по приглашению председателя КНР…
Тема дня
Разведка США неожиданно стала союзником России в разоблачениях лабораторий Пентагона Разведка США неожиданно стала союзником России в разоблачениях лабораторий Пентагона

В США лопнул еще один миф, касающийся так называемых утверждений российской пропаганды. Виновницей о...

Фото
Обнаружены разломы, сразу стимулирующие и замедляющие вулканическую активность Обнаружены разломы, сразу стимулирующие и замедляющие вулканическую активность

Исследователи обнаружили, как крупные геологические разломы могут одновременно направлять магму к по...

Опрос

С каким чувством вы смотрите в будущее?

 

Анекдот дня

Кто виноват?

Что делать?

А зачем?

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

Интересные материалы
МЫ ВКОНТАКТЕ

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций

(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном

цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с

точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии

предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей

сети "Интернет", находящихся на территории Российской Федерации)".