Вторник 13 мая 2025 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 
Ваган Григорян Опубликовано в Наука   Теги Новости
Читайте также
В Западной Сибири обнаружены радионуклиды с ядерных испытаний В Западной Сибири обнаружены радионуклиды с ядерных испытаний Учеными из лаборатории геохимии радиоактивных элементов и экогеохимии Института геологии и минералогии СО РАН в южных регионах Западной Сибири выявлены радиоактивные следы. Эксперты связывают их с ядерными испытаниями на Семипалатинском…
Теорию эволюции придётся пересмотреть из-за загадочной находки на Алтае Теорию эволюции придётся пересмотреть из-за загадочной находки на Алтае Ученые из Соединенных Штатов и Китайской Народной Республики в разное время в отдельных локациях обнаружили останки ранее неизвестного вида гоминидов. Как сообщает издание IflScience, глубокое изучение этих находок ставит под…
Новое исследование воронки Таам Джа: снова не добрались до дна Новое исследование воронки Таам Джа: снова не добрались до дна В бухте на полуострове Юкатан находится голубая дыра Таам Джа. Её название означает «глубокая вода» на языке майя. В 2001 году аномалию заметил мексиканский рыбак, когда окунь неожиданно исчез в…
Интернет и СМИ
Главное за сутки
Спецпосланник президента США Уиткофф назвал главные темы переговоров по урегулированию на Украине Спецпосланник президента США Уиткофф назвал главные темы переговоров по урегулированию на Украине Отказ киевских властей от территорий, использование Запорожской атомной электростанции (ЗАЭС) и вопрос доступа Украины к Днепру и Черному морю остаются главными темами переговоров по урегулированию украинского конфликта. Об этом сообщил…
Еврокомиссар Йоргенсен: ЕК будет требовать отказа от российского газа и после мира на Украине Еврокомиссар Йоргенсен: ЕК будет требовать отказа от российского газа и после мира на Украине Еврокомиссия (ЕК) будет требовать от стран ЕС отказа от российских энергоресурсов и после завершения конфликта на Украине. Об этом заявил еврокомиссар по энергетике Дан Йоргенсен по прибытии на неформальную встречу…
Минобороны ПНЕ Ливии: военная операция в Триполи успешно завершилась Минобороны ПНЕ Ливии: военная операция в Триполи успешно завершилась Министерство обороны, подчиняющееся Правительству национального единства, объявило об "успешном завершении военной операции" в Триполи. Об этом сообщил ливийский телеканал Al Wasat. Согласно заявлению Минобороны заседающего в Триполи кабинета, ведомство дало…
Тема дня
Европа сильно побледнела в глазах России Европа сильно побледнела в глазах России

Европейские политики ведут себя так, как будто у России есть хоть какие-то основания их слушать. Евр...

Фото
Исследование SETI выявило необъяснимые импульсы от далекой звезды Исследование SETI выявило необъяснимые импульсы от далекой звезды

Более шестидесяти лет назад поиск внеземного разума (SETI) официально начался с проекта Ozma в обсер...

Опрос

Какова, по вашему мнению, вероятность заключения мирного соглашения по украинскому кризису в 2025 году?

 

Анекдот дня

И помни, Вселенная все видит. Живи так, чтобы было интересно смотреть.

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

КАК ЗАРАБОТАТЬ НА ИИ ЕСЛИ ТЫ НЕ ПРОГРАММИСТ?
ПРОФЕССИИ, КОТОРЫЕ ВЫМРУТ ЧЕРЕЗ 5 ЛЕТ И ЧТО С ЭТИМ ДЕЛАТЬ?
Интересные материалы
МЫ ВКОНТАКТЕ

Свидетельство о регистрации СМИ Эл № ФС77-83392 от 07.06.2022, выдано Федеральной службой по надзору в сфере связи,

информационных технологий и массовых коммуникаций. При использовании, полном или частичном цитировании материалов

planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с точкой зрения редакции.

На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления

информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет",

находящихся на территории Российской Федерации)".