Воскресенье 28 июня 2026 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 

 
Ваган Григорян Опубликовано в Наука   Теги Новости
Читайте также
Миллиарды лет назад Земля перерабатывала свою поверхность Миллиарды лет назад Земля перерабатывала свою поверхность На ранней Земле поверхность и глубинные слои обычно представляются как отдельные миры. Считается, что субдукция — процесс, в результате которого дно океанов погружается в планету, — началась довольно поздно. Обломки…
Выявлена разница во вредных выбросах от собак разных размеров и людей Выявлена разница во вредных выбросах от собак разных размеров и людей Командой исследователей изучено, как выбросы от маленьких и больших собак воздействуют на качество воздуха в квартирах. Эти результаты сравнили с показателями соответствующих выделений от хозяев питомцев. Результаты анализа изложены в…
Радон в доме создаёт проблемы для учёбы и развития детей Радон в доме создаёт проблемы для учёбы и развития детей Постоянное нахождение в помещениях с высоким содержанием природного радона в воздухе негативно отражается на концентрации внимания детей и подростков и их способностях к решению интеллектуальных задач. Соответствующее исследование опубликовано в…
Интернет и СМИ
Главное за сутки
МО: за ночь над регионами России сбили 213 украинских БПЛА МО: за ночь над регионами России сбили 213 украинских БПЛА Средства ПВО за прошедшую ночь перехватили и уничтожили над регионами РФ, а также над акваториями Черного и Азовского морей 213 украинских БПЛА самолетного типа. Об этом сообщили в Минобороны России.…
В Белгородской области при ударе БПЛА ВСУ по предприятию погиб человек В Белгородской области при ударе БПЛА ВСУ по предприятию погиб человек Мирный житель погиб в результате удара беспилотников ВСУ по производственному предприятию в селе Ржевка Шебекинского округа Белгородской области. Об этом сообщили в оперштабе региона. Мужчина умер на месте от полученных…
ВСУ атаковали мемориальный комплекс под Таганрогом во время фестиваля "Крылья славы" ВСУ атаковали мемориальный комплекс под Таганрогом во время фестиваля "Крылья славы" Число пострадавших от удара ВСУ по территории мемориального музейного комплекса "Самбекские высоты" под Таганрогом в Ростовской области выросло до 12, сообщил губернатор региона Юрий Слюсарь. "По уточненной информации, 12 человек…
Тема дня
Канада заостряет в Арктике натовский кинжал против России  Канада заостряет в Арктике натовский кинжал против России 

36-й саммит НАТО, который состоится 7-8 июля в Анкаре, примечателен по разным причинам. Не в последн...

Фото
JP: У стресса выявили опасную способность провоцировать образование тромбов JP: У стресса выявили опасную способность провоцировать образование тромбов

Острый стресс провоцирует каскад биохимических реакций, физически меняющих структуру крови и повышаю...

Опрос

Что будет с дальнейшими поставками российского газа в Армению?

 

Анекдот дня

Всегда смущало наличие в ПДД гужевой повозки. Сейчас вообще вопросов не возникает.

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

Интересные материалы
МЫ ВКОНТАКТЕ

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций

(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном

цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с

точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии

предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей

сети "Интернет", находящихся на территории Российской Федерации)".