Понедельник 17 августа 2026 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 
 
Ваган Григорян Опубликовано в Наука   Теги Новости
Читайте также
Ученые выяснили, как мышечные клетки помогают восстанавливать сломанные кости Ученые выяснили, как мышечные клетки помогают восстанавливать сломанные кости Заживление переломов — сложный процесс, в котором участвуют разные типы клеток. Учёные давно знают, что остеобласты — клетки, формирующие костную ткань, — помогают восстанавливать повреждённые кости. Однако теперь исследователи обнаружили,…
Древние кости пингвинов хранят секреты климата, которые были скрыты миллионы лет Древние кости пингвинов хранят секреты климата, которые были скрыты миллионы лет Окаменелые кости пингвинов из Антарктиды — это не просто остатки вымершего вида. Согласно новому исследованию, они представляют собой химические архивы, сохраняющие информацию об условиях окружающей среды, в которой они были…
Один скрытый фактор может превратить похожие на Землю планеты в адские пейзажи Один скрытый фактор может превратить похожие на Землю планеты в адские пейзажи Венера вращается в 60 раз медленнее, чем показывают её облака. Новое исследование предупреждает, что сотни других планет могут ввести нас в заблуждение таким же образом. Астрономы готовятся изучить сотни планет,…
Интернет и СМИ
Главное за сутки
Погибший в Брянской области и 205 БПЛА. Атака ВСУ на российские регионы  Погибший в Брянской области и 205 БПЛА. Атака ВСУ на российские регионы  Российские средства противовоздушной обороны уничтожили 205 украинских беспилотников самолетного типа над регионами РФ и акваториями Азовского и Черного морей за прошедшую ночь. Об этом сообщили в Минобороны России. Один человек…
Шуваев: в Белгородской области из-за ракетного удара ВСУ погибли шесть человек Шуваев: в Белгородской области из-за ракетного удара ВСУ погибли шесть человек Вооруженные силы Украины обстреляли ракетами село Колосково Белгородской области. Шесть человек погибли, четверо пострадали, сообщил врио губернатора Александр Шуваев в "Максе". ТАСС собрал основное о происшествии. Ракетный удар по Белгородской…
Жителя Севастополя задержали за сбор данных об объектах Минобороны для Украины Жителя Севастополя задержали за сбор данных об объектах Минобороны для Украины Сотрудники ФСБ задержали по подозрению в госизмене 54-летнего жителя Севастополя, собиравшего для СБУ данные об объектах Минобороны России на полуострове. Об этом сообщили в Центре общественных связей (ЦОС) ФСБ России.…
Тема дня
В миграционном цунами Сеуты виноват только Евросоюз В миграционном цунами Сеуты виноват только Евросоюз

Миграционный кризис в испанской Сеуте – а он развивается – вновь напомнил об одной из тяжелейших про...

Фото
Ученые выяснили, как первые птицы на Земле научились летать Ученые выяснили, как первые птицы на Земле научились летать

Полёт птиц в его современном виде не появился внезапно. Ранние пернатые животные всё ещё обладали че...

Опрос

Кто первый посягнет на западные регионы Украины?

 

Анекдот дня

Ощущение, что кто-то просыпается и говорит: "Алиса, сделай ещё хуже."

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

Интересные материалы
МЫ ВКОНТАКТЕ

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций

(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном

цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с

точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии

предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей

сети "Интернет", находящихся на территории Российской Федерации)".