Пятница 20 февраля 2026 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 
 
Ваган Григорян Опубликовано в Наука   Теги Новости
Читайте также
Астрофизики: Полное исчезновение грозит Вселенной через 20 миллиардов лет Астрофизики: Полное исчезновение грозит Вселенной через 20 миллиардов лет Учёные продолжают исследовать тёмную энергию. Новые данные говорят о том, что расширение Вселенной сменится сжатием, а итоговым актом её истории станет гибель через феномен «Большого хруста» примерно через 20 миллиардов…
Ученые предложили новую версию образования Средиземного моря Ученые предложили новую версию образования Средиземного моря Исследователи долгое время считали, что 5 миллионов лет назад внезапное масштабное наводнение затопило засушливое, засоленное Средиземное море. Оказалось, что этого, вероятно, не произошло, но драматических событий всё равно было предостаточно.…
Образцы лунной породы ставят под сомнение теорию «поздней бомбардировки» Образцы лунной породы ставят под сомнение теорию «поздней бомбардировки» Появляются результаты анализа образцов, доставленных китайской миссией Chang'e-6 на обратную сторону Луны. Они впервые позволяют детально изучить геологию и историю обратной стороны, а недавняя статья, опубликованная в журнале Science Advances…
Интернет и СМИ
Главное за сутки
МО: за ночь над регионами России сбили 113 украинских беспилотников МО: за ночь над регионами России сбили 113 украинских беспилотников Силы ПВО за ночь сбили 113 украинских беспилотников над российскими регионами, сообщили в Минобороны РФ. Два мирных жителя получили ранения в результате атаки дронов на Брянскую область. Возгорание резервуара с…
Хинштейн: за сутки ВСУ 22 раза атаковали приграничные районы Курской области  Хинштейн: за сутки ВСУ 22 раза атаковали приграничные районы Курской области  В Курской области 18 беспилотников Вооруженных сил Украины (ВСУ) были сбиты за прошедшие сутки, 22 раза ВСУ применили артиллерию по отселенным районам региона. Об этом сообщил губернатор Александр Хинштейн. "Всего…
Тимур Иванов подал иск к МО РФ за игнорирование просьбы об отправке на СВО Тимур Иванов подал иск к МО РФ за игнорирование просьбы об отправке на СВО Бывший заместитель министра обороны РФ Тимур Иванов, осужденный за растрату и вывод около 3,9 млрд рублей из банка "Интеркоммерц", подал иск к Минобороны из-за игнорирования просьбы заключить с ним контракт…
Тема дня
НАТО готовит балто-скандинавский кулак против России НАТО готовит балто-скандинавский кулак против России

От блокады Калининградской области до ударов по Санкт-Петербургу – так эксперты оценивают потенциаль...

Фото
В Сахаре обнаружен удивительный спинозавр, не похожий ни на один из известных В Сахаре обнаружен удивительный спинозавр, не похожий ни на один из известных

Описан новый вид спинозавра с впечатляющим головным убором, и место его обнаружения является веским ...

Опрос

Получат ли США Гренландию?

 

Анекдот дня

Когда вам покажется, что вы не справитесь, вспомните, что вы из поколения, которое писало сочинения на три страницы. Из головы! Ручкой на большой перемене!

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

Интересные материалы
МЫ ВКОНТАКТЕ

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций

(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном

цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с

точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии

предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей

сети "Интернет", находящихся на территории Российской Федерации)".