Суббота 21 ноября 2026 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 
 
Ваган Григорян Опубликовано в Наука
Читайте также
Благородный газ поможет узнать, являются ли Уран и Нептун «каменными гигантами» Благородный газ поможет узнать, являются ли Уран и Нептун «каменными гигантами» На протяжении десятилетий астрономы делили планеты внешней части Солнечной системы на две отдельные категории. Юпитер и Сатурн были «газовыми гигантами», состоящими преимущественно из водорода и гелия. Уран и Нептун были…
Ученые объяснили, почему египтяне внезапно прекратили строительство пирамид Ученые объяснили, почему египтяне внезапно прекратили строительство пирамид На протяжении более тысячи лет египетские фараоны возводили монументальные каменные пирамиды, а затем, почти в одночасье, эта традиция исчезла. Почему Древний Египет так внезапно прекратил строительство пирамид? Причины столь же…
В Венгрии на глубине всего лишь лопаты найдено 208 кельтских серебряных монет В Венгрии на глубине всего лишь лопаты найдено 208 кельтских серебряных монет В ходе строительства электростанции в городе Сомбатхей на западе Венгрии было обнаружено сокровище — 208 кельтских серебряных монет, возраст которых превышает 2000 лет. Монеты весом более двух килограммов были найдены…
Интернет и СМИ
Главное за сутки
МО: за ночь над регионами России сбили 275 БПЛА МО: за ночь над регионами России сбили 275 БПЛА Российские средства ПВО перехватили и уничтожили 275 украинских БПЛА над регионами РФ в течение ночи. Об этом сообщили в Минобороны России. "В течение прошедшей ночи (с 20:00 20 ноября до…
Шуваев: в Белгородской области из-за атак ВСУ погибла женщина Шуваев: в Белгородской области из-за атак ВСУ погибла женщина Женщина погибла, еще пять человек пострадали из-за атак ВСУ по Белгородской области за сутки. Об этом рассказал глава региона Александр Шуваев. "К большому горю, при целенаправленной атаке ВСУ в Шебекинском…
Ковальчук: в Брянской области из-за атаки ВСУ пострадали два человека Ковальчук: в Брянской области из-за атаки ВСУ пострадали два человека Двое мужчин пострадали из-за атак ВСУ на Брянскую область. Об этом сообщил губернатор региона Егор Ковальчук. "В деревне Подлесные Новоселки Севского района вражеский дрон-камикадзе атаковал движущийся автомобиль. 44-летний водитель получил…
Тема дня
Лондон в поле зрения Тегерана: Иран расширил фронт противостояния с Британией Лондон в поле зрения Тегерана: Иран расширил фронт противостояния с Британией

Разведка, военная инфраструктура и дипломатия становятся частью единой политической повестки. Для Те...

Фото
Скелет, найденный в Мексике вместе с мамонтом, был один из первых поселенцев Скелет, найденный в Мексике вместе с мамонтом, был один из первых поселенцев

Институт антропологии и исследований (INAH) подтверждает, что скелет Йоцина, найденный в 2021 году в...

Опрос

Станет ли «операция в Алешках» началом чего-то большего?

 

Анекдот дня

Эксперт не исключил также, что существует вероятность, когда при возникновении сочетания некоторых условий могут возникнуть предпосылки для развития того или иного сценария из широкого спектра возможных. Хотя не надо огульно отбрасывать и множенство других потенциальных вариантов.

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

Популярные новости
Интересные материалы
МЫ ВКОНТАКТЕ

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций

(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном

цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с

точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии

предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей

сети "Интернет", находящихся на территории Российской Федерации)".