Вторник 26 мая 2026 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 

 
Ваган Григорян Опубликовано в Наука   Теги Новости
Читайте также
Nature: Озвучен способ предотвратить половину случаев онкологии Nature: Озвучен способ предотвратить половину случаев онкологии Специалисты ВОЗ пришли к выводу, что свыше трети случаев злокачественных заболеваний в мире можно предотвратить. По оценкам экспертов, в 2022 году порядка 38% новых диагнозов были коррелированы с факторами риска,…
Астрономы провели уточнение мест поиска внеземных цивилизаций Астрономы провели уточнение мест поиска внеземных цивилизаций Международной группой исследователей под кураторством Клемана Видаля из Свободного университета Брюсселя представлен масштабный обзор вероятных техносигнатур — признаков технологической деятельности внеземных цивилизаций. Работа составляет более 100 страниц и объединяет десятки…
Даже незначительные вулканические извержения могут вызвать глобальные катастрофы Даже незначительные вулканические извержения могут вызвать глобальные катастрофы Когда авиационные власти составляют карты риска выветривания пепла в Северной Атлантике, Исландия занимает первое место. Открытие, сделанное во льду Гренландии, меняет эти расчеты. Крошечные частицы стекла, застрявшие в древнем снегу,…
Интернет и СМИ
Главное за сутки
МО: за ночь над регионами России сбили 59 украинских БПЛА МО: за ночь над регионами России сбили 59 украинских БПЛА Российские средства ПВО с 20:00 мск 25 мая до 07:00 мск перехватили и уничтожили над регионами страны 59 украинских БПЛА самолетного типа. Об этом сообщили в Минобороны России. "В течение…
Мирошник: ВСУ за минувшую неделю ежедневно до 150 раз атаковали Белгородскую область Мирошник: ВСУ за минувшую неделю ежедневно до 150 раз атаковали Белгородскую область По словам посла по особым поручениям МИД России, всего за неделю в регионе погибли 5 мирных жителей, еще 41 человек получил ранения Солдаты Вооруженных сил Украины на минувшей неделе до…
Мирошник: за неделю в России от ударов ВСУ погиб 51 мирный житель, 199 получили ранения Мирошник: за неделю в России от ударов ВСУ погиб 51 мирный житель, 199 получили ранения Почти 200 человек получили ранения, сообщил посол по особым поручениям МИД РФ Свыше 50 жителей субъектов РФ, включая ребенка, погибли за неделю при ударах Вооруженных сил Украины, почти 200 человек…
Тема дня
Зачем Европа и Киев стараются втянуть Беларусь в войну Зачем Европа и Киев стараются втянуть Беларусь в войну

«Украина намеренно создает взрывоопасную ситуацию», «Минск и Москва не поддаются на пустые провокаци...

Фото
Ритуальное захоронение динго раскрывает связь с коренными народами  Ритуальное захоронение динго раскрывает связь с коренными народами 

Более тысячи лет вой динго разносился по австралийским просторам, являясь обычным звуком для коренны...

Опрос

С каким чувством вы смотрите в будущее?

 

Анекдот дня

Кто виноват?

Что делать?

А зачем?

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

Интересные материалы
МЫ ВКОНТАКТЕ

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций

(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном

цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с

точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии

предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей

сети "Интернет", находящихся на территории Российской Федерации)".