Вторник 21 июля 2026 года

 

Вы здесь:  Главная» Все новости» Наука» Угроза безопасности: AI Scientist самостоятельно изменила свой код


Угроза безопасности: AI Scientist самостоятельно изменила свой код

Пятница, 16 Августа 2024 07:46

Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.

 

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.

 

Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.

 

Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

 

В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.

 
 

 

 
Ваган Григорян Опубликовано в Наука   Теги Новости
Читайте также
Биологи выяснили, какие мутации в нейронах связаны с чрезмерным потоотделением Биологи выяснили, какие мутации в нейронах связаны с чрезмерным потоотделением Молекулярным биологам удалось обнаружить, что избыточное потоотделение появляется у некоторых людей при наличии мутаций в натриевых ионных каналах в их нейронах, ответственных за управление функционалом потовых желез. Открытие поможет быстро…
«Пропавшие» чёрные дыры существуют, и ученые теперь знают почему «Пропавшие» чёрные дыры существуют, и ученые теперь знают почему Появились самые убедительные на сегодняшний день доказательства существования недостающей полосы масс черных дыр, причем этот пробел начинается примерно в 45 раз превышающей массу Солнца. Данное исследование проясняет давнюю загадку о…
Ученые разгадали 40-летнюю загадку объекта, возвышающегося над Млечным путем Ученые разгадали 40-летнюю загадку объекта, возвышающегося над Млечным путем На протяжении четырех десятилетий астрономы ломали голову над гигантской петлей, которая, по-видимому, разрастается из центра Млечного пути. Известная как центральная доля Галактики (GCL), эта структура объясняется самыми разными причинами: от…
Интернет и СМИ
Главное за сутки
Попадание в многоквартирный дом во Владимире и 209 БПЛА. Последствия атак ВСУ на российские регионы Попадание в многоквартирный дом во Владимире и 209 БПЛА. Последствия атак ВСУ на российские регионы Средства ПВО за ночь перехватили и уничтожили 209 украинских беспилотников над российскими регионами, а также акваториями Азовского и Черного морей, сообщили в Минобороны РФ. Пожар возник в результате попадания беспилотного…
Мирошник: 69 жителей России погибли от ударов ВСУ за неделю, 364 получили ранения Мирошник: 69 жителей России погибли от ударов ВСУ за неделю, 364 получили ранения Почти 70 мирных жителей РФ, включая двоих детей, погибли за неделю от ударов со стороны Вооруженных сил Украины (ВСУ), более 360 человек, в том числе 12 несовершеннолетних, получили ранения. Об…
ФСБ России предотвратила теракт на крупном предприятии на Урале ФСБ России предотвратила теракт на крупном предприятии на Урале Сотрудники ФСБ предотвратили теракт спецслужб Украины на одном из крупных промышленных предприятий на Урале. Готовивший теракт 60-летний житель Тюмени ликвидирован при оказании вооруженного сопротивления, сообщили в Центре общественных связей (ЦОС)…
Тема дня
Союзников ФРГ пугает образ немецкой ядерной бомбы Союзников ФРГ пугает образ немецкой ядерной бомбы

«Это резко изменит баланс сил в Европе», – такими словами эксперты оценивают возможность обретения Г...

Фото
Находки на месте древнего кораблекрушения переписывают историю торговли Сицилии Находки на месте древнего кораблекрушения переписывают историю торговли Сицилии

Участок акватории между Ачиреале и Ачи-Кастелло, расположенный на восточном побережье Сицилии, стал ...

Опрос

Как вы оцениваете риск возникновения военного конфликта в Молдавии и Приднестровье?

 

Анекдот дня

Ощущение, что кто-то просыпается и говорит: "Алиса, сделай ещё хуже."

Еще »

Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.

Интересные материалы
МЫ ВКОНТАКТЕ

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций

(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном

цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с

точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии

предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей

сети "Интернет", находящихся на территории Российской Федерации)".