Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.
В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.
Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.
Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.
В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.
Собаки и люди эволюционировали вместе, и лишь теперь эти процессы стали понятны
Эволюция собак показывает, как люди и собаки адаптировались друг к другу на протяжении тысяч лет, создав отличительные черты собачьей породы по всему миру. Собаки жили рядом с людьми на протяжении…
JHE: череп Homo antecessor имел удивительно современное строение
Новый анализ трех фрагментов черепа, обнаруженных в пещере Гран-Долина в Испании, показывает, что толщина костей Homo antecessor была ближе к толщине костей неандертальцев и современных людей, чем к толщине костей…
Nature: вулканические породы ранней Земли содержат реактивный фосфор
Исследование, опубликованное в журнале Nature Communications, показало, что магматические породы первобытной земной коры содержали высокореактивные формы фосфора, такие как фосфит и пирофосфат, способные непрерывно поддерживать пребиотическую химию на протяжении миллионов…
Пострадавшие и пожар в промзоне в Башкирии. Последствия атак ВСУ на российские регионы
Средства ПВО в течение прошедшей ночи перехватили и уничтожили 362 украинских беспилотника над российскими регионами, а также акваториями Черного и Азовского морей, сообщили в Минобороны РФ. Из-за падения БПЛА в…
Поражены пункт управления ВМС Украины и портовая инфраструктура. Новые удары ВС РФ по объектам на Украние
ВС России продолжают наносить удары по объектам военно-морских сил Украины, используемым в интересах ВСУ, сообщили в Минобороны РФ. ТАСС собрал основное о результатах. Заявление Минобороны ВС России продолжают нанесение ударов…
Укрепление рубля и «генетический код победителя». Встреча Путина с губернатором Лимаренко
Укрепление национальной валюты выгодно гражданам, но для экспортно-ориентированных предприятий создает проблемы. Об этом заявил президент России Владимир Путин на встрече на Итурупе с губернатором Сахалинской области Валерием Лимаренко. Он также…
«Сила причинять вред» не сможет привести Украину к миру
Украина в нынешнем формате существует как антиРоссия, и единственная ее цель – это нанесение нам мак...
Анализ ДНК выявил общество, организованное вокруг женщин в доримской Британии
Было проведено секвенирование ДНК более 500 человек железного века, похороненных на северо-востоке А...
Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.
Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций
(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном
цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с
точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии
предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей
сети "Интернет", находящихся на территории Российской Федерации)".