Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.
В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.
Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.
Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.
В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.
Земные экстремофилы могут расти в условиях, близких к марсианским
Ученые нашли дразнящие намеки на то, что не только когда-то жизнь существовала на Марсе, но и что она все еще может существовать на Красной планете. Исследование здесь, на Земле, сделало…
Галактика Андромеды подвергается давлению со стороны своего меньшего соседа
Благодаря космическому телескопу «Хаббл» астрономы пролили свет на недавний этап в истории соседней с Млечным Путем галактики Андромеды. Используя данные наблюдений звезд Андромеды, полученные с помощью космического телескопа Хаббл, исследовательская…
Ученые объяснили, почему не существовало крошечных нептичьих динозавров
Динозавры эволюционировали в одних из самых крупных животных, когда-либо обитавших на Земле, но новая математическая модель предполагает, что ранние млекопитающие, возможно, вытеснили их из экологических ниш, предназначенных для самых маленьких…
Пострадавшие и пожар в промзоне в Башкирии. Последствия атак ВСУ на российские регионы
Средства ПВО в течение прошедшей ночи перехватили и уничтожили 362 украинских беспилотника над российскими регионами, а также акваториями Черного и Азовского морей, сообщили в Минобороны РФ. Из-за падения БПЛА в…
Поражены пункт управления ВМС Украины и портовая инфраструктура. Новые удары ВС РФ по объектам на Украние
ВС России продолжают наносить удары по объектам военно-морских сил Украины, используемым в интересах ВСУ, сообщили в Минобороны РФ. ТАСС собрал основное о результатах. Заявление Минобороны ВС России продолжают нанесение ударов…
Укрепление рубля и «генетический код победителя». Встреча Путина с губернатором Лимаренко
Укрепление национальной валюты выгодно гражданам, но для экспортно-ориентированных предприятий создает проблемы. Об этом заявил президент России Владимир Путин на встрече на Итурупе с губернатором Сахалинской области Валерием Лимаренко. Он также…
«Сила причинять вред» не сможет привести Украину к миру
Украина в нынешнем формате существует как антиРоссия, и единственная ее цель – это нанесение нам мак...
Скрытый разлом под Нью-Джерси оказался причиной землетрясения 2024 года
С геологической точки зрения, под нашими ногами происходит множество процессов: слой за слоем переме...
Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.
Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций
(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном
цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с
точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии
предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей
сети "Интернет", находящихся на территории Российской Федерации)".