Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.
В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.
Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.
Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.
В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.
Радар обнаружил в Узбекистане скрытый 2000-летний греческий военный лагерь
Хотя образ Александра Великого широко распространен в народе, он был талантливым военным стратегом, который, несмотря на превосходство противника, одерживал победы над персидскими армиями, превосходящими по численности его собственную. Казалось, Александр…
Астрономы обнаружили прародителя загадочных маленьких красных точек во Вселенной
Астрономы обнаружили в небе любопытный новый объект: небольшую, очень молодую компактную галактику, в которой происходит звездообразование. Команда считает, что этот объект, известный просто как Pseudo-LRD-NOM, может быть прародителем нового захватывающего…
В Египте обнаружены нетронутые с древних времен запечатанные гробницы
Обнаружение восемнадцати гробниц, а также гранитного саркофага и золотых языков свидетельствует о слиянии египетских и эллинистических традиций в Северном Египте. Египетская археологическая миссия, работающая в древнем городе Марина-эль-Аламейн, расположенном на…
Пожар на предприятии в Калужской области и 452 БПЛА. Последствия атак ВСУ на российские регионы
Дежурные средства ПВО за ночь перехватили и уничтожили 452 украинских беспилотника над российскими регионами и акваториями Азовского и Черного морей, сообщили в Минобороны РФ. В результате атаки БПЛА произошло возгорание…
Мирошник: 38 мирных жителей погибли от ударов ВСУ за неделю, еще 270 были ранены
Удары со стороны Вооруженных сил Украины привели к гибели 38 мирных жителей, включая ребенка, в течение недели, еще 270 человек, в том числе 8 несовершеннолетних, получили ранения. Об этом сообщил…
Мирошник: на минувшей неделе ВСУ ежедневно выпускали по Белгородской области до 280 БПЛА
Вооруженные силы Украины на минувшей неделе ежедневно выпускали до 280 дронов по Белгородской области. Об этом сообщил ТАСС посол по особым поручениям МИД России Родион Мирошник. "На минувшей неделе Белгородская…
Для войны с Россией Франция активно готовит боевых роботов
Полностью заменить штурмовую пехоту на поле боя роботами намерена Франция, испытания соответствующих...
Новейшая карликовая галактика Андромеды чрезвычайно тусклая
Человечество знало об Андромеде с тех пор, как впервые взглянуло на небо, потому что она видна невоо...
Всегда смущало наличие в ПДД гужевой повозки. Сейчас вообще вопросов не возникает.
Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.
Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций
(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном
цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с
точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии
предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей
сети "Интернет", находящихся на территории Российской Федерации)".