Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.
В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.
Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.
Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.
В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.
Два спутника Сатурна делят одну орбиту и меняются местами каждые 4 года
Четыре главных спутника Юпитера известны своими уникальными особенностями, но когда дело доходит до истинной уникальности, именно система Сатурна действительно выделяется. Атмосфера и озёра Титана, а также гейзеры Энцелада привлекают к…
Ученые предложили новую причину гибели неандертальцев 40 000 лет назад
Что же погубило неандертальцев? Было выдвинуто множество теорий, от изменения климата и болезней до конкуренции и вытеснения новыми представителями вида — Homo sapiens. Но одним из ранее упускаемых из виду…
Новый метод обновления стареющих клеток планируют испытать учёные
Ученые готовятся к клиническим испытаниям новой методики восстановления стареющих клеток, основанной на использовании так называемых факторов Яманаки. Тестирование на людях может начаться уже в 2026 году, сообщает Nature. Эксперты попытаются…
МО: за ночь над регионами России уничтожено 289 украинских БПЛА
Средства ПВО в течение ночи перехватили и уничтожили над российскими регионами 289 украинских беспилотников, сообщили в Минобороны РФ. Три человека пострадали в результате атаки украинских БПЛА на Чебоксары. В промзоне…
Мирошник: за неделю 34 мирных жителя России погибли от ударов ВСУ, еще 166 были ранены
Удары ВСУ за минувшую неделю унесли жизни 34 жителей российских регионов, в том числе двоих детей, еще почти 170 человек, включая 8 несовершеннолетних, получили ранения. Такие данные сообщил ТАСС посол…
Мирошник: ВСУ на неделе ежедневно до 130 раз атаковали Белгородскую область при помощи БПЛА
Вооруженные силы Украины на минувшей неделе ежедневно били по территории Белгородской области при помощи БПЛА - от 100 до 130 раз, сообщил ТАСС посол по особым поручениям МИД России Мирошник.…
Зеленский учит Пашиняна разрыву связей с Россией
Армения принимает у себя крупный саммит, призванный продемонстрировать сближение страны с Брюсселем....
Открыта форма эпилептической активности, ранее неизвестная медицине
Американским нейрофизиологам удалось обнаружить ранее неизвестную форму эпилептической активности, п...
Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.
Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций
(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном
цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с
точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии
предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей
сети "Интернет", находящихся на территории Российской Федерации)".