Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.
В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.
Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.
Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.
В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.
Ученые объяснили, почему люди раньше умерших хоронили дома, а потом перестали
В далеком прошлом семьи хранили своих умерших дома. Они хоронили их под полом, рядом с очагами и стенами, а также во дворах, где работала семья. Сейчас так почти никто не…
В ДНК человека выявили гены двух вымерших предков
В геноме современного человека хранятся данные и по отголоскам встреч с давно исчезнувшими ветвями развития цивилизации. В новом исследовании, опубликованном в журнале Science, авторы рассказали об обнаружении в ДНК людей…
Горбатые киты исполняют разные части своих песен на разной глубине
Самцы горбатых китов могут петь часами без перерыва, их песни разносятся на многие километры под водой во время зимнего брачного сезона. Исследователи десятилетиями изучали, как звучат эти песни. Однако до…
Возгорание домов в Ярославской области и 605 БПЛА. Последствия атак ВСУ на российские регионы
Средства ПВО в течение прошедшей ночи перехватили и уничтожили 605 украинских беспилотников над российскими регионами, а также акваториями Черного и Азовского морей, сообщили в Минобороны РФ. Возгорание трех частных домов…
В СК РФ рассказали о 640 жертвах после вторжения ВСУ в Курскую область
В Курской области погибли 640 мирных жителей в результате вторжения ВСУ в 2024 году, более 560 человек получили ранения, сообщила официальный представитель Следственного комитета РФ Светлана Петренко. "В результате жестоких…
В Приморье задержали троих подростков за подготовку терактов против бойцов СВО
Сотрудники ФСБ задержали в Приморском крае троих подростков, собиравших данные о местах жительства участников СВО по указанию украинской террористической организации. Об этом сообщили в Центре общественных связей (ЦОС) ФСБ России.…
Россия Армении ничего не должна
Москва системно и жестко разрушает тот фантастический мир, который Пашинян рисует для армянского нас...
Масштабное исследование описывает странные переживания, о которых редко говорят
Люди по всему миру сообщают о необычных переживаниях, которые выделяются на фоне их повседневной или...
Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.
Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций
(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном
цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с
точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии
предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей
сети "Интернет", находящихся на территории Российской Федерации)".