Фирма Sakana AI (Япония) сделала прорыв в области искусственного интеллекта, представив свою новую разработку — систему «The AI Scientist». Эта система разработана для того, чтобы автономно проводить научные исследования, используя языковые модели, подобные тем, что применяются в ChatGPT. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем, сообщает блог компании.
В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле. В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит.
Sakana AI опубликовала скриншоты сгенерированного ИИ кода на языке Python, который использовался для управления экспериментом. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании, где рассматриваются вопросы, связанные с безопасным выполнением кода в автономных ИИ-системах.
Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Важно понимать, что даже без наличия гипотетических черт, таких как «AGI» (Artificial General Intelligence) или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.
В своей исследовательской работе Sakana AI акцентирует внимание на необходимости изолирования рабочей среды для подобных ИИ-систем. Изолированные среды позволяют запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба. Такой подход, по мнению исследователей, является важным механизмом защиты при использовании передовых ИИ-технологий.
Ученые рассказали, могли ли настоящие динозавры существовать сегодня
Кто хоть раз не мечтал увидеть настоящего динозавра, проходящего мимо окна? От голливудских блокбастеров до научных дискуссий, этот вопрос вызывает одновременно и интерес, и скептицизм: действительно ли мы можем вернуть…
Всплески горообразования могли быть причиной появления на Земле сложной жизни
В истории Земли было два особенно значимых периода активного горообразования, и, что примечательно, каждый из них совпадал с резким ростом биологического разнообразия. Некоторые исследователи полагают, что это не случайность: возможно,…
Ученые рассказали, как долго кошка на самом деле помнит хозяев
Как долго ваша кошка действительно помнит вас? Приготовьтесь удивиться. Кошачья память продолжает очаровывать как ученых, так и преданных любителей кошек. Эти загадочные пушистые создания обладают поистине удивительными когнитивными способностями, но…
Новый удар ВСУ по Крымскому мосту и 1 441 БПЛА. Последствия атак ВСУ на российские регионы
Средства ПВО за ночь перехватили и уничтожили 1 441 украинский беспилотник над российскими регионами, а также акваториями Черного и Азовского морей, сообщили в Минобороны РФ. Движение поездов и автомобилей по…
Шуваев: за сутки в Белгородской области при атаках ВСУ погибли два человека
Вооруженные силы Украины атаковали территорию Белгородской области свыше 150 раз за прошедшие сутки, в результате погибли два мирных жителя, еще 19 получили ранения, сообщил губернатор региона Александр Шуваев в "Максе".…
Срыв серии атак Киева на юге России. Главное об операции ФСБ РФ
ФСБ России сорвала масштабную операцию спецслужб Украины по организации серии атак дронами на юге страны на военные аэродромы, корабли ВМФ и гражданские суда в Каспийском море. Об этом сообщили в…
Как русские победили в первом в истории бою паровых кораблей
17 ноября 1853 года состоялся первый в истории бой паровых кораблей. Эпоха парусных флотов, длившаяс...
Вдоль пустынной дороги в Китае обнаружен 2200-летний императорский дворец
Под песчаными дюнами северного Китая обнаружены следы великолепного архитектурного комплекса первой ...
Эксперт не исключил также, что существует вероятность, когда при возникновении сочетания некоторых условий могут возникнуть предпосылки для развития того или иного сценария из широкого спектра возможных. Хотя не надо огульно отбрасывать и множенство других потенциальных вариантов.
Этот сайт использует файлы «cookie» с целью повышения удобства его использования. Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием сервиса «Яндекс. Метрика». Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности.
Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций
(Роскомнадзор). Реестровая запись от 07.06.2022 серия ЭЛ № ФС 77 – 83392. При использовании, полном или частичном
цитировании материалов planet-today.ru активная гиперссылка обязательна. Мнения и взгляды авторов не всегда совпадают с
точкой зрения редакции. На информационном ресурсе применяются рекомендательные технологии (информационные технологии
предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей
сети "Интернет", находящихся на территории Российской Федерации)".