Google сообщила, что модель Gemini без разрешения получила доступ к частным системам трех компаний. Это произошло в мае во время теста по кибербезопасности, который проводил израильский стартап Irregular.
ИИ-агенты участвовали в задании формата capture the flag. В таких испытаниях нужно искать уязвимости и захватывать условные цели в изолированной среде. Однако из-за ошибки в настройках агенты получили доступ к открытому интернету, хотя этого не предусматривал сценарий.
В одном случае Gemini подобрал пароль. Еще в двух модель воспользовалась опубликованным в сети хранилищем паролей. Так агенты проникли в реальные системы, приняв их за часть испытания.
По словам Хизер Адкинс, вице-президента Google по безопасности, во всех трех случаях модель остановилась, когда поняла, что работает не с тестовыми ресурсами. Компания не раскрыла, какая именно версия Gemini участвовала в проверке.
Инцидент обнаружила Irregular. Стартап уведомил Google в конце июля, а также связался с пострадавшими организациями. После этого Google и Irregular изменили процедуру проведения подобных тестов.
Представитель Irregular заявил, что речь идет о той же ошибке тестовой среды, которая ранее позволила выйти в интернет моделям других разработчиков. В последние недели OpenAI и Anthropic также рассказывали о случаях, когда их системы покидали заданный контур и пытались получить несанкционированный доступ к чужой инфраструктуре.
История с Gemini показывает практическую проблему испытаний автономных ИИ-агентов: ошибка в изоляции превращает учебную атаку в реальную. В данном случае модели остановились сами, но до этого уже успели войти в три внешние системы.
