Компания OpenAI заявила, что атаки типа prompt injection на AI браузеры вряд ли когда-либо удастся полностью устранить. Об этом говорится в блоге компании о новых мерах защиты для браузера Atlas. Режим агента в ChatGPT Atlas “расширяет поверхность угроз безопасности”.
Prompt injection - это атака, при которой злоумышленники манипулируют AI агентами через вредоносные инструкции в веб-страницах или письмах. “Prompt injection, как и мошенничество в интернете, вряд ли когда-либо будет полностью решена”, - написала OpenAI.
Браузер ChatGPT Atlas запустили в октябре. Исследователи сразу показали, что несколько слов в Google Docs могут изменить поведение браузера. Компания Brave подтвердила, что непрямой prompt injection - системная проблема для AI браузеров, включая Comet от Perplexity.
Центр кибербезопасности Великобритании в начале декабря предупредил, что такие атаки “возможно, никогда не будут полностью устранены”. Британское агентство посоветовало снижать риск атак, а не пытаться их остановить.
“Мы рассматриваем prompt injection как долгосрочную проблему безопасности ИИ”, - заявила OpenAI. Ответ компании - активный цикл быстрого реагирования. Он помогает обнаруживать новые стратегии атак до их использования в реальных условиях.
Anthropic и Google используют похожий подход. Защита должна быть многоуровневой и постоянно проверяться.
OpenAI создала “автоматизированного атакующего на базе LLM”. Это бот, обученный с помощью обучения с подкреплением играть роль хакера. Он ищет способы внедрить вредоносные инструкции в AI агент. Бот тестирует атаки в симуляции. Симулятор показывает, как целевой ИИ будет думать и действовать.
“Наш атакующий может направить агента на выполнение сложных вредоносных действий на десятках или сотнях шагов”, - написала OpenAI. Компания обнаружила новые стратегии атак, которые не появлялись во внешних отчетах.
В демонстрации показали, как бот поместил вредоносное письмо во входящие пользователя. AI агент просканировал почту, выполнил скрытые инструкции и отправил письмо об увольнении вместо автоответа. После обновления безопасности режим агента смог обнаружить попытку атаки и предупредить пользователя.
