OpenAI почти перекрыла доступ к скрытым рассуждениям GPT-6.2

OpenAI почти перекрыла доступ к скрытым рассуждениям GPT-6.2

OpenAI усилила защиту внутренних рассуждений моделей GPT-6.2 Astra и GPT-6.2 Sol. В автоматических тестах атаки на Astra стали успешными менее чем в 1% случаев.

Речь идет о попытках вытащить скрытую цепочку рассуждений модели. Она помогает системе сформировать ответ, но не предназначена для передачи пользователю или другим моделям.

Особенно заметно улучшилась защита данных из предыдущих запросов. У GPT-6 Astra такие атаки срабатывали в 54% случаев. У GPT-6.2 Astra показатель снизился до 0,2%.

Для текущего запроса доля успешных атак упала с 22,9% до 0,9%. Результаты получили в адаптивном тестировании методом «черного ящика»: шесть атакующих моделей меняли тактику в зависимости от ответов защищаемой системы.

Защита работает на нескольких уровнях. OpenAI дополнительно обучает модели, проверяет входящие и исходящие сообщения, а также обращения к инструментам. Отдельные ограничения в API не позволяют старым моделям читать защищенные рассуждения.

Часть новых механизмов компания переносит и в GPT-6 Astra. Одновременно OpenAI борется с массовыми кампаниями по дистилляции — так называют обучение одной модели на ответах другой, чтобы воспроизвести ее возможности. Из-за подобных операций компания еженедельно блокирует от нескольких тысяч до десятков тысяч аккаунтов.

С той же проблемой сталкивается Anthropic. Компания также блокирует десятки тысяч аккаунтов и заявляет, что останавливает от 90% до 99% попыток систематической дистилляции. Anthropic призвала технологические компании и регуляторов координировать меры против таких атак.

Юлия Самойлова
Юлия Самойлова

Пишет о технологиях искусственного интеллекта с 2019 года. Специализируется на материалах о практическом применении ИИ в различных отраслях.