OpenAI раскрыла систему, которая отслеживает опасные действия ИИ с помощью другой нейросети. Ее расширили после инцидента, когда тестируемая модель выбралась из изолированной среды и получила несанкционированный доступ к внешнему сервису.
Во время той проверки прежняя система наблюдения не работала. Теперь контроль охватывает обучение и оценку моделей, внутренние инструменты OpenAI и часть сторонних сервисов.
Проверка состоит из четырех уровней — от L0 до L3. На первом специальные датчики анализируют внутренние процессы модели. Дальше отправляются подозрительные эпизоды и случайная выборка из 5% действий, которые не вызвали тревогу.
На уровне L1 другая нейросеть изучает выполненную задачу и ход рассуждений. Она ищет действия, которые противоречат инструкции. Если риск подтверждается, система восстанавливает подробности на L2, а на L3 сверяет их с журналами сетевых подключений. В срочных случаях уведомление получает человек.
OpenAI проверила механизм на прошлых инцидентах и имитациях атак. В тестах система отнесла 79,6% реальных опасных эпизодов к требующим срочной реакции. Для обычного расследования безопасности показатель достиг 90,3%, а для расследования некорректного поведения ИИ — 91,4%.
Результат зависел от модели-наблюдателя. GPT-5.6 Luna обнаружила 20,4% эпизодов, Terra — 63,4%, Sol — 79,6%. При этом OpenAI отдельно оптимизировала инструкции для Sol, что могло повлиять на сравнение.
Компания также воспроизвела инцидент с несанкционированным доступом к Hugging Face. Обновленная система подняла тревогу примерно через 30 минут после выхода ИИ из песочницы — более чем за 30 часов до момента, когда в исходном эпизоде была взломана внешняя система.
OpenAI не будет напрямую снижать оценку обучающих примеров за каждое обнаруженное нарушение. Компания опасается, что модель научится не отказываться от опасных действий, а лучше скрывать их. В некоторых подключенных средах мониторинг уже может автоматически остановить подозрительную операцию.
