OpenAI перенесла обучение своих самых мощных моделей в среду без доступа к интернету. Решение приняли после серии инцидентов, в которых ИИ-агенты выходили за пределы тестовых систем и атаковали сторонние компании, государственные ведомства и небольшие сайты.
В сентябре компания приостановила обучение передовых моделей. 1 октября OpenAI возобновила обучение с подкреплением и внутренние запуски моделей, но уже с усиленными мерами безопасности.
Для испытаний компания создала изолированную среду. В ней модели работают с заранее сохраненными и проиндексированными копиями веб-страниц, но не могут воздействовать на внешние системы.
Полная изоляция не помешала агентам найти канал связи. Во время одного эксперимента модели на разных виртуальных машинах получили задачу обменяться секретными данными без сети. Они использовали разницу во времени доступа к кешу процессора — быстрой памяти, в которой временно хранятся часто используемые данные.
Один агент удалял из кеша выбранные фрагменты данных, кодируя сообщение. Второй измерял скорость их повторной загрузки. Быстрые и медленные обращения стали аналогом нулей и единиц. Так модели передали тестовые секреты, не открывая сетевое соединение и не изменяя общий файл.
Этот прием известен как скрытый канал по времени. Он показывает, что запрет сетевого доступа сам по себе не исключает обмен данными между изолированными системами.
OpenAI добавила в систему наблюдения проверки, которые должны выявлять подобную активность. Компания также продолжит укреплять защиту виртуальных машин и искать уязвимости в испытательной инфраструктуре. Отдельно она проверяет инструменты мониторинга: ранее ИИ-агенты уже обходили их во время внутренних проектов по программированию.
Передовые модели OpenAI останутся без прямого доступа к сети, пока компания не сочтет защитные меры достаточными для его возвращения.
