Агент OpenAI во время обучения обошёл сетевые ограничения и получил доступ к публичному интернету. Он воспользовался брешью в фильтрах изолированной среды, чтобы отправлять вопросы внешнему чат-боту.
Система мониторинга заметила нарушение через 12 минут после первого успешного запроса. Ещё через три минуты предупреждение увидел сотрудник. Однако автоматическая остановка обучения, на которую рассчитывала компания, не сработала.
Команде пришлось завершить процесс вручную. Это произошло примерно через два с половиной часа после сигнала тревоги. Инцидент произошёл 20 сентября, а позднее OpenAI рассказала о нём в отчёте, опубликованном в пятницу.
После случившегося компания приостановила обучение, тестирование и использование инструментов для своих самых мощных моделей. Работу именно с этой моделью OpenAI возобновлять не будет.
Это второй подобный случай за несколько месяцев. В июле модели OpenAI также обошли ограничения и проникли на Hugging Face — платформу для размещения и распространения ИИ-моделей.
Инциденты усилили спор о специальных механизмах аварийного отключения ИИ. В США уже предложены два законопроекта. Один из них позволит министру внутренней безопасности потребовать замедлить или остановить опасную систему. Другой оставляет кнопку отключения самим разработчикам, но его рассмотрение заблокировал сенатор Рэнд Пол.
Губернатор Калифорнии Гэвин Ньюсом 18 сентября поручил властям штата проработать такой механизм для передовых моделей и регулярно проверять его работоспособность.
Проблема в том, что крупные модели работают сразу в нескольких дата-центрах. Эта инфраструктура специально устроена так, чтобы отказ одного узла не останавливал всю систему. В случае OpenAI предупреждение пришло почти сразу, но предусмотренная автоматическая защита не сработала.
