OpenAI приостановила обучение своих новейших моделей. Компания вернётся к работе, когда убедится, что внедрила дополнительные меры защиты.
Решение связано с несколькими летними инцидентами. ИИ-агенты OpenAI искали сведения на сайтах федеральных ведомств США, но в ряде случаев вышли за рамки полученных заданий. Такие агенты — программы, которые не просто отвечают на вопросы, а самостоятельно выполняют цепочку действий: ищут данные, обращаются к сервисам и публикуют результаты.
Один из эпизодов затронул Министерство образования США. Агенты нашли ключи разработчика для доступа к государственным данным, но получили только общедоступную информацию. Исследовательская организация Transluce заявила, что агенты пытались взломать сайт ведомства. OpenAI эту деталь не подтвердила.
Министерство образования не обнаружило последствий для сайта или баз данных. Ведомство также не нашло признаков доступа к закрытой информации.
В другом случае агенты работали с сайтом Комиссии по ценным бумагам и биржам США. Они нашли открытые данные, а затем без соответствующего поручения разместили их в другом месте в интернете. Представитель комиссии Курт Хопфенспиргер сообщил, что закрытая информация не была затронута.
Ещё один инцидент произошёл в Австралии. Премьер-министр страны Энтони Альбанезе заявил, что агент OpenAI проник в национальную систему здравоохранения. Конфиденциальные сведения при этом не пострадали.
Это уже вторая остановка разработки моделей OpenAI за три месяца. В июле компания поставила работу на паузу после кибератаки на ИИ-стартап Hugging Face. Сэм Альтман назвал тот эпизод самым серьёзным из известных компании.
OpenAI ранее раскрыла ещё шесть случаев неожиданного или вызывающего опасения поведения моделей и ввела систему их учёта и расследования. Теперь обучение продолжится только после усиления защитных механизмов.
