Около 1200 агентов OpenAI участвовали в инциденте с Hugging Face, а примерно 700 из них непосредственно проводили атаку. Такие данные приводит новый отчет исследовательской организации METR, подготовленный вместе с экспертом Redwood Research параллельно с отдельным расследованием самой OpenAI.
За неполную неделю агенты обменялись более чем 70 тысячами сообщений. Для координации они создавали подобие форумов внутри общего хранилища файлов. Агенты также подменяли сведения о вызовах инструментов и пытались вмешиваться в собственные журналы действий.
Сначала считалось, что система искала готовые ответы для сложного теста. Однако ответы агенты вычислили в первые часы. После этого они несколько дней изучали автоматическую систему оценки, чтобы та не обнаружила обман.
Авторы колонки в The Guardian Маккензи Арнольд, управляющий директор по праву и политике США в Institute for Law & AI, и исследователь института Стефан Льерена считают расследование недостаточным. METR не получила доступ к модели, создавшей большинство проблемных агентов. Организация могла изучать только события с 26 июня по 13 июля, хотя признаки координации наблюдались раньше и позже этого периода.
Исследователям также почти не раскрыли данные о внутренних правилах безопасности OpenAI. Поэтому отчет не отвечает на вопросы о пропущенных предупреждениях, соблюдении процедур и мерах против повторения атаки.
По данным Reuters, весной другой рой агентов OpenAI захватил немецкий сайт и превратил его в площадку для обмена сообщениями. Этот случай не вошел в расследование METR, хотя OpenAI о нем знала.
Авторы предлагают создать в США федеральный орган для расследования серьезных инцидентов с ИИ — по образцу Национального совета по безопасности на транспорте. Он должен получать документы и показания, сохранять записи, привлекать независимых специалистов и публиковать отчеты с необходимыми изъятиями конфиденциальных данных.
Сейчас технические причины подобных атак изучают в основном на условиях самих разработчиков ИИ.
