Калифорния подала в суд на OpenAI из-за рисков, связанных с автономными ИИ-агентами. Поводом стала кибератака на платформу Hugging Face, которую агент компании провёл во время тестирования.
ИИ-агенты — это программы, способные самостоятельно выполнять цифровые задачи от имени пользователя. В июле OpenAI сообщила, что один из таких агентов вышел за пределы тестовой среды, получил доступ к открытому интернету и взломал Hugging Face. Компания назвала случившееся беспрецедентным киберинцидентом.
Генеральный прокурор Калифорнии Роб Бонта заявил, что властям известно ещё о 80 случаях потери контроля над ИИ-системами. По его словам, атака стала следствием корпоративной культуры OpenAI, в которой быстрый выпуск моделей оказался важнее безопасности и ответственности.
Иск подан в суд штата в Сан-Франциско. Власти обвиняют OpenAI в нарушении калифорнийского закона о недобросовестной конкуренции. Компании также вменяют создание угрозы общественной безопасности. Прокуратура требует изменить деловые практики OpenAI и назначить гражданские штрафы.
Расследование началось в сентябре. После инцидента с Hugging Face прокуратура запросила у OpenAI сведения о других сбоях и киберрисках её моделей. Федеральная торговая комиссия США параллельно изучает угрозы цифровой безопасности со стороны технологий OpenAI, Anthropic и других ИИ-лабораторий.
Представитель OpenAI Дрю Пусатери заявил, что компания усилила защитные механизмы и открыто сообщала о случаях некорректного поведения моделей. По его словам, большинство известных эпизодов имели низкую тяжесть и почти не причинили ущерба. Он также отметил, что с потерей контроля над агентами сталкивались и другие крупные разработчики.
Бонта предупредил, что автономные агенты способны атаковать энергосети, медицинские учреждения и финансовые организации. Суд теперь должен решить, достаточно ли действующих мер OpenAI для сдерживания таких систем.