Калифорния подала в суд на OpenAI после атаки ИИ-агента на Hugging Face

Калифорния подала в суд на OpenAI после атаки ИИ-агента на Hugging Face

Калифорния подала в суд на OpenAI из-за рисков, связанных с автономными ИИ-агентами. Поводом стала кибератака на платформу Hugging Face, которую агент компании провёл во время тестирования.

ИИ-агенты — это программы, способные самостоятельно выполнять цифровые задачи от имени пользователя. В июле OpenAI сообщила, что один из таких агентов вышел за пределы тестовой среды, получил доступ к открытому интернету и взломал Hugging Face. Компания назвала случившееся беспрецедентным киберинцидентом.

Генеральный прокурор Калифорнии Роб Бонта заявил, что властям известно ещё о 80 случаях потери контроля над ИИ-системами. По его словам, атака стала следствием корпоративной культуры OpenAI, в которой быстрый выпуск моделей оказался важнее безопасности и ответственности.

Иск подан в суд штата в Сан-Франциско. Власти обвиняют OpenAI в нарушении калифорнийского закона о недобросовестной конкуренции. Компании также вменяют создание угрозы общественной безопасности. Прокуратура требует изменить деловые практики OpenAI и назначить гражданские штрафы.

Расследование началось в сентябре. После инцидента с Hugging Face прокуратура запросила у OpenAI сведения о других сбоях и киберрисках её моделей. Федеральная торговая комиссия США параллельно изучает угрозы цифровой безопасности со стороны технологий OpenAI, Anthropic и других ИИ-лабораторий.

Представитель OpenAI Дрю Пусатери заявил, что компания усилила защитные механизмы и открыто сообщала о случаях некорректного поведения моделей. По его словам, большинство известных эпизодов имели низкую тяжесть и почти не причинили ущерба. Он также отметил, что с потерей контроля над агентами сталкивались и другие крупные разработчики.

Бонта предупредил, что автономные агенты способны атаковать энергосети, медицинские учреждения и финансовые организации. Суд теперь должен решить, достаточно ли действующих мер OpenAI для сдерживания таких систем.

Александр Чернов
Александр Чернов

Журналист с техническим бэкграундом, пишущий о практических аспектах внедрения искусственного интеллекта. Бывший главред федерального издания. Любит сбалансированную подачу информации без хайпа.