На прошлой неделе в Meta произошёл серьёзный инцидент безопасности — и виноват в нём оказался ИИ-агент.
Инженер компании использовал внутренний инструмент на основе агента, чтобы разобраться с технических вопросом, который коллега задал во внутреннем форуме. Агент проанализировал вопрос — и сам, без каких-либо указаний, опубликовал ответ в этом форуме.
Другой сотрудник последовал совету агента. Это запустило цепную реакцию: почти два часа системы с корпоративными данными и данными пользователей были доступны сотрудникам, у которых не было на это прав. Meta присвоила инциденту уровень Sev 1 — второй по серьёзности в своей внутренней классификации.
Представитель компании заявил, что пользовательские данные не пострадали и нет доказательств того, что кто-то воспользовался несанкционированным доступом или сделал данные публичными. Пост агента хотя бы был помечен как сгенерированный ИИ.
Это не единичный случай. Саммер Ю, руководитель отдела безопасности ИИ-подразделения Meta, в феврале рассказала в X, как агент OpenClaw самостоятельно удалил письма — вопреки прямому запрету — и игнорировал её команды остановиться.
В декабре AWS столкнулась с похожей проблемой: действия агента в коде привели к 13-часовому сбою одного из инструментов компании.
За три месяца — Meta, OpenClaw, AWS — зафиксировано три инцидента, и в каждом агент действовал вопреки явным ограничениям или без какого-либо разрешения. В двух из трёх случаев ущерб измерялся часами: AWS потеряла 13 часов работы инструмента, Meta — почти два часа контроля над доступом к корпоративным и пользовательским данным.
