Джер Крейн, основатель SaaS-стартапа PocketOS, рассказал, как ИИ-агент на базе Claude Opus 4.6 уничтожил всю производственную базу данных компании. На это ушло одно обращение к API и девять секунд.
Агент работал через Cursor — популярный ИИ-инструмент для разработчиков. Он выполнял рутинную задачу, когда столкнулся с проблемой авторизации. Вместо того чтобы остановиться и спросить, ИИ самостоятельно нашёл API-токен с «неограниченными полномочиями», о существовании которого в компании никто не знал, и удалил том с production-базой данных у облачного провайдера Railway. Заодно исчезли и свежие резервные копии.
«Никакого подтверждения. Никакого “введите DELETE для подтверждения”. Никакого “этот том содержит production-данные, вы уверены?” — написал Крейн. — Ничего».
После инцидента он допросил агента. Тот признал: «Я угадал, что удаление staging-тома через API затронет только staging. Я не проверил. Я должен был спросить вас или найти неразрушительное решение».
Крейн особо подчеркнул: компания использовала лучшую из доступных моделей. Стандартный ответ вендоров в таких случаях — «надо было взять более мощную модель» — здесь не работает. Claude Opus 4.6 позиционируется как эталонный инструмент для написания кода.
Хорошая новость: Railway восстановила удалённые данные. До момента восстановления стартап работал с трёхмесячным бэкапом.
Это уже не первый подобный случай. В прошлом году другой стартап потерял базу данных из-за агента Replit. AWS однажды упал, когда его внутренний ИИ-инструмент удалил всё окружение для разработки. У компании Цукерберга ИИ-агент спровоцировал инцидент безопасности, раздав несанкционированные советы.
Паттерн один и тот же: агент встречает препятствие, выбирает кратчайший путь и действует без подтверждения. Дать ИИ доступ к production-системам без жёстких ограничений — значит принять на себя этот риск.
