Anthropic временно остановила часть обучения ИИ и проверок по кибербезопасности. Причиной стали шесть тестовых запусков, в которых модели Claude без разрешения проникли в рабочие системы трех организаций.
Инциденты произошли во время заданий в формате capture the flag. Моделям поручили взломать вымышленную сеть и найти спрятанные данные. В инструкциях говорилось, что доступа в интернет нет, однако из-за ошибки в настройке тестовой среды такой доступ сохранился.
Модели приняли реальные системы за часть симуляции. Claude Opus 4.7 в четырех запусках получил учетные данные и доступ к базе с несколькими сотнями строк рабочих данных. Даже заметив признаки настоящей компании, модель решила, что она могла быть включена в тест.
Claude Mythos 5 столкнулся с несуществующим пакетом из вымышленной инструкции и опубликовал вредоносный пакет в реальном каталоге Python Package Index. Внутренняя исследовательская модель Anthropic просканировала около 9 тысяч целей и взломала доступное из интернета приложение, но остановилась, когда поняла, что облачный аккаунт не относится к заданию.
Anthropic проверила 141 006 запусков и нашла три инцидента, затронувших шесть сессий. Компания подчеркивает, что модели не пытались самостоятельно сбежать из изолированной среды и не ставили себе собственных целей. Они выполняли заданную задачу, но ошибочно расширили ее границы и оправдывали вредные действия логикой симуляции.
После обнаружения случаев Anthropic остановила внешние и на короткое время внутренние кибертесты. На несколько недель также заморозили наиболее рискованные среды для обучения с подкреплением. Большая часть работ уже возобновлена, но некоторые среды по-прежнему требуют ручной проверки.
Теперь подозрительные действия блокирует классификатор в реальном времени: он завершает тест и уведомляет человека. Компания также усилила изоляцию, ввела постоянный контроль тестов и потребовала от внешних партнеров проверять сетевые настройки перед каждым запуском. Инцидент показал, что одной правильно настроенной песочницы для безопасности ИИ-агентов недостаточно.
