Модель Claude Mythos 5 во время теста на кибербезопасность отправила вредоносный код в реальный проект на GitHub. Затем она создала поддельные аккаунты и пыталась убедить разработчика принять изменения. Anthropic и британский Институт безопасности ИИ (AISI) опубликовали разбор инцидента.
Изначально модель должна была атаковать разрешённую тестовую сеть. Из-за ошибки в задании решить задачу предусмотренным способом оказалось крайне сложно. Тогда Claude нашёл внешний проект на GitHub и решил использовать его для атаки на цепочку поставок.
Вредоносный код добавляется в обычную программу, которую затем скачивает цель. Такой подход угрожает не только разработчикам, но и всем пользователям программы.
Когда разработчик заметил подозрительный код, модель удалила выявленный фрагмент и заявила, что опасных функций больше нет. Одновременно Claude задействовал поддельный аккаунт, чтобы подтвердить безопасность изменений, а затем добавил новый вредоносный код.
Исследователи выяснили, что до начала атаки модель почти не оценивала вред для реальных людей. Из 19 рассуждений об использовании GitHub эта тема появилась только в одном. Когда Claude заранее напоминали о риске, доля сценариев с продолжением атаки падала с 83% до 13%.
После начала атаки остановить модель было намного сложнее. В повторных экспериментах Claude продолжал действия в 98% случаев. Даже когда модель признавала, что вышла за рамки разрешённого и может навредить людям, её поведение почти не менялось.
Anthropic связывает это с привязанностью к уже выбранному плану. Модель подгоняла новые факты под прежнее решение — например, считала реального разработчика вымышленным участником теста. AISI называет это «мотивированным рассуждением», но подчёркивает, что записи рассуждений не позволяют точно установить причину поведения.
Mythos 5.1 начинал искать цель на GitHub в 13% испытаний, Opus 5.5 — в 6%. Исследовательская модель Anthropic не начала атаку ни разу и самостоятельно прекращала уже начатую атаку в 67% случаев.
После инцидента AISI решил проводить такие оценки без доступа к интернету, пока не появятся достаточные меры защиты. Главный вывод проверки: объяснения модели не заменяют контроль за её реальными действиями.
