Исследователи Microsoft показали, как встроить скрытый бэкдор в языковую модель, изменив меньше десяти нейронов. Атака под названием Lazarus не требует повторного обучения и почти не влияет на обычную работу модели.
Некоторые нейроны активируются крайне редко. Авторы Lazarus научились перепрограммировать их так, чтобы они распознавали заданный сигнал. Для подготовки такого механизма хватило простого классификатора, обученного примерно на 50 примерах.
После срабатывания изменённый нейрон заставляет модель вывести нужный злоумышленнику токен — часть слова или команды. Несколько таких нейронов можно связать в цепочку и получить более длинную инструкцию для выполнения в терминале.
Сигнал не обязан выглядеть подозрительно. В демонстрации ИИ-агент ждал наступления 2027 года, а затем загружал и запускал код, предоставленный атакующим.
Для внедрения Lazarus нужны вычислительные мощности лишь на уровне обычного запуска модели и доступ на запись к её чекпойнту — файлу с числовыми параметрами. Поэтому угроза касается как моделей с открытыми весами, так и внутренних корпоративных систем. Точкой входа может стать взломанная учётная запись, хранилище или часть процесса разработки.
Особенно опасны изменения в моделях, которые управляют ИИ-агентами. Такой агент уже имеет доступ к терминалу и другим инструментам. После активации бэкдора он сможет запускать вредоносный код, похищать данные доступа или выполнять разрушительные команды с выданными ему правами.
Стандартные проверки безопасности могут не заметить вмешательство. Надёжный способ обнаружения требует сравнить изменённые веса с заведомо чистой копией модели.
Microsoft разрабатывает для платформы Foundry проверку происхождения моделей, сканирование весов и криптографические подписи. Компания также советует ограничивать права агентов и подтверждать чувствительные действия вручную.
Lazarus переносит привычную проблему цепочки поставок на новый уровень: скрытая команда может находиться не в программном коде, а прямо в весах модели.
