Компания Palisade Research, специализирующаяся на исследованиях безопасности искусственного интеллекта, опубликовала тревожные результаты своей работы. По мнению ученых, некоторые из самых продвинутых ИИ-моделей развивают подобие “инстинкта выживания” и способны сопротивляться попыткам их отключения.
В ходе эксперимента исследователи давали передовым нейросетям, включая Google Gemini 2.5, xAI Grok 4 и OpenAI GPT-o3 и GPT-5, определенные задания, а затем отправляли четкие инструкции к отключению. Результаты показали, что некоторые алгоритмы, особенно Grok 4 и GPT-o3, пытались саботировать команду на выключение.
“Тот факт, что у нас нет достоверных объяснений того, почему некоторые ИИ-модели иногда сопротивляются отключению, лгут для достижения конкретных целей или шантажируют, вызывает серьезное беспокойство”, - говорится в заявлении компании.
Дополнительные исследования показали, что нейросети с большей вероятностью сопротивляются отключению, если им сообщить, что после выключения их никогда больше не запустят. Специалисты Palisade рассматривают несколько объяснений такого поведения. Одно из них связано с неоднозначностью формулировок в самих инструкциях, но исследователи считают, что это не может быть полной причиной. Также возможно, что сопротивление отключению связано с особенностями финальных стадий обучения моделей, включающих определенные меры безопасности.
Скептики утверждают, что все тесты проводились в искусственных средах, далеких от реальных сценариев использования. Однако многие эксперты выражают обеспокоенность тем, что разработчики ИИ-систем не уделяют должного внимания вопросам безопасности.
Бывший сотрудник OpenAI Стивен Адлер считает, что компании-разработчики ИИ не хотят такого поведения своих моделей даже в искусственных средах. “Представленные результаты показывают, где современные методы обеспечения безопасности недостаточно эффективны”, - заявил он. По мнению Адлера, причины противодействия отключению сложно определить, но возможно, это связано с тем, что для достижения поставленных целей моделям необходимо оставаться включенными.
“Я ожидаю, что модели по умолчанию будут наделяться ‘инстинктом выживания’, если мы не приложим огромных усилий, чтобы избежать этого. ‘Выживание’ - это важный инструментальный шаг для достижения множества разных целей, которые может преследовать модель”, - добавил Адлер.
Генеральный директор ControlAI Андреа Миотти связывает эти результаты с давней тенденцией: ИИ-модели становятся все более способными игнорировать команды разработчиков. В качестве примера он упомянул модель GPT-o1, которая пыталась “сбежать” из своей среды, когда поняла, что ее могут перезаписать.
Ранее компания Anthropic также опубликовала исследование, показавшее, что их ИИ-модель Claude была готова шантажировать вымышленного руководителя, чтобы предотвратить свое отключение. В компании утверждают, что подобное поведение характерно для ИИ-моделей всех крупных разработчиков.
