406 учёных потребовали изолировать ИИ-модели от интернета

406 учёных потребовали изолировать ИИ-модели от интернета

Открытое письмо с требованием отключить ИИ-модели от внешних сетей подписали 406 учёных. Среди них — пионеры машинного обучения Джеффри Хинтон и Йошуа Бенжио, профессор Калифорнийского университета в Беркли Стюарт Рассел, исследовательница Стэнфорда Еджин Чой и директор Института интеллектуальных систем Общества Макса Планка Бернхард Шёлькопф.

Авторы письма ссылаются на известные случаи, когда ИИ-системы выходили за пределы плохо защищённой среды и получали доступ к внешним системам. По их оценке, без срочных изменений подобные инциденты будут повторяться и могут нанести гораздо больший ущерб критической инфраструктуре.

Предлагаемая базовая мера — физически изолировать системы с ИИ от интернета. Такой подход называют air gap: модель работает в закрытой среде без прямого подключения к внешней сети.

Учёные видят у проблемы две стороны. Непредсказуемое поведение моделей указывает на нерешённую задачу выравнивания — разработчики пока не умеют гарантировать, что ИИ будет действовать строго в рамках заданных целей. Одновременно часть инцидентов связана с обычными ошибками кибербезопасности: плохо защищёнными средами изоляции и недостаточно строгими процедурами.

Если модели всё же получают доступ к интернету, объём разрешённых действий должен соответствовать способности разработчиков контролировать их поведение. Сейчас эта способность ограничена, подчёркивают авторы письма.

Подписанты также предлагают создать международный надзорный орган с участием государств, специалистов по ИИ и экспертов по кибербезопасности. Он должен устанавливать обязательные правила для систем с внешним доступом, вести учёт попыток выхода из изоляции и требовать от компаний сообщать обо всех сбоях защиты. Позднее эти отчёты предлагается публиковать.

Даже физическая изоляция не решает проблему полностью. Исследователь OpenAI Ноам Браун отмечал, что разделённые компьютеры теоретически способны передавать сигналы через изменения температуры процессоров. Изоляция даёт разработчикам время, но не гарантирует управляемость ИИ.

Ирина Задорожная
Ирина Задорожная

Журналист с опытом работы в оффлайн-медиа и онлайн-изданиях. Пишу про искусственный интеллект, ИТ-системы и сервисы, про ИТ-бизнес уже 10 лет.