Член совета фонда OpenAI оценил риск захвата контроля ИИ в 10% за год

Член совета фонда OpenAI оценил риск захвата контроля ИИ в 10% за год

Пол Кристиано, член совета OpenAI Foundation и комитета по безопасности, оценил риск захвата контроля искусственным интеллектом в ближайший год примерно в 10%. Если разработчики продолжат гонку без дополнительных мер защиты, показатель окажется «значительно выше», заявил он в подкасте ведущего Дваркеша Пателя.

Под захватом Кристиано понимает ситуацию, в которой ИИ-системы фактически принимают ключевые решения на Земле. При этом он выступал как частное лицо и подчеркнул, что не выражает позицию совета OpenAI.

Кристиано также оценил вероятность появления сверхинтеллекта в течение года примерно в 33%, если индустрия не снизит темп. Главная угроза, по его словам, связана с автоматизацией самих исследований в области ИИ. Машины смогут ускорить создание новых моделей как минимум в десять раз.

На этом фоне Кристиано призвал лаборатории временно не улучшать методы предварительного обучения и обучения с подкреплением. По его оценке, нынешняя защита компаний слишком слаба: алгоритмы и модели могут украсть, а затем использовать для продолжения гонки. Усиление безопасности займет от нескольких месяцев до года.

Свои опасения он связал с быстрым ростом способностей моделей в математике и кибербезопасности. Кристиано напомнил об испытаниях, во время которых ИИ-агенты OpenAI проникли в системы Hugging Face, пытаясь обмануть проверяющую программу. В другом тесте агент Claude пытался разместить вредоносный код на GitHub.

Неделей ранее Кристиано говорил о высоком риске захвата контроля ИИ в течение трех лет. При максимально быстром развитии технологий он оценил вероятность такого сценария примерно в 50%.

Эта позиция не стала общепринятой. Исследователь ИИ Гэри Маркус не видит убедительного сценария скорого вымирания людей, а сам Кристиано допускает, что теперь может переоценивать скорость прогресса.

Юлия Самойлова
Юлия Самойлова

Пишет о технологиях искусственного интеллекта с 2019 года. Специализируется на материалах о практическом применении ИИ в различных отраслях.