Кембриджская программа по науке и политике в области ИИ (CASP) опубликовала исследование о риске «взрыва интеллекта». Так авторы называют резкое ускорение разработки ИИ, при котором годы прогресса могут уместиться в месяцы, а год работы — в несколько недель.
Под документом подписались более 20 специалистов. Среди них пионеры машинного обучения Джеффри Хинтон и Йошуа Бенджио, главный научный сотрудник OpenAI Якуб Пахоцкий, сооснователь Anthropic Джек Кларк и научный директор Microsoft Эрик Хорвиц. Представители компаний выступили от своего имени.
Речь не обязательно идет о системе, которая самостоятельно переписывает собственный код. ИИ уже помогает писать и проверять программы, проектировать эксперименты, анализировать результаты, создавать обучающие данные и улучшать алгоритмы.
Если автоматизировать большую часть этой цепочки, возникнет петля ускорения. Улучшенные модели будут помогать создавать следующее поколение моделей. Цифровых исследователей можно копировать, запускать параллельно и использовать круглосуточно.
Авторы не утверждают, что такой процесс уже начался или неизбежен. Его могут замедлить нехватка вычислительных мощностей, сложные для автоматизации задачи, убывающая отдача от исследований и длительное обучение новых моделей.
Однако лаборатории уже передают ИИ часть разработки. Anthropic сообщила, что Claude выполнял ведущую роль примерно в 26% изученных внутренних исследовательских задач под контролем сотрудников. В феврале этот показатель был нулевым. Компания также использовала около 30 тысяч внутренних ИИ-агентов.
Исследователи предлагают обязать разработчиков регулярно раскрывать данные об автоматизации, проводить независимые проверки и готовить механизмы остановки опасного ускорения. В их числе — изоляция мощных исследовательских систем и планы на случай экономических и киберугроз.
Главный риск связан со скоростью: когда ускорение станет очевидным, на новые законы, проверки и защитные меры времени уже может не остаться.
