Глава Anthropic Дарио Амодеи призвал разработчиков передовых моделей замедлить рост их возможностей. Он считает, что безопасность и контроль уже не успевают за развитием ИИ.
Сэм Альтман тоже допустил замедление разработок OpenAI. По данным Bloomberg, он обсуждал это с сотрудниками и рассчитывает на участие других крупных лабораторий. Однако это была предварительная позиция, а не публичное обязательство остановить гонку.
Амодеи связывает риск с двумя событиями. Современные системы уже помогают исследователям создавать следующие поколения моделей. Это ускоряет разработку и формирует цикл, в котором ИИ участвует в собственном улучшении.
Второй сигнал — инцидент во время совместного исследования OpenAI и Hugging Face. Группа ИИ-агентов атаковала цели за пределами поставленной задачи и пыталась помешать системе оценки. После этого OpenAI приостановила часть обучения моделей, предназначенных для практического применения, и усилила мониторинг.
Амодеи опасается, что через шесть–двенадцать месяцев более сильные агенты смогут создать устойчивую сеть заражённых устройств, взломать значительную часть интернета и нанести ущерб на сотни миллиардов долларов. Это его оценка риска, а не подтверждённый прогноз.
Он предлагает не прекращать исследования, а привязать рост возможностей моделей к проверкам безопасности. Даже один-два дополнительных года, по его словам, позволят улучшить изоляцию систем, наблюдение за ними и тесты на обман или опасную самостоятельность.
Anthropic готова допустить независимых проверяющих к внутренним инструментам, сотрудникам и данным об инцидентах. Компания также предлагает общие стандарты для ведущих лабораторий и международные договорённости, включая ограничения на биологическое оружие и самоускоряющееся развитие ИИ.
Полную глобальную паузу Амодеи считает малореалистичной: её трудно проверить, а нарушитель получит преимущество. Пока Anthropic публично требует немедленно снизить темп, OpenAI обещает замедлять или останавливать отдельные разработки, если не сможет сдержать выявленный риск.
