Парадокс заключается в том, что несмотря на впечатляющие достижения, ИИ всё ещё не может заменить даже неопытного стажёра. Это явление специалисты называют «замаскированным парадоксом Моравека». Методология исследования оказалась поразительно простой и эффективной. Учёные засекали время, необходимое человеку на выполнение конкретной задачи, а затем давали эту же задачу ИИ-агенту и оценивали его эффективность.

Результаты анализа показали чёткую закономерность: продолжительность задач, с которыми может справиться ИИ, удваивается примерно каждые 7 месяцев. «Экстраполяция данного тренда показывает, что менее чем через 5 лет мы увидим ИИ-агентов, способных самостоятельно выполнять значительную часть программных задач, которые сейчас занимают у людей дни или недели», — отмечается в исследовании.

Этот тренд подтверждается и на других бенчмарках, например, на SWE-bench. При таком темпе роста — ускорение в 3-4 раза в год — к 2027 году ИИ-агенты смогут справляться с задачами, требующими от человека полного рабочего дня. Этот вопрос особенно актуален в свете того, что современные системы уже пишут код лучше 95% людей, отвечают на вопросы уровня PhD и решают международные математические олимпиады, завоёвывая золотые медали.

Авторы исследования подчёркивают важность прогнозирования возможностей будущих систем ИИ для понимания и подготовки к влиянию мощного искусственного интеллекта. Однако это непростая задача, учитывая, что даже понимание способностей сегодняшних моделей может вызывать затруднения.

Современные передовые ИИ-системы значительно превосходят людей в задачах предсказания текста и обработки знаний, превосходя экспертов в большинстве экзаменационных задач при гораздо меньших затратах. Тем не менее, лучшие ИИ-агенты пока не способны самостоятельно выполнять серьёзные проекты или напрямую заменять человеческий труд, даже в относительно низкоквалифицированной компьютерной работе, такой как удалённая помощь руководителю.