Ричард Саттон, лауреат премии Тьюринга 2024 года и один из создателей обучения с подкреплением, покидает стартап Джона Кармака (легендарного программиста id Software, а ныне AI-предпринимателя) Keen Technologies. Об этом он написал в X.
Вместе с коллегой Хуррамом Джаведом Саттон основал новую лабораторию — Oak Lab. Кармака и Keen он похвалил, но объяснил уход желанием пойти «немного другим путём» к пониманию интеллекта.
Диагноз современным нейросетям у Саттона жёсткий: методы глубокого обучения он называет слабыми и неэффективными. По его словам, им нужна не доработка, а полная переработка подхода.
Идея Oak Lab — учить систему на потоке живого опыта, а не на очищенных и размеченных людьми датасетах. В первом исследовательском посте лаборатории Саттон и Джавед показали слабое место стандартных оптимизаторов вроде SGD и Adam: они размазывают ошибку по всем параметрам сразу и не отличают полезный сигнал от шума.
Решение — обновлённая версия старого алгоритма Саттона IDBD, теперь под названием NetworkIDBD. Он учится выделять именно те сигналы, которые что-то предсказывают, и в тестах находит закономерности там, где SGD тонет в шуме.
Цель лаборатории — модель на триллион параметров, которая учится и планирует в реальном времени, потребляя всего 20 ватт. Столько же энергии тратит человеческий мозг. Современные топовые модели один раз обучаются в дата-центрах на мегаваттах энергии, а потом работают в замороженном виде.
Саттон не одинок в этой ставке. Ян Лекун, бывший главный AI-исследователь в компании Цукерберга, ушёл делать ставку на «мировые модели» с бюджетом в миллиард долларов. Дэвид Сильвер, создатель AlphaGo в DeepMind, тоже сделал ставку — но на собственный, другой путь. Все трое считают, что машина должна учиться на опыте, как ребёнок, а не на замороженном слепке интернета.
Oak Lab гонится за целью, о которой мечтает вся индустрия, но которую пока никто не достиг, — и Саттон ставит на это репутацию, построенную за десятилетия в науке. Будущее ИИ, считает он, будет не большим мозгом в большом дата-центре, а маленьким, который никогда не перестаёт учиться.
