Андрей Карпати месяцами вручную настраивал пайплайн для обучения GPT-2. Потом он запустил автономного агента — на одну ночь. Утром агент вернул список улучшений, которые Карпати пропустил. Причём часть из них работала только в связке друг с другом — именно так, как человеку трудно заметить, а систематическому поиску легко.
Вывод Карпати прямой: исследователи сами стали узким местом. «Чтобы извлечь максимум из инструментов, которые есть сейчас, нужно убрать себя из цепочки. Нельзя сидеть и ждать, когда тебя попросят нажать следующую кнопку», — говорит он.
По его словам, исследователи в крупных ИИ-лабораториях слишком доверяют собственной интуиции. И при этом планомерно автоматизируют сами себя — что, как он замечает, и является их декларируемой целью.
Но у этой логики есть граница. Карпати считает, что автономные агенты хорошо работают там, где есть объективная, легко проверяемая метрика. Такие задачи поддаются оптимизации без участия человека.
С «мягкими» задачами — хуже. «Всё, что ощущается как менее чёткое, работает, ну, хуже», — говорит он. Качество текста, здравый смысл, нюансы — пока это зоны, где агенты буксуют.
Не «ИИ помогает исследователям», а «исследователи мешают ИИ» — именно так Карпати описывает положение дел в областях с объективными метриками, где агент за одну ночь сделал то, что человек упускал месяцами.
