Исследователи Google DeepMind опубликовали революционное исследование, раскрывающее механизмы, благодаря которым большие языковые модели (LLM) извлекают фактическую информацию из обучающих данных.

Для эксперимента ученые использовали нестандартный подход: вместо обучения на терабайтах реальных данных, они создали шесть выдуманных биографий и отслеживали, как модель постепенно переходит от простого правдоподобного повторения к точному воспроизведению фактов. Это позволило детально зафиксировать каждый этап «сжатия» данных в знания.

Это исследование буквально приоткрывает дверь в «черный ящик» нейросетей, демонстрируя, как именно происходит загадочный процесс превращения огромных массивов текста в структурированные знания.

Результаты оказались поразительными. Процесс обучения фактам происходит не линейно, а в виде трех четко выраженных циклических фаз:

• Фаза начального обучения. На этом этапе модель стремительно усваивает общие статистические закономерности: запоминает частотные даты, слова, имена и названия. Однако в этот период она еще не формирует связей между фактами — например, между человеком и его датой рождения — а просто делает предположения на основе статистических вероятностей.
• Фаза плато. Самый загадочный и продолжительный этап. Внешне кажется, что прогресс остановился: производительность модели стабилизируется, и создается впечатление, что она не усваивает новые связи. Но именно в этот период происходят критически важные внутренние процессы — формируются особые схемы внимания (attention circuits), благодаря которым LLM начинает выделять ключевые элементы текста и устанавливать ассоциации между ними. Интересно, что именно на этой фазе начинают возникать известные всем пользователям ИИ-систем галлюцинации.
• Фаза грокинга. Финальный этап, когда происходит внезапный прорыв. Функция потерь (loss) резко падает, и модель переходит от статистических предположений к точному воспроизведению фактов. Это явление исследователи называют «грокингом» — термином, заимствованным из научной фантастики, обозначающим интуитивное и полное понимание.

Это исследование имеет не только теоретическое, но и огромное практическое значение. Например, оно проливает свет на механизм «катастрофического забывания» — явления, когда при интеграции новых данных модель внезапно теряет ранее усвоенные знания.

Понимание этих циклов обучения может привести к созданию более эффективных методов тренировки LLM, позволяющих ускорить усвоение фактов без потери ранее приобретенных знаний, что открывает новые горизонты для развития искусственного интеллекта.