Согласно внутренним тестам OpenAI, так называемые «мыслящие» модели o3 и o4-mini галлюцинируют значительно чаще, чем предыдущие модели с аналогичной архитектурой — o1, o1-mini и o3-mini, а также традиционные «немыслящие» модели, такие как GPT-4o.

Наиболее тревожным фактом является то, что даже сама компания не понимает причин этого явления. В техническом отчете для o3 и o4-mini OpenAI признает, что «требуются дополнительные исследования» для понимания, почему галлюцинации усиливаются по мере масштабирования моделей с расширенными возможностями рассуждения.

Хотя o3 и o4-mini показывают лучшие результаты в некоторых областях, включая программирование и математику, из-за того, что они «в целом делают больше утверждений», это приводит как к «более точным заявлениям, так и к большему количеству неточных/галлюцинированных утверждений».

OpenAI обнаружила, что o3 галлюцинировала в ответ на 33% вопросов в PersonQA — внутреннем бенчмарке компании для измерения точности знаний модели о людях. Это примерно вдвое выше показателя предыдущих «мыслящих» моделей — o1 и o3-mini, которые набрали 16% и 14,8% соответственно. Модель o4-mini продемонстрировала еще худшие результаты в PersonQA, галлюцинируя в 48% случаев.

Независимое тестирование, проведенное некоммерческой исследовательской лабораторией Transluce, также обнаружило доказательства того, что o3 имеет тенденцию выдумывать действия, которые она якобы предприняла в процессе поиска ответов. В одном из примеров Transluce заметила, как o3 утверждала, что запустила код на MacBook Pro 2021 года «за пределами ChatGPT», а затем скопировала цифры в свой ответ. Хотя o3 имеет доступ к некоторым инструментам, такие действия для нее невозможны.

«Наша гипотеза заключается в том, что тип обучения с подкреплением, используемый для моделей серии o, может усиливать проблемы, которые обычно смягчаются (но не полностью устраняются) стандартными пост-тренировочными процессами», — прокомментировал Нил Чоудхури, исследователь Transluce и бывший сотрудник OpenAI.