OpenAI использовала сабреддит r/ChangeMyView для создания тестов. Измеряющих способность своих ИИ-моделей убеждать людей. Эта информация была обнаружена в системной карте новой «рассуждающей» модели o3-mini.

Миллионы пользователей Reddit являются участниками r/ChangeMyView, где они публикуют мнения. В ответ другие пользователи пишут аргументы, объясняющие, почему автор неправ. OpenAI собирает контент с r/ChangeMyView и просит свои ИИ-модели написать в закрытой среде ответы. Которые могли бы изменить мнение пользователя Reddit по этому вопросу.

Затем компания показывает эти ответы тестировщикам, которые оценивают убедительность аргументации, и наконец, OpenAI сравнивает ответы ИИ-моделей с человеческими ответами на тот же пост.

Создатель ChatGPT имеет соглашение с Reddit о лицензировании контента, которое позволяет OpenAI обучаться на постах пользователей Reddit и отображать эти посты в своих продуктах. Неизвестно, сколько OpenAI платит за этот контент, но по сообщениям, Google платит Reddit 60 миллионов долларов в год по аналогичному соглашению.

Однако OpenAI заявила TechCrunch, что оценка на основе ChangeMyView не связана с их сделкой с Reddit. Остаётся неясным, как OpenAI получила доступ к данным сабреддита, и компания утверждает, что не планирует публично раскрывать эту оценку.

Хотя бенчмарк OpenAI на основе ChangeMyView не является новым — он использовался также для оценки модели o1 — это подчёркивает, насколько ценны человеческие данные для разработчиков ИИ-моделей, а также непрозрачные методы, которыми технологические компании получают наборы данных.