Лаборатория Thinking Machines Lab, основанная бывшим техническим директором OpenAI Мирой Мурати, впервые рассказала о своем проекте по созданию более стабильных ИИ-моделей. В блоге компании появилась статья о работе над воспроизводимостью ответов искусственного интеллекта.

Исследовательская статья под названием «Победа над недетерминизмом в работе больших языковых моделей» пытается найти причины случайности в ответах ИИ. Например, если задать ChatGPT один и тот же вопрос несколько раз, вы получите разные ответы. В ИИ-сообществе это считается нормой, но Thinking Machines Lab видит здесь решаемую проблему.

Автор статьи, исследователь лаборатории Хорас Хи, утверждает, что причина случайности ответов кроется в работе GPU-ядер — небольших программ, которые выполняются внутри чипов Nvidia. По его мнению, тщательный контроль на уровне оркестровки этих ядер может сделать ИИ-модели более предсказуемыми.

Помимо создания более надежных ответов для бизнеса и ученых, воспроизводимость ответов может улучшить обучение с подкреплением (RL). Это процесс, при котором ИИ-модели поощряются за правильные ответы. Если ответы будут стабильнее, данные станут менее «шумными», а весь процесс RL — более гладким, считает Хи.

По данным The Information, Thinking Machines Lab планирует использовать обучение с подкреплением для настройки ИИ-моделей под нужды бизнеса.

Мира Мурати в июле сообщила, что первый продукт лаборатории будет представлен в ближайшие месяцы. Он будет «полезен для исследователей и стартапов, разрабатывающих модели на заказ». Пока неясно, будет ли этот продукт использовать технологии из данного исследования.

Thinking Machines Lab также заявила о планах регулярно публиковать статьи, код и другую информацию о своих исследованиях, чтобы «принести пользу обществу и улучшить собственную исследовательскую культуру». Эта статья стала первой в новой серии блога компании под названием «Коннекционизм».

Исследовательский блог дает редкую возможность заглянуть внутрь одного из самых закрытых ИИ-стартапов Кремниевой долины. Хотя он не раскрывает полностью направление развития технологий, он показывает, что Thinking Machines Lab решает важные вопросы на передовой ИИ-исследований. Настоящим испытанием станет способность лаборатории решить эти проблемы и создать продукты на основе своих исследований, чтобы оправдать оценку в 12 миллиардов долларов.