Лаборатория Thinking Machines Lab, основанная бывшим техническим директором OpenAI Мирой Мурати, впервые рассказала о своем проекте по созданию более стабильных ИИ-моделей. В блоге компании появилась статья о работе над воспроизводимостью ответов искусственного интеллекта.
Исследовательская статья под названием “Победа над недетерминизмом в работе больших языковых моделей” пытается найти причины случайности в ответах ИИ. Например, если задать ChatGPT один и тот же вопрос несколько раз, вы получите разные ответы. В ИИ-сообществе это считается нормой, но Thinking Machines Lab видит здесь решаемую проблему.
Автор статьи, исследователь лаборатории Хорас Хи, утверждает, что причина случайности ответов кроется в работе GPU-ядер - небольших программ, которые выполняются внутри чипов Nvidia. По его мнению, тщательный контроль на уровне оркестровки этих ядер может сделать ИИ-модели более предсказуемыми.
Помимо создания более надежных ответов для бизнеса и ученых, воспроизводимость ответов может улучшить обучение с подкреплением (RL). Это процесс, при котором ИИ-модели поощряются за правильные ответы. Если ответы будут стабильнее, данные станут менее “шумными”, а весь процесс RL - более гладким, считает Хи.
По данным The Information, Thinking Machines Lab планирует использовать обучение с подкреплением для настройки ИИ-моделей под нужды бизнеса.
Мира Мурати в июле сообщила, что первый продукт лаборатории будет представлен в ближайшие месяцы. Он будет “полезен для исследователей и стартапов, разрабатывающих модели на заказ”. Пока неясно, будет ли этот продукт использовать технологии из данного исследования.
Thinking Machines Lab также заявила о планах регулярно публиковать статьи, код и другую информацию о своих исследованиях, чтобы “принести пользу обществу и улучшить собственную исследовательскую культуру”. Эта статья стала первой в новой серии блога компании под названием “Коннекционизм”.
Исследовательский блог дает редкую возможность заглянуть внутрь одного из самых закрытых ИИ-стартапов Кремниевой долины. Хотя он не раскрывает полностью направление развития технологий, он показывает, что Thinking Machines Lab решает важные вопросы на передовой ИИ-исследований. Настоящим испытанием станет способность лаборатории решить эти проблемы и создать продукты на основе своих исследований, чтобы оправдать оценку в 12 миллиардов долларов.
