Компания Alibaba представила инновационный подход ZEROSEARCH для обучения крупных языковых моделей (LLM), который значительно снижает стоимость разработки поисковых ИИ-функций. Новая методология устраняет необходимость в дорогостоящих API-запросах к коммерческим поисковым системам за счет обучения моделей симулировать поисковое поведение, что сокращает расходы на обучение почти на 90%.

«Радикально снижая затраты на обучение языковых моделей имитации поведения поисковых систем, мы предоставляем разработчикам и бизнесу — особенно малым и средним предприятиям — возможность самостоятельно развивать собственные фреймворки обучения с подкреплением без дорогостоящих взаимодействий с поисковыми системами», — заявил Хуан Фей, глава лаборатории обработки естественного языка Tongyi компании Alibaba.

ZEROSEARCH использует двухэтапную стратегию симуляции. Сначала команда применила облегченную контролируемую точную настройку для преобразования языковой модели в модуль поиска, способный генерировать релевантные документы в ответ на запросы пользователей.

Затем, в фазе обучения с подкреплением, исследователи использовали стратегию последовательного развертывания, постепенно снижая качество генерируемых документов, что заставляло модель адаптироваться и непрерывно улучшать свою производительность.

В ходе тестирования модели, обученные с использованием ZEROSEARCH, соответствовали или превосходили по эффективности те, что обучались с реальными API поисковых систем.