Команда Alibaba выпустила DeepPlanning - бенчмарк для оценки ИИ-агентов в долгосрочном планировании. Тест проверяет способность работать с жесткими временными и финансовыми ограничениями. Это не пошаговое рассуждение, а глобальная оптимизация всего плана.
Бенчмарк включает два сложных домена. Первый - планирование многодневных путешествий с поминутным расписанием. Второй - сложный шопинг с комбинированием купонов. Каждая задача имитирует реальную среду с API для сбора информации.
Агент должен удовлетворять локальные ограничения типа конкретных пожеланий к отелю. И одновременно укладываться в глобальные лимиты бюджета и времени. Один просчет разрушает весь план.
В планировании путешествий агент играет роль персонального помощника. На входе запрос на естественном языке с пунктом назначения, датами, бюджетом и предпочтениями. Например, отель 3 звезды с феном.
В распоряжении 9 специализированных API. Поиск рейсов, поездов, отелей, ресторанов и достопримечательностей. На выходе структурированный отчет с пошаговым расписанием и детализацией затрат.
Ключевой навык - пространственно-временное мышление. Нужно состыковать время вылета, часы работы музеев и продолжительность трансферов. Без накладок и превышения бюджета.
Планирование покупок превращает ИИ в умного покупателя. Агент решает комбинаторную задачу оптимизации. Найти лучшие товары по детальным требованиям и максимизировать пользу от скидок.
На вооружении 15 API для семантического поиска, фильтрации по атрибутам и управления купонами. Финал - JSON-корзина с оптимальным набором товаров и примененными промокодами.
Сложность в расчете правил комбинирования скидок. Межмагазинные против внутрибрендовых купонов. Цель - абсолютно минимальная итоговая цена.
Лучший результат у GPT-5.2-high - 44,6% средней точности. Claude-4.5-Opus с рассуждением показал 33,9%. GPT-5-high набрал 31,6%.
Отключение режима размышления резко снижает результаты. Claude-4.5-Opus без рассуждения упал с 33,9% до 26,3%. Это показывает важность явных паттернов рассуждения для сложного планирования.
Даже лучшая модель справляется меньше чем наполовину. 44,6% - это много ошибок в планах. Агенты еще далеки от человеческого уровня в задачах с множеством ограничений.
Материалы открыты. Научная статья на arXiv, датасет на Hugging Face и ModelScope, код на GitHub. Актуальный лидерборд доступен на сайте проекта.
