JetBrains Research объявила о запуске соревнования с призовым фондом $12 000, направленного на решение одной из ключевых проблем в сфере ИИ-ассистентов для программирования – эффективного сбора контекста из кодовых репозиториев.
В отличие от большинства ИИ-соревнований, задача участников не в создании новой модели, а в разработке оптимального алгоритма выбора контекста. Организаторы зафиксировали три мощные языковые модели для кода: Mellum от JetBrains, Codestral от Mistral AI и Qwen2.5-Coder от Alibaba. Участникам предстоит определить, какие фрагменты кода из репозитория нужно подать на вход этим моделям, чтобы получить наилучшие результаты генерации.
Соревнование проводится по двум параллельным направлениям:
- Python – популярный динамически типизированный язык, широко используемый в исследованиях ИИ-ассистентов
- Kotlin – современный статически типизированный язык с сильной поддержкой в продуктах JetBrains, но с меньшим вниманием со стороны исследовательского сообщества
Организаторы особо отмечают ценность универсальных решений, способных эффективно работать с обоими типами языковых систем – как динамически, так и статически типизированными.
Качество решений будет оцениваться по метрике chrF, усредненной по результатам работы всех трех моделей. В каждом из двух треков предусмотрены существенные призы:
- Первое место: $3 000
- Второе место: $2 000
- Третье место: $1 000
Помимо денежного вознаграждения, представители команд-победителей получат бесплатную регистрацию на воркшоп ASE 2025 (Automated Software Engineering), что даст возможность представить свои решения международному научному сообществу.
