JetBrains Research объявила о запуске соревнования с призовым фондом $12 000, направленного на решение одной из ключевых проблем в сфере ИИ-ассистентов для программирования – эффективного сбора контекста из кодовых репозиториев.
В отличие от большинства ИИ-соревнований, задача участников не в создании новой модели, а в разработке оптимального алгоритма выбора контекста. Организаторы зафиксировали три мощные языковые модели для кода: Mellum от JetBrains, Codestral от Mistral AI и Qwen2.5-Coder от Alibaba. Участникам предстоит определить, какие фрагменты кода из репозитория нужно подать на вход этим моделям, чтобы получить наилучшие результаты генерации.
Узнать подробнее про клуб ShareAI
Соревнование проводится по двум параллельным направлениям:
- Python – популярный динамически типизированный язык, широко используемый в исследованиях ИИ-ассистентов
- Kotlin – современный статически типизированный язык с сильной поддержкой в продуктах JetBrains, но с меньшим вниманием со стороны исследовательского сообщества
Организаторы особо отмечают ценность универсальных решений, способных эффективно работать с обоими типами языковых систем – как динамически, так и статически типизированными.
Качество решений будет оцениваться по метрике chrF, усредненной по результатам работы всех трех моделей. В каждом из двух треков предусмотрены существенные призы:
- Первое место: $3 000
- Второе место: $2 000
- Третье место: $1 000
Помимо денежного вознаграждения, представители команд-победителей получат бесплатную регистрацию на воркшоп ASE 2025 (Automated Software Engineering), что даст возможность представить свои решения международному научному сообществу.
