В сфере ИИ грядет новое захватывающее состязание. Известный предприниматель и инвестор Энди Конвинский, сооснователь Databricks, Perplexity и Laude Ventures, объявил о запуске уникального соревнования на Kaggle с призовым фондом в $1,225 млн.

Главный приз в $1 млн — достанется первой команде, чья AI-модель превзойдет отметку в 90% на обновленной версии бенчмарка SWE-bench.

Что делает это соревнование особенным? Во-первых, организаторы радикально решили проблему «загрязнения данных».

Тестовые задания будут собраны только после окончания приема заявок, что исключает возможность предварительной подготовки моделей под конкретные примеры. В отличие от оригинального SWE-bench, где весь датасет GitHub issues находится в открытом доступе, новый тестовый набор останется полностью скрытым до финальной проверки.

Второй интригующий момент — жесткие технические ограничения. Участникам придется уложиться всего в 24 часа работы на 4XL4, что означает серьезные ограничения по вычислительной мощности и памяти. Это делает достижение заветных 90% действительно амбициозной задачей.

Соревнование стартовало 11 декабря 2024 года и продлится всего три месяца. Дедлайн для подачи заявок — 5 марта 2025 года, а финальные результаты будут объявлены 11 июня 2025 года.

Помимо главного приза, организаторы предусмотрели награды для топ-5 участников: от 50 тысяч долларов за первое место до 10 тысяч за места с третьего по пятое. Дополнительно предусмотрены бонусные выплаты за преодоление промежуточных порогов — от 30% до 90%, с шагом в 10%.

Важное условие участия — использование только открытого исходного кода и моделей с открытыми весами. По словам Конвинского, автоматизация решения задач на GitHub позволит разработчикам сосредоточиться на более творческих аспектах программирования: проектировании новых функций, работе над архитектурой и взаимодействии с пользователями.