Ключевым изменением стала полная замена датасета с ARC-AGI-1 на совершенно новый ARC-AGI-2. Это радикально меняет правила игры для участников. В предыдущие годы многие победные решения основывались на брутфорсе — методе перебора вариантов. С новым набором данных такой подход практически неосуществим.
А значит, участникам придется разрабатывать более изощренные и интеллектуальные алгоритмы. Организаторы также добавили дополнительную защиту от переобучения (overfit protection) на платформе Kaggle, где будет проходить соревнование. Также изменение касается главного приза — он увеличился с $600 тысяч до $700 тысяч.
Соревнование стартовало 26 марта и продлится до 3 ноября 2025 года. Главная цель участников: достичь 85% точности на закрытом наборе данных ARC-AGI-2 в рамках установленных на Kaggle ограничений по эффективности. При этом дух соревнования заключается в продвижении открытого кода для развития искусственного общего интеллекта (AGI).
Для получения денежного приза участники должны будут опубликовать свой воспроизводимый код и методы в открытый доступ.
Новшеством 2025 года станет требование делиться решением до того, как участник увидит свой финальный результат в таблице лидеров по окончании конкурса. Победители будут определяться по результатам на закрытом наборе данных ARC-AGI-2, в то время как публичный рейтинг во время соревнования будет отражать показатели участников на полузакрытом наборе.
Стоит отметить, что закрытый набор данных налагает ограничения на решения, включая отсутствие доступа к интернету, что делает невозможным использование API-систем, таких как GPT, o3, Claude и других. При этом ARC Prize также размещает открытую таблицу лидеров на arcprize.org/leaderboard, где измеряются результаты на полузакрытом наборе данных без ограничений по вычислительным ресурсам и доступу в интернет, однако эта таблица не является частью призового соревнования.
Главный приз в размере $700 тысяч будет разделен между лучшими командами (до 5), которые наберут не менее 85% в течение годового соревновательного периода. Если никто не достигнет этого результата, главный приз перейдет на следующий год.
Кроме того, организаторы выделили дополнительные $175 тысяч на потенциальные призы, которые будут объявлены позже.
