Известный исследователь ИИ и бывший инженер Google François Chollet объявил о создании некоммерческой организации. ARC Prize Foundation займется разработкой тестов для оценки “человекоподобного” интеллекта ИИ-систем.
Организацию возглавит Грег Камрадт, бывший директор по разработке Salesforce и основатель AI-студии Leverage. Сбор средств начнется в январе.
Фонд будет развивать тест ARC-AGI, разработанный Chollet в 2019 году для оценки способности ИИ приобретать новые навыки за пределами тренировочных данных.
Тест включает головоломки, где ИИ должен генерировать правильные решетки из цветных квадратов, адаптируясь к новым, ранее не встречавшимся задачам.
“В отличие от большинства современных тестов, мы не пытаемся измерять риски ИИ сверхчеловеческими экзаменационными вопросами”, — пояснил Chollet. До этого года лучшие ИИ-системы могли решить лишь треть задач ARC-AGI.
В июне прошлого года было запущено соревнование по созданию ИИ, способного превзойти ARC-AGI. Модель o3 от OpenAI первой достигла проходного балла, но только при огромных вычислительных затратах. Chollet признает, что тест имеет недостатки и подчеркивает, что o3 все еще далека от человеческого интеллекта.
“Настоящий AGI появится тогда, когда станет невозможно создавать задачи, которые легки для обычных людей, но сложны для ИИ”, — заключил исследователь.
