Известный исследователь ИИ и бывший инженер Google François Chollet объявил о создании некоммерческой организации. ARC Prize Foundation займется разработкой тестов для оценки «человекоподобного» интеллекта ИИ-систем.

Организацию возглавит Грег Камрадт, бывший директор по разработке Salesforce и основатель AI-студии Leverage. Сбор средств начнется в январе.

Фонд будет развивать тест ARC-AGI, разработанный Chollet в 2019 году для оценки способности ИИ приобретать новые навыки за пределами тренировочных данных.

Тест включает головоломки, где ИИ должен генерировать правильные решетки из цветных квадратов, адаптируясь к новым, ранее не встречавшимся задачам.

«В отличие от большинства современных тестов, мы не пытаемся измерять риски ИИ сверхчеловеческими экзаменационными вопросами», — пояснил Chollet. До этого года лучшие ИИ-системы могли решить лишь треть задач ARC-AGI.

В июне прошлого года было запущено соревнование по созданию ИИ, способного превзойти ARC-AGI. Модель o3 от OpenAI первой достигла проходного балла, но только при огромных вычислительных затратах. Chollet признает, что тест имеет недостатки и подчеркивает, что o3 все еще далека от человеческого интеллекта.

«Настоящий AGI появится тогда, когда станет невозможно создавать задачи, которые легки для обычных людей, но сложны для ИИ», — заключил исследователь.