ИИ-агент Fable 5.2 от Anthropic выполнил 41,3% профессиональных заданий в тесте Remote Labor Index. Год назад лучший результат составлял лишь 2,5%.
Рост заметен и на более коротком отрезке. В июле предыдущая версия Fable 5 справлялась примерно с 16% заказов, а Fable 5.1 — менее чем с 18%. За четыре месяца показатель вырос примерно в два с половиной раза.
Ближайшие соперники отстали почти вдвое. Anthropic Opus 5.5 выполнил 21,25% заданий, а GPT 6 Astra от OpenAI — 20,83%. Gemini Argon 4 от Google занял пятое место с результатом 17,08%.
Сильнее всего Fable 5.2 прибавил в обработке аудио и музыки, проектировании интерьеров и архитектуры, а также создании трехмерных моделей. Почти 50 успешно выполненных им заказов до этого не смог решить ни один участник теста.
С промышленным дизайном и анимацией агент по-прежнему справляется плохо. Неудачные попытки часто заканчиваются незавершенными проектами, поврежденными файлами или противоречащими друг другу элементами дизайна.
Remote Labor Index проверяет не отдельные навыки, а выполнение заказов целиком. В набор вошли 240 проектов от 358 проверенных специалистов Upwork общей стоимостью около $144 тысяч. Средний заказ стоил $632,60 и занимал у человека чуть менее 29 часов.
Агенты работают в виртуальной среде с Blender, GIMP, Audacity и другими профессиональными инструментами. Результаты вручную проверяют специалисты: они открывают исходные файлы и сравнивают их с работой фрилансера. Автоматическая проверка с помощью другого ИИ оказалась ненадежной — внешне аккуратные, но технически ошибочные проекты получали завышенные оценки.
Fable 5.2 уже выполняет на профессиональном уровне четыре заказа из десяти, но большинство задач теста ему все еще не удаются.
