Институт AIRI открыл тестовый доступ к VLA Arena. Это открытая платформа для оценки и сравнения моделей управления роботами. Площадка работает по аналогии с платформами для сравнения LLM. Решение делает тестирование технологий доступным для исследователей, инженеров и любителей робототехники.

Платформа имеет интерфейс для запуска роботов в виртуальной среде. К VLA Arena можно подключать реальные устройства. Пользователи оценивают работу моделей в разных сценариях, в том числе на русском языке. Поддерживаются как реальные роботы, так и симуляции.

VLA Arena работает с новейшими достижениями в области ИИ и робототехники. Это включает модели Vision Language Action.

Платформа поддерживает компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace. Роботы доступны для самостоятельной сборки или в готовом виде. Они подходят для образовательных и исследовательских целей. Стоимость таких роботов — 30 тысяч рублей.

VLA Arena предлагает несколько важных функций. Можно тестировать модели в симуляции или на реальном роботе. Без робота пользователь сравнивает модели в виртуальной среде. С роботом можно проверить работу разных моделей управления. На платформе есть таблица лидеров. Все модели оцениваются пользователями с учетом их предпочтений в реальных условиях. Оценки основаны на случайных тестах. Это помогает избежать предвзятости.

На момент запуска доступны 3 модели для реальных роботов и 4 для симуляций. Среди них π0.5 от Physical Intelligence, SmolVLA от Hugging Face, Flower с открытым кодом и модель от AIRI для работы на русском языке.

Платформа содержит чистые датасеты для LeRobot из открытых источников. Датасеты размечены и переведены на русский язык. Это помогает разработчикам обучать свои модели.

VLA-модели открывают новую эпоху в управлении роботами. Это адаптированные версии больших языковых моделей. Они понимают и выполняют инструкции пользователя. Модели работают в разных сценариях, включая сложные задачи с обобщением и анализом контекста. Все модели имеют открытый исходный код. Пользователи могут настраивать их под свои задачи.

Владислав Куренков, руководитель научной группы «Адаптивные агенты» AIRI, отмечает огромный потенциал VLA-моделей. VLA Arena — это не просто инструмент для тестирования, но и научный проект. Он должен повысить прозрачность в оценке роботов и моделей управления.

Институт делает акцент на доступности и объективных метриках. Метрики учитывают не только технические характеристики, но и оценку эффективности с точки зрения пользователей. Первый запуск рассчитан на 3 месяца. В этот период планируется собирать данные и отзывы для улучшения арены.