Пекинская академия искусственного интеллекта (BAAI) представила модель Orca — систему, которая понимает, как меняется мир, но обучалась без единой метки с описанием действий робота.
Обычно роботов учат на размеченных данных: видео плюс запись, какое именно движение к чему привело. Таких данных мало, и это главная проблема всей индустрии. Orca решает её иначе.
Модель тренировали на 125 000 часах видео, 160 миллионах описаний событий и 11,5 миллиона пар “вопрос-ответ”. Часть роликов вообще без подписей — Orca просто училась предсказывать, что произойдёт в следующем кадре сцены. Другая часть — видео с текстовыми описаниями того, как действие меняет состояние сцены. Из этого складывается внутреннее представление о мире, общее для всех задач.
Дальше к этому “ядру” — основанному на языковой модели Qwen3.5 — прикручиваются отдельные модули для конкретных выходов. Текст генерирует штатная языковая голова Qwen3.5, картинки — адаптер поверх Stable Diffusion 3.5, а движения робота — модуль Action Expert, обученный с нуля.
Результат: на пяти задачах манипуляции — расставить книги, сложить миски, зачерпнуть сахар — Orca с версией на 4 миллиарда параметров показывает результат на уровне π0.5, модели, специально обученной на данных с роботов. При этом само ядро Orca ни разу не видело, какое движение соответствует какой картинке — этому её доучивали отдельно, всего на 200 записях на задачу.
Модель также лучше справляется с ошибками: если робот промахнулся при захвате объекта, Orca пробует снова, тогда как π0.5 в примерах из статьи застревает в повторяющихся неудачах.
Авторы подчёркивают: у Orca пока нет звука, силы и тактильных ощущений — только изображение и текст, а сами модели (0,8 и 4 миллиарда параметров) слишком малы для полноценного “мирового моделирования”. В BAAI называют это промежуточным шагом к модели, обученной сразу на всех типах сигналов с нуля.
