GenRobot расширила RealOmni OpenData — датасет, который показывает, насколько сложна реальная домашняя среда для роботов. Свежее обновление добавило 35 тысяч клипов с одним из самых проблемных сценариев — разгребанием куч разнородных предметов.

Это задача, на которой ломаются даже продвинутые embodied модели. В лаборатории роботы отлично справляются с аккуратно расставленными объектами. Но дома на столе или полу часто хаос — вещи наваленные друг на друга, перекрывающие друг друга, в случайных позах.

RealOmni собирали не в стерильных условиях. Данные записаны в более 3000 реальных домов. Это складывание одежды, завязывание шнурков, разбор посуды, сортировка. Почти все задачи двурукие — роботу нужно координировать обе руки одновременно.

Датасет использует богатый сенсорный стек. Fisheye камеры для широкого обзора, IMU для отслеживания движений, энкодеры суставов для точной позиции, тактильные датчики с разрешением до миллиметра. Модели учатся не только видеть, но и чувствовать контакт с объектами.

Длина клипов впечатляет. Медиана около 210 секунд — это три с половиной минуты. Не быстрые действия взял-положил, а полные процессы с несколькими этапами. Роботу нужно удерживать цель на протяжении всей задачи.

Объем данных растет. Сейчас доступно примерно 1600 часов видео — это около 5,4 терабайта. Конечная цель — 10 тысяч часов и 95 терабайт. Видео в разрешении 1600×1296 при 30 fps, формат mcap для ROS с кодеком H.264.

Но есть подвохи. Все данные записаны с использованием специфического гриппера GenDAS. Если ваш робот использует другую руку, прямой перенос может не сработать. Придется адаптировать или дообучать.

Второе ограничение — телеоперация. Роботом управлял человек. Модель учится копировать эти движения, включая дрожание рук и неточности оператора. Это не идеальные траектории, а человеческие со всеми недостатками.

Тем не менее, для исследований это золото. Данные по завязыванию шнурков или работе с беспорядком в open source почти не встречаются. Большинство датасетов сфокусированы на простых задачах в контролируемых условиях.

RealOmni показывает реальность. Домашние роботы должны работать в хаосе, с разными объектами, в долгих процессах. Датасет дает материал для обучения именно таким сценариям.

Лицензия CC BY NC SA 4.0 разрешает использование для исследований и некоммерческих проектов. Для академических команд и стартапов на ранних стадиях это шанс получить уникальные данные.