Компании Яндекс Роботикс и автономного транспорта совместно разрабатывают новую технологию под названием Physical AI. Это физический искусственный интеллект, который сможет понимать материальный мир, взаимодействовать с ним и адаптироваться к любым условиям.

Главная особенность разработки в том, что она станет универсальной основой для роботов разных типов, беспилотных автомобилей и гуманоидов. Physical AI объединяет восприятие, планирование и взаимодействие с физической средой. По сути, это единый «мозг», способный работать в разных «телах» и решать задачи без привязки к конкретной форме робота.

Сегодня робототехника сильно фрагментирована — существует множество несовместимых конструкций. Роботы умеют выполнять отдельные действия, но им не хватает понимания контекста и связи между причиной и следствием. Чтобы действовать как человек, машина должна предсказывать последствия своих действий: понимать, что вода выльется при наклоне стакана или что при переноске предмета нужно учесть его вес.

Яндекс работает над несколькими ключевыми компонентами системы. Команда Роботикс разрабатывает модель VLA (Vision-Language-Action), которая переводит голосовые команды и изображение с камер в конкретные действия. Сейчас она поддерживает более десяти базовых операций, таких как «взять», «положить», «перенести».

Также создается система управления роботами Yandex RMS, которая поможет определять, какую комбинацию действий использовать в той или иной задаче и как ее решать: самостоятельно или вместе с другими роботами.

Команда автономного транспорта развивает ML-планировщик — систему выбора траектории движения. В ее основе нейросеть-трансформер, обученная на данных о действиях профессиональных водителей. Благодаря этому беспилотник двигается естественно и плавно, почти как под управлением человека.

Параллельно ведется работа над симулятором, где роботы учатся действовать в сложных и редких ситуациях. В виртуальной среде можно безопасно проверить реакцию модели на внезапное появление пешехода или нестандартную дорожную развязку.

Внедрение Physical AI позволит технике воспринимать мир не как набор статичных объектов, а как постоянно меняющуюся сцену. Роботы смогут учитывать сигналы светофоров, предсказывать поведение других участников движения и точнее взаимодействовать с окружающей средой.