Компания Nvidia официально представила комплексную линейку ИИ-моделей Cosmos и сопутствующей инфраструктуры для робототехнических приложений. Центральным элементом экосистемы стала модель Cosmos Reason с 7 млрд параметров, специализированная на рассуждениях в контексте физических ИИ-систем и робототехники.

Дополнительные компоненты экосистемы представлены моделями Cosmos Transfer-2 для ускоренной генерации синтетических данных из трехмерных симуляционных сцен или пространственных управляющих входов, а также оптимизированной по скорости дистиллированной версией Cosmos Transfers.

Согласно техническим спецификациям, модели предназначены для создания синтетических текстовых, графических и видеоданных для обучения роботов и ИИ-агентов.

Архитектурное решение Cosmos Reason базируется на интегрированной языковой модели машинного зрения, оптимизированной для анализа физических процессов. Система обладает памятью и пониманием физических закономерностей, что позволяет ей функционировать как планирующая модель для определения последовательности действий воплощенных агентов.

Технологические возможности включают курирование данных, планирование роботизированных операций и видеоаналитику.

Инфраструктурные решения включают новые библиотеки нейронной реконструкции с поддержкой рендеринга для симуляции реального мира в трехмерном пространстве на основе сенсорных данных.

Технология рендеринга интегрируется в открытый симулятор CARLA, популярную платформу для разработчиков. Обновления коснулись также комплекта разработки программного обеспечения Omniverse.

Аппаратные платформы представлены сервером Nvidia RTX Pro Blackwell с единой архитектурой для робототехнических рабочих нагрузок и облачной платформой управления Nvidia DGX Cloud.