Компания Runway, ведущий разработчик ИИ-инструментов для генерации видео, официально выпустила свою новую революционную модель Gen-4, которая, по заявлениям разработчиков, поднимает планку качества ИИ-генерации на беспрецедентный уровень.

«Gen-4 может использовать визуальные референсы в сочетании с инструкциями для создания новых изображений и видео с сохранением одинаковых стилей, субъектов, локаций и многого другого», — заявляет компания, — «Всё это без необходимости дополнительной тонкой настройки или обучения».

Для тех, кто не знаком с Runway, стоит отметить, что это специализированный ИИ-сервис для создания видеоконтента с помощью искусственного интеллекта, имеющий серьезную поддержку от таких технологических гигантов, как Salesforce, Google и Nvidia.

На рынке генерации видео Runway сталкивается с жесткой конкуренцией со стороны OpenAI и Google, но компания активно дифференцирует себя, заключая контракты с крупными голливудскими студиями и выделяя миллионы долларов на финансирование фильмов с использованием ИИ-генерации.

Новый Gen-4 впечатляет не только визуальным качеством (которое, как обычно, выглядит безупречно в релизных демонстрациях), но и принципиально новыми функциональными возможностями. Ключевым прорывом стала способность модели сохранять последовательность персонажей и объектов на протяжении всего видеоряда — теперь созданные персонажи остаются консистентными во всех сценах истории.

Помимо последовательности персонажей, Gen-4 обеспечивает сохранение стиля, настроения и кинематографических элементов в каждом кадре. Модель также способна симулировать реальные физические процессы, что позволяет создавать визуальные эффекты для видео значительно быстрее. Особенно впечатляет возможность регенерации элементов с разных перспектив и позиций внутри сцен, что открывает новые возможности для творческого процесса.

«Gen-4 превосходит аналоги в способности генерировать высоко динамичные видео с реалистичным движением, а также обеспечивать последовательность субъектов, объектов и стиля с превосходным соблюдением запросов пользователя и лучшим в своем классе пониманием мира», — утверждают в Runway. «Runway Gen-4 также представляет собой значительную веху в способности визуальных генеративных моделей симулировать реальную физику».

Для создания сцены пользователи могут предоставить изображения субъектов и описать композицию кадра, который они хотят сгенерировать. Кроме того, Gen-4 позволяет генерировать последовательных персонажей при различных условиях освещения, используя их референсные изображения.