OpenAI выпустила Sora 2 – обновленную модель для создания видео и аудио. Новая версия отличается более реалистичной физикой, управляемостью и синхронизированными звуковыми эффектами. Компания также запустила одноименное мобильное приложение для iOS.

Первая версия Sora, представленная в феврале 2024 года, была прорывом в области генерации видео, сравнимым с моментом появления GPT-1 для текста. С тех пор команда сосредоточилась на обучении моделей с более продвинутыми возможностями моделирования мира.

Sora 2 может создавать сложные сцены, которые были невозможны для прежних моделей: олимпийские гимнастические программы, трюки на доске с точным моделированием физики плавучести или тройные аксели фигуристов.

В отличие от прежних моделей, Sora 2 не «мошенничает» с физикой. Если баскетболист промахивается, мяч отскакивает от щита, а не телепортируется в корзину. Модель лучше соблюдает законы физики и может моделировать не только успешные действия, но и неудачи.

Система также умеет создавать реалистичные звуковые ландшафты, речь и звуковые эффекты. Пользователи могут добавлять элементы реального мира в генерируемые видео. Например, модель может вставить человека в любую созданную среду с точной передачей его внешности и голоса.

Вместе с новой моделью OpenAI запустила социальное приложение «Sora» для iOS. В нем можно создавать видео, переделывать чужие работы и просматривать контент в ленте. Главная особенность – функция «камео», позволяющая добавить себя или друзей в любую сцену после короткой видео- и аудиозаписи для проверки личности.

Разработчики уделили внимание безопасному запуску приложения. Пользователи могут контролировать, что они видят в ленте. OpenAI создала новый класс алгоритмов рекомендаций на базе языковых моделей, которыми можно управлять через обычный язык. По умолчанию приложение показывает контент от людей, на которых вы подписаны или с которыми взаимодействуете.

Приложение доступно для скачивания в США и Канаде с планами быстрого расширения на другие страны. Изначально Sora 2 будет бесплатной с щедрыми лимитами. Пользователи ChatGPT Pro получат доступ к экспериментальной модели Sora 2 Pro более высокого качества. Компания также планирует выпустить Sora 2 через API.