Команда Google DeepMind выпустила приложение Lyria Camera. Оно создает музыку в режиме реального времени на основе того, что видит камера смартфона. Программа превращает окружающий мир в постоянно меняющийся саундтрек.

Принцип работы простой. Вы наводите камеру на любой объект — улицу города, рисунок в блокноте или тарелку с едой. Приложение сразу начинает генерировать музыку под настроение сцены. Технология работает без задержек и пауз.

В основе лежат две системы от Google. Первая — это Gemini. Она анализирует картинку с камеры и описывает её через музыку. Например, может выдать такое описание: «Задумчивое фортепиано, спокойствие городского пейзажа». Вторая система — Lyria RealTime API. Она превращает эти описания в непрерывный поток звука.

Разработчики предложили несколько способов использования программы. Можно искать мелодии в рисунках, деталях интерьера или случайных узорах. Другой вариант — направить камеру в окно поезда или закрепить телефон над панелью машины. Приложение будет менять музыку вместе с пейзажем за окном.

Есть режим и для компьютера. Через функцию «Поделиться экраном» можно транслировать не камеру, а вкладку браузера или любое окно на мониторе. Так можно получить саундтрек к рабочему процессу или игровой сессии.

Связка двух систем создает цикл без швов. Gemini постоянно смотрит на видеопоток и переводит кадры в музыкальные термины. API Lyria RealTime выдает бесконечный поток аудио. Когда описания от Gemini меняются, музыка плавно перестраивается под новые условия. Скачков и остановок нет.

Google создала Lyria Camera как демонстрацию нового API. Lyria RealTime API теперь открыт для всех разработчиков. Компания хотела показать возможности непрерывной генерации музыки под управлением.

Приложение уже можно попробовать на телефоне или компьютере. Разработчикам доступна документация Lyria RealTime API на платформе Google AI Studio. Там есть все инструменты для экспериментов с технологией.