Fugatto, который не просто генерирует музыку, а создает звуки, которых раньше просто не существовало в природе. И нет, это не преувеличение — представьте себе трубу, которая мяукает, или саксофон, который лает! Именно такие безумные эксперименты теперь стали реальностью.

Самое интересное, что Fugatto работает как настоящий звукорежиссёр-экспериментатор. Вы просто пишете ему текстом, что хотите услышать, например: «Сделай глубокие, рокочущие басовые пульсации в сочетании с прерывистыми, высокочастотными цифровыми чириканьями — как будто просыпается гигантская разумная машина». И ИИ это создаёт! Причём не компилирует из готовых семплов, а генерирует совершенно новые звуки.

Для создания этого цифрового композитора инженерам NVIDIA пришлось обработать миллионы аудиозаписей. Среди источников данных оказалась даже библиотека звуковых эффектов BBC. Но главное достижение — это не объём данных, а специальные инструкции, которые позволили научить модель выполнять новые задачи без дополнительного обучения.

Функционал Fugatto впечатляет: он может изолировать вокал из песни, добавлять инструменты и даже менять мелодию, например, заменяя фортепиано на оперное пение. Более того, система способна трансформировать человеческий голос, меняя акцент или эмоциональную окраску — от гнева до спокойствия.

На рынке уже есть AI-инструменты для работы со звуком от Stability AI, OpenAI, Google DeepMind, ElevenLabs и Adobe. Но никто из них пока не заявлял о возможности создавать абсолютно новые, никогда ранее не существовавшие звуки. Правда, некоторые AI-стартапы уже столкнулись с судебными исками из-за нарушения авторских прав, а недавнее расследование показало, что NVIDIA и другие компании тренировали свои модели на субтитрах из тысяч YouTube-видео.

К сожалению, пока неизвестно, когда (и будет ли вообще) Fugatto доступен широкой публике. Но уже сейчас понятно — это не просто очередной ИИ-инструмент, а настоящий прорыв в области аудиотехнологий.