Ключевым компонентом нового решения стал Nvidia NeMo Retriever. Это — программное обеспечение, способное понимать и конвертировать данные на разных языках с сохранением контекста. Этим компания Nvidia анонсировала запуск инновационных микросервисов, которые позволят разработчикам создавать генеративные ИИ-приложения с поддержкой множества языков.

«Точность — это ключевой фактор. Большинство открытых данных в мире доступно на английском языке, что и стало причиной движения к суверенному ИИ», — поделилась Кари Бриски, вице-президент Nvidia по программному обеспечению генеративного ИИ.

Особенность NeMo Retriever заключается в его способности работать с информацией в оригинальном языке, избегая традиционного эффекта «испорченного телефона» при многократных переводах. Система использует эмбеддинги — сложные математические представления, capturing взаимосвязи между словами и фразами. Например, система понимает «близость» значений слов «кошка» и «собака» как домашних животных, в отличие от менее связанной пары «тостер» и «собака».

Впечатляющим примером эффективности новой технологии стало партнерство Nvidia с DataStax по векторизации контента из Wikipedia. Команде удалось обработать 10 миллионов элементов данных всего за три дня — процесс, который обычно занимает целый месяц.

Крупные технологические компании, включая Cohesity, Cloudera, SAP SE и VAST Data, уже интегрируют новые микросервисы для работы с многоязычными источниками данных. Технология включает использование RAG (retrieval-augmented generation), позволяющей предобученным моделям ИИ использовать данные в реальном времени.

На текущий момент NeMo Retriever работает только с текстовыми данными, но, как отметила Бриски, команда активно работает над поддержкой мультимодальных данных: «Мы работаем над включением изображений, PDF-файлов и видео. Сейчас мы сосредоточены на тексте — если вы хорошо освоите работу с текстом, то сможете эффективно работать и с другими форматами».