По данным IBM, основным препятствием для точной и производительной работы генеративного и особенно агентного ИИ в корпоративной среде является не высокая стоимость вычислений или отсутствие «идеальной» модели, а именно данные. И 90% информации, генерируемой предприятиями, представлено в неструктурированном виде — это документы, презентации и видео.
При этом, по оценкам IBM, лишь 1% этих данных учитывается в существующих языковых моделях. Внутреннее тестирование IBM показало, что использование watsonx.data позволяет повысить точность работы ИИ-моделей на 40% по сравнению с традиционными методами RAG.
Эдвард Кальвесберт, вице-президент по управлению продуктами платформы watsonx, подчеркивает, что неструктурированные данные особенно сложно использовать из-за их распределенной и динамичной природы, блокировки в разнообразных форматах, отсутствия четкой разметки и необходимости дополнительного контекста для правильной интерпретации.
Традиционные методы Retrieval-Augmented Generation (RAG) оказываются неэффективными для извлечения ценности из таких данных и не могут правильно объединять структурированную и неструктурированную информацию.
Анонсированное на конференции обновление watsonx.data включает две ключевые компоненты, которые будут доступны как в составе платформы, так и в качестве отдельных продуктов:
- Watsonx.data integration — программное обеспечение для оркестрации доступа к данным и инженерии данных в различных форматах и стилях интеграции через единый интерфейс, обеспечивающий гибкость и масштабируемость.
- Watsonx.data intelligence — программное обеспечение для трансформации подходов организаций к курированию, управлению и использованию значимых данных с применением ИИ для упрощения управления данными.
Дополнительно IBM объявила о добавлении watsonx в качестве API-провайдера в Meta Llama Stack, что должно расширить возможности предприятий по развертыванию генеративного ИИ в масштабе с открытостью в основе.
Новые возможности IBM позволят организациям эффективнее работать с неструктурированными данными, масштабировать точные и производительные решения генеративного ИИ и создавать более эффективных ИИ-агентов. Ожидается, что обновление платформы watsonx.data станет доступно в июне этого года.
