Компания Intel представила необычную гибридную систему для вычислений в сфере искусственного интеллекта. В одной платформе объединены ускорители Intel Gaudi 3 и NVIDIA B200, связанные через сеть Ethernet.

Новая система под названием Gaudi3 Rack Scale 64 содержит до 16 вычислительных узлов. Каждый узел оснащен двумя процессорами Intel Xeon, четырьмя ускорителями Intel Gaudi 3 и сетевым оборудованием NVIDIA — четырьмя адаптерами ConnectX-7 (400GbE) и одним процессором обработки данных BlueField-3.

В полной конфигурации система включает 64 ускорителя Gaudi 3, общий объем высокоскоростной памяти HBM2e достигает 8,2 терабайта, а пропускная способность составляет 76,8 терабайт в секунду. Для работы такой мощной системе требуется 120 киловатт электроэнергии.

Для обеспечения высокоскоростной связи между компонентами используются 12 сетевых коммутаторов на чипах Broadcom Tomahawk 5 с пропускной способностью 51,2 терабита в секунду. Ethernet применяется не только для внутренней связи, но и для подключения к другим узлам, включая системы NVIDIA.

В этой гибридной системе два типа ускорителей выполняют разные задачи. Intel Gaudi 3 отвечают за генерацию токенов (decode-стадия), где критически важен объем и скорость памяти. Чипы NVIDIA B200 используются для обработки контекста и заполнения KV-кеша (prefill-задачи), где требуется высокая вычислительная мощность.

Интересно, что NVIDIA тоже движется в этом направлении. Компания уже анонсировала специальные соускорители Rubin CPX, которые будут заниматься именно работой с контекстом в очень больших моделях и созданием KV-кеша.

По заявлению Intel, такая гибридная конфигурация позволяет достичь увеличения производительности в 1,7 раза в расчете на доллар общей стоимости владения по сравнению с платформами, где используются только ускорители NVIDIA B200. Однако эти данные пока не подтверждены независимыми тестами.

Эксперты отмечают несколько проблем с новой платформой. Программное обеспечение для Gaudi 3 отстает от решений NVIDIA и является закрытым, что затрудняет его внедрение. Кроме того, архитектура Gaudi приближается к концу своего жизненного цикла, что ставит под вопрос долгосрочные перспективы этой гибридной платформы.

Для Intel это может быть способом продать оставшиеся запасы ускорителей Gaudi 3. Недавно компания анонсировала новый GPU-ускоритель Crescent Island на архитектуре Xe3P со 160 гигабайтами памяти LPDDR5X, специально созданный для работы с искусственным интеллектом. Однако его массовые поставки начнутся не раньше 2027 года.

Компания также отказалась от выпуска ранее планировавшегося ускорителя Falcon Shores и сосредоточилась на проекте Jaguar Shores. Одновременно Intel сокращает поддержку своих старых ускорителей Ponte Vecchio (Intel Max) и Arctic Sound (Flex).