Qualcomm представила новую архитектуру памяти для ИИ-ускорителей — HBC (High-Bandwidth Compute). Идея простая: AI-ускоритель выносится из основной микросхемы и размещается прямо под стопкой LPDDR DRAM. Соединение — через кремниевые переходы (TSV), напрямую в память.
Проблема, которую решает Qualcomm, называется «стена памяти»: вычислительные мощности растут быстрее, чем пропускная способность памяти. HBM (High Bandwidth Memory), которую используют NVIDIA и другие, помогает, но стоит дорого и потребляет много энергии.
Qualcomm утверждает, что HBC даёт в 6 раз лучшую пропускную способность на ватт по сравнению с HBM и в 200 раз больше ёмкости, чем встроенная SRAM. Точных цифр по абсолютной производительности компания не раскрывает.
«Мы убрали заторы, характерные для HBM. Нет дорогого кремниевого интерпозера, меньше тепла и энергопотребления», — сказал Тони Пялис, исполнительный вице-президент и генеральный директор подразделения дата-центров Qualcomm.
Главный вопрос, на который Qualcomm пока не ответила: что именно делает сам HBC-ускоритель? Это специализированный движок для трансформеров, тензорные ядра общего назначения или что-то ещё — компания не уточняет.
Дорожная карта уже есть. Ускоритель AI200 выйдет в этом году на обычном LPDDR5X и даст 43 ТБ RAM на стойку. Следующий — AI250 с первым поколением HBC — обещает в 18 раз большую пропускную способность. AI300 с HBC второго поколения — в 54 раза.
Идея ставить вычислительную логику рядом с памятью не нова: DRAM-производители экспериментировали с этим годами без коммерческого успеха. Недавно тайваньская дизайн-компания GUC предложила похожую технологию DRAM-on-Logic с пропускной способностью до 5 ТБ/с. Qualcomm идёт чуть иначе: не кладёт DRAM на ускоритель, а опускает ускоритель под DRAM.
Архитектура есть. Характеристики реального продукта — пока нет.
