Microsoft объявила о запуске чипа Maia 200 для работы ИИ-моделей. Компания позиционирует его как решение для масштабирования инференса. Это вычисления при использовании модели, в отличие от её обучения.

Maia 200 пришла на смену версии 100, которую выпустили в 2023 году. Новый чип получил более 100 миллиардов транзисторов. Он выдает свыше 10 петафлопс в 4-битной точности и около 5 петафлопс в 8-битной. Это существенный рост по сравнению с предшественником.

Инференс становится все дороже для ИИ-компаний по мере их роста. Затраты на вычисления при использовании моделей занимают все большую часть операционных расходов. Поэтому бизнес активно ищет способы оптимизации этого процесса.

Microsoft рассчитывает, что Maia 200 станет частью такой оптимизации. Чип должен снизить сбои в работе и потребление энергии. Компания утверждает, что один узел Maia 200 легко запустит крупнейшие модели сегодняшнего дня. При этом останется запас мощности для еще больших моделей в будущем.

Новый чип вписывается в тренд технологических гигантов. Они создают собственные решения, чтобы меньше зависеть от Nvidia. GPU этой компании стали критически важны для успеха ИИ-бизнеса.

Google разработала TPU — тензорные процессоры. Их не продают как отдельные чипы, а предлагают как вычислительную мощность через облако. Amazon выпустила свой ускоритель Trainium. Последняя версия Trainium3 вышла в декабре. В обоих случаях чипы берут на себя часть нагрузки, которую иначе выполняли бы GPU Nvidia. Это снижает расходы на железо.

Microsoft заявляет о конкурентных показателях Maia. В пресс-релизе от понедельника компания привела сравнение с чипами конкурентов. Maia дает трехкратное превосходство по производительности FP4 над Trainium третьего поколения от Amazon. По FP8 чип также обходит TPU седьмого поколения от Google.

Maia 200 уже работает внутри Microsoft. Чип обслуживает ИИ-модели команды Superintelligence. Он также поддерживает работу Copilot — чат-бота компании. Это реальная эксплуатация, а не только тесты.

С понедельника Microsoft открыла доступ к SDK чипа Maia 200 для внешних пользователей. Приглашение получили разработчики, академические исследователи и лаборатории передовых ИИ. Они смогут использовать чип для своих задач.

Выход Maia 200 показывает стремление Microsoft контролировать всю цепочку ИИ-инфраструктуры. Компания не хочет полностью зависеть от Nvidia в критически важном компоненте. Собственные чипы дают больше гибкости в ценообразовании и поставках.