Amazon открыла журналисту TechCrunch двери своей чип-лаборатории в Остине — вскоре после объявления о сделке с OpenAI на $50 млрд. В центре истории — процессор Trainium, который тихо стал одним из ключевых элементов инфраструктуры современного ИИ.
Сейчас развёрнуто 1,4 млн чипов Trainium трёх поколений. Более миллиона из них — Trainium2 — обрабатывают запросы к Claude от Anthropic. Trainium2 также берёт на себя большую часть инференс-трафика в Bedrock, облачной платформе AWS для корпоративных клиентов.
Инференс — это и есть узкое место всей индустрии прямо сейчас. Запустить обученную модель так, чтобы она быстро и дёшево отвечала на миллиарды запросов в день — вот задача. Trainium изначально создавался для обучения моделей, но теперь переориентирован именно на инференс.
Новый Trainium3 выполнен по 3-нанометровому техпроцессу TSMC и работает с жидкостным охлаждением. В связке с фирменными Neuron-коммутаторами каждый чип видит каждый другой в кластере — это снижает задержки. Amazon утверждает, что серверы Trn3 UltraServer обходятся на 50% дешевле обычных облачных серверов при сопоставимой производительности.
Для разработчиков важен другой момент: исторически переход с Nvidia на что угодно другое требовал переписывать код с нуля. Amazon говорит, что теперь достаточно одной строки изменений в PyTorch — и модель запускается на Trainium. Это прямая атака на главный аргумент в пользу Nvidia.
В рамках сделки с OpenAI AWS обязалась предоставить 2 гигаватта мощностей на Trainium. Для контекста: Anthropic и сам Bedrock уже потребляют чипы быстрее, чем Amazon успевает их производить.
Лаборатория существует с 2015 года — тогда Amazon купила израильский стартап Annapurna Labs за $350 млн. За десять лет команда построила линейку: Graviton (серверный CPU), Inferentia (инференс), Trainium (обучение и инференс). Именно Graviton и Inferentia в 2024 году публично похвалил директор по ИИ Apple — редкий случай для компании, которая почти никогда не говорит о своей инфраструктуре.
