Meta* представила MetaRoCE — новый протокол передачи данных для крупных ИИ-кластеров на обычном Ethernet. Он рассчитан на инфраструктуру с миллионом GPU, но это проектная цель: такого кластера у компании пока нет.
При обучении нейросетей ускорители постоянно обмениваются данными. Один медленный канал может задержать всю операцию, а при распределённом запуске модели сетевая задержка напрямую влияет на время ответа.
Традиционный RoCEv2 старается доставлять пакеты по порядку и не терять их. В больших сетях с несколькими маршрутами это становится ограничением: пакеты идут с разной скоростью, меняются местами или пропадают.
MetaRoCE изначально допускает такую работу сети. Протокол распределяет пакеты по нескольким маршрутам, а сетевая карта отдельно следит за задержкой, загрузкой и перегрузкой каждого пути. Если один маршрут замедлился или отказал, трафик можно перенести на другой без остановки всего соединения.
Пакетам не нужно приходить в исходном порядке. Каждый пакет записи содержит адрес назначения и сразу записывается в нужное место памяти. Потерянные пакеты определяются через выборочные подтверждения: повторно отправляются только отсутствующие данные.
Протокол не требует Priority Flow Control — механизма, который временно останавливает передачу ради предотвращения потерь. На уровне коммутаторов достаточно поддержки ECN для сигналов о перегрузке и ECMP для распределения трафика между равными маршрутами.
Первую аппаратную реализацию разработали вместе с AMD для программируемых сетевых карт Pensando. В тестах Meta* на кластере из 64 узлов новый протокол показал более высокую пропускную способность и меньшее время передачи, чем RoCEv2. Независимого подтверждения этих результатов пока нет.
При потере 1% пакетов MetaRoCE, по данным компании, сохранял около 86% пропускной способности. При отказе отдельных сетевых плоскостей трафик перераспределялся без вмешательства приложений или операторов.
Спецификацию, оптимизированную эталонную реализацию и инструменты проверки планируют опубликовать через Open Compute Project на саммите 12–15 октября 2026 года. Пока MetaRoCE — испытанный на 64 узлах протокол с расчётом на миллион GPU, а не работающий кластер такого размера.
*Компания Meta признана экстремистской и запрещена в РФ.
