Блог TEST4NET — тестирование сетей и безопасности

Meta на OCP 2026: AI-фабрику не принимают без бенчмарков на 1000+ GPU

Written by Alexander Zemskov | 18 окт. 2026 г., 06:00:00

Главный вывод из поста Meta к OCP Global Summit 2026: гиперскейлер не вводит в эксплуатацию ни один сегмент AI-сети без тестового прогона. Облачным партнёрам Meta выдаёт единый набор бенчмарков — point-to-point и коллективные операции, от десятков до более чем 1000 GPU — и только после этого принимает ёмкость. Для компаний меньшего масштаба это готовый шаблон: проверка до ввода в эксплуатацию, а не поиск причин после сбоя.

Что показала Meta

IceCube и IcePack. Блейды на 102,4 Тбит/с, 128 портов 800G, два варианта ASIC — Broadcom Tomahawk6C и NVIDIA Spectrum-6 — в первой стойке Meta с жидкостным охлаждением. Оба работают на открытой FBOSS через OCP SAI. Поставщик оборудования может смениться, программный стек остаётся прежним.

FPF — Flattened Planar Fabric (scale-out). У каждого GPU восемь независимых линков 100G, по одному в каждую из восьми плоскостей. Трёхуровневый Clos сведён к двухуровневому: меньше хопов, ниже задержка, ниже стоимость. NIC аппаратно распределяет пакеты по всем плоскостям, а хост способен увести трафик с отказавшей плоскости. Meta подчёркивает, что архитектура отрабатывалась совместно с NVIDIA с учётом поведения при отказах и плановых работах, а не только под пиковой нагрузкой.

BAG — Backend Aggregation (scale-across). Ethernet-суперспайн, объединяющий фабрики разных зданий и регионов на петабитном уровне; между двумя регионами — десятки Пбит/с. Кампус Prometheus — около 1 ГВт в 2026 году, Hyperion растёт к 5 ГВт. Инженерная деталь: буфер headroom для lossless-Ethernet растёт с длиной кабеля, поэтому FBOSS сама измеряет длину линка по времени прохождения пробного трафика в незагруженной очереди и назначает headroom по измеренному значению. Межфабричная задержка в несколько раз выше внутрифабричной, и коллективные библиотеки, не учитывающие расстояние, теряют на этом производительность.

Tahan (scale-up). Ethernet-коммутатор для ускорителей MTIA 300 на Tomahawk 5 (51,2 Тбит/с, 64×800G). Четыре коммутатора Tahan соединяют 16 ускорителей в неблокирующей конфигурации, 6,4 Тбит/с на каждый. Транспорт тот же lossless RoCE, что и в scale-out: маршрутизируемый IPv6, PFC, QoS, настроенный под ИИ-нагрузки. Следующее поколение — 216×400G на Tomahawk6C, восемь коммутаторов на 72 ускорителя в стойке, с переходом на ESUN.

ESUN и OSPA. ESUN 1.0 вышел 10 марта 2026: PFC, Credit-Based Flow Control, Link-Level Retry, 4-байтовый заголовок вместо 28–48 байт IP/UDP. В рабочей группе более 175 компаний; готовится ESUN 1.1. OSPA v1.0 (Meta, Microsoft, Alibaba) стандартизирует слой платформы под SAI: питание, датчики, прошивки, диагностика.

Какие тесты за этим стоят

ESUN и OSPA задают требования, но не процедуры проверки. Независимые обзоры отмечают, что публичных данных по хвостовой задержке и восстановлению после отказов Meta не раскрывает. Значит, проверку придётся организовать самостоятельно. Из текста выводятся пять классов тестов:

  1. Коллективные операции под нагрузкой. All-Reduce, All-to-All, Reduce-Scatter на реальной топологии. Метрика — время завершения задания (JCT) и хвостовая задержка, а не пропускная способность сама по себе.
  2. Lossless-поведение. PFC без дедлоков, корректная работа DCQCN/ECN, достаточный headroom буферов — особенно на длинных линках, где Meta измеряет кабель перед настройкой.
  3. Деградация и отказы. Отказ одной из восьми плоскостей FPF, одного линка в ECMP-группе, перераспределение по eBGP link-bandwidth. Сравнение JCT до и после.
  4. Interop. Два ASIC под одной NOS, несколько моделей NIC, разные версии прошивок. Чем больше вендоров, тем больше комбинаций на квалификацию.
  5. Масштаб. Meta проводит бенчмарки на 1000+ GPU. На стенде этот этап заменяет эмуляция: генератор трафика на 800GE воспроизводит очереди QP, коллективные операции и реакцию на congestion notifications без закупки GPU.

Инструменты для этого уже есть. Keysight AI Data Center Builder на платформе AresONE эмулирует All-Reduce, All-Gather, All-to-All и другие коллективные операции на 4–16 портах 100–800GE и выдаёт JCT, хвостовую задержку, потери и точки перегрузки. Именно так Dell и Siemon валидировали 800GE-фабрику на SONiC: All-Reduce под перегрузкой, разброс времени завершения — в микросекундах.

Что это значит для бизнеса

Meta строит кампусы на гигаватты и всё равно не вводит ёмкость без тестов. Для кластера на 32–256 GPU логика та же: простаивающие GPU обходятся дороже любого тестового цикла. Непроверенная фабрика проявляется не отказом, а медленным обучением — JCT растёт на десятки процентов, а причину ищут месяцами. Один раунд эмуляции на стенде до закупки или до приёмки у интегратора снимает этот риск и даёт предметные аргументы в разговоре с вендором.

Что делать

Повторить подход Meta в уменьшенном масштабе вполне реально: взять целевую топологию, эмулировать коллективные операции на 400/800GE, измерить JCT и хвостовую задержку, затем отключить линк и оценить восстановление. Тот же цикл — при каждом обновлении прошивки и смене NIC. Если нужен такой стенд под вашу топологию — напишите в TEST4NET: обсудим задачу и предложим программу испытаний.

Источники