Meta на OCP 2026: AI-фабрику не принимают без бенчмарков на 1000+ GPU

Главный вывод из поста Meta к OCP Global Summit 2026: гиперскейлер не вводит в эксплуатацию ни один сегмент AI-сети без тестового прогона. Облачным партнёрам Meta выдаёт единый набор бенчмарков — point-to-point и коллективные операции, от десятков до более чем 1000 GPU — и только после этого принимает ёмкость. Для компаний меньшего масштаба это готовый шаблон: проверка до ввода в эксплуатацию, а не поиск причин после сбоя.

Что показала Meta

IceCube и IcePack. Блейды на 102,4 Тбит/с, 128 портов 800G, два варианта ASIC — Broadcom Tomahawk6C и NVIDIA Spectrum-6 — в первой стойке Meta с жидкостным охлаждением. Оба работают на открытой FBOSS через OCP SAI. Поставщик оборудования может смениться, программный стек остаётся прежним.

FPF — Flattened Planar Fabric (scale-out). У каждого GPU восемь независимых линков 100G, по одному в каждую из восьми плоскостей. Трёхуровневый Clos сведён к двухуровневому: меньше хопов, ниже задержка, ниже стоимость. NIC аппаратно распределяет пакеты по всем плоскостям, а хост способен увести трафик с отказавшей плоскости. Meta подчёркивает, что архитектура отрабатывалась совместно с NVIDIA с учётом поведения при отказах и плановых работах, а не только под пиковой нагрузкой.

BAG — Backend Aggregation (scale-across). Ethernet-суперспайн, объединяющий фабрики разных зданий и регионов на петабитном уровне; между двумя регионами — десятки Пбит/с. Кампус Prometheus — около 1 ГВт в 2026 году, Hyperion растёт к 5 ГВт. Инженерная деталь: буфер headroom для lossless-Ethernet растёт с длиной кабеля, поэтому FBOSS сама измеряет длину линка по времени прохождения пробного трафика в незагруженной очереди и назначает headroom по измеренному значению. Межфабричная задержка в несколько раз выше внутрифабричной, и коллективные библиотеки, не учитывающие расстояние, теряют на этом производительность.

Tahan (scale-up). Ethernet-коммутатор для ускорителей MTIA 300 на Tomahawk 5 (51,2 Тбит/с, 64×800G). Четыре коммутатора Tahan соединяют 16 ускорителей в неблокирующей конфигурации, 6,4 Тбит/с на каждый. Транспорт тот же lossless RoCE, что и в scale-out: маршрутизируемый IPv6, PFC, QoS, настроенный под ИИ-нагрузки. Следующее поколение — 216×400G на Tomahawk6C, восемь коммутаторов на 72 ускорителя в стойке, с переходом на ESUN.

ESUN и OSPA. ESUN 1.0 вышел 10 марта 2026: PFC, Credit-Based Flow Control, Link-Level Retry, 4-байтовый заголовок вместо 28–48 байт IP/UDP. В рабочей группе более 175 компаний; готовится ESUN 1.1. OSPA v1.0 (Meta, Microsoft, Alibaba) стандартизирует слой платформы под SAI: питание, датчики, прошивки, диагностика.

Какие тесты за этим стоят

ESUN и OSPA задают требования, но не процедуры проверки. Независимые обзоры отмечают, что публичных данных по хвостовой задержке и восстановлению после отказов Meta не раскрывает. Значит, проверку придётся организовать самостоятельно. Из текста выводятся пять классов тестов:

1. Коллективные операции под нагрузкой. All-Reduce, All-to-All, Reduce-Scatter на реальной топологии. Метрика — время завершения задания (JCT) и хвостовая задержка, а не пропускная способность сама по себе.
2. Lossless-поведение. PFC без дедлоков, корректная работа DCQCN/ECN, достаточный headroom буферов — особенно на длинных линках, где Meta измеряет кабель перед настройкой.
3. Деградация и отказы. Отказ одной из восьми плоскостей FPF, одного линка в ECMP-группе, перераспределение по eBGP link-bandwidth. Сравнение JCT до и после.
4. Interop. Два ASIC под одной NOS, несколько моделей NIC, разные версии прошивок. Чем больше вендоров, тем больше комбинаций на квалификацию.
5. Масштаб. Meta проводит бенчмарки на 1000+ GPU. На стенде этот этап заменяет эмуляция: генератор трафика на 800GE воспроизводит очереди QP, коллективные операции и реакцию на congestion notifications без закупки GPU.

Инструменты для этого уже есть. Keysight AI Data Center Builder на платформе AresONE эмулирует All-Reduce, All-Gather, All-to-All и другие коллективные операции на 4–16 портах 100–800GE и выдаёт JCT, хвостовую задержку, потери и точки перегрузки. Именно так Dell и Siemon валидировали 800GE-фабрику на SONiC: All-Reduce под перегрузкой, разброс времени завершения — в микросекундах.

Что это значит для бизнеса

Meta строит кампусы на гигаватты и всё равно не вводит ёмкость без тестов. Для кластера на 32–256 GPU логика та же: простаивающие GPU обходятся дороже любого тестового цикла. Непроверенная фабрика проявляется не отказом, а медленным обучением — JCT растёт на десятки процентов, а причину ищут месяцами. Один раунд эмуляции на стенде до закупки или до приёмки у интегратора снимает этот риск и даёт предметные аргументы в разговоре с вендором.

Что делать

Повторить подход Meta в уменьшенном масштабе вполне реально: взять целевую топологию, эмулировать коллективные операции на 400/800GE, измерить JCT и хвостовую задержку, затем отключить линк и оценить восстановление. Тот же цикл — при каждом обновлении прошивки и смене NIC. Если нужен такой стенд под вашу топологию — напишите в TEST4NET: обсудим задачу и предложим программу испытаний.

Источники

• Meta Engineering: OCP Summit 2026 — Powering AI with Open Innovations in Scale-Up, Scale-Out and Scale-Across Networks — все цифры по IceCube, FPF, BAG, Tahan, рамка валидации облачных партнёров, измерение длины кабеля, ESUN 1.1, OSPA
• remio.ai: Meta OCP Summit 2026 puts open Ethernet against proprietary AI networks — независимый разбор: отсутствие публичных данных по хвостовой задержке и отказам, требования к NIC и облакам, рост комбинаций прошивок при мультивендорности
• OCP: The OCP ESUN 1.0 Specification Has Been Released — дата выхода 10 марта 2026, PFC/CBFC/LLR, 4-байтовый заголовок, 175+ участников
• Keysight AI Data Center Builder — список эмулируемых коллективов, 4–16 портов 100–800GE, метрики JCT и хвостовой задержки, платформы AresONE
• Keysight success story: Dell + Siemon — пример валидации 800GE-фабрики на SONiC с эмуляцией All-Reduce, разброс времени завершения в микросекундах
• Keysight AI Fabric RoCEv2 Test Solution (data sheet) — проверяемые механизмы: ECMP-хеширование, PFC-дедлоки, DCQCN, эмуляция QP и congestion notifications