Драфт IETF о бенчмарках AI-фабрик: Job Completion Time вместо Гбит/с из даташита

8 октября 2026 года в datatracker IETF появилась ревизия 05 драфта draft-calabria-bmwg-ai-fabric-training-bench: методика бенчмарков Ethernet-фабрики для кластеров обучения AI. Первая метрика в ней Job Completion Time. Драфт описывает, как ее мерить, с каким теоретическим пределом сравнивать и когда результату аппаратного генератора можно верить. Статус: индивидуальный Internet-Draft, поданный в BMWG. Это не RFC и не документ рабочей группы, и в тексте прямо сказано, что он только для лабораторного применения. Язык приемки, который он предлагает, уже можно брать в договор: вместо Гбит/с из даташита JCT и хвостовая задержка.

Кто написал и какой статус

Авторы: F. Calabria (Cisco), C. Pignataro (Blue Fern Consulting), Q. Wu и G. Fioccola (Huawei), S. Reddy (Apple). Ревизия 05 последняя, срок ее действия до 11 апреля 2027 года. Критериев приемки драфт не задает: он описывает, что мерить и как докладывать результат.

Что измеряется

• Объект испытаний: сама Ethernet-фабрика, коммутаторы и линки, граница проходит по NIC. Вне охвата: InfiniBand, связи внутри узла (NVLink, xGMI, PCIe), производительность отдельных GPU и NIC. Конфигурация хостов фиксируется в отчете.
• Первичные метрики: JCT, JCT Ratio (измеренный JCT, деленный на теоретический roofline JCT), bus bandwidth, суммарная пропускная способность, доля потерянных пакетов в ppm, хвостовая задержка P99 и P99.9.
• Вторичные метрики: доля ECN-маркировки, число и длительность пауз PFC, доля RDMA-ретрансмитов, дисбаланс ECMP, индекс Джейна, глубина очередей (P95 и максимум), время сходимости congestion control, доля out-of-order.
• Топологии: 2-ярусный Clos, 3-ярусный Clos и rail-optimized.
• Паттерны трафика: AllReduce, AllToAll, AllGather и incast, поверх RoCEv2 и UET. Отдельный раздел про JCT-тесты по MLPerf Training.

Генератор или реальный кластер

Драфт различает 2 класса тестового оборудования: аппаратный генератор трафика и кластер ускорителей с реальной библиотекой коллективных коммуникаций. Для коллективных тестов предпочтителен кластер. Если использован генератор, результат перепроверяют на кластере. Расхождение больше 10% по bus bandwidth или JCT Ratio нужно расследовать и задокументировать. Это правило оформления отчета, а не критерий «прошел или нет».

Что это дает на практике

Meta описала практическую сторону в 2024 году: обычный ECMP работает плохо из-за низкой энтропии потоков, QP scaling дал до 40% прироста на AllReduce, а фрагментированное размещение задач с path pinning срезало производительность больше чем на 30%. Такие эффекты видны в JCT и во вторичных счетчиках. Скорость линка их не показывает. Ultra Ethernet Consortium опубликовал спецификацию 1.0 11 июня 2025 года, и драфт уже учитывает транспорт UET наряду с RoCEv2.

Что это значит для бизнеса

AI-фабрику покупают ради времени обучения модели, значит, приемка должна мерить это время. Общий язык позволяет записать его в договор: JCT Ratio не хуже порога, задержка P99.9 не выше заданной, набор счетчиков PFC и ECN в отчете. Порог задаете вы: драфт оставляет его открытым намеренно.

Что делать

Напишите план приемки вашей фабрики по списку метрик из драфта, добавьте тест на реальном кластере там, где генератора мало, и фиксируйте расхождения больше 10%. Обратитесь в TEST4NET: поможем превратить драфт в программу испытаний с вашими порогами.

Источники

• IETF datatracker: draft-calabria-bmwg-ai-fabric-training-bench
• IETF: draft text, revision 05
• Meta Engineering: RoCE networks for distributed AI training at scale
• Linux Foundation: Ultra Ethernet Consortium launches specification 1.0