Lossless Ethernet для AI-фабрик: PFC, LLR или CBFC — что выбрать и как проверить

На OCP Global Summit 2026 (Сан-Хосе, 12–15 октября) Keysight показал два interop-демо: Link Layer Retry (LLR) на 1.6T между тестером INPT-1600GE и коммутатором на Broadcom Tomahawk 6 (200G SerDes), а также LLR и Credit-Based Flow Control (CBFC) на 400GE со scale-up-коммутатором Alibaba Cloud на Tomahawk Ultra (100G SerDes). Главный вывод: у инженера AI-фабрики теперь не один способ получить «сеть без потерь», а три. И выбирать придётся не по презентациям вендоров, а по измерениям.

Зачем вообще lossless

RoCEv2 унаследовал транспорт InfiniBand: доставка без потерь, строго по порядку. Любая потеря пакета означает ретрансмит и рост job completion time. В scale-up-сетях (XPU↔XPU внутри стойки) бюджет задержки измеряется сотнями наносекунд: Tomahawk Ultra заявляет 250 нс задержки коммутатора.

Три варианта: как работают

PFC + ECN/DCQCN. Базовая схема RoCEv2. Коммутатор маркирует ECN при росте очереди, получатель отправляет CNP, NIC снижает скорость конкретной очереди. PFC — страховочный механизм: если буфер почти полон, порт отправляет PAUSE соседу и останавливает весь класс трафика. Keysight в своём блоге называет PFC грубым инструментом: он не различает источник перегрузки и подавляет соседние потоки.

Link Layer Retry. Опция из спецификации Ultra Ethernet 1.0. Передатчик держит кадры в replay-буфере, нумерует их через преамбулу, получатель подтверждает ACK/NACK служебными упорядоченными наборами PCS. При потере кадра выполняется повтор по схеме go-back-N. Таймаут привязан к RTT линка, около 1 мкс. LLR не борется с перегрузкой: он исправляет битовые ошибки, которые не удалось скорректировать FEC. На 200G SerDes и 1.6T такие ошибки перестают быть редкостью.

Credit-Based Flow Control. Также часть UE 1.0; может заменять PFC или работать параллельно с ним. Отправитель передаёт только при наличии кредитов на буфер получателя, кредиты возвращаются по мере освобождения буфера. Учёт ведётся на виртуальный канал: до 32 VC против 8 классов PFC, счётчики 20-битные. Буфер рассчитывается точно под канал, а не по формуле «RTT + MTU на порт с запасом».

Сравнение

Ловушки, которые видны только на стенде

PFC. Microsoft ещё в 2016 году зафиксировала deadlock PFC в продакшене и штормы PAUSE-кадров от NIC. Headroom растёт с дистанцией: Keysight приводит пример 400GbE на 2 км с RTT 20 мкс — около 1 МБ на порт. К этому добавляются ECMP-коллизии, которые снижают эффективную полосу примерно до 60%.

LLR. Go-back-N повторяет не только потерянный кадр, но и все переданные после него. При высокой BER хвост p99.9 растёт даже при нулевых дропах. Нужно проверять replay-буфер под нагрузкой и поведение при потере самого NACK.

CBFC. Кредиты — это согласованное состояние на обеих сторонах линка. Типичные проблемы: рассинхронизация после сбоя линка, неверный размер пакета в учёте, конфликт с PFC на том же порту. Рабочая группа IEEE 802.1 направила UEC вопрос о том, как PFC и CBFC должны сосуществовать.

Как тестировать

1. Conformance. Обмен LLR/CBFC-сообщениями по спецификации, согласование через LLDP, граничные значения счётчиков.
2. Interop. Тестер против ASIC другого вендора — именно в таком формате прошли демо Keysight: INPT-1600GE против TH6, затем 400GE против Tomahawk Ultra.
3. Инъекция ошибок. Искусственная BER на линке, подсчёт повторов LLR, измерение задержки p50/p99/p99.9, не только среднего.
4. Incast и all-to-all. Для PFC/DCQCN — частота PAUSE, заполнение буферов, время реакции ECN-петли. Для CBFC — утилизация кредитов на VC.
5. Deadlock-сценарии. Циклические зависимости буферов; критерий — восстановление без ручного вмешательства.

Что это значит для бизнеса

Три механизма — три уровня затрат. PFC/DCQCN работает на текущем оборудовании, но требует длительной настройки и несёт риск простоя кластера из-за deadlock. LLR и CBFC обещают предсказуемость, но требуют новых ASIC (Tomahawk 6 на 102.4 Тбит/с, Tomahawk Ultra на 51.2 Тбит/с) и NIC/XPU с поддержкой UE. Главный риск — купить оборудование двух вендоров, у которых LLR реализован «по спецификации», но на практике не обеспечивает совместимость: первые публичные interop-демо прошли только в марте и октябре 2026 года. Час простоя GPU-кластера стоит дороже недели тестов.

Что делать

Не выбирайте механизм по презентациям. Соберите кандидатов на стенде, проведите conformance, interop, инъекцию ошибок и incast, сравните хвосты задержки. Если выбор механизма lossless Ethernet стоит перед вами — напишите в TEST4NET: обсудим сценарий и предложим программу испытаний.

Источники

• Keysight Showcases Link Layer Retry Interoperability with Alibaba Cloud at 2026 OCP Global Summit (Business Wire) — первоисточник: демо LLR 1.6T/200G SerDes с INPT-1600GE и Tomahawk 6, демо LLR+CBFC 400GE/100G SerDes с коммутатором Alibaba на Tomahawk Ultra, даты и место.
• Keysight: LLR и CBFC interop с Broadcom Tomahawk Ultra на 800GE, OFC 2026 (Business Wire) — первое публичное демо LLR/CBFC в марте 2026, упоминание ESUN 1.0.
• Ultra Ethernet's Design Principles and Architectural Innovations (arXiv 2508.08906) — механика LLR (go-back-N, номер в преамбуле, ACK/NACK, RTT ~1 мкс), CBFC (per-VC, 20-бит счётчики), проблемы PFC (headroom RTT+MTU, HoL, deadlock).
• IEEE 802.1 liaison to UEC, July 2025 — CBFC до 32 VC против 8 классов PFC, фиксированные буферы на порт, открытый вопрос о сосуществовании PFC и CBFC.
• Keysight blog: Congestion Control in AI Networks — PFC как грубый инструмент, HoL-блокировка, формула headroom и пример 400GbE/2 км/20 мкс/~1 МБ, ECMP-коллизии ~60%.
• Broadcom Ships Tomahawk Ultra (Converge Digest) — 51.2 Тбит/с, 250 нс, LLR+CBFC как lossless-фабрика, заголовок 46→10 байт.
• Broadcom Ships Tomahawk 6 (StorageReview) — 102.4 Тбит/с, 100G/200G SerDes, scale-up до 512 XPU, соответствие UEC.
• Microsoft Research: RDMA for Cloud Computing — deadlock PFC в продакшене и штормы PAUSE-кадров (RoCEv2 at scale, 2016).