TEST4NET բլոգ — ցանցերի և անվտանգության թեստավորում

Lossless Ethernet AI ֆաբրիկաների համար. PFC, LLR կամ CBFC — ի՞նչ ընտրել և ինչպե՞ս ստուգել

Written by Alexander Zemskov | 19 հոկ, 2026 թ., 06:00:00

OCP Global Summit 2026-ին (Սան Խոսե, հոկտեմբերի 12–15) Keysight-ը ցուցադրեց երկու interop դեմո. Link Layer Retry (LLR) 1.6T-ի վրա INPT-1600GE թեստերի և Broadcom Tomahawk 6-ի (200G SerDes) հիման վրա կառուցված կոմուտատորի միջև, ինչպես նաև LLR և Credit-Based Flow Control (CBFC) 400GE-ի վրա Alibaba Cloud-ի scale-up կոմուտատորի հետ՝ Tomahawk Ultra-ի (100G SerDes) հիման վրա։ Գլխավոր եզրակացությունը. AI ֆաբրիկայի ինժեներն այժմ «առանց կորուստների ցանց» ստանալու ոչ թե մեկ, այլ երեք եղանակ ունի։ Իսկ ընտրությունը պետք է կատարել ոչ թե վենդորների ներկայացումների, այլ չափումների հիման վրա։

Ինչու է ընդհանրապես անհրաժեշտ lossless-ը

RoCEv2-ը ժառանգել է InfiniBand-ի տրանսպորտը. առաքում առանց կորուստների, խիստ հերթականությամբ։ Փաթեթի ցանկացած կորուստ նշանակում է վերահաղորդում և job completion time-ի աճ։ Scale-up ցանցերում (XPU↔XPU դարակի ներսում) հապաղման բյուջեն չափվում է հարյուրավոր նանովայրկյաններով. Tomahawk Ultra-ն հայտարարում է կոմուտատորի 250 նվ հապաղում։

Երեք տարբերակ. ինչպես են աշխատում

PFC + ECN/DCQCN. RoCEv2-ի հիմնական սխեման։ Կոմուտատորը հերթի աճի դեպքում նշում է ECN, ստացողն ուղարկում է CNP, NIC-ը նվազեցնում է կոնկրետ հերթի արագությունը։ PFC-ն ապահովիչ մեխանիզմ է. եթե բուֆերը գրեթե լիքն է, պորտն ուղարկում է PAUSE հարևանին և կանգնեցնում է տրաֆիկի ամբողջ դասը։ Keysight-ն իր բլոգում PFC-ն անվանում է կոպիտ գործիք. այն չի տարբերում գերբեռնվածության աղբյուրը և ճնշում է հարևան հոսքերը։

Link Layer Retry. Ultra Ethernet 1.0 սպեցիֆիկացիայի ընտրովի մեխանիզմ։ Հաղորդիչը կադրերը պահում է replay բուֆերում և համարակալում է դրանք preamble-ի միջոցով, իսկ ստացողը հաստատում է ACK/NACK-ով PCS-ի ծառայողական ordered set-երի միջոցով։ Կորստի դեպքում կատարվում է վերահաղորդում go-back-N սխեմայով։ Timeout-ը կապված է լինքի RTT-ին, մոտ 1 մկվ։ LLR-ը չի պայքարում գերբեռնվածության դեմ. այն ուղղում է բիթային սխալները, որոնք FEC-ը չի կարողացել շտկել։ 200G SerDes-ի և 1.6T-ի վրա այդպիսի սխալներն այլևս հազվադեպ չեն։

Credit-Based Flow Control. Նույնպես UE 1.0-ի մաս է. կարող է փոխարինել PFC-ին կամ աշխատել դրան զուգահեռ։ Ուղարկողը հաղորդում է միայն այն դեպքում, երբ ունի կրեդիտներ ստացողի բուֆերի համար, իսկ կրեդիտները վերադարձվում են բուֆերի ազատվելուն զուգահեռ։ Հաշվառումը վարվում է վիրտուալ կապուղու (VC) մակարդակով. մինչև 32 VC PFC-ի 8 դասերի դիմաց, հաշվիչները 20-բիթանոց են։ Բուֆերը հաշվարկվում է ճշգրիտ կապուղու համար, այլ ոչ թե «RTT + MTU յուրաքանչյուր պորտի համար՝ պահուստով» բանաձևով։

Համեմատություն

Չափանիշ PFC + ECN/DCQCN Link Layer Retry CBFC
Ինչից է պաշտպանում Բուֆերի գերլցում Լինքի սխալներ (FEC/FCS) Բուֆերի գերլցում
Որտեղ է աշխատում Hop-by-hop PAUSE + end-to-end ECN Մեկ լինք Մեկ լինք, VC-ի մակարդակով
Գրանուլյարություն 8 դաս Կադր Մինչև 32 VC
Բուֆերի պահանջ Headroom = արագություն × RTT, յուրաքանչյուր պորտի համար Replay բուֆեր յուրաքանչյուր լինքի համար Ֆիքսված յուրաքանչյուր VC-ի համար, PFC-ից փոքր
Սարքավորում Ցանկացած DC կոմուտատոր և RoCE NIC ASIC + NIC/XPU UE link layer-ով (TH6, Tomahawk Ultra) Նույնը
Interop կարգավիճակ Հասուն, պահանջում է նուրբ կարգավորում Առաջին հրապարակային դեմոներ (OFC և OCP 2026) Առաջին դեմոներ 400/800GE-ի վրա
Գլխավոր թակարդ HoL բլոկավորում, deadlock, PAUSE փոթորիկ Հապաղման պոչ վերահաղորդումների ժամանակ, պատուհանի չափ Կրեդիտների արտահոսք/ապասինխրոնացում

Թակարդներ, որոնք տեսանելի են միայն ստենդում

PFC. Microsoft-ը դեռ 2016 թվականին արձանագրել է PFC deadlock արտադրական միջավայրում և NIC-երից PAUSE կադրերի փոթորիկներ։ Headroom-ը մեծանում է հեռավորության հետ. Keysight-ը բերում է 400GbE-ի օրինակ 2 կմ-ի վրա 20 մկվ RTT-ով — մոտ 1 ՄԲ յուրաքանչյուր պորտի համար։ Դրան գումարվում են ECMP կոլիզիաները, որոնք արդյունավետ թողունակությունը կրճատում են մոտավորապես 60%-ի։

LLR. Go-back-N-ը վերահաղորդում է ոչ միայն կորած կադրը, այլև դրանից հետո հաղորդված բոլոր կադրերը։ Բարձր BER-ի դեպքում p99.9 պոչը մեծանում է նույնիսկ զրոյական drop-ների պայմաններում։ Պետք է ստուգել replay բուֆերը բեռնվածության տակ և վարքը հենց NACK-ի կորստի դեպքում։

CBFC. Կրեդիտները լինքի երկու կողմերի համաձայնեցված վիճակ (state) են։ Տիպիկ խնդիրներ. ապասինխրոնացում լինքի խափանումից հետո, հաշվառման մեջ փաթեթի սխալ չափ, կոնֆլիկտ PFC-ի հետ նույն պորտի վրա։ IEEE 802.1 աշխատանքային խումբը UEC-ին հարց է ուղղել, թե ինչպես պետք է PFC-ն և CBFC-ն գոյակցեն։

Ինչպես թեստավորել

  1. Conformance. LLR/CBFC հաղորդագրությունների փոխանակում սպեցիֆիկացիայի համաձայն, համաձայնեցում LLDP-ի միջոցով, հաշվիչների սահմանային արժեքներ։
  2. Interop. Թեստերն այլ վենդորի ASIC-ի դիմաց — հենց այս ձևաչափով են անցել Keysight-ի դեմոները. INPT-1600GE TH6-ի դիմաց, ապա 400GE Tomahawk Ultra-ի դիմաց։
  3. Սխալների ինյեկցիա. Արհեստական BER լինքի վրա, LLR վերահաղորդումների հաշվարկ, p50/p99/p99.9 հապաղման չափում, ոչ միայն միջինի։
  4. Incast և all-to-all. PFC/DCQCN-ի համար — PAUSE-ի հաճախականություն, բուֆերների լցվածություն, ECN օղակի ռեակցիայի ժամանակ։ CBFC-ի համար — կրեդիտների օգտագործում VC-ի մակարդակով։
  5. Deadlock սցենարներ. Բուֆերների ցիկլային փոխկախվածություններ. չափանիշը՝ վերականգնում առանց ձեռքով միջամտության։

Ինչ է սա նշանակում բիզնեսի համար

Երեք մեխանիզմ — ծախսերի երեք մակարդակ։ PFC/DCQCN-ն աշխատում է ներկայիս սարքավորման վրա, բայց պահանջում է երկարատև կարգավորում և կրում է deadlock-ի պատճառով կլաստերի պարապուրդի ռիսկ։ LLR-ը և CBFC-ն խոստանում են կանխատեսելիություն, բայց պահանջում են նոր ASIC-ներ (Tomahawk 6՝ 102.4 Տբիթ/վ, Tomahawk Ultra՝ 51.2 Տբիթ/վ) և UE-ի աջակցությամբ NIC/XPU։ Գլխավոր ռիսկը երկու վենդորի սարքավորում գնելն է, որոնց LLR-ն իրականացված է «սպեցիֆիկացիայի համաձայն», բայց գործնականում համատեղելիություն չի ապահովում. առաջին հրապարակային interop դեմոներն անցել են միայն 2026 թվականի մարտին և հոկտեմբերին։ GPU կլաստերի մեկ ժամ պարապուրդն ավելի թանկ է, քան մեկ շաբաթ թեստավորումը։

Ինչ անել

Մեխանիզմը մի՛ ընտրեք ներկայացումների հիման վրա։ Հավաքեք թեկնածուներին ստենդում, անցկացրեք conformance, interop, սխալների ինյեկցիա և incast, համեմատեք հապաղման պոչերը։ Եթե lossless Ethernet մեխանիզմի ընտրությունը ձեր առջև է — գրեք TEST4NET-ին. կքննարկենք ձեր սցենարը և կառաջարկենք փորձարկումների ծրագիր։

Աղբյուրներ