Как мы тестируем EVPN и VXLAN: лиф фабрики под тысячами хостов

Фабрику дата-центра принимают в 2 шага. Шаг 1: интегратор показывает, что два хоста на разных лифах пингуются. Шаг 2 наступает через 6 месяцев, когда гипервизор мигрирует 2000 VM в окно обслуживания и фабрика 10 минут договаривается, куда они уехали. Мы прогоняем шаг 2 до шага 1.

Стенд

DUT – лиф, спайн или border leaf на портах 10G, 25G или 100G. Генератор эмулирует остальную фабрику: спайны как BGP route reflector, другие лифы как EVPN-пиры, underlay на IGP или eBGP, а также хосты за каждым лифом (тысячи MAC- и IP-адресов, VLAN, VNI и VRF). Трафик между эмулированными хостами проходит через DUT в обе стороны, в инкапсуляции и без, так что data plane и control plane видны одновременно.

Multi-homing входит в стенд: эмулированный хост подключен к DUT и к эмулированному соседнему лифу с одним ESI, так что all-active форвардинг, выбор DF и mass withdraw проходят реальную проверку.

Что проверяем

• Типы маршрутов: type 2 MAC и MAC-IP, type 3 inclusive multicast, type 5 IP prefix, type 1 и 4 для multi-homing; каждый анонсируется генератором и читается обратно с DUT
• Масштаб по хостам: 1000, 10 000 и больше выученных хостов, время обучения, время сброса, память и CPU во время полного переобучения
• MAC mobility: хост переезжает между лифами каждые несколько секунд, проверяются sequence number, разрыв форвардинга замеряется на каждый переезд
• Подавление ARP и ND: доходит ли broadcast до фабрики, с цифрами
• Multi-homing: выбор DF, all-active балансировка по потокам, mass withdraw после отказа линка с замером в миллисекундах
• Маршрутизация: симметричный и асимметричный IRB, leaking между VRF, маршруты type 5 с border leaf и трафик, который по ним идет
• Форвардинг overlay: инкапсуляция и декапсуляция VXLAN на line rate, ECMP через спайны, MTU с учетом 50 байт заголовков, копирование QoS во внешний заголовок
• Отказы: потеря спайна, потеря лифа, потеря линка underlay, каждый с разрывом по потокам

Что обычно ломается

Обучение на масштабе. Лиф, который выучивает 100 хостов за секунду, тратит 90 секунд на 10 000, и большую часть этого времени маршруты type 2 анонсируются в порядке, который отличается от порядка обновления FIB. Соседний лиф шлет трафик хосту, известному BGP и пока неизвестному чипу. Тест пингом такого не находит.

Второе место: multi-homing. All-active работает, потом отказывает линк в ESI, и mass withdraw занимает 4 секунды вместо долей секунды, заложенных в дизайне, потому что устройство отзывает маршруты по одному MAC. 5000 MAC, 4 секунды черной дыры на половине потоков.

Третье: комбинация функций. VXLAN плюс egress ACL плюс перемаркировка QoS, по отдельности все работает, на одном порту значение DSCP теряется на выходе. Чек-лист по одной функции проходит каждую строку. Сервисный тест с реальной маркировкой падает.

Что в отчете

Время обучения и сброса кривыми. Проверка таблицы маршрутов по каждому типу. Сценарии mobility, multi-homing и отказов таблицами: событие, затронутые хосты или потоки, разрыв в миллисекундах. Результаты форвардинга по каждому VNI и VRF с маркировкой на выходе. Ресурсы за прогон, конфигурация DUT и эмулированная фабрика. Вендор может воспроизвести любой пункт по одному отчету.

С чего начать

Пришлите нам модель устройства, прошивку, которую планируете запускать, и топологию, в которой оно будет стоять. Мы ответим тест-планом: пункты проверки, схема стенда и сроки. План бесплатный, отчет остается у вас, его можно показать вендору. Напишите нам или посмотрите, что еще умеет стенд.