Как мы измеряем потребление под нагрузкой: ватты на Gbps

В даташите коммутатора, роутера или межсетевого экрана две цифры потребления: «typical» и «maximum». Ни одна не говорит, при какой нагрузке, с какой оптикой и при какой температуре на входе. У стойки фиксированный бюджет в киловаттах, а тендер спрашивает ватты на Gbps. Когда это входит в объем проекта по нагрузочному тестированию, мы измеряем потребление устройства на нашем стенде: ватты без нагрузки и на 30%, 70% и 100% с вашим профилем трафика.

Стенд

Устройство встает на стенд CloudLAB с вашей оптикой и вашей конфигурацией, порты подключены к генератору на 1G, 10G или 100G (400G и быстрее – под проект). На каждом вводе питания стоит inline-измеритель, поэтому коробка с 2 блоками питания читается по каждому блоку и в сумме. Рядом с измерителем пишем то, что устройство сообщает о себе: входную мощность по каждому PSU, обороты вентиляторов, температуру на входе и на чипе. Все это ложится на одну шкалу со счетчиками трафика.

Нагрузка идет ступенями: без трафика с поднятыми линками, затем 30%, 70% и 100% line rate на каждом порту, каждая ступень держится, пока температуры не перестанут расти. Профиль трафика ваш, из выгрузки NetFlow или дампа; без них используем IMIX. Throughput, знаменатель в ваттах на Gbps, дает прогон RFC 2544 на том же трафике; сам форвардинг описан в посте как мы тестируем коммутаторы. Результат – потребление вашего устройства на вашем трафике на одном стенде, так что шорт-лист сравнивается в равных условиях; энергосертификация и заключения о соответствии стандартам в наш объем не входят.

Что проверяем

• Потребление по ступеням: без нагрузки, 30%, 70% и 100%, по каждому вводу и в сумме, среднее по стабильной части ступени
• Ватты на Gbps и на порт: в знаменателе только трафик, пропущенный без потерь, чтобы коробка, теряющая кадры на полной нагрузке, не выглядела экономной
• Без трафика: линки подняты, порты в admin-down, пустые слоты с оптикой и без, EEE включен и выключен и задержка, которую он добавляет, когда трафик будит линк
• Оптика: тот же набор портов на DAC, модулях ближнего и дальнего действия, сколько добавляет каждый тип на порт
• Функции: ACL, QoS, туннели, на межсетевом экране профили инспекции; изменение в потреблении и в throughput, чтобы стоимость функции была видна в W/Gbps
• Вентиляторы и температура: обороты и датчики на каждой ступени и за несколько часов прогрева на 100%, ступень, где вентиляторы уходят на максимум, троттлинг
• Блоки питания: распределение между 2 PSU, один ввод снят под трафиком, потребление оставшегося блока против его номинала, кадры, потерянные при переключении
• Телеметрия против счетчика: расхождение между тем, что сообщает устройство, и тем, что идет по вводу, на каждой ступени

Что обычно ломается

Цифра из даташита. В типичном проекте у leaf-коммутатора заявлено 300 W typical. На стенде он берет 285 W без нагрузки с оптикой во всех портах, 340 W на 70% и 395 W на 100%. Цифра из даташита совпадает с той же коробкой, у которой половина слотов под оптику пустая. На стойку из 10 таких коммутаторов ошибка планирования около 1 kW.

Показания самого устройства. Телеметрия сообщает 250 W, а счетчики на вводах показывают 295 W: коробка отдает мощность на выходе блока питания или только по одному блоку. Планирование емкости по опросам SNMP теряет 15% нагрузки.

Функции. Межсетевой экран с простыми правилами пропускает трафик при 6 W на Gbps. С включенным профилем инспекции throughput падает втрое, потребление почти не меняется, и цифра растет до 18 W на Gbps.

Нагрев. За 4 часа на 100% вентиляторы дважды переходят на ступень выше и добавляют 40 W. У одного кандидата из типичного шорт-листа чип на третьем часу доходит до порога троттлинга, и throughput падает на 8%. 60-секундный прогон не покажет ни того, ни другого.

Что в отчете

Ватты по каждому вводу и в сумме на каждой ступени нагрузки рядом с цифрами из даташита. Ватты на Gbps и на порт на трафике без потерь. Прирост для каждой функции и каждого типа оптики. Обороты вентиляторов и температура за весь прогрев, с моментом троттлинга, если он был. Отказ PSU с потреблением оставшегося блока. Телеметрия против счетчика для поправки мониторинга. Конфигурация и сырые логи измерителя, устройства и генератора приложены. По вашему тарифу добавляем стоимость энергии за год при ожидаемой нагрузке; для шорт-листа все кандидаты идут в одну таблицу.

С чего начать

Пришлите нам модели, оптику, профиль трафика и бюджет питания стойки, в которую они встанут. Мы ответим черновиком тест-плана: пункты проверки, схема стенда и сроки. Отчет остается у вас, его можно показать вендору. Напишите нам или посмотрите, что еще умеет стенд.