Перейти к содержанию

Теория: основы VXLAN и статическая ingress replication

1. Какую задачу решает VXLAN

Представим два сервера одной подсети, подключённые к разным коммутаторам. Обычный Ethernet требует L2-пути между ними: например, последовательности trunk с одним VLAN. Если вместо этого между коммутаторами находится маршрутизируемая IP-сеть, широковещательный ARP-запрос через неё не пройдёт. Маршрутизатор не пересылает произвольные Ethernet-кадры соседнего сегмента.

VXLAN (Virtual Extensible LAN) решает эту задачу инкапсуляцией: исходный Ethernet-кадр помещается внутрь UDP/IP-пакета. Транзитные маршрутизаторы доставляют внешний IP-пакет, а крайний коммутатор извлекает исходный кадр. Так создаётся логический L2-сегмент поверх L3-инфраструктуры.

В нашей работе PC1 192.168.10.11/24 и PC2 192.168.10.12/24 находятся в одном логическом сегменте. Физического trunk между Leaf нет. Оба Spine и uplink Leaf работают как обычная маршрутизируемая сеть.

VXLAN полезен для разделения инфраструктурной IP-связности и сетей арендаторов, а также для построения fabric с несколькими равностоимостными L3-путями. Это не означает, что L2 следует растягивать без ограничений: broadcast domain и последствия L2-ошибок сохраняются внутри соответствующего overlay-сегмента.

2. Термины и роли устройств

Термин Смысл В нашей топологии
Underlay Физическая IP-инфраструктура, доставляющая outer IP-пакеты Routed uplink, OSPF, loopback
Overlay Логическая сеть поверх underlay Общая клиентская Ethernet-сеть
VTEP VXLAN Tunnel Endpoint: инкапсуляция и декапсуляция LEAF1 и LEAF2
NVE Логический интерфейс Network Virtualization Edge в NX-OS interface nve1 на Leaf
VLAN Локальный Ethernet broadcast domain VLAN 10 на access-порту
VNI VXLAN Network Identifier, идентификатор overlay-сегмента L2VNI 10010
BUM Broadcast, unknown unicast, multicast Например, ARP до изучения MAC

Leaf подключает конечные узлы. Spine связывает Leaf через L3. В этой схеме Spine не являются VTEP: им не нужны клиентский VLAN, VNI и NVE. Пакет проходит через Spine без снятия VXLAN-инкапсуляции.

VNI — 24-битное поле, то есть пространство примерно 16 миллионов идентификаторов. VLAN ID — 12-битное поле с 4094 обычными пользовательскими VLAN. Это размер пространства идентификаторов, а не гарантия такого количества одновременно поддерживаемых сегментов на конкретной платформе.

Отображение VLAN 10 → VNI 10010 означает: кадр, пришедший в локальный VLAN 10, переносится через VXLAN с меткой 10010. Значения VLAN и VNI не обязаны совпадать численно. В этой работе они должны быть согласованы на обоих Leaf; разные VNI представляют разные overlay-сегменты.

3. Разделение underlay и overlay

Underlay должен знать, как доставить пакет до удалённого VTEP, но не обязан знать адреса клиентов. Поэтому в OSPF мы передаём физические подсети и loopback, но не 192.168.10.0/24.

Назначение LEAF1 LEAF2
Loopback0: router-id, позже BGP 10.255.0.11/32 10.255.0.12/32
Loopback1: адрес VTEP 10.255.1.11/32 10.255.1.12/32
Подключённый клиент 192.168.10.11/24 192.168.10.12/24

Loopback не привязан к одному физическому uplink. Пока существует хотя бы один маршрут, адрес VTEP может оставаться доступен после отказа отдельного линка. Это не делает сам Leaf отказоустойчивым: при его остановке единственный подключённый к нему клиент потеряет сеть.

Клиенты находятся в одной /24, поэтому сначала выполняют ARP друг для друга, а не обращаются к шлюзу. SVI и default gateway в этой работе не требуются. Добавление маршрута до клиентской подсети в OSPF не заменяет VXLAN.

4. Что находится внутри VXLAN-пакета

Outer Ethernet
  Outer IPv4: 10.255.1.11 -> 10.255.1.12
    UDP: destination port 4789
      VXLAN: VNI 10010
        Inner Ethernet: MAC-PC1 -> MAC-PC2
          Inner IPv4: 192.168.10.11 -> 192.168.10.12
            ICMP echo request

Для ARP внутри VXLAN вместо inner IPv4 будет Ethernet payload ARP. Outer описывает доставку между VTEP, inner — исходный клиентский кадр.

На каждом routed hop изменяются внешний Ethernet-заголовок и outer IP TTL. Inner MAC и inner IP не подменяются адресами Spine: клиентский кадр переносится через сеть как полезная нагрузка. Поэтому MAC назначения внешнего кадра на LEAF1 — MAC ближайшего Spine, а IP назначения внешнего пакета — 10.255.1.12, удалённый VTEP.

Внешний UDP source port обычно вычисляется из внутреннего потока и создаёт энтропию для ECMP. Один поток может идти только через один Spine, а другой — через второй. Равностоимостная маршрутизация не означает обязательное чередование каждого пакета по двум uplink. Outer destination port в этой работе — 4789.

5. Как проходит первый ARP и последующий ping

Рассмотрим ситуацию, когда таблицы ARP и MAC ещё не содержат нужных записей.

  1. PC1 определяет по маске, что PC2 находится в той же подсети. Он отправляет broadcast ARP: «Кто имеет 192.168.10.12?».
  2. LEAF1 получает кадр на E1/3 в VLAN 10 и изучает MAC PC1 как локальный.
  3. LEAF1 отображает VLAN 10 в VNI 10010. Поскольку это broadcast, ему нужен список удалённых VTEP, участвующих в данном VNI.
  4. Статическая ingress replication задаёт peer 10.255.1.12. LEAF1 формирует unicast VXLAN-пакет к этому VTEP, сохраняя broadcast внутри.
  5. OSPF-маршрут выбирает один из Spine. Spine маршрутизирует outer IP-пакет, не обрабатывая ARP клиента.
  6. LEAF2 принимает VXLAN для VNI 10010, декапсулирует кадр и передаёт ARP в свой VLAN 10 на PC2. Из принятого трафика он может изучить удалённый MAC PC1 за VTEP 10.255.1.11.
  7. PC2 отвечает своим MAC. Ответ идёт обратно через VXLAN. LEAF1 изучает MAC PC2 за удалённым VTEP.
  8. Последующие ICMP-пакеты передаются с известными MAC и VTEP. Первый ping иногда теряет пакет во время ARP; повторный тест должен давать 5/5.

Это механизм flood-and-learn: неизвестные назначения сначала затапливаются в пределах VNI, а соответствия MAC → VTEP изучаются из data plane.

6. Что означает ingress replication

Ingress — входной VTEP, получивший исходный кадр от клиента. Replication — создание копий BUM-трафика для удалённых участников VNI.

Вместо multicast underlay VTEP отправляет отдельный unicast VXLAN-пакет каждому настроенному peer. При двух VTEP достаточно одной удалённой копии. Если удалённых участников десять, отправитель должен создать до десяти копий одного BUM-кадра. Это важно для оценки нагрузки, хотя в маленькой лаборатории она почти незаметна.

Статический peer-ip задаёт участника replication list, а не IP клиента и не IP соседнего Spine. На LEAF1 это 10.255.1.12; на LEAF2 — 10.255.1.11.

Multicast underlay и PIM здесь не нужны. Это не запрещает служебный multicast самого OSPF. В Lab 2 список участников VNI будет строиться по EVPN вместо ручного peer-ip.

7. MTU и накладные расходы

При внешнем IPv4, без дополнительных VLAN-тегов и без учёта FCS:

Добавляемый заголовок Размер
Outer Ethernet 14 байт
Outer IPv4 20 байт
UDP 8 байт
VXLAN 8 байт
Всего относительно исходного Ethernet-кадра 50 байт

Если клиент отправляет inner IP-пакет 1500 байт, его Ethernet-кадр содержит ещё 14 байт. Outer IP должен вместить 20 + 8 + 8 + 14 + 1500 = 1550 байт. Поэтому для такого трафика outer IP MTU нужен не меньше 1550, а длина внешнего Ethernet-кадра без FCS будет 1564.

Мы задаём MTU 9216 на всех routed uplink underlay и оставляем клиентам 1500. Нужна согласованность всего пути, а не только одного интерфейса. Маленький ping может работать при ошибочном MTU и создавать ложное впечатление исправности.

Проверка на IOSv ping ... size 1500 df-bit repeat 5 задаёт размер IP-пакета и запрещает его фрагментацию флагом DF. Сопоставьте вывод CLI с inner IP total length в Wireshark. Это проверяет выбранный путь и размер, а не гарантирует доставку любого размера на всех путях fabric.

8. Как отличать уровни неисправности

Симптом Что проверять сначала
Нет OSPF FULL Физический линк, IP/маску, area, MTU, network type
OSPF есть, remote VTEP не пингуется Анонс Loopback1 и маршрут до него
VTEP доступен, VNI не Up VLAN/VNI, NVE, source-interface и access-порт
NVE/VNI Up, PC не отвечает Access VLAN, remote MAC, peer-IP, ARP и захват
Маленький ping работает, большой нет MTU всего выбранного underlay-пути
Трафика нет в одном Capture Какой uplink выбран ECMP; захват на обоих

Неверный peer-IP может нарушить BUM, хотя уже изученный unicast некоторое время продолжит работать. Нельзя делать вывод только по одному ping, не учитывая кэши ARP/MAC.

9. Чего эта схема не делает

  • VXLAN не шифрует трафик и не заменяет IPSec. VNI — сегментация, а не криптографическая защита.
  • L2VNI не выполняет автоматически маршрутизацию между клиентскими подсетями. Для неё нужны отдельные gateway/IRB-механизмы, которые здесь не настраиваются.
  • Два Spine дают резервирование underlay-пути, но не резервируют одиночное подключение клиента к Leaf.
  • Виртуальный Nexus проверяет логику конфигурации и протоколов, но не производительность ASIC физического коммутатора.

10. Вопросы перед практикой

  1. Почему в OSPF нет клиентской подсети, хотя PC1 достигает PC2?
  2. Чем source-interface loopback1 отличается от peer-ip?
  3. Какой MAC видит Spine: PC2 или ближайшего underlay-соседа?
  4. Почему VLAN 10 и VNI 10010 — не одно и то же поле?
  5. Почему 5/5 между VTEP недостаточно для зачёта клиентского VXLAN?

Далее: общий underlay пошагово и ход Lab 1.

Источники