Теория: основы VXLAN и статическая ingress replication¶
1. Какую задачу решает VXLAN¶
Представим два сервера одной подсети, подключённые к разным коммутаторам. Обычный Ethernet требует L2-пути между ними: например, последовательности trunk с одним VLAN. Если вместо этого между коммутаторами находится маршрутизируемая IP-сеть, широковещательный ARP-запрос через неё не пройдёт. Маршрутизатор не пересылает произвольные Ethernet-кадры соседнего сегмента.
VXLAN (Virtual Extensible LAN) решает эту задачу инкапсуляцией: исходный Ethernet-кадр помещается внутрь UDP/IP-пакета. Транзитные маршрутизаторы доставляют внешний IP-пакет, а крайний коммутатор извлекает исходный кадр. Так создаётся логический L2-сегмент поверх L3-инфраструктуры.
В нашей работе PC1 192.168.10.11/24 и PC2 192.168.10.12/24 находятся в одном логическом сегменте. Физического trunk между Leaf нет. Оба Spine и uplink Leaf работают как обычная маршрутизируемая сеть.
VXLAN полезен для разделения инфраструктурной IP-связности и сетей арендаторов, а также для построения fabric с несколькими равностоимостными L3-путями. Это не означает, что L2 следует растягивать без ограничений: broadcast domain и последствия L2-ошибок сохраняются внутри соответствующего overlay-сегмента.
2. Термины и роли устройств¶
| Термин | Смысл | В нашей топологии |
|---|---|---|
| Underlay | Физическая IP-инфраструктура, доставляющая outer IP-пакеты | Routed uplink, OSPF, loopback |
| Overlay | Логическая сеть поверх underlay | Общая клиентская Ethernet-сеть |
| VTEP | VXLAN Tunnel Endpoint: инкапсуляция и декапсуляция | LEAF1 и LEAF2 |
| NVE | Логический интерфейс Network Virtualization Edge в NX-OS | interface nve1 на Leaf |
| VLAN | Локальный Ethernet broadcast domain | VLAN 10 на access-порту |
| VNI | VXLAN Network Identifier, идентификатор overlay-сегмента | L2VNI 10010 |
| BUM | Broadcast, unknown unicast, multicast | Например, ARP до изучения MAC |
Leaf подключает конечные узлы. Spine связывает Leaf через L3. В этой схеме Spine не являются VTEP: им не нужны клиентский VLAN, VNI и NVE. Пакет проходит через Spine без снятия VXLAN-инкапсуляции.
VNI — 24-битное поле, то есть пространство примерно 16 миллионов идентификаторов. VLAN ID — 12-битное поле с 4094 обычными пользовательскими VLAN. Это размер пространства идентификаторов, а не гарантия такого количества одновременно поддерживаемых сегментов на конкретной платформе.
Отображение VLAN 10 → VNI 10010 означает: кадр, пришедший в локальный VLAN 10, переносится через VXLAN с меткой 10010. Значения VLAN и VNI не обязаны совпадать численно. В этой работе они должны быть согласованы на обоих Leaf; разные VNI представляют разные overlay-сегменты.
3. Разделение underlay и overlay¶
Underlay должен знать, как доставить пакет до удалённого VTEP, но не обязан знать адреса клиентов. Поэтому в OSPF мы передаём физические подсети и loopback, но не 192.168.10.0/24.
| Назначение | LEAF1 | LEAF2 |
|---|---|---|
| Loopback0: router-id, позже BGP | 10.255.0.11/32 | 10.255.0.12/32 |
| Loopback1: адрес VTEP | 10.255.1.11/32 | 10.255.1.12/32 |
| Подключённый клиент | 192.168.10.11/24 | 192.168.10.12/24 |
Loopback не привязан к одному физическому uplink. Пока существует хотя бы один маршрут, адрес VTEP может оставаться доступен после отказа отдельного линка. Это не делает сам Leaf отказоустойчивым: при его остановке единственный подключённый к нему клиент потеряет сеть.
Клиенты находятся в одной /24, поэтому сначала выполняют ARP друг для друга, а не обращаются к шлюзу. SVI и default gateway в этой работе не требуются. Добавление маршрута до клиентской подсети в OSPF не заменяет VXLAN.
4. Что находится внутри VXLAN-пакета¶
Outer Ethernet
Outer IPv4: 10.255.1.11 -> 10.255.1.12
UDP: destination port 4789
VXLAN: VNI 10010
Inner Ethernet: MAC-PC1 -> MAC-PC2
Inner IPv4: 192.168.10.11 -> 192.168.10.12
ICMP echo request
Для ARP внутри VXLAN вместо inner IPv4 будет Ethernet payload ARP. Outer описывает доставку между VTEP, inner — исходный клиентский кадр.
На каждом routed hop изменяются внешний Ethernet-заголовок и outer IP TTL. Inner MAC и inner IP не подменяются адресами Spine: клиентский кадр переносится через сеть как полезная нагрузка. Поэтому MAC назначения внешнего кадра на LEAF1 — MAC ближайшего Spine, а IP назначения внешнего пакета — 10.255.1.12, удалённый VTEP.
Внешний UDP source port обычно вычисляется из внутреннего потока и создаёт энтропию для ECMP. Один поток может идти только через один Spine, а другой — через второй. Равностоимостная маршрутизация не означает обязательное чередование каждого пакета по двум uplink. Outer destination port в этой работе — 4789.
5. Как проходит первый ARP и последующий ping¶
Рассмотрим ситуацию, когда таблицы ARP и MAC ещё не содержат нужных записей.
- PC1 определяет по маске, что PC2 находится в той же подсети. Он отправляет broadcast ARP: «Кто имеет
192.168.10.12?». - LEAF1 получает кадр на E1/3 в VLAN 10 и изучает MAC PC1 как локальный.
- LEAF1 отображает VLAN 10 в VNI 10010. Поскольку это broadcast, ему нужен список удалённых VTEP, участвующих в данном VNI.
- Статическая ingress replication задаёт peer
10.255.1.12. LEAF1 формирует unicast VXLAN-пакет к этому VTEP, сохраняя broadcast внутри. - OSPF-маршрут выбирает один из Spine. Spine маршрутизирует outer IP-пакет, не обрабатывая ARP клиента.
- LEAF2 принимает VXLAN для VNI 10010, декапсулирует кадр и передаёт ARP в свой VLAN 10 на PC2. Из принятого трафика он может изучить удалённый MAC PC1 за VTEP
10.255.1.11. - PC2 отвечает своим MAC. Ответ идёт обратно через VXLAN. LEAF1 изучает MAC PC2 за удалённым VTEP.
- Последующие ICMP-пакеты передаются с известными MAC и VTEP. Первый ping иногда теряет пакет во время ARP; повторный тест должен давать 5/5.
Это механизм flood-and-learn: неизвестные назначения сначала затапливаются в пределах VNI, а соответствия MAC → VTEP изучаются из data plane.
6. Что означает ingress replication¶
Ingress — входной VTEP, получивший исходный кадр от клиента. Replication — создание копий BUM-трафика для удалённых участников VNI.
Вместо multicast underlay VTEP отправляет отдельный unicast VXLAN-пакет каждому настроенному peer. При двух VTEP достаточно одной удалённой копии. Если удалённых участников десять, отправитель должен создать до десяти копий одного BUM-кадра. Это важно для оценки нагрузки, хотя в маленькой лаборатории она почти незаметна.
Статический peer-ip задаёт участника replication list, а не IP клиента и не IP соседнего Spine. На LEAF1 это 10.255.1.12; на LEAF2 — 10.255.1.11.
Multicast underlay и PIM здесь не нужны. Это не запрещает служебный multicast самого OSPF. В Lab 2 список участников VNI будет строиться по EVPN вместо ручного peer-ip.
7. MTU и накладные расходы¶
При внешнем IPv4, без дополнительных VLAN-тегов и без учёта FCS:
| Добавляемый заголовок | Размер |
|---|---|
| Outer Ethernet | 14 байт |
| Outer IPv4 | 20 байт |
| UDP | 8 байт |
| VXLAN | 8 байт |
| Всего относительно исходного Ethernet-кадра | 50 байт |
Если клиент отправляет inner IP-пакет 1500 байт, его Ethernet-кадр содержит ещё 14 байт. Outer IP должен вместить 20 + 8 + 8 + 14 + 1500 = 1550 байт. Поэтому для такого трафика outer IP MTU нужен не меньше 1550, а длина внешнего Ethernet-кадра без FCS будет 1564.
Мы задаём MTU 9216 на всех routed uplink underlay и оставляем клиентам 1500. Нужна согласованность всего пути, а не только одного интерфейса. Маленький ping может работать при ошибочном MTU и создавать ложное впечатление исправности.
Проверка на IOSv ping ... size 1500 df-bit repeat 5 задаёт размер IP-пакета и запрещает его фрагментацию флагом DF. Сопоставьте вывод CLI с inner IP total length в Wireshark. Это проверяет выбранный путь и размер, а не гарантирует доставку любого размера на всех путях fabric.
8. Как отличать уровни неисправности¶
| Симптом | Что проверять сначала |
|---|---|
| Нет OSPF FULL | Физический линк, IP/маску, area, MTU, network type |
| OSPF есть, remote VTEP не пингуется | Анонс Loopback1 и маршрут до него |
| VTEP доступен, VNI не Up | VLAN/VNI, NVE, source-interface и access-порт |
| NVE/VNI Up, PC не отвечает | Access VLAN, remote MAC, peer-IP, ARP и захват |
| Маленький ping работает, большой нет | MTU всего выбранного underlay-пути |
| Трафика нет в одном Capture | Какой uplink выбран ECMP; захват на обоих |
Неверный peer-IP может нарушить BUM, хотя уже изученный unicast некоторое время продолжит работать. Нельзя делать вывод только по одному ping, не учитывая кэши ARP/MAC.
9. Чего эта схема не делает¶
- VXLAN не шифрует трафик и не заменяет IPSec. VNI — сегментация, а не криптографическая защита.
- L2VNI не выполняет автоматически маршрутизацию между клиентскими подсетями. Для неё нужны отдельные gateway/IRB-механизмы, которые здесь не настраиваются.
- Два Spine дают резервирование underlay-пути, но не резервируют одиночное подключение клиента к Leaf.
- Виртуальный Nexus проверяет логику конфигурации и протоколов, но не производительность ASIC физического коммутатора.
10. Вопросы перед практикой¶
- Почему в OSPF нет клиентской подсети, хотя PC1 достигает PC2?
- Чем
source-interface loopback1отличается отpeer-ip? - Какой MAC видит Spine: PC2 или ближайшего underlay-соседа?
- Почему VLAN 10 и VNI 10010 — не одно и то же поле?
- Почему 5/5 между VTEP недостаточно для зачёта клиентского VXLAN?
Далее: общий underlay пошагово и ход Lab 1.