Перейти к содержанию

Теория: VXLAN BGP EVPN

1. Зачем нужен EVPN, если VXLAN уже работает

В Lab 1 VTEP вручную знает удалённые replication peers и изучает remote MAC из поступающего VXLAN-трафика. При росте fabric поддерживать такие списки на всех Leaf неудобно. Кроме того, оператору нужна распределяемая информация: какой VTEP обслуживает MAC и какие VTEP входят в конкретный VNI.

EVPN (Ethernet VPN) — семейство BGP-маршрутов для распространения такой информации. В этой работе транспортом клиентских кадров остаётся VXLAN. EVPN не заменяет UDP-инкапсуляцию и не переносит каждый пользовательский кадр внутри BGP UPDATE.

Уровень Задача Протокол/объект
Underlay control plane Узнать маршруты до инфраструктурных IP OSPF
Overlay control plane Распространить MAC и членство VTEP в VNI BGP EVPN, TCP/179
Overlay data plane Перенести клиентские кадры VXLAN, UDP/4789

Established BGP не гарантирует работоспособный VXLAN. BGP может быть установлен, а маршрут не импортирован из-за RT; маршрут может быть импортирован, а access VLAN или MTU — настроен неверно.

2. Два loopback — две разные роли

На Leaf адреса разделены намеренно:

Роль LEAF1 LEAF2
Loopback0, router-id и BGP update-source 10.255.0.11 10.255.0.12
Loopback1, NVE source/VTEP 10.255.1.11 10.255.1.12

BGP-соседи LEAF1 — Loopback0 обоих Spine: 10.255.0.1 и .2. Но EVPN next-hop remote MAC PC2 — 10.255.1.12, VTEP LEAF2. Именно на этот адрес LEAF1 отправляет VXLAN-пакет.

Отсюда следуют две проверки: OSPF должен обеспечивать достижимость и BGP loopback, и VTEP loopback. Ping до RR не доказывает маршрут до удалённого NVE source.

3. Какие EVPN-маршруты нужны в этой работе

BGP EVPN передаёт NLRI разных типов. Мы используем два из них:

Route type Название Что сообщает
2 MAC/IP Advertisement «Этот MAC, и при наличии IP binding — этот IP, достижим за данным VTEP»
3 Inclusive Multicast Ethernet Tag, IMET «Этот VTEP участвует в broadcast domain; включите его в доставку BUM»

Type 2: доставка известному MAC

LEAF2 изучает MAC PC2 на E1/3 и объявляет его через EVPN. После импорта маршрута LEAF1 знает, что кадр к этому MAC нужно отправить через NVE к 10.255.1.12.

В нашей L2-only конфигурации type 2 может быть MAC-only: IP address length равен 0, а в подробном выводе присутствует 0.0.0.0. Это не означает, что клиент получил адрес 0.0.0.0 или что EVPN сломан. IP binding/ARP suppression здесь не настраиваются и для переноса Ethernet не обязательны.

Локальный MAC не появляется из ничего. Пока PC2 не отправил кадр, LEAF2 может не иметь локальной записи для объявления. Поэтому type 2 следует искать после генерации клиентского трафика.

Type 3: кому копировать BUM

Для доставки первого ARP одного remote MAC-маршрута недостаточно: ARP — broadcast. Type 3 сообщает о членстве VTEP в VNI и содержит информацию, используемую для ingress replication. В нашем случае это unicast replication, а не multicast underlay.

Проверка только type 2 неполна: без корректной BUM-доставки новые клиенты или очищенные ARP-кэши могут обнаружить проблему, которую скрывал уже изученный unicast.

Другие EVPN-типы, например type 1/4 для multihoming и type 5 для IP prefix advertisement, не входят в эту работу. Их отсутствие здесь не является ошибкой.

4. RD, RT и VNI: три разных понятия

Объект Для чего нужен Пример на стенде
VNI Идентификатор сегмента в VXLAN data plane 10010
RD, Route Distinguisher Делает BGP NLRI уникальным, в том числе при одинаковых MAC в разных VPN 10.255.0.11:32777, 10.255.0.12:32777 в проверенном выводе
RT, Route Target Определяет политику экспорта и импорта маршрутов через extended community 65000:10010

RD не выбирает, кто импортирует маршрут. Эту роль выполняет RT. На разных Leaf RD должны обеспечивать уникальность, а совместимые import/export RT позволяют включить маршруты в один логический сегмент.

rd auto и route-target ... auto вычисляют значения автоматически. В нашей одно-AS схеме с одинаковым VNI результатом является согласованный RT 65000:10010. Не переносите это без проверки в multi-AS-дизайн: автоматическое вычисление RT зависит от платформы и схемы AS/VNI. Число 32777 в RD — наблюдение этой VLAN-based конфигурации, не обязательная константа любого EVPN.

RT передаётся как extended community. Поэтому у BGP-соседа нужна передача extended communities; команда send-community both включает обычные и extended communities. Потеря RT может нарушить импорт, даже если сессия установлена и NLRI виден у RR.

5. Зачем два route reflector

В обычном iBGP маршрут, полученный от одного iBGP-соседа, не передаётся другому iBGP-соседу. Без дополнительного механизма потребовался бы full mesh между Leaf.

Route reflector (RR) снимает это ограничение для настроенных клиентов. SPINE1 и SPINE2 получают EVPN-маршруты Leaf и отражают их другим Leaf. На каждом Spine оба Leaf помечены route-reflector-client в EVPN address-family.

Spine не имеют локальных tenant VNI, но должны сохранять и отражать маршруты соответствующих RT. Для этого в данном NX-OS дизайне у RR задано retain route-target all в глобальном address-family l2vpn evpn.

RR не обязан быть VTEP. На наших Spine нет interface nve1, VLAN 10 и client-facing портов. Не настраивайте next-hop-self для EVPN «по привычке»: remote next-hop должен оставаться адресом Leaf VTEP. Отражатель распространяет информацию, но не становится точкой декапсуляции клиентского кадра.

Два RR дают два источника control-plane информации. Здесь каждый Leaf имеет две iBGP-сессии, но между Spine отдельной BGP-сессии нет. Не следует распространять эту минимальную топологию на любое количество Leaf/Spine без отдельного проектирования.

6. Как формируется доставка от PC1 к PC2

  1. OSPF обеспечивает маршруты до Loopback0 и Loopback1 всех нужных узлов.
  2. Leaf устанавливают EVPN BGP-сессии с двумя RR по Loopback0.
  3. Активный VNI объявляет type 3. После импорта remote type 3 формируется список VTEP для BUM.
  4. ARP PC1 передаётся через VXLAN к участникам VNI; его клиентский broadcast остаётся внутри unicast VXLAN-пакета.
  5. Каждый Leaf изучает MAC локального клиента и объявляет type 2 через RR.
  6. LEAF1 импортирует type 2 PC2 с подходящим RT и устанавливает remote MAC → 10.255.1.12.
  7. Известный unicast отправляется напрямую к VTEP LEAF2 через выбранный underlay-путь. BGP не участвует в обработке каждого ICMP-пакета.

На LEAF1 цепочку можно проследить командами show bgp l2vpn evpn route-type 2 → show l2route evpn mac all → show mac address-table vlan 10. В проверенной конфигурации remote запись имеет producer BGP, а MAC-таблица указывает nve1(10.255.1.12).

7. Что меняется по сравнению со статическим вариантом

Свойство Lab 1: static Lab 2: EVPN
Список remote VTEP для BUM Ручные peer-ip По EVPN type 3
Изучение remote MAC Из data plane По EVPN type 2
Изучение local MAC На access-порту На access-порту
NVE host-reachability По умолчанию flood-and-learn protocol bgp
Ingress replication protocol static protocol bgp
Отображение NVE на стенде DP, UnicastStatic CP, UnicastBGP
Перенос клиентских кадров VXLAN UDP/4789 VXLAN UDP/4789

Переключение ingress-replication protocol static на bgp без настройки BGP/EVPN/RD/RT не создаёт рабочий control plane. Поэтому в методичке EVPN настраивается последовательно, а не одной командой.

8. Резервирование и время сходимости

Отказ одного uplink Leaf проверяет OSPF/ECMP. BGP-соседство с RR1 может остаться доступным обходным путём: LEAF1 → SPINE2 → LEAF2 → SPINE1. Поэтому потеря прямого линка к Spine не равна потере route reflector.

Чтобы действительно изолировать RR1 в нашей схеме, выключают оба его uplink. После истечения BGP timers сессия с RR1 перестаёт быть установленной, а с RR2 остаётся. Remote EVPN-маршруты и клиентский трафик продолжают обслуживаться через оставшийся путь.

Сходимость не мгновенна. Допускаются потери во время смены маршрутов; проверяют восстановившуюся передачу и фактические состояния, а не обещают zero-loss. Таймеры в работе не сокращаются искусственно ради красивого результата.

9. Чтение вывода и типичные ошибки

  • В show bgp l2vpn evpn summary число в State/PfxRcd означает установленную сессию с данным количеством принятых префиксов. Слово Established может не выводиться.
  • Сессия с RR и импорт маршрута — разные этапы. Проверяйте RT, next-hop, наличие записи в L2RIB и MAC-таблице.
  • Статус VNI Up и peer Up — необходимые, но не достаточные признаки. Нужны ping и корректные VXLAN-пакеты.
  • is not in HW в подробном выводе виртуального Nexus не является самостоятельным доказательством отказа: на стенде при таком выводе dataplane был проверен реальными пакетами.
  • На NX-OS 10.5(2) для EVPN address-family на Spine тоже нужен nv overlay evpn, хотя NVE на нём не создаётся. Это включение EVPN control plane, а не назначение Spine роли VTEP.

10. Границы практикума и вопросы

Мы используем L2VNI. L3VNI, symmetric IRB, anycast gateway, EVPN multihoming/vPC и Multi-Site здесь не настраиваются. Нельзя заявлять их работоспособность на основании одного L2 ping. Как и статический VXLAN, VXLAN EVPN сам по себе не шифрует трафик.

Перед практикой объясните:

  1. Почему TCP/179 в Capture не является доказательством клиентского VXLAN?
  2. Чем RD отличается от RT, и почему RD у Leaf может различаться?
  3. Что будет, если MAC-маршрут виден у RR, но его RT не импортируется на Leaf?
  4. Почему next-hop remote MAC — Loopback1 Leaf, а BGP neighbor — Loopback0 Spine?
  5. Зачем type 3, если уже есть type 2?

Далее: underlay и ход Lab 2 с объяснением команд.

Источники