Теория: VXLAN BGP EVPN¶
1. Зачем нужен EVPN, если VXLAN уже работает¶
В Lab 1 VTEP вручную знает удалённые replication peers и изучает remote MAC из поступающего VXLAN-трафика. При росте fabric поддерживать такие списки на всех Leaf неудобно. Кроме того, оператору нужна распределяемая информация: какой VTEP обслуживает MAC и какие VTEP входят в конкретный VNI.
EVPN (Ethernet VPN) — семейство BGP-маршрутов для распространения такой информации. В этой работе транспортом клиентских кадров остаётся VXLAN. EVPN не заменяет UDP-инкапсуляцию и не переносит каждый пользовательский кадр внутри BGP UPDATE.
| Уровень | Задача | Протокол/объект |
|---|---|---|
| Underlay control plane | Узнать маршруты до инфраструктурных IP | OSPF |
| Overlay control plane | Распространить MAC и членство VTEP в VNI | BGP EVPN, TCP/179 |
| Overlay data plane | Перенести клиентские кадры | VXLAN, UDP/4789 |
Established BGP не гарантирует работоспособный VXLAN. BGP может быть установлен, а маршрут не импортирован из-за RT; маршрут может быть импортирован, а access VLAN или MTU — настроен неверно.
2. Два loopback — две разные роли¶
На Leaf адреса разделены намеренно:
| Роль | LEAF1 | LEAF2 |
|---|---|---|
| Loopback0, router-id и BGP update-source | 10.255.0.11 | 10.255.0.12 |
| Loopback1, NVE source/VTEP | 10.255.1.11 | 10.255.1.12 |
BGP-соседи LEAF1 — Loopback0 обоих Spine: 10.255.0.1 и .2. Но EVPN next-hop remote MAC PC2 — 10.255.1.12, VTEP LEAF2. Именно на этот адрес LEAF1 отправляет VXLAN-пакет.
Отсюда следуют две проверки: OSPF должен обеспечивать достижимость и BGP loopback, и VTEP loopback. Ping до RR не доказывает маршрут до удалённого NVE source.
3. Какие EVPN-маршруты нужны в этой работе¶
BGP EVPN передаёт NLRI разных типов. Мы используем два из них:
| Route type | Название | Что сообщает |
|---|---|---|
| 2 | MAC/IP Advertisement | «Этот MAC, и при наличии IP binding — этот IP, достижим за данным VTEP» |
| 3 | Inclusive Multicast Ethernet Tag, IMET | «Этот VTEP участвует в broadcast domain; включите его в доставку BUM» |
Type 2: доставка известному MAC¶
LEAF2 изучает MAC PC2 на E1/3 и объявляет его через EVPN. После импорта маршрута LEAF1 знает, что кадр к этому MAC нужно отправить через NVE к 10.255.1.12.
В нашей L2-only конфигурации type 2 может быть MAC-only: IP address length равен 0, а в подробном выводе присутствует 0.0.0.0. Это не означает, что клиент получил адрес 0.0.0.0 или что EVPN сломан. IP binding/ARP suppression здесь не настраиваются и для переноса Ethernet не обязательны.
Локальный MAC не появляется из ничего. Пока PC2 не отправил кадр, LEAF2 может не иметь локальной записи для объявления. Поэтому type 2 следует искать после генерации клиентского трафика.
Type 3: кому копировать BUM¶
Для доставки первого ARP одного remote MAC-маршрута недостаточно: ARP — broadcast. Type 3 сообщает о членстве VTEP в VNI и содержит информацию, используемую для ingress replication. В нашем случае это unicast replication, а не multicast underlay.
Проверка только type 2 неполна: без корректной BUM-доставки новые клиенты или очищенные ARP-кэши могут обнаружить проблему, которую скрывал уже изученный unicast.
Другие EVPN-типы, например type 1/4 для multihoming и type 5 для IP prefix advertisement, не входят в эту работу. Их отсутствие здесь не является ошибкой.
4. RD, RT и VNI: три разных понятия¶
| Объект | Для чего нужен | Пример на стенде |
|---|---|---|
| VNI | Идентификатор сегмента в VXLAN data plane | 10010 |
| RD, Route Distinguisher | Делает BGP NLRI уникальным, в том числе при одинаковых MAC в разных VPN | 10.255.0.11:32777, 10.255.0.12:32777 в проверенном выводе |
| RT, Route Target | Определяет политику экспорта и импорта маршрутов через extended community | 65000:10010 |
RD не выбирает, кто импортирует маршрут. Эту роль выполняет RT. На разных Leaf RD должны обеспечивать уникальность, а совместимые import/export RT позволяют включить маршруты в один логический сегмент.
rd auto и route-target ... auto вычисляют значения автоматически. В нашей одно-AS схеме с одинаковым VNI результатом является согласованный RT 65000:10010. Не переносите это без проверки в multi-AS-дизайн: автоматическое вычисление RT зависит от платформы и схемы AS/VNI. Число 32777 в RD — наблюдение этой VLAN-based конфигурации, не обязательная константа любого EVPN.
RT передаётся как extended community. Поэтому у BGP-соседа нужна передача extended communities; команда send-community both включает обычные и extended communities. Потеря RT может нарушить импорт, даже если сессия установлена и NLRI виден у RR.
5. Зачем два route reflector¶
В обычном iBGP маршрут, полученный от одного iBGP-соседа, не передаётся другому iBGP-соседу. Без дополнительного механизма потребовался бы full mesh между Leaf.
Route reflector (RR) снимает это ограничение для настроенных клиентов. SPINE1 и SPINE2 получают EVPN-маршруты Leaf и отражают их другим Leaf. На каждом Spine оба Leaf помечены route-reflector-client в EVPN address-family.
Spine не имеют локальных tenant VNI, но должны сохранять и отражать маршруты соответствующих RT. Для этого в данном NX-OS дизайне у RR задано retain route-target all в глобальном address-family l2vpn evpn.
RR не обязан быть VTEP. На наших Spine нет interface nve1, VLAN 10 и client-facing портов. Не настраивайте next-hop-self для EVPN «по привычке»: remote next-hop должен оставаться адресом Leaf VTEP. Отражатель распространяет информацию, но не становится точкой декапсуляции клиентского кадра.
Два RR дают два источника control-plane информации. Здесь каждый Leaf имеет две iBGP-сессии, но между Spine отдельной BGP-сессии нет. Не следует распространять эту минимальную топологию на любое количество Leaf/Spine без отдельного проектирования.
6. Как формируется доставка от PC1 к PC2¶
- OSPF обеспечивает маршруты до Loopback0 и Loopback1 всех нужных узлов.
- Leaf устанавливают EVPN BGP-сессии с двумя RR по Loopback0.
- Активный VNI объявляет type 3. После импорта remote type 3 формируется список VTEP для BUM.
- ARP PC1 передаётся через VXLAN к участникам VNI; его клиентский broadcast остаётся внутри unicast VXLAN-пакета.
- Каждый Leaf изучает MAC локального клиента и объявляет type 2 через RR.
- LEAF1 импортирует type 2 PC2 с подходящим RT и устанавливает remote MAC →
10.255.1.12. - Известный unicast отправляется напрямую к VTEP LEAF2 через выбранный underlay-путь. BGP не участвует в обработке каждого ICMP-пакета.
На LEAF1 цепочку можно проследить командами show bgp l2vpn evpn route-type 2 → show l2route evpn mac all → show mac address-table vlan 10. В проверенной конфигурации remote запись имеет producer BGP, а MAC-таблица указывает nve1(10.255.1.12).
7. Что меняется по сравнению со статическим вариантом¶
| Свойство | Lab 1: static | Lab 2: EVPN |
|---|---|---|
| Список remote VTEP для BUM | Ручные peer-ip |
По EVPN type 3 |
| Изучение remote MAC | Из data plane | По EVPN type 2 |
| Изучение local MAC | На access-порту | На access-порту |
| NVE host-reachability | По умолчанию flood-and-learn | protocol bgp |
| Ingress replication | protocol static |
protocol bgp |
| Отображение NVE на стенде | DP, UnicastStatic | CP, UnicastBGP |
| Перенос клиентских кадров | VXLAN UDP/4789 | VXLAN UDP/4789 |
Переключение ingress-replication protocol static на bgp без настройки BGP/EVPN/RD/RT не создаёт рабочий control plane. Поэтому в методичке EVPN настраивается последовательно, а не одной командой.
8. Резервирование и время сходимости¶
Отказ одного uplink Leaf проверяет OSPF/ECMP. BGP-соседство с RR1 может остаться доступным обходным путём: LEAF1 → SPINE2 → LEAF2 → SPINE1. Поэтому потеря прямого линка к Spine не равна потере route reflector.
Чтобы действительно изолировать RR1 в нашей схеме, выключают оба его uplink. После истечения BGP timers сессия с RR1 перестаёт быть установленной, а с RR2 остаётся. Remote EVPN-маршруты и клиентский трафик продолжают обслуживаться через оставшийся путь.
Сходимость не мгновенна. Допускаются потери во время смены маршрутов; проверяют восстановившуюся передачу и фактические состояния, а не обещают zero-loss. Таймеры в работе не сокращаются искусственно ради красивого результата.
9. Чтение вывода и типичные ошибки¶
- В
show bgp l2vpn evpn summaryчисло в State/PfxRcd означает установленную сессию с данным количеством принятых префиксов. СловоEstablishedможет не выводиться. - Сессия с RR и импорт маршрута — разные этапы. Проверяйте RT, next-hop, наличие записи в L2RIB и MAC-таблице.
- Статус VNI Up и peer Up — необходимые, но не достаточные признаки. Нужны ping и корректные VXLAN-пакеты.
is not in HWв подробном выводе виртуального Nexus не является самостоятельным доказательством отказа: на стенде при таком выводе dataplane был проверен реальными пакетами.- На NX-OS 10.5(2) для EVPN address-family на Spine тоже нужен
nv overlay evpn, хотя NVE на нём не создаётся. Это включение EVPN control plane, а не назначение Spine роли VTEP.
10. Границы практикума и вопросы¶
Мы используем L2VNI. L3VNI, symmetric IRB, anycast gateway, EVPN multihoming/vPC и Multi-Site здесь не настраиваются. Нельзя заявлять их работоспособность на основании одного L2 ping. Как и статический VXLAN, VXLAN EVPN сам по себе не шифрует трафик.
Перед практикой объясните:
- Почему TCP/179 в Capture не является доказательством клиентского VXLAN?
- Чем RD отличается от RT, и почему RD у Leaf может различаться?
- Что будет, если MAC-маршрут виден у RR, но его RT не импортируется на Leaf?
- Почему next-hop remote MAC — Loopback1 Leaf, а BGP neighbor — Loopback0 Spine?
- Зачем type 3, если уже есть type 2?
Далее: underlay и ход Lab 2 с объяснением команд.
Источники¶
- RFC 7432 — BGP MPLS-Based Ethernet VPN — базовые EVPN механизмы и типы маршрутов; наша инкапсуляция — VXLAN, не MPLS.
- RFC 8365 — Network Virtualization Overlay Solution Using EVPN.
- Cisco Nexus 9000 NX-OS VXLAN Configuration Guide, Release 10.5(x).