Netzwerk Microsegmentierung zur automatisierten

Marc

om

V1.0

2018

© 2018 Controlware GmbH 1

Matthias NeumannSenior Consultant Professional Network Services

- Zweigstelle Kassel -

Netzwerk Microsegmentierung zur automatisierten Absicherung

von Produktionsnetzen am Beispiel der

Extreme Networks Fabric Connect Lösung

Kassel, 5. Juni 2019

Marc

om

V1.0

2018


Warum Netzwerksegmentierung ?1

Extreme Networks Fabric Connect - Shortest Path Bridging2

Fabric Connect / Fabric Attach – im Detail3

Agenda

Pause

Kundenprojekt “Stealth hyper-segmented” Netzwerk4

Secure Automated Campus – die Komponenten

5

6

Stealth Networking mit Fabric Attach am Edge

7 Campus Fabric Deployment model

Demo - Stealth Networking8

Marc

om

V1.0

2018


Warum Netzwerksegmentierung ?1

Marc

om

V1.0

2018


Unternehmensnetzwerke sind über die Jahre hinweg immer komplexer geworden.

Eine Vielzahl von Änderungsanforderungen werden wöchentlich von IT-Teams bearbeitet, die dann auf die jeweiligen Infrastruktur innerhalb des Netzwerkes übertragen werden.

Die Konsequenz:

Die Komplexität und Größe der Konfigurationen wächst und wächst – und damit werden interne und/oder externe Ressourcen verbraucht, die eigentlich für die Umsetzung der Projekte und Aufgaben benötigt werden.

Die Änderungen betreffen dabei alle Umgebungen der IT, von Firewalls, Wifi-Infrastrukturen, Datacenter und IT-Systemen verschiedener Hersteller. Die Größe eines modernen Netzwerks macht es für Unternehmen heute immer schwieriger, die damit verbundene Komplexität zu bewältigen. Hinzu kommt zukünftig eine Vielzahl von IOT-Geräten und Systemen, die zum Teil ältere und unsichere Betriebssysteme haben, die sicher und segementiert in bestehende Infrastrukturen integriert werden müssen.

Cyberkriminelle können diesen Zustand und die Existenz möglicher Fehlkonfigurationen und ungeschützter Zugriffe ausnutzen. Die möglichen Folgen davon wären Ausfall der Produktion, Nichterfüllung von Lieferverpflichtungen und die damit verbundenen empfindlichen Strafzahlungen (Pönalen), sowie Spionage und Sabotage.

Warum Netzwerksegmentierung für mehr Sicherheit sorgt

Marc

om

V1.0

2018


Ein geeigneter Ansatz für die Netzwerksicherheit ist die Netzwerksegmentierung. Dazu werden Anwendungen,

Abteilungen und ganze Infrastrukturen in Segmente unterteilt, so dass Bedrohungen eingedämmt und deren

Ausbreitung auf andere Bereiche verhindert werden können.

Im Falle eines erfolgreichen Angriffs auf eines dieser Segmente ist die Folge lediglich eine lokale Störung im

Gegensatz zu einem Desaster, wenn der Zugriff auf die gesamte Infrastruktur möglich wäre.

Diese Unterteilung kann sehr granular und dynamisch erfolgen, so dass hier kein manueller

Konfigurationseingriff, mit einem dafür erforderlichen Wartungsfenster und der damit verbundenen Wartezeit,

notwendig ist.

Der Faktor „Time-to-Service“, d.h. die Implementierung neuer Services im Netzwerk, kann hier von Wochen

oder mehreren Tagen auf wenige Minuten reduziert werden, bei gleichbleibender Netzwerksicherheit.

Ein Ansatz dafür wäre die Netzwerkvirtualisierung „Fabric Connect“ als gesamtheitliche „Automated Campus“

Lösung der Extreme Networks, die zusätzlich zur dynamischen Provisionierung der Netzwerkservices auch noch

die Möglichkeit bietet, das Netzwerk gegenüber den Anwendern nahezu vollständig zu tarnen (Stealth

Networking) und unangreifbar zu machen.

Die „Fabric Services – I-SIDs“ sind “Ethernet Switched Paths” und nicht anfällig für IP-Scanning / Hacking-Tools

Netzwerksegmentierung, Time-to-Service, Stealth Networking

Marc

om

V1.0

2018


Extreme Networks Fabric Connect - Shortest Path Bridging

2

Marc

om

V1.0

2018


Kern des Automated Campus = Extreme Networks Fabric Connect

- Shortest Path Bridging (SPB)

IEEE 802.1aq (verabschiedet am 29.03.2012)

Heute in IEEE Standard 802.1Q-2014 „Bridges and Brigded networks“

IS-IS Erweiterungen für SPB in IETF RFC 6329 standardisiert

Extreme Networks Erweiterungen

L3 VSN (IETF draft-unbehagen-spb-ip-ipvpn)

IP Shortcut Routing (IETF draft-unbehagen-spb-ip-ipvpn)

Inter-VSN Routing

Integration mit Switch Clustering (SMLT/MLAG)

IP Multicast Routing ohne die Notwendigkeit von PIM und OSPF

Distributed Virtual Routing – DVR (analog zu „Anycast Gateway“ anderer Fabrics)

Management und Fehlersuche auf Basis von CFM (IEEE 802.1ag)

Werkzeuge: l2 ping, l2 traceroute, l2 tracetree, l2 tracemroute

Die Basis sind Standards!

Marc

om

V1.0

2018


Fabric Connect bringt Vereinfachung: statt 4-10 Protokolle nur 1

1 Protokoll(IEEE/ IETF Shortest Path Bridging)802.1

OSPF

MPLS

Traditionell

Extreme Networks Fabric Connect

Shortest Path Bridging SPBM

• Schnellere Einrichtung

• Erhöhte Stabilität

• Schnelle Konvergenz ~80ms

• Einfachere Fehlerbehebung

• Höhere Robustheit

• Geringere Kosten

Fabric Connect Vorteile:

Marc

om

V1.0

2018


Fabric Connect & Fabric Attach - Schematisch

Physik - ETHERNET

ControlPlane

IS-IS (IETF RFC 6329)

Data Plane

IEEE 802.1ah(MAC-in-MAC)

OAM

IEEE 802.1ag CFM

Physik - ETHERNET

ControlPlane

LLDP FA TLVs

(IEEE 802.1Qcj)

Data PlaneIEEE 802.1Q

(VLAN)

Layer 3 Virtualized

Service

Layer 2 (E-LAN)

Virtualized Service

IP Multicast Service

Layer 3 Virtualized

Service

Layer 2 (E-LAN)

Virtualized Service

IP Multicast Service

L3 VSN I-SID 30001

L2 VSN I-SID 20001

MC VSN I-SID 16000001

VLAN 2

Fabric Connect (SPBm) Fabric Attach (“Auto Attach”)

OAM = Operation, Administration and Maintenance

CFM = Connectivity Fault Management

Marc

om

V1.0

2018


Kein IP Underlay Netzwerk

Alle Fabric Links sind mit jedem anderen (gleicher Geschwindigkeit) kompatibel, d.h. Umpatchung / Schwenk und Hinzufügen von Links problemlos ohne Unterbrechung möglich

Komplette Topologiefreiheit – Alles ist möglich

Leaf-Spine, Ringe, Maschen, Sterne und alle Kombinationen daraus …

Dienste einfach einzurichten

L2, L3 = IP Unicast und Multicast) erfordern keine Overlay Netzwerke

L3 (IP Unicast & Multicast Routing) erfordert keine zusätzlichen Protokolle

Alle Dienste werden nur dort konfiguriert, wo sie das Endgerät bzw. der Nutzer benötigt.

Alle Transitknoten - Zero Touch ! (keine Wartungsfenster)

L3 VPN für Mandanten (=VRF Instanzen)

ohne zusätzliche Overlay und Netzwerkprotokolle (wie MPLS / MBGP)

Fabric Connect skaliert aktuell bis mehrere hundert Knoten

Vorteile der Extreme Automated Campus Fabric (1/2)

Marc

om

V1.0

2018


Layer 2 Dienste können mittels Fabric Attach (IEEE „Auto Attach“) automatisch durchgeschaltet werden

Fabric Automatisierung kann für L2 Konnektivität auf angeschlossene Komponenten ausgedehnt werden

Extreme Summit Switches (ExtremeXOS™ ab 22.4) und Switches der ERS Serien

Automatisierte Provisionierung der Uplinks zwischen diesen Switches und der Fabric

Extreme WLAN (WLAN 39xx als auch WiNG Portfolio)

Automatisierte Provisionierung der Uplinks zu WLAN AP‘s (hinter FA Proxy / FA Server)

Hypervisor mit Open vSwitch (OVS ab Version 2.4), beispielsweise KVM

u.v.m.

Fabric Attach skaliert unbegrenzt

Hinter jedem Fabric Connect Knoten lassen sich soviel Fabric Attach Proxy Switches anschliessen, wie Ports verfügbar sind

Vorteile der Extreme Automated Campus Fabric (2/2)

Marc

om

V1.0

2018


Campus Fabric im Vergleich

Marc

om

V1.0

2018


Verbesserung der Netzwerksicherheit durch Fabric Connect

Rob JoyceChief of Tailored

Access Operations

US National Security

Agency

“Ein gut segmentiertes Netzwerk bedeutet, dass, wenn ein

Einbruch erfolgt, dieser eingedämmt werden kann.... der

Unterschied zwischen einem eingedämmten und einem

nicht eingedämmten Einbruch ist der Unterschied

zwischen einem Vorfall und einer Katastrophe.....”

Hyper-Segmentierung

• Ende zu Ende Isolierung des

Datenverkehrs; isoliert kritische

Informationen, Anwendungen

oder Benutzergruppen.

• Verstöße werden eingedämmt;

Verhinderung von

Seitenbewegungen.

• Einfache und skalierbare

Bereitstellung

Stealth Networking

• Netzwerktopologie für den

Benutzer völlig unsichtbar

• Dienste sind “Ethernet Switched

Paths” und nicht anfällig für IP-

Scanning / Hacking-Tools.

Service Elastizität

• Eliminiert Hintertür-

Einstiegspunkte in das Netzwerk

• Die Dienste werden ein- und

ausgeschaltet, wenn Benutzer

und Geräte eine Verbindung

zum Netzwerk herstellen und

trennen - keine statischen

Konfigurationen von Vlans und

User-Ports

Marc

om

V1.0

2018


Fabric Connect / Fabric Attach – im Detail

3

Marc

om

V1.0

2018


Fabric Connect ist einfach: Provisionierung am Rand

Videoüber-wachungs-

server

AnwendungServer

Status Quo

Provisionierung jedes einzelnenGerätes

‘Moves-Add-Changes’ erfordernVeränderungen imKernbereich

Anfällig für menschliches Versagen bei Veränderungen

Dienste sind an die physikalische Topologie gekoppelt

Mit Extreme

Nur Provisionierung am Rand

Kernbereich wirdnicht mehr angefasst

‘Moves-Add-Changes’ imlaufenden Betrieb(keine Wartungs-fenster mehr nötig)

Von der Topologie abstrahierte Dienste

Die Services folgen dem Anwender dynamisch

‘Moves, Adds and Changes’ – Umzüge, Hinzufügungen und Veränderungen

Marc

om

V1.0

2018


Fabric Attach

Ermöglicht die Erweiterung der Fabric auf

nicht Fabric-fähige Geräte (Switche, APs,

IP-Kameras und Hypervisors).

Bietet die sichere Anbindung von Benutzern

und Geräten an den entsprechenden Dienst.

Policy

Sicheres On-Boarding und Kontrolle über

Benutzer und Geräte.

Benutzer und Geräte können von überall aus

eine Verbindung herstellen und erhalten die

korrekte Richtlinie mit Zugang zum richtigen

Fabric-Service ohne manuellen Eingriff.

Einfache Provisionierung durch Automatisierung am Rand des Netzwerkes

Zero-Touch Edge = IoT-Ready

Fabric Connect

Fabric Attach VM-1

VM-2

LLDP / AutoAttach

Marc

om

V1.0

2018


Fabric Attach – die Übersicht der Funktionen

Marc

om

V1.0

2018


Fabric Attach – die Bausteine im Detail

FA Proxy & FA Clients sind nur für die Anbindung an einen Fabric Service (I-SID) zuständig

Fabric Attach verbindet Endsysteme nur mit L2VSN I-SIDs

Sie benötigen ISIS nicht, um den kürzesten Weg zu berechnen, da sie alle über einen einzigen logischen Uplink in die Fabricverfügen.

SPBM LLDP Control plane

I-SID (MAC-in-MAC) VLAN (q-tag) Services Data plane

SPB & IS-IS

Fabric

Connect

(FC)

FA Client

FA Client

FA Proxy

FA Client

FA Server

(BEB)

FA Server

(BEB)

VSP - Fabric edge

(switch cluster)ERS – Access

EXOS-Access

(wiring closet)

WLAN AP

ONA

vIST

Non-FAdevice

Non-FAdevice

Non-FAdevice

IP Phone/PC/Printer/Camera

Laptop/tablet/Smartphone

Non-FAdevice

PC/Server Switch (ERS3510)

Non-FAdevice

Wired IoT device

End devices/users

OVS / 3rd Party

Fabric Attach (802.1Qcj Auto Attach)

Marc

om

V1.0

2018


KVM Hypervisor mit Open vSwitch im Detail

root@kvm01:~# ovs-appctl autoattach/show-isidLLDP: eth2I-SID VLAN Source Status-------- ---- ----------- --------10911 911 Switch Pending90090 90 Switch Pending10012 12 Switch Pending50050 50 Switch Pending10912 912 Switch Pending50055 55 Switch Pending10910 910 Switch Pending10011 11 Switch Pending70070 70 Switch Pending70075 75 Switch Pending10010 10 Switch Pending

root@kvm01:~# ovs-appctl autoattach/show-isidLLDP: eth2I-SID VLAN Source Status-------- ---- ----------- --------10911 911 Switch Active90090 90 Switch Active10012 12 Switch Active50050 50 Switch Active10912 912 Switch Active50055 55 Switch Active10910 910 Switch Active10011 11 Switch Active70070 70 Switch Active70075 75 Switch Active10010 10 Switch Active

Marc

om

V1.0

2018


Kundenprojekt “Stealth hyper-segmented” Netzwerk

4

Marc

om

V1.0

2018


L2VSN – “Stealth hyper-segmented” Netzwerk mit GRT (VRF0) Isolation

GRT (VRF0)

Base IP Forwarding Plane

IT Management only!

GRT = Global Routing Table

VSN = Virtual Services Network

= L3 Instanz

= Firewall

= Virtual Routing and Forwarding Instanz

Use

r D

ata

Pla

nes

Das IP-Management der Core Komponenten kann aus

einem VRF heraus nicht erreicht, evaluiert oder

attakiert werden.

Die “Bewegungsfreiheit” ist grundsätzlich nur innerhalb

eines VRF möglich und durch Firewalls in andere VRFs,

je nach Vorgaben der IT, eingeschränkt.

Der mögliche erfolgreiche Angriff auf IT-Ressourcen

innerhalb eines dedizierten VRF’s betrifft hier lediglich

ein Subnetz und nicht das gesamte Netzwerk, was sich

unterscheidet zwischen einer lokalen Störung oder

einem Desaster.

vrf-yellow

vrf-green

vrf-red

vrf-blueStealth Layer 2 Network (L2VSN) – I-SID 10.000

Vlan / L2VSN

Alternative Konfiguration als L3VSN (IP-VPN):conf trouter vrf vrf-blueipvpni-sid 10.000ipvpn enablemvpn enable (optionales Multicast-Routing aktiviert)exit

Controlware Kundenprojekt mit L2 VSNs - Detail

Stealth Layer 2 Network (L2VSN) – I-SID 20.000



GRT IPv4 Shortcuts – I-SID 500 (Device Mgmt-Vlan)

Ab VOSS 8.0.0.0 kann Mgmt innerhalb des GRT0 auf ein

einziges Vlan oder nur eine IP eingeschränkt werden

Layer 2 VSN – I-SID 100 (GRT)

Vlan / L2VSN

DC 1 DC 2

Marc

om

V1.0

2018


Stealth Networking mit Fabric Attach am Edge

5

Marc

om

V1.0

2018


Stealth Network Demo mit Fabric Attach am Edge

i-sid 50050 vlan 50

Marc

om

V1.0

2018


BCB-1:1#sho ip interface=========================================================================================

IP Interface - GlobalRouter=========================================================================================INTERFACE IP NET BCASTADDR REASM VLAN BROUTER IPSEC

ADDRESS MASK FORMAT MAXSIZE ID PORT STATE------------------------------------------------------------------------------------------Clip1 10.49.255.25 255.255.255.255 ones 1500 -- false disableVlan910 10.9.100.25 255.255.255.0 ones 1500 910 false disable

BCB-1:1#sho ip arp

==========================================================================================IP Arp - GlobalRouter

==========================================================================================IP_ADDRESS MAC_ADDRESS VLAN PORT TYPE TTL(10 Sec) TUNNEL------------------------------------------------------------------------------------------10.9.100.10 14:61:2f:ef:0d:81 910 Trunk_to_BCB-2 DYNAMIC 882 BEB2-210.9.100.11 f8:15:47:e2:62:81 910 Trunk_to_BCB-2 DYNAMIC 543 BEB2-210.9.100.16 04:78:56:ae:50:00 910 Trunk_to_BCB-2 DYNAMIC 2134 BEB2-210.9.100.17 70:7c:69:05:7a:00 910 1/2 DYNAMIC 2159 BEB1-210.9.100.25 b4:2d:56:98:fa:00 910 - LOCAL 216010.9.100.26 a4:ea:8e:7c:15:00 910 Trunk_to_BCB-2 DYNAMIC 296 BCB-210.9.100.74 ac:1f:6b:73:2c:39 910 1/2 DYNAMIC 605 BEB1-210.9.100.240 00:0c:29:19:09:a6 910 1/2 DYNAMIC 2158 BEB1-210.9.100.242 00:0c:29:82:ee:b3 910 1/2 DYNAMIC 781 BEB1-210.9.100.255 ff:ff:ff:ff:ff:ff 910 - LOCAL 216010.49.255.25 00:00:00:00:00:01 - - LOCAL 2160

==========================================================================================

BCB-1:1#sho ip vrf

============================================================================== VRF INFORMATION==============================================================================VRF OSPF RIP BGP PIM ARP PIM6COUNT COUNT COUNT COUNT COUNT COUNT COUNT------------------------------------------------------------------------------2 1 1 1 1 11 0

VRF VRF VLAN ARPNAME ID OSPF RIP BGP PIM COUNT COUNT------------------------------------------------------------------------------GlobalRouter 0 TRUE TRUE TRUE TRUE 4 11 MgmtRouter 512 FALSE FALSE FALSE FALSE 1 0

Marc

om

V1.0

2018


BCB-2:1#sho ip interface=========================================================================================

IP Interface - GlobalRouter=========================================================================================INTERFACE IP NET BCASTADDR REASM VLAN BROUTER IPSEC

ADDRESS MASK FORMAT MAXSIZE ID PORT STATE----------------------------------------------------------------------------------------------------Clip1 10.49.255.26 255.255.255.255 ones 1500 -- false disableVlan910 10.9.100.26 255.255.255.0 ones 1500 910 false disable

BCB-2:1#sho ip arp************************************************************************************

Command Execution Time: Tue Jun 04 13:43:57 2019 CEST************************************************************************************

=========================================================================================IP Arp - GlobalRouter

=========================================================================================IP_ADDRESS MAC_ADDRESS VLAN PORT TYPE TTL(10 Sec) TUNNEL------------------------------------------------------------------------------------------10.9.100.1 64:6a:52:b3:1d:01 910 Trunk_to_BCB-1 DYNAMIC 2125 BEB1-210.9.100.2 64:6a:52:a4:1d:01 910 Trunk_to_BCB-1 DYNAMIC 2125 BEB1-210.9.100.10 14:61:2f:ef:0d:81 910 1/24 DYNAMIC 778 BEB2-210.9.100.11 f8:15:47:e2:62:81 910 1/24 DYNAMIC 1464 BEB2-210.9.100.16 04:78:56:ae:50:00 910 1/24 DYNAMIC 2125 BEB2-210.9.100.17 70:7c:69:05:7a:00 910 Trunk_to_BCB-1 DYNAMIC 2155 BEB1-210.9.100.25 b4:2d:56:98:fa:00 910 Trunk_to_BCB-1 DYNAMIC 2125 BCB-110.9.100.26 a4:ea:8e:7c:15:00 910 - LOCAL 216010.9.100.66 f8:db:88:fb:d4:96 910 1/24 DYNAMIC 2125 BEB2-210.9.100.74 ac:1f:6b:73:2c:39 910 Trunk_to_BCB-1 DYNAMIC 541 BEB1-210.9.100.100 ac:1f:6b:73:2d:6f 910 Trunk_to_BCB-1 DYNAMIC 2155 BEB1-210.9.100.240 00:0c:29:19:09:a6 910 Trunk_to_BCB-1 DYNAMIC 2156 BEB1-210.9.100.242 00:0c:29:82:ee:b3 910 Trunk_to_BCB-1 DYNAMIC 704 BEB1-210.9.100.255 ff:ff:ff:ff:ff:ff 910 - LOCAL 216010.49.255.26 00:00:00:00:00:01 - - LOCAL 2160

====================================================================================================

Marc

om

V1.0

2018



6

Marc

om

V1.0

2018



Automated, Secure, Policy-enabled Campus ArchitectureXMC ermöglicht das komplettes Netzwerk, inklusive Automatisierung, vom Edge bis ins

Rechenzentrum, über eine einzige Oberfläche zu verwalten

VSP series 4000 / 7200 / 7400 / 8000 / 8600 APsExtremeXOS™

Fabric Connect

Fabric Attach

Extreme Management Center (XMC)

Management | Control | Analytics | Alarms / Events

ERS 4900/5900 ERS 3500/3600

Marc

om

V1.0

2018


EINE 360° Oberfläche für das Management, Events, Control, Compliance, Analytik und Workflows

• Vollständig integrierte Software-Suite für 360-Grad-Ansicht

• Granulare Richtlinienkontrolle - Dynamische rollenbasierte Zugriffskontrolle basierend auf kontextueller Identitätskontrolle

• Durchgängige Layer-7-Steuerung und -Visibilität für kabelgebundene und drahtlose Netzwerke

• Zusammenführung von Analysedaten mit Richtlinien- und Standortdaten für eine 360°-Ansicht

• Umfassende Integration von Drittanbietern für Sicherheit und Automatisierung

• Erstellung und Nutzung eigener oder bereits veröffentlichter Workflows zur Automatisierung von Vorgängen

• Integrierte und automatisierte Compliance-Prüfung und Audit-Tests für eigene oder vordefinierte Regimes wie GDPR, PCI, HIPAA

Extreme Management Center als Basis des Automated Campus

Marc

om

V1.0

2018


Campus Fabric Deployment model

7

Marc

om

V1.0

2018


Campus Fabric Deployment model

Campus Fabric ist …

FC: Fabric Connect

802.1aq Shortest Path

Bridging (SPB)

FA: Fabric Attach

802.1Qcj Automatic

Attachment to Provider

Backbone Bridging

FE: Fabric Extend

Über WAN oder IP transport

mit VXLAN

SPB extended

over WAN

(Fabric Extend)

Wiring Closet

CampusDistribution

Server Access (TOR)

Hypervisors

Data CentreDistribution

BranchCore

Internet

DMZ / Internet

SPB Backbone

(Fabric Connect)

Fabric

Attach

BEB

BEB

BEB

BEB

L2 BEBs L2 BEBs

BEB BEB BEB BEB

BEB BEBBEB BEB

BEB

BEB

BCB BCB

BCB BCB

FA Proxies FA Proxies

Fabric Attach

Wireless Access WLAN AP FA Clients

Muss die Campus Fabric

so aussehen?

Marc

om

V1.0

2018


Campus Fabric – kann auch anders aussehen ...

SPB extended

over WAN

(Fabric Extend)

Wiring Closet

CampusDistribution

Server Access (TOR)

Hypervisors

Data CentreDistribution

Branch

Internet

DMZ / Internet

SPB Backbone

(Fabric Connect)

Fabric

Attach

BEB

BEB

BEB

BEB

L2 BEBs L2 BEBs

BEB BEB BEB

BEB BEBBEB BEB

BEB

BEB

FA Proxies FA Proxies

Fabric Attach

Wireless Access WLAN AP FA Clients

BEB

• Jede Topologie ist erlaubt !

• Oft sind Core Switches

unnötig

• Hier im Beispiel:

ein Doppelring

Marc

om

V1.0

2018


Haben Sie Fragen ?

Marc

om

V1.0

2018


Vielen Dank für Ihre Aufmerksamkeit!

Thank you very much for your attention!

Marc

om

V1.0

2018


Backup Slides

Controlware Kick-Off 2019 – CHANGE IT

Marc

om

V1.0

2018


Shortest Path Bridging – Fabric Connect

Wichtige Eigenschaften

• Kürzester Weg basierend auf Link-Metriken ohne blockierte Pfade

• Reverse Path Forwarding Check (RPFC) eliminiert Schleifen.

• Symmetrischer Datenpfad zwischen zwei beliebigen Knoten bietet eingeschlossenes OAM-System.

• Unicast-Pfad, wird von jedem Knoten zu jedem anderen Knotenberechnet.

• Möglichkeit zur Berechnung dienstspezifischer Multicast-Pfade

• Keine IP-Konfiguration innerhalb des Fabric erforderlich

• Das Netzwerk wird zur virtuellen Switched Fabric

• Kein “Flood & Learn”, IS-IS programmiert die entsprechendenTabellen der SPB-Knoten

OAM = Operation, Administration and Maintenance

ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

Extreme Management Center

IS-IS bildet Nachbarknoten, entdeckt die Kernnetztopologie und berechnet

dann automatisch die kürzesten Wege von sich selbst zu jedem anderen

Knoten im Netzwerk.

IS-IS leitet die Pakete in den Backbone-VLANs (BVIDs) weiter.

Marc

om

V1.0

2018


Erweiterung von Fabric Links über Ethernet oder IP

ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

L2 IP

IS-IS interfaces können gebildet werden über:

- Physische Ethernet links

- Optische Ethernet links

- Emulierte Ethernet links

- IP geroutete Netzwerke (via logical ISIS

interfaces)


Marc

om

V1.0

2018


ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

Shortest Path Bridging – L2 Services

Ein VLAN provisioniert am Rand der Fabric wird auf

ein Virtual Service Network gemappt mit einem

Individual Service Identifier (I-SID)

Zuweisung VLAN20 I-SID 100

Vlan 20

IS-IS verbreitet alle neuen Dienste und Services (I-SID-

Informationen) im Netzwerk weiter und aktualisiert die

entsprechenden Datenbanken mit I-SID-Dienst-spezifischen

Einträgen auf allen SPB-Knoten. Die Vlan-ID am UNI ist

variabel, entscheidend ist der gemeinsame I-SID

(Vlan-Translation möglich)

Vlan 20

Vlan 30

Virtual Service Network I-SID 100

#config VLAN ISID 30 100

User


#config VLAN ISID 20 100

Marc

om

V1.0

2018


Shortest Path Bridging – L2 Services

ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

CREATE

ISID=100

Vlan 20

Vlan 20

Vlan 20

100

100

100

Das herkömmliche Routing im Ethernet:

“Flooding and Learning” von MAC

Adressen und Hinzufügen in die

Forwarding Databases (FDB)

Das Routing im SPB:

“IS-IS” berechnet den “shortest path” und

programmiert die BMAC Adressen in die

FDB aller SPB-Knoten

User


Marc

om

V1.0

2018


Shortest Path Bridging – L2 Service VSN

Gleiche Unicast & Multicast Pfade

Gleiche “forward & reverse” Pfade

Service & Source Specific Multicast Tree

A

B

Unicast Path

Wichtige Eigenschaften:

• Alle Verkehrstypen (bekannt, unbekannter Verkehr, Broadcast) nutzen den gleichen Pfad– keine “out of order” Pakete möglich

– Datenverkehr A B nutzt den gleichen Pfad wieB A

– Multicast Bäume sind ROOT-ed am Quell-Knoten mit jeder Service Instanz und werden nurzu Knoten mit gleichen I-SID weitergeleitet

– Kein “MAC learning & flooding” im Core

– Volle QoS unterstütze Infrastruktur

Vlan 20

Vlan 20

Vlan 20

Marc

om

V1.0

2018



Gleiche Unicast & Multicast Pfade

Gleiche “forward & reverse” Pfade

Service & Source Specific Multicast Tree Unicast Path

Vlan 20

Vlan 20

Vlan 20


• Alle Verkehrstypen (bekannt, unbekannter Verkehr, Broadcast) nutzen den gleichen Pfad– keine “out of order” Pakete möglich

– Datenverkehr A B nutzt den gleichen Pfad wieB A

– Multicast Bäume sind ROOT-ed am Quell-Knoten mit jeder Service Instanz und werden nurzu Knoten mit gleichen I-SID weitergeleitet

– Kein “MAC learning & flooding” im Core

– Volle QoS unterstütze Infrastruktur

A

B

Marc

om

V1.0

2018


ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS


Eine Virtual Routing Instanz (VRF)

provisioniert am Rand der Fabric wird auf

einen Virtual Service Network gemappt mit

einem Individual Service Identifier (I-SID)

Zuweisung VRF-2 IPVPN I-SID 200

IS-IS verbreitet alle neuen Dienste und I-SID-

Informationen im Netzwerk, sowie auch die

VRF-IP-Routen, die nur auf den Knoten mit

derselben I-SID akzeptiert und installiert werden.

VRF2

VRF2

Virtual Service Network I-SID 200

Vlan / IP net1

Vlan / IP net2

Vlan / IP net3

Vlan / IP net4

User


Marc

om

V1.0

2018


ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

Global Routing Table (GRT oder VRF0)

provisioniert am Rand der Fabric routet

Standard IP Pakete via IS-IS im SPBM

Core

Enable IP Shortcut

IS-IS wird verwendet, um die

Erreichbarkeit von IP-Routen zu

verteilen, die IP-Routen werden in der

GRT/VRF0 - IP-Routingtabelle installiert,

wobei der Next-Hop direkt zum

bekanntgebenden Knoten erfolgt.

GRT

GRT

Vlan / IP net1

Vlan / IP net2

Vlan / IP net3

Vlan / IP net4

VRF0 (GRT) IP Shortcuts

User


Marc

om

V1.0

2018


ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

Routing irgendwo in the Fabric mit

L3VSNs (oder GRT IP Shortcuts)

Verlängerung von L2 VLANs überall

innerhalb oder außerhalb der Fabric mit

Hilfe von L2VSNs

VRF2

VRF2

Vlan / IP net1

Vlan / IP net2

SPB VSN Service Flexibilität

DC1 DC2

Vlan 21Vlan 21

Vlan 21 / IP net3

L2-VSN I-SID 101

L3-VSN I-SID 200


Marc

om

V1.0

2018


ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

VRF2

VRF2

Vlan / IP net1

Vlan / IP net2

SPB VSN Service Flexibilität

DC1 DC2

L2-VSN I-SID 101

Vlan 21 / IP net3 Vlan 21 / IP net3

L3-VSN I-SID 200

VRF2

IP if - DGWIP if - DGW

Routing irgendwo in the Fabric mit

L3VSNs (oder GRT IP Shortcuts)

Verlängerung von L2 VLANs überall

innerhalb oder außerhalb der Fabric mit

Hilfe von L2VSNs


Marc

om

V1.0

2018


ISIS

ISIS ISIS

ISISISIS

ISIS

ISIS

ISIS ISIS

ISIS

ISIS

Shortest Path Bridging – IP Multicast Services

Ein Multicast Stream empfangen am Rand der Fabric wird

automatisch auf einen dedizierten Multicast Service

Identifier (I-SID) gemappt (I-SID >/= 16.000.000)

IS-IS propagiert diesen MC-Stream innerhalb der

Fabric. Der MC-Stream wird erst gesendet, sofern ein

Empfänger diesen anfragt und er wird NUR zu den

Empfänger weitergeleitet, die ihn auch angefragt haben.

Multicast Sender

Grp 239.0.0.10

Join 239.0.0.10

IGM

PIG

MP

Join 239.0.0.10

IGM

P Join

239.0.0.10

I-SID 16000000IPMC

Receiver

Receiver

Receiver


IGMP am Edge

IS-IS in der Fabric

Ohne PIM oder DVMRP Komplexität

Kann genutzt werden innerhalb voneinem L2 oder L3 VSN


Marc

om

V1.0

2018


SPB

VLAN

VLAN

VLAN

VLAN

VLAN

Senders

IGMP

Senders

Senders

Senders

Senders

Video on Demand

Empfänger Monitore

(IP Multicast der IP-

Kameras)

VLAN

VLAN

Video Recorders

(IP Unicast der IP-Kameras)

VLA

N

VLA

N

SPB L3 VSN mit MC Erweiterung

(Sender und Empfänger in verschiedenen IP-Subnetzen)

IGMP

Routing Instanz!

SPB Fabric basierende Video Überwachung

Marc

om

V1.0

2018


Infr

astr

uktu

rV

irtu

alis

iert

eD

ienste

I-SID 20011

I-SID 30002

I-SID 30001

I-SID 20010

I-SID 20009

Fabric Connect Dienste im Überblick

Tester Tester

SPB Access SPB Core SPB Access

vlan 10 vlan 10

L2VSNvlan 9 vlan 19

vlan 101

10.1.101.0/24

2001::101/64

vlan 102

10.1.102.0/24

2001:102/64

L3VSNvlan 201

10.2.201.0/24

2002::201/64

vlan 202

10.2.202.0/24

2002::202/64

Inter-VSN

vlan 11vlan 11

10.3.11.0/24L2VSN

vlan 12vlan 12

10.3.12.0/24L2VSN

vlan 300

10.3.1.0/24

L3VSN (or IP Shortcuts)

IPv4 Multicast Snoop enable

IPv4 Multicast Snoop enable

IPv4 Multicast Routing enable


For this topology IP Multicast would be handled as above for L3VSNs; forwarding streams through the fabric multiple times is sub-optimal

GRT IP

Shortcut GRT IPv6 Shortcuts

vlan 13

10.0.13.0/24

3000:13/64

vlan 14

10.0.14.0/24

3000:14/64

GRT IPv4 Shortcuts (Mgmt of devices)


I-SID 30005

I-SID 20012

Marc

om

V1.0

2018


Fabric Attach (FA) – Komponenten

Wie arbeitet Fabric Attach

FA benutzt Standard-Protokolle wie LLDP und Radius Austausch über die möglichen FA-Funktionen zwischen FA-Geräten.

Übermittlung von Provisionierungs-Informationen (ISID-VLAN).

Extreme Networks spezifische LLDP-TLVs übertragen die FA-Informationen.

Dadurch ist FA auch von Drittanbietern einfach und schnell zu implementieren.

Radius und EAP werden benötigt, falls man automatisch und sicher

Benutzer oder Client-Geräte anbinden möchte. Extreme Identity Engines sendet hierzu herstellerspezifische Attribute zum FA Switch

VLAN

ISID

Die Option VLANs zu erzeugen, falls diese noch nicht existieren

Marc

om

V1.0

2018


Fabric Attach (FA) – Komponenten

FA-Komponenten:

FA Server

Muss Teil der Fabric sein (SPB enabled)

Reales Mapping von VLANs auf ISIDs

Implementierung: VSP 4000/7200/7400/8000 (auch als Cluster (redundant); ERS 4900/5900 (nichtredundant)

FA Proxy

Virtuelles Mapping von VLANs auf ISIDs

Manuelle oder automatische Provisionierung

FA Proxy, transparente FA-Signalisierung

Implementierungen: ab XOS 22.4.1, ERS 3500/3600/4800/4900/5900

FA Client

Client-Gerät (z.B. Access Point) mit FA-Funktionen

Implementierungen: Extreme Wireless (3900 Series), OVS 2.4, Microsens Switches …

Marc

om

V1.0

2018


©2017 Extreme Networks, Inc. All rights reserved

DA NutzerdatenC-VID

B-SAB-DA B-VID I-SID

Backbone Adressen

Nutzer/Edge Adressen

Service Instance ID (3 Byte)

IEEE 802.1ah Frame Format (MAC-in-MAC)

SPBm nutzt diesen Standard

Kein Lernen von Nutzer-MAC-Adressen

Nutzer MAC-Adressen sind versteckt hinter dem “Backbone MAC Header” das Kernnetz lernt keine Kunden-MAC-Adressen

Virtualisierung

Service-Instanz (I-SID) ermöglicht die Trennung/Virtualisierung der Netzwerkinfrastruktur vom Netzwerkservice (VLAN, L2 VPN, L3

VPN, Routing)

3 Byte, daher ca. 16 Millionen von virtuellen Netzen möglich

Kunden-VLAN (C-VID) wird auf Service-Instanz (I-SID) abgebildet

SA

Daten

Marc

om

V1.0

2018


DA

SA

Payload

VLAN ID

DA

SA

Payload

C-VID

B-DA

B-SA

B-VID

802.1Q

802.1ah

Provider

Backbone

Bridges

Legende:

SA = Source MAC address

DA = Dest. MAC address

VID = VLAN ID

C-VID = Customer VID

I-SID = 24 Bit Service ID

B-VID = Backbone VID

B-DA = Backbone DA

B-SA = Backbone SA

I-SID

Tunnel Identifiers

Service Identifiers

Kunden

VLANs

DA

SA

Payload

Kunden LAN

or

Consolidated Service and Tunnel

SPBm nutzt IEEE 802.1ah MAC-in-MAC Encapsulation (Provider Backbone Bridging)

Marc

om

V1.0

2018


Fabric Connect

SPBM Service Typ Enkapsulierungen

Service-Typ

IP Shortcuts (GRT) IP C-MACData IP B-MAC

L2 VSNIP C-MACData

IP C-MACDataL3 VSN

I-SIDIP B-MACC-MAC

Edge SPBM

I-SIDIP B-MACData *C-MAC

* C-MAC header is NULL

IEEE 802.1ah

MAC-in-MAC

reguläres IP

Auf Ethernet

IEEE 802.1ah

MAC-in-MAC

BEBBEB BCBBCB

Data

Data

Type C-MACData Type C-MACData

Marc

om

V1.0

2018


Shortest Path Bridging – Equal Cost Paths

IS-IS sees 2 Equal Cost paths between 2 nodes

(referred as Equal Cost Trees – ECT)

SPB network was provisioned with 2 Backbone VLANs (BVIDs)

BVID-1

BVID-2

IS-IS programs 1st Equal Cost path in Forwarding Database of BVID 1

IS-IS programs 2nd Equal Cost path in Forwarding Database of BVID 2

Service Networks (VSNs) are then hashed against one or the other or both (per flow hashing) BVIDs

SPB 802.1aq defines max of 16 BVIDs

BVID-1

BVID-2

Cost =30

Cost =30

ISIS ISIS

ISIS

ISISISIS

ISIS

Marc

om

V1.0

2018


Reverse Path Forwarding Check (RPFC)

SPB requires that the shortest path in each direction be the same between any two devices for both unicast and multicast paths

Logic of Reverse path Forwarding Check is to examine all frames received on a interface and make sure that the source address and ingress interface are correct. If not the frame gets dropped.

Loop suppression

56

Mac-BMac-A

2/11 2/12

Mac-A

2/11 2/12

Mac-B

BVLAN ForwardingInformation Base (FIB)

2/11 MAC-A

2/12 MAC-B

©2019 Extreme Networks, Inc. All rights reserved

Marc

om

V1.0

2018


Fabric Attach solution – Elements

FA Proxy & FA Clients are only concerned about attaching to the Fabric Service (I-SID)

Fabric Attach attaches users to L2VSN I-SIDs only

They have no need for ISIS to calculate a shortest path, as they all have a single logical uplink into the Fabric (stub connected)

SPBM LLDP Control plane

I-SID (MAC-in-MAC) VLAN (q-tag) Services Data plane

SPB & IS-IS

Fabric

Connect

(FC)

FA Client

FA Client

FA Proxy

FA Client

FA Server

(BEB)

FA Server

(BEB)

VSP - Fabric edge

(switch cluster)ERS – Access

EXOS-Access

(wiring closet)

WLAN AP

ONA

vIST

Non-FAdevice

Non-FAdevice

Non-FAdevice

IP Phone/PC/Printer/Camera

Laptop/tablet/Smartphone

Non-FAdevice

PC/Server Switch (ERS3510)

Non-FAdevice

Wired IoT device

End devices/users

OVS / 3rd Party

Fabric Attach (802.1Qcj Auto Attach)

Marc

om

V1.0

2018


SPB Scalability Matrix

NOTE1: This limit only applies to unicast traffic, which requires a MAC-in-MAC encapsulation applied, i.e. only applies to L2VSNs and L3VSNs. It does not hence

apply to IP Shortcuts, nor does it apply to SPB Multicast. In practice IP Shortcuts and SPB Multicast over IP Shortcuts can scale beyond this limit up to the nodes

per region limit While L2VSNs and L3VSNs (and SPB Multicast if enabled on them) is constrained to at most as many BEBs as this limit

SPB CapabilitiesVSP 8600

(6.1)

VSP8000

(6.1)VSP7200 (6.1)

VSP4450

(6.1)

VSP4850

(6.1)ERS5900 (7.4) ERS4900 (7.4)

ERS4800

(5.11)

SPBM Operational Mode Chassis Chassis or Unit Unit Unit Unit Unit or Stack Unit or Stack Unit or Stack

Number of SPBM regions 1 1 1 1 1 1 1 1

SPBM Nodes per region 2000 800 800 550 550 1000 750 450

Max distant BEBs I-SIDs can be shared with

(see NOTE1)1000? 500 500 500 500 512 512 450

IS-IS adjacencies per node 255 255 255 255 24 4 4 4

Logical IS-IS interfaces - 255 255 255 24 - - -

CVLAN / node (Normal/SMLT) 4059 4059 4059 1000 1000 500 500 500

SPBM L2VSN ISIDs per node 4000 Up to 4000Up to

4000Up to 1000 Up to 1000 500 500 500

SPBM L3VSN VRFs per node 512 256 256 128 128 n/a n/a n/a

58

Marc

om

V1.0

2018


Rollen der Geräte innerhalb eines SPB Enterprise Network Design

Marc

om

V1.0

2018


Layer 2 Virtualisierung mit SPB als L2 VSN (Virtual Services Network)

Marc

om

V1.0

2018


Layer 3 Virtualisierung mit SPB als L3 VSN (Virtual Services Network)

Marc

om

V1.0

2018


Customer VLAN – CVLAN UNI

Marc

om

V1.0

2018


Switched UNI

Für den VSP7254 könnten hier für jeden der 48

User-Ports jeweils 4000 Vlans, jedoch pro Port mit

unterschiedlichen I-SIDs provisioniert und dediziert

zur Verfügung gestellt werden:

Port 1 I-SID 1000 Vlan 10

Port 2 I-SID 2000 Vlan 10

Der Service für das Vlan 10 des Port wäre komplett

isoliert gegenüber dem gleichen Vlan 10 am Port 2.

4.000 Vlans * 48 Ports = 192.000 Services könnten

hier an einem Switch bereitgestellt werden.

Marc

om

V1.0

2018


Transpartent UNI

Marc

om

V1.0

2018


Traffic Tromboning

Beim traditionellen Netzwerkdesign mit zentralem Routerkonzept kreuzt der Verkehr das Netz mehrfach, selbst wenn

Quell- und Zielstation des Flows am gleichen Switch angeschlossen sind!

Mit VRRP Backup_Masterinstanzen (BM) lässt sich dies etwas verbessern …

Spine

DC

Core

Subnet yellow

Subnet green

Leaf

R

Hosts

Das ändert sich auch mit einer SPB Fabric nicht !VRRP Backup Master hilft in einer Fabric-Umgebung nicht.

V

MV

M

V

MV

M

V

MV

M

V

MV

M

V

MV

M

V

MV

M

Marc

om

V1.0

2018


Distributed Virtual Routing (DVR)

Controller Nodes (C ) and Leaf Nodes (N) => Host Routes distributed

Shortest Path Routing zwischen Servern in unterschiedlichen RZ, aber auch wenn Server am gleichen Switch in

unterschiedlichen Subnetzen angeschlossen sind

Eine DVR Domain wird über mehere Lokationen ausgedehnt – sinnvoll insbesondere, wenn eine Verbindung der

Lokationen über die ‘Spine’ Ebene vorhanden ist (kein Routing/Switching über den ‘DC Core’)

Spine

DC

Core

Subnet yellow

Subnet green

Leaf

Hosts V

MV

M

V

MV

M

V

MV

M

V

MV

M

V

MV

M

V

MV

M

C C C C

L L L L L L L L L L L L

Documents

Netzwerk Microsegmentierung zur automatisierten