Supported by:www.efficientdacenter.org
Project consortium:
Module 5Netzwerk Equipment
Technischer und operativer Rahmen
Supported by: www.efficientdacenter.org 2
AusgangssituationNetzwerk Equipment und Energiebedarf
Netzwerke in Rechenzentren: verursachen ca. 8% bis 12 % des Energiebedarfs der IT-Ausstattung werden generell über lange Zeiträume eingesetzt (4-7 Jahre) sind ein potent. Flaschenhals für die Gesamtleistung & Energieeffizienz
Monitoring & Control
Cooling & Air Flow
Power Supply & UPS
Server Room / Data Center
InfrastructureNetwork Equipment
Architecture & Topology
Components & Cabling
Virtualization & Configuration
Supported by: www.efficientdacenter.org 3
Netzwerk AttributeKundenanforderungen
Grundlegende Leistungsparameter:
Hohe Bandbreite, geringe Latenzzeit (Auswahl der Netzwerktechnologie) Skalierbarkeit und Agilität (Netzwerkarchitektur und -management) Flexibilität zur Unterstützung div. Services (Konsolidierung, Anforderungen
bestehender Systeme) Sicherheit (zunehmende Bedeutung und beeinflusst den Overhead) Hohe Verfügbarkeit und Redundanz (QoS-Anforderungen) Verwaltbarkeit und Transparenz (wird durch Virtualisierungslösungen
unterstützt) Langfristige Rentabilität Kostenoptimierung (CAPEX und OPEX reduzieren)
Supported by: www.efficientdacenter.org 4
Monitoring & Control
Cooling & Air Flow
Power Supply & UPS
Server Room / Data Center
InfrastructureNetwork Equipment
Architecture & Topology
Components & Cabling
Virtualization & Configuration
technische Performance Energie Performance
VerbesserungszielDie richtige Balance finden
hoch
gering
Balance zwischen technischer Performance und Energiebedarf
Supported by: www.efficientdacenter.org 5
Rechenzentren NetzwerkeFunktionales Model
Monitoring & Control
Cooling & Air Flow
Power Supply & UPS
Server Room / Data Center
InfrastructureNetwork Equipment
Architecture & Topology
Components & Cabling
Virtualization & Configuration
Ethernet Switch Fiber Channel Switch
Access
Aggregation
Core
Routers
Firewall /Security Firewall /Security
Core Switches
LAN SAN
N
W E
S
Supported by: www.efficientdacenter.org 6
Rechenzentren Netzwerke Basis Netzwerkarchitektur & Komponenten
Ethernet Switch Fiber Channel Switch
Access
Aggregation
Core
Routers
Firewall /Security Firewall /Security
Core Switches
LAN SAN
N
W E
S
Supported by: www.efficientdacenter.org 7
Netzwerk Energieprofil
Einflussfaktoren für die Energieprofil des Netzwerkes:
Netzwerkarchitektur (Technologie, Anzahl der Layer, Attribute) Netzwerktopologie (inklusive Verkabelung und Switchtopologie) Gerätespezifikationen (Komponenten, Funktionen und Konfigurationen) Virtualisierung, lastadaptives Management (geeignete Standards und
Protokolle)
Supported by: www.efficientdacenter.org 8
Verbesserungsstratgie und Ziele
Die drei grundlegenden Verbesserungsziele:
Verringerung der physischen Komponenten (Geräteanzahl):
Verringerung der Leistungsaufnahme der entsprechenden Geräte
Systemoptimierung auf Rack- und Raumebene
Supported by: www.efficientdacenter.org 9
Verringerung der physischen Komponenten
Verringerung der physischen Komponenten (Geräteanzahl): Router-, Switch-, Portkonsolidierung (Virtualisierung, Multifunktionalität,
Dienste) Weniger Netzwerklayer durch all-IP Technologien (z.B. FCoE) Erstellen einer einheitlichen Netzwerkstruktur Einführung der aktuellen Breitbandtechnologie (10/40Gbit/s)
Ethernet Switch Fiber Channel Switch
Access
Aggregation
Core
RoutersN
W E
S
Ethernet Switch Fiber Channel Switch
Access
Aggregation
Core
Routers
Firewall /Security Firewall /Security
Core Switches
LAN SAN
N
W E
S
Supported by: www.efficientdacenter.org 10
Netzwerk-Virtualisierung
System-Virtualisierung inkl. des Netzwerkes bedeutet: Virtuelle Router (Software mit Routingfunktionalität, mehrere Systeme auf
einer realen Maschine) Virtuelle Links (logische Verbindungen der virtuellen Router) Virtuelle Netzwerke (virtuelle Router verbunden durch virtuelle Links)
Vorteile der Netzwerk-Virtualisierung Managementschnittstellen sind flexibler Reduzierte Anschaffungskosten durch Softwareeinsatz Verbesserte Leistung der Anwendungen durch vereinfachte
Diensterweiterung und -zuordnung Potentiell verringerter Stromverbrauch durch Gerätekonsolidierung
Supported by: www.efficientdacenter.org 11
Netzwerk-Virtualisierung Best Practice
Netzwerk-Virtualisierung in Verbindung mit Konsolidierung
Router: Verringerung der physischen Router um über 50% verringerter Energiebedarf um annährend 60%
Firewall: Zentralisierte Firewalls basierend auf logischen Netzwerkstrukturen
reduzieren den Firewall bezogenen Energiebedarf auf bis zu 60%
klassischer Aufbau
Untrusted Network
zentralisierte Firewalls mit VMs
Untrusted Network
VM
VM
VM
Supported by: www.efficientdacenter.org 12
Konsolidierung auf der GeräteebeneZusammenbringen der “traffic classes”
Processor Memory
HCA NIC HBA
Processor Memory
Storage Network(SAN)
Inter Processor
(IPC)
Local Area Network (LAN)
IPC LANSAN
Fiber Channel / InfinibandEthernet 10G/40G/100G Ethernet
CNA
FC SwitchEN Switch EN Switch
Server
Technologieimplementierung für hohe Bandbreite / Geschwindigkeitund “converged Network Adapter” (CAN) führt zu:
Reduzierung von Netzwerkgeräten, Verkabelung und Gateways Darus resultiert ein geringerer Gesamtenergiebedarf
Supported by: www.efficientdacenter.org 13
Ethernet Switch Fiber Channel Switch
Access
Aggregation
Core
Routers
Firewall /Security Firewall /Security
Core Switches
LAN SAN
N
W E
SInitial Situation: Two separate network technologies with respective hardware (switches)
Ethernet Switch Fiber Channel Switch
Access
Aggregation
Core
Routers
Firewall /Security Firewall /Security
Core Switches
LAN SAN
N
W E
SVerbesserung: einheitliche Netzwerktechnologie (IP-basierend) mit reduzierter Hardware (Switch)
LAN und SAN KonsolidireungEinheitliche Protokolle
Supported by: www.efficientdacenter.org 14
Ausgangssituation:Klassisches SAN (FC or IB)
Fiber Channel (FC) Infiniband (IB) (lossy) Ethernet
FCP (FC Protocol)
SRP(SCSI RDMA Protocol)
IP (Internet Protocol)
TCP (Transmission Control)
FCIP (FC over IP)
FCP (FC Protocol)
Small Computer System Interface (SCSI)
Application
• Packetverlust möglich• hoher Overhead Geringe Übertragungseffizienz
• Verlustfrei• kleiner Overhead Hohe Übertragungseffizienz
Supported by: www.efficientdacenter.org 15
Lossless EthernetFiber Channel (FC) Infiniband (IB) (lossy) Ethernet
FCP (FC Protocol)
SRP(SCSI RDMA Protocol)
FCP (FC Protocol)
FCoE (FC over Ethernet)
IP (Internet Protocol)
TCP (Transmission Control)
iSCSI (internet SCSI)
Small Computer System Interface (SCSI)
Application
Verbesserungsoption:Netzwerkkonsolidierung (IP-basiert)
IP-based (Ethernet)
Supported by: www.efficientdacenter.org 16
Vollständig konsolidierte Netzwerkarchitektur
Ethernet Switch Fiber Channel Switch
Access
Aggregation
Core
RoutersN
W E
S
Supported by: www.efficientdacenter.org 17
Leistungsaufnahme der Geräte
Verringerung des Stromverbrauchs der Netzwerkgeräte durch: Durchschnittlichen Stromverbrauch (Moore`s law) Power Management (derzeit noch nicht verfügbar) Netzteil (Effizienz, Redundanz) Passive und aktive Kühlung (Kupfer-Kühlkörper, regelbare
Lüfterdrehzahl)
Supported by: www.efficientdacenter.org 18
Positive Effekte hoher Techologiedynamik- Mikro/Nanoelektronik (Moore), Kommunikationstechnik (Shannon) ,
… Aber: Kosten und echnology gaps
- Implementierung geeigneter Schnittstellen (AVT/MST), wertvolle (selten) Materialen…
0
20
40
60
80
100
2008 2010 2012 2014 2016 2018 2020
Inte
rcon
nect
Siz
e (A
tom
s)
Roadmap der Halbleiter-Technologie (phyiskalischen und ökonomische Grenzen)
45 nm Technologie
32 nm
22 nm
16 nm
11 nm
Moores Law
Supported by: www.efficientdacenter.org 19
175
150
125
100
75
50
25
Initial Boot
Idle no Link
Idle w / Link
70% Load
100% Load
Uplink Modules
35.1
56.9
104.3 107.4 108.5
136.5
58.8 60.3 60.9
88.9
Power (W)
3Com Switch4800G 48-Port
3Com Switch4800G 24-Port
2x uplinks and 1x 10G XFP transceiver
Vergleich von 3Com Switch 4800G 24/48-Port Energieprofil
GeräteauswahlSwitchtopologie und geeignete Dimensionierung
Supported by: www.efficientdacenter.org 20
Ausstattung: 8 W pro 10GE Schnittstelle, Geringer Stromverbrauch für 10GE Verbessterte Kühlungseffizienz mit
regelbarer Lüfterdrehzahl (die Drehzahl wird automatisch an die bestehenden Bedingungen angepasst)
Offenlegung von InformationenProduktbeschaffung(Energieffizienz)
Juniper Switch-EX4500Quelle: Juniper 2011
Supported by: www.efficientdacenter.org 21
Netzteileffizienz
Ausgangssituation:– Viele Netzteile in installierten Netzwerkgeräten
haben eine potent. Effizienz von unter 80%– Netzteile mit einer Energieeffizienz von über 90%
bereits am Markt verfügbar Energy Star und 80 Plus
– Energy Star für Servernetzteile setzt bereits Effizienzanforderungen von 90%
– 80 Plus Programm hat noch höhere Anforderungen
– Empfehlung für 80 Plus Gold / Plantinum Effekte
– Reduzierter Stromverbrauch– Geringerer Kühlungsaufwand– Absenkung der TCO
% of Rated Load
20% 50% 100%
80 PLUS Bronze
81% 85% 81%
80 PLUS Silver
85% 89% 85%
80 PLUS Gold
88% 92% 88%
80 PLUS Platinum
90% 94% 91%
Supported by: www.efficientdacenter.org 22
Power Management Energy Efficient Ethernet
Abschalten von Ethernet Transceivers (PHYs) in Zeiten mit geringen Datenaufkommen
Vergleichbar mit Wake-on-LAN Konzept 1000BASE-T und 10GBASE-T Transceiver neue LPI Modes wurden
definiert Hauptmerkmale:
Abschalten der Transmitter und drei von vier Rreceivern Aufnahme eines Refresh-Zyklus Definition eines Alarmsignals für schnelle Reaktivierung
Aktuell noch nicht für Netzwerkgeräte für Rechenzentren verfügbar
Supported by: www.efficientdacenter.org 23
Best PracticeEE Netzwerkgerätevergleich
Source: (Lippis 2011)
IBM BNT RackSwitch
G8264
IBM BNT RackSwitch
G8124
Force 10 Voltaire Vantage 6048
Apresia 15k0
1
2
3
4
5
6
WattsATIS /10GbE Port
IBM BNT RackSwitch
G8264
IBM BNT RackSwitch
G8124
Force 10 Voltaire Vantage 6048
Apresia 15k0
50
100
150
200
250
300
TEER
bette
rbe
tter
Supported by: www.efficientdacenter.org 24
Systemoptimierung auf Rack- und Raumebene
Switchtopologie (ToR, EoR) geeignete Verkabelung (Luftstrom, Kabelart, Schnittstelle) Position im Rack (Kühlungskonzept) Virtualisierung und Steuerung
Supported by: www.efficientdacenter.org 25
End-of-Row Switchtopologie optimale Ressourcenausnutzung
10 Server
Rack #1
14 Server
Rack #2
16 Server
Rack #3
8 Server
Rack #4
Suboptimal EoR utilization
Rack #1 Rack #2
Optimal End-of-Row switching
large amount of cabling
Line
Car
d
EoRSwitch
good scalability & flexibility
Supported by: www.efficientdacenter.org 26
48 Port Switch
10 Server
Rack #1
48 Port Switch
14 Server
Rack #2
48 Port Switch
16 Server
Rack #3
48 Port Switch
8 Server
Rack #4
Optimal ToR switching
48 Port
Rack #1
suboptimal server configuration
Unused ports
Suboptimal ToR utilization
all ports used
Simple cabling
48 Port
Rack #2
Top-of-Rack Switchtopologie optimale Ressourcenausnutzung
Supported by: www.efficientdacenter.org 27
Geeignete VerkabelungVerbesserung v. Luftstrom und Kühlung
Supported by: www.efficientdacenter.org 28
VerkabelungKupfer
Kupfer twisted pair: Geringe Kosten: im Vergleich zu Glasfaserlösungen Begrenzte Reichweite: z.B. geeignete Entfernung für 10GE sind
ca. 10m Geringer Strombedarf: z.B. 10GE “small form factor pluggable
(SFP) nur 0.1W (auf 10m) 10GbE Kupferkabel PHY aktuell ca. 10W pro Port Weniger robust: z.B. Kabel kann während der Installation
einfacher brechen als vergleichbares Glasfaserkabel)
Supported by: www.efficientdacenter.org 29
Verkabelung Glasfaserleiter
Glasfaserleiter: Hoher OpEx : aktive Komponenten (Photonik) Hohe Performanz: Geschwindigkeit, Bandbreite über lange
Distanzen (300m) Energieverbrauch: mit 10GbE Port benötigen Glasfaserleiter 1-2W Sehr robust: unter Berücksichtigung von Isolation, Biegeradius
und entsprechenden Netzwerkgeräten Besonders geeignet für Core-Switching-Netz, während Kupfer die
erste Wahl für Serververbindungen mit TOR-Switchen ist.
Supported by: www.efficientdacenter.org 30
Verkabelung Vergleich von Glasfaser und Kupfer
10 GbE MedienGlasfaser (SR/LRM)
Kupfer(Base-T)
Stromverbrauch (PHY + Adapter)
1 - 3 Watt 14 - 17 Watt
Entfernung 300 m 100 m
Zukünftige Datenraten 40 - 100 Gb/sec 10 Gb/sec
Dichte pro Rackeinheit 32 24
Kabeldichte 10% 100%
Supported by: www.efficientdacenter.org 31
OptimierungsprozessSchritt-für-Schritt
Maßnahmen: Auswahl von Verbesserungszielen (bedarfsgerecht, konvergiert und
intelligent) Planung der Netzwerkarchitektur (Technologie) Beschaffung energieeffizienter Geräte (Power Management) Umsetzen geeigneter Verkabelung (Einfluss auf Luftdurchsatz und Kühlung) Lastausgleich und Virtualisierung
Supported by: www.efficientdacenter.org 32
Optimierungsprozess Auswahl von Verbesserungszielen
Tasks: Messen/Monitoren der spezifischen Leistungsaufnahme (Vorraussetzung):
Individuelle Komponenten Entsprechende thermische und technische Parameter (Luftdurchsatz,
Temperatur, Lüfterdrehzahl) Definition von Zielvorgaben:
Energieefficienz (TEER/ECR) Power Management (Anmerkung: noch nicht verfügbar, Langzeitziel) Schwellwerttemperatur (z.B. Grenzbereich entsprechend ASHRAE)
Supported by: www.efficientdacenter.org 33
Optimierungsprozess Planung der Netzwerkarchitektur
Tasks: Festlegen vorrangiger Zielparameter für:
Technische Performanz (hohe Bedeutung für Interoperabilität, Einbindung bestehender Technik)
Energie (eco) Performanz Übertragung der Leistungsparameter in produktorientierte technische
Spezifikationen: An diesem Punkt muss die Entscheidung für die grundlegende
Netzwerktechnologie der individuellen Netzwerke geroffen werden (LAN, SAN, Access)
Art, Anzahl der Netzwerkports Datendurchsatz Funktionalität und zusätzliche Dienste (Virtualisierung und Steuerung)
Supported by: www.efficientdacenter.org 34
Optimierungsprozess Beschaffung effizienter Geräte
Tasks: Marktanalyse entsprechend der indentifizierten Spezifikationen Öffentliche Beschaffungsrichtlinien Beratung Anforderung energiebezogener Test-/Benchmarkdaten (TEER) Vergleich verschiedener Angebote (existieren Guides für Auswahlprozesse)
Supported by: www.efficientdacenter.org 35
Ausblick
Spezifische “Best-Practice-Beispiele” (reale Daten/praktische Fälle)
Beispiele für Reduzierung der Hardware (Virtualisierung) Netzwerk Power Management (Standby und geringer idle)
Weiterentwicklungen nach dem Stand der Technik (vollständig optisch, Tunnel Konzepte)
Klassifizierung der Verbesserungsoptionen
Supported by: www.efficientdacenter.org 36
Weitere LiteraturempfehlungenWhite papers
Online Publikationen
Etc
Supported by: www.efficientdacenter.org 37
Weitere Literaturempfehlungen
Energy Consumption Rating Initiative– www.ecrinitiative.org
Cisco Efficiency Assurance Program– www.cisco.com/assets/cdc_content_elements/flash/dataCenter/eap
IBM, Network solutions– http://www-03.ibm.com/systems/networking/
Energy Proportional Datacenter NetworksAbts D.et al. (2010), Proceedings of the International Symposium on Computer Architecture, Saint-Malo– http://static.googleusercontent.com/external_content/untrusted_dlcp/research.go
ogle.com/de//pubs/archive/36462.pdf
Supported by: www.efficientdacenter.org 38
Weitere Literaturempfehlungen
Government Data Center Network Reference Architecture, Using a High-Performance Network Backbone to Meet the Requirements of the Modern Government Data Center, Juniper (2010) – http://www.buynetscreen.com/us/en/local/pdf
/reference-architectures/8030004-en.pdf
ElasticTree: Saving Energy in Data Center NetworksHeller B. et al. (2010)– http://www.usenix.org/event/nsdi10/tech/full_papers/heller.pdf