Upload
gertrud-heppner
View
134
Download
0
Embed Size (px)
Citation preview
Parallele Datenverarbeitung
Was sind Clusterund wie sind sie aufgebaut
Leiv-Erik Braun
Mai 2007
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Überblick über die Systeme
Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
SMP - Symmetric Multi Processing
Viele Prozessoren (<=16) und ein gemeinsamen SpeicherEin Prozessor bzw. Kern bearbeitet den nächstmöglichen
Task oder Thread (Queue)(z.B. Dual Core PC, IBM JS21-MP BladeServer)
CPU CPUCPU ...
MEM
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
IBM JS21 BladeServer (SMP System)
Quelle: http://www-5.ibm.com/es/press/fotos/servidoresytecnologia/i/BladeCenterjs21.jpg Quelle: ftp://ftp.software.ibm.com/systems/support/system_x_pdf/31r1760.pdf
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
MPP - Massive-Parallel-Prozessing
Mehrere Prozessoren und kein gemeinsamer Speicher Ein Prozessor bearbeitet einen seperaten Teil eines Problems
– z.B. DOE/NNSA/LLNL eServer BlueGene, NNSA/Sandia National Laboratories Cray Red Storm
CPU
MEM
CPU
MEM
CPU
MEM
...
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
IBM BlueGene/L (MPP System)
Quelle: http://www-03.ibm.com/servers/deepcomputing/pdf/bluegenesolutionbrief.pdf
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Cluster
mehrere Rechner im Verbund– Oft SMP Nodes
– Ein Knoten hat weniger Prozessoren als der Verbund Knoten hat
– z.B. BCC BladeCenter JS21 IBM, NNSA Power Edge 1850
CPU CPUCPU...
MEM
CPU CPUCPU...
MEM
CPU CPUCPU...
MEM
CPU CPUCPU...
MEM
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
BladeServer JS21-MP Cluster (MareNostrum)
Quelle: http://www-5.ibm.com
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Constellations (Cluster of Clusters)
Große SMP‘s im Verbund– Ein Knoten hat mehr Prozessoren, als der Verbund Knoten hat
– 1 System mit tausend RecheneinheitenTera-10 Bull/NovaScale, Nagoya University Primepower HPC2500
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
Knoten Constellation
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Bull NovaScale Tera-10
Quelle: http://www.guideinformatique.com/IMAGES/SimulNul02.jpg
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Warum sind Cluster so beliebt?
Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Warum sind Cluster so beliebt?
Viele Anbieter der Komponenten (großer Markt)
Aufbau mit einfachen Mitteln möglich (kostengünstig)
Variabler Einsatz von Kapital für Netzwerk, Rechenleistung und Arbeitsspeicher (offene Preisgestaltung)
Meist variabel erweiterbar (Skalierbarkeit)
Bei Defekt eines Knotens ist ein Großteil des Clusters weiter nutzbar (Robustheit)
Bei Defekt unkopliziert und kostengünstig reparabel (Hot Swappable)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Kommunikationstechnologien im Cluster
SP Switch
InfiniBand SCI QS-Net
Myrinet 2000 Myrinet 10G
QS-Net²InfiniPath
NUMAlink
Proprietäre Lösungen Cray Interconnect
RapidArray CrossbarGb Ethernet
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Höchstes Ziel: Der Cluster soll rechnen
Ansprüche an das Netzwerk–Schneller Datentransfer
Remote DMA (RDMA)
–Entlastung der CPU
Schlankes ProtokollKein Management des
DatentransferAuslagerung auf NIC/HCA
–Hohe Robustheit
–Geringe Latenz
Aplication
UserAPIs
Upper Layer
Protokolle
Provider
Hardware
IP based Apps
Protokolltreiber(TCP/IP)
API / VERBS
HardwareTreiber
Host Channel Adapter Network Interface Card
Kernel S
paceU
ser Space
Kernel BypassStandard
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Günstiger Standard (Gigabit Ethernet)
10 Gb/s (heute)100 Gb/s (Ende 2009)
– 10 * 10Gb/s gebündelt(http://www.spectrum.ieee.org/dec06/comments/1657)
TCP/IP–Viel Information im Protokollstack die im Cluster nicht nötig
ist (Overhead)Leistungsschub durch TOE (TCP Offload Engine)
–Hardware die sich um en-/develop, handshake, ect. kümmert um dem Prozessor Arbeit zu ersparen
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Myrinet von Myricom
Nutzt vorhandene Ethernet Technologie–Begrenzt auf die aktuelle Ethernet Technologie = 10Gb/s
Hat eigene NetzwerkkartenRemote DMA fähigHat eigenes „schlankes Protokoll“Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden
bei (10Gb) (http://www.myricom.com/scs/performance/MX-10G/)
2 Lösungen im Angebot–Myrinet 2000 (2Gb)
–Myrinet 10G (10Gb)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Myrinet installationen
Myrinet 2000 (Kupfer) Myrinet 10G (Glasfaser)
Quelle: http://cse.uluc.edu/turing/gallery.htmlQuelle: http://www.bsc.es/media/317.jpg
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand von der Infiniband Trade Association (IBTA)
Nutz eigene neue TechnologieNormal 2,5 Gb/s durch 8bit/10bit Kodierung = 2 Gb/sBegrenzt durch Taktrate (Maximal 96Gb/s)Hat eigene Host Channel Adapter (HCA)Nutzt Remote DMA (RDMA)Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden
bei (10Gb-96Gb)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand – Speed durch Bündelung und Takterhöhung
SDR Singel Data RateDDR Double Data RateQDR Quad Data Rate
96 Gb/s48 Gb/s24 Gb/s8x
32 Gb/s16 Gb/s8 Gb/s4x
8 Gb/s4 Gb/s2 Gb/s1x
QDRDDRSDR
96 Gb/s48 Gb/s24 Gb/s8x
32 Gb/s16 Gb/s8 Gb/s4x
8 Gb/s4 Gb/s2 Gb/s1x
QDRDDRSDR
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand Kabel (1x, 4x, 12x)
Quelle: http://www.cs-electronics.com
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand Installation
Quelle: http://hpc.msstate.edu/computing/maverick/gallery/production
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Ende