Supercomputer Blue Gene/L - THM · Supercomputer Blue Gene/L 2 Seminar Web at 2.0, FH – Giessen, September 2007 © 2007 IBM Corporation Übersicht Einführung Supercomputer Begriffe

© 2007 IBM Corporation

FH – Giessen Friedberg

Seminar Web at 2.0, FH – Giessen, September 2007

SupercomputerBlue Gene/L

Sven Wagner

Supercomputer Blue Gene/L

© 2007 IBM CorporationSeminar Web at 2.0, FH – Giessen, September 20072

Übersicht

� Einführung

� Supercomputer

� Begriffe

� Geschichte

� TOP500

� Anwendung



Übersicht

� Blue Gene/L� Historie

� Architektur & Packaging

� ASIC

� Netzwerk

� Software

� Anwendungsbeispiel

� Zusammenfassung und Fazit



Supercomputer Definition

� Was macht einen Supercomputer aus?

� operieren im obersten Leistungsbereich

� hohe Rechenleistung durch viele Prozessoren

� Parallelrechner

� Cluster mit Knoten oder Vektorrechner



Supercomputer Begriffe

� FLOPS = FLoating point OPerations per Second

� Anzahl der Gleitkommazahl-Operationen (Additionen oder Multiplikationen), pro Sekunde ausgeführt

� Intel Pentium 4 Prozessor ( 3 GHz) leistet ca 6 GFLOPS

� Benchmark Linpack

� lineare Gleichungssysteme

� FORTRAN aber auch C, C++, Pascal oder Java



Supercomputer Historie

� 1976 Cray-1 250 MFLOPS� Los Alamos National Labartory, New Mexico (USA)

� 1997 Intel ASCI Red 1,338 TFLOPS� Sandia National Laboratories, New Mexico (USA)

� 2004 Blue Gene/L 70,72 TFLOPS� Lawrence Livermore National Laboratory, Kalifornien (USA)

� 2007 Blue Gene/L 280,6 TFLOPS� Lawrence Livermore National Laboratory, Kalifornien (USA)



Supercomputer TOP500 Juni 2007

� 1. BlueGene/L: 280,6 TFLOPS� Lawrence Livermore National Laboratory (USA)

� 131.072 PowerPC 440-Prozessoren 700 MHz

� 2. Jaguar (Cray TX3): 101,7 TFLOPS� Oak Ridge National Lab (USA)

� 23.016 DC-Opteron, 2.6 GHz

� 3. Red Storm (Cray): 101,4 TFLOPS� Sandia National Labs (USA)

� 26.544 DC-Opteron, 2.4 GHz



Supercomputer Entwicklung



Supercomputer Anwendungen

� Simulationen

� Echtzeit-Datenverarbeitung

� Off-line Datenanalyse

� Anwendungen in großen amerikanischen Forschungslabors



Blue Gene/L Historie

� 1999 IBM kündigt Blue Gene Projekt � 5 Jahre, 100 Millionen US Dollar Investition

� Entwicklung eines PFLOPS skalierbaren Supercomputer

� 2001 Partnerschaft mit LLNL

� 2004 Blue Gene/L ist auf Platz 1 der TOP500 Liste� 70,72 TFLOPS mit 32768 Prozessoren

� 2007 Blue Gene/Q� bis 2010-2012 10 PFLOPS



Blue Gene/L Lawrence Livermore National Laboratory



Blue Gene/L Entwicklungsgrundsätze

� 10.000 parallele Prozesse => skalierbar

� Kosten senken

� Verwendung üblicher “Supercomputer Software” (zB. MPI)

� Ausfallsicherheit, Verfügbarkeit und Wartbarkeit

� Skalierbarkeit



Blue Gene/L Entwicklungsgrundsätze

� Komplexität und Grösse reduzieren

� ~25KW/rack ist Maximum für die Kühlung

� performance/power Verhältnis verbessern

� 700MHz PowerPC440 für ASIC ideal (FLOP/Watt)

� On chip: kompletter ASIC (SoC) ohne Hauptspeicher

� Off chip: Maximale Anzahl von Knoten in einem Rack



Customer Sites

IBM Sites

Blue Gene



Blue Gene/L Packaging

2 chips, 1x2x1

5.6/11.2 GF/s1.0 GB

(32 chips 4x4x2)16 compute, 0-2 IO cards

90/180 GF/s16 GB

32 Node Cards

2.8/5.6 TF/s512 GB

180/360 TF/s32 TB

RackSystem

Node Card

Compute Card

2.8/5.6 GF/s4 MB

2 processors

Chip

64 Racks, 64x32x32System



Blue Gene/L Packaging

� Knoten: ASIC + DRAM

� Bis zu 32*32*64 (skalierbar) = 65536 Knoten

� 5 Netzwerke verbinden Knoten-Knoten & Knoten-Welt



Dual Node Compute CardDual Node Compute Card

9 x 512 Mb DRAM; 16B interface; no external termination

Heatsinks designed for 15W

206 mm (8.125”) wide, 54mm high (2.125”), 14 layers , single sided, ground referenced

Metral 4000 high speed differential connector (180 pins)



3232-- way (4x4x2) node cardway (4x4x2) node card

Custom dual voltage, dc-dc converters; I2C control

IO Gb Ethernet connectors through tailstock Latching and retention

Midplane (450 pins) torus, tree, barrier, clock, Ethernet service port

16 compute cards

2 optional IO cards

Ethernet-JTAG FPGA



Blue Gene/L VerkabelungBlue Gene/L Verkabelung

Y Cables

X Cables

Z Cables



Blue Gene/L Link Knoten



Blue Gene/L Service Knoten



Blue Gene/L ASIC Daten

� 2 IBM PowerPC 440 FPU 700 MHz

� Torus & Ethernet

� Lockbox & SRAM

� ext. Hauptspeicher 512MB DRAM�erweiterbar bis 2GB

� 32 kB L1 Cache

� 2 kB L2 Cache

� 4 MB EDRAM L3 Cache

http://www.tcp-net.ad.jp/danbo/m/image/cbga.jpg



2.6MBit Count eSRAM

38MBit Count eDRAM

13WPower Dissipation

700MHzClock Freq.

1.1MPlaceable Objects

95MTransistor Count

57MCell Count

BlueGene/L – System-on-a-ChipChip Area usage



Blue Gene/L ASIC technische Daten

� IBM CU-11 (130 nm Technologie)

� 11 x 11 mm

� 25 x 32 mm CBGA

� 474 pins, 328 signal

� 1.5/2.5 Volt



Blue Gene/L Netzwerke

� 64 x 32 x 32 drei Dimensionales Torus

� Global Collective Network

� Global Barrier and Interrupt Network

� I/O Network (Gigabit Ethernet)

� Service Network

� Optimiert für Parallelprogrammierung (MPI)



Blue Gene/L Netzwerk Verbindungen

� 3-D Torus�verbindet alle Rechenknoten(65,536)

�virtual-cut-through (VCT) Routing

�Bandbreite 175MBit/s bidirektional

�hohe Bandbreite durch geringe Distanz

�Deadlockfrei Quelle: http://www.llnl.gov/asc/computing_resources/bluegenel/images/torus.jpg




�Global Collective Network� Broadcast Funktionalität

� Baumstruktur 2.8 GB Ethernet

� point to point messaging zwischen I/O und Rechen Knoten




� Barriernetzwerk � schützt das Gesamtsystem bei Fehlern und

regelt das Abschalten der Racks

� Kontrollnetzwerk� Booten, Überwachung und Diagnose

� JTAG, FPGA Control

� Gigabit Ethernet� Integriert im ASIC

� Aktiv in den I/O Knoten



Blue Gene/L 2 Modi pro Knoten

� Virtual Node Mode

�beide Prozessoren führen je einen MPI Task aus

�beide Prozessoren rechnen

� Co Prozessor Mode

�ein Prozessor rechnet der andere ist für die Kommunikation zuständig (MPI)

�die Kommunikation der Prozessoren in einem Knoten erfolgt über den L3 Cache im ASIC (scratchpad)



Blue Gene/L System Software

� Rechenknoten� Compute Node Kernel (CNK)

� einfache Software

� Anbindung an Torus und Tree Netzwerk

� I/O Knoten� Linux Kernel (angepasst an PowerPC 440)

� keine Anwendungen nur System Software

� Anfragen von Rechenknoten



Blue Gene/L System Software

� Service Knoten� Single Multiprocessor Rechner mit gängigen OS

� Kontrolle über das ganze System

� midplane Monitoring

� Front-End Knoten� Linux Kernel

� GNU Tool Chain (binutils, gcc, glibc und gdb), IBM XL Compiler

� Login und Kontroll Rechner für Service Knoten



Blue Gene/L Software Übersicht



Blue Gene/L System Software Architektur

� 64 Rechenknoten und 1 I/O Knoten = pset (logisch)



Blue Gene/L Software

� Ein Programm und viele Daten

� Programm pro CPU einmal starten

� Daten aufteilen

� Nachrichtenaustausch zwischen Prozessen

� Ergebnisse sammeln



Blue Gene/L Software

� MPI (MPICH2)� 3D Torus Netzwerk mit VCT Routing

– point to point: MPI_SEND, MPI_RECV

� Global broadcast tree network (Latenzzeit ~2,5µs)

– collectives: MPI_GATHER, MPI_SCATTER

� Global interrupt network (Latenzzeit ~1,5µs)

– fast MPI_BARRIER

� IBM XL Compiler� XL C,XL C++,XL Fortran



Anwendungen On-line Datenverarbeitung� 15000 Antennen

�in NL und D

� einfache Antennen �univ. Einsatz versch. Sensoren

� versch. Anwendungen�z.B. Windmessung für Windparks

� 6 Blue Gene/L Racks �mit 37 Terabit/s WAN

� lofar.org�Kosten ca 50 Mill. EURO



Supercomputer Anwendungen

� Biophysik am Forschungszentrum Jülich (FZJ): Proteinfaltung

Quelle: Forschungszentrum Jülich, Prof. Uli Hansmann (FZJ), Dr. A. Baumgärtner (FZJ)



Blue Gene/L

� Fazit� spezielle Hardware

� strukturierter, skalierbarer Aufbau

� extreme Rechenleistung

� hohe Kosten und Verbrauch

� komplexes Anwendungsgebiet



Quellen

� IBM Journal of Research and Development� http://researchweb.watson.ibm.com/journal/rd49-23.html

� TOP500 Supercomputer Sites� http://www.top500.org/

� Lawrence Livermore National Laboratory� http://www.llnl.gov/

� Forschungszentrum Juelich� http://www.fz-juelich.de/

Documents

Supercomputer Blue Gene/L - THM · Supercomputer Blue Gene/L 2 Seminar Web at 2.0, FH – Giessen, September 2007 © 2007 IBM Corporation Übersicht Einführung Supercomputer Begriffe