Konrad-Zuse-Zentrum für Informationstechnik Computer-Science / Rechenzentrum 26/09/2000ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum1 Höchstleistungsrechnen

26/09/2000ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum 1

Konrad-Zuse-Zentrum für Informationstechnik Computer-Science / Rechenzentrum

Höchstleistungsrechnen für die Höchstleistungsrechnen für die Wissenschaft – die Aufgaben der Wissenschaft – die Aufgaben der

Supercomputer des ZIBSupercomputer des ZIB

Detlef ReichardtDetlef Reichardt

Fachberater für ChemieFachberater für Chemie

Computer Science / Abt. HöchstleistungsrechnerComputer Science / Abt. Höchstleistungsrechner


Konrad-Zuse-Zentrum für Informationstechnik Computer Science / Rechenzentrum

ÜberblickÜberblick

Scientific Supercomputing – was ist das?Scientific Supercomputing – was ist das? Warum braucht man Höchstleistungsrechner? Anforderungen ein paar Grundbegriffe: Vektorrechner, Parallelrechner ... Rechnerausstattung, Supercomputer im Verbund Supercomputing als Dienstleistung: Großprojekte, Fachberatung,

Forschung

Beispiel: Quantenchemische Simulation großer MoleküleBeispiel: Quantenchemische Simulation großer Moleküle Grundidee RNA-Fragment MetaComputing



Warum braucht man Höchstleistungsrechner?Warum braucht man Höchstleistungsrechner?

unerläßliche und teilweise einzig vertretbare Hilfsmittel zur unerläßliche und teilweise einzig vertretbare Hilfsmittel zur Problemlösung in Grundlagen- und anwendungsbezogener Problemlösung in Grundlagen- und anwendungsbezogener Forschung und EntwicklungForschung und Entwicklung Kern- und Vielteilchenphysik, Klimaforschung, Kosmologie chemische/pharmazeutische Industrie, Maschinenbau, Fahrzeugbau,

Flugzeugbau

Simulation statt ExperimentSimulation statt Experiment extreme Dimensionen (Mikro/Makrokosmos), unterschiedliche Zeitskalen gefährliche Stoffe (giftig, explosiv) Kosteneinsparungen (Crashtests) tiefere Einsichten in komplexe Zusammenhänge

Komplexe Probleme an vorderster ForschungsfrontKomplexe Probleme an vorderster Forschungsfront jeweils leistungsfähigste Algorithmen auf den jeweils leistungsfähigsten Computern ( = Supercomputer)



Supercomputing –was ist das?Supercomputing –was ist das?

stellt höchste Anforderungen anstellt höchste Anforderungen an Kapazität und Quantität

• Rechenzeitbedarf

• Massenspeicherbedarf

• langfristige Datensicherung

• Bandbreite der Datenübertragung (Speicherzugriffe, Input/Output, Netz)

Fähigkeit und Qualität

• technisches Know-How

• Algorithmen

• Methoden (numerisch, Visualisierung)

• Menschen



Ein paar Grundbegriffe ...Ein paar Grundbegriffe ...

Einzel-Prozessor-SystemEinzel-Prozessor-System

PeripherieMemory

Bus

Prozessor PE

B

M P




Mehr-Prozessor-System: Shared Memory ComputerMehr-Prozessor-System: Shared Memory Computer

PE PE PEPE

ProzessorProzessor Prozessor Prozessor

B Bus

MGlobal

Memory




Mehr-Prozessor-System: Distributed Memory ComputerMehr-Prozessor-System: Distributed Memory Computer

M

PE

PEPEPE

PE

M

PE

M

PE

M

M

M

PE

M

M

Kommunikations-Netzwerk



VektorrechnerVektorrechner

Leistungsfähigste Einzel-CPUs am Markt,Leistungsfähigste Einzel-CPUs am Markt,

spezialisierte Hardware (10spezialisierte Hardware (1055-10-1066 $/CPU) $/CPU)

Prinzip:Prinzip: Pipeling (Fließband) Chaining (Verkettung)

Schleifen:Schleifen: Verarbeitung von (aufeinanderfolgenden) Elementen von Feldern

Ai = Bi + C * Di i = 1,N

Vektorbefehl: Vektorbefehl: einein Befehl für viele gleichartige Operationen Befehl für viele gleichartige Operationen



(Massiv) Parallelrechner(Massiv) Parallelrechner

Mögliche Leistungserhöhung einzelner Prozessoren ist begrenzt Mögliche Leistungserhöhung einzelner Prozessoren ist begrenzt (nicht zuletzt aus Kostengründen)(nicht zuletzt aus Kostengründen) heute meist Verwendung von RISC-Prozessoren

Ameisen-PrinzipAmeisen-Prinzip Verteilung der Last (Daten) und Arbeit (Anweisungen) auf mehrere/viele

Prozessoren Datenaustausch zwischen den Prozessoren (update der

Zwischenergebnisse) während der Rechnung notwendig

Erfordert besonderes Vorgehen:Erfordert besonderes Vorgehen: „parallelisierte“ Methoden und Algorithmen Programmiermodelle: z.B. Message Passing



ZIB HöchstleistungsrechnerZIB Höchstleistungsrechner



CRAY J932/16CRAY J932/16

16 CPUs CRAY J90, 100 MHz16 CPUs CRAY J90, 100 MHz

8 GB shared memory8 GB shared memory

Betriebssystem: UNICOSBetriebssystem: UNICOS

Compiler: Fortran90, C, C++Compiler: Fortran90, C, C++

AutotaskingAutotasking

Message Passing Libraries: MPI, PVMMessage Passing Libraries: MPI, PVM

CRAY Shared Memory Access CRAY Shared Memory Access LibraryLibrary

Theoretical peak performance:Theoretical peak performance:

3.2 GFLOPS3.2 GFLOPS



CRAY T3ECRAY T3E

408 DEC Alpha EV5.6, 450/600 MHz408 DEC Alpha EV5.6, 450/600 MHz

Internes Netzwerk: 3D TorusInternes Netzwerk: 3D Torus

70 GB distributed memory70 GB distributed memory

~ 630 GB HD~ 630 GB HD

Betriebssystem: UNICOS/mkBetriebssystem: UNICOS/mk

Compiler: Fortran 90, C, C++, HPFCompiler: Fortran 90, C, C++, HPF

Message Passing Libraries:MPI, PVMMessage Passing Libraries:MPI, PVM

CRAY Shared Memory Access CRAY Shared Memory Access LibraryLibrary

Theoretical peak performance:Theoretical peak performance:

~ 400 GFLOPS~ 400 GFLOPS



Supercomputing als DienstleistungSupercomputing als Dienstleistung

Betrieb Betrieb von Höchstleistungsrechnern fürvon Höchstleistungsrechnern für Hochschulen und wissenschaftliche Einrichtungen des Landes Berlin und

andere (norddeutsche) Bundesländer Industrie und andere Bereiche über Kooperation

RechenzeitRechenzeit für Großprojekte über Zulassungsausschuß für Großprojekte über Zulassungsausschuß

FachberaterFachberater des ZIB als „Mit“-Arbeiter des ZIB als „Mit“-Arbeiter

ForschungsprojekteForschungsprojekte auf den verschiedenen Fachgebieten und in auf den verschiedenen Fachgebieten und in Computer ScienceComputer Science, z.B. , z.B. MetaComputingMetaComputing



HistorieHistorie



GroßprojekteGroßprojekte

ChemieChemie

Molekulardynamiksimulationen Strukturforschung

Klima- und UmweltwissenschaftenKlima- und Umweltwissenschaften

Klimaforschung Meeresforschung

IngenieurwissenschaftenIngenieurwissenschaften

Strömungsmechanik Festigkeitsmechanik

PhysikPhysik

Astrophysik Elementarteilchenphysik

Rechenzeitkontingente auf CRAY T3E

• tgl. 400 CPU*24h = 9600 CPU*h• Monat: 288000 CPU*h• typische Projektgröße: 8000 CPU*h/Monat



Fachberater im ZIBFachberater im ZIB

aktiver Wissenschaftler im Fachgebiet (Chemie, aktiver Wissenschaftler im Fachgebiet (Chemie, Umweltwissenschaften, Ingenieurwissenschaften, Physik, Umweltwissenschaften, Ingenieurwissenschaften, Physik, Visualisierung)Visualisierung)

enger Kontakt mit Projektenenger Kontakt mit Projekten Ansprechpartner für Probleme („Mädchen für Alles“)

Unterstützung der Projekte beiUnterstützung der Projekte bei Rechnerauswahl Programmier- und Systemproblemen Diskussion der Modelle, Algorithmen und Software Programmentwicklung, -portierung und –optimierung Anwendungssoftware: Auswahl, Installation, Pflege und Dokumentation



Supercomputing im VerbundSupercomputing im Verbund

Norddeutscher Vektorrechnerverbund (NVV)Norddeutscher Vektorrechnerverbund (NVV)

Berlin, Niedersachsen, Schleswig-HolsteinBerlin, Niedersachsen, Schleswig-Holstein

wechselseitige Beschaffung und gemeinsame Nutzung von wechselseitige Beschaffung und gemeinsame Nutzung von Höchstleistungsrechnern, vertraglich geregeltHöchstleistungsrechnern, vertraglich geregelt

ZIB stellt Rechner als Berliner Beitrag zur Verfügung,ZIB stellt Rechner als Berliner Beitrag zur Verfügung,

Zugang zu den anderen NVV-SupercomputernZugang zu den anderen NVV-Supercomputern

national und international:national und international: Verbesserung der Rechnernetze („Datenautobahnen“) Erschließung der nächsten Supercomputergeneration



BRAINBRAIN++

Berlin Research Area Information Network –

das Berliner Wissenschaftsnetz



GrundideenGrundideen Atome charakterisiert durch Sätze von Gaußschen Basisfunktionen (atomare Orbitale) (ab

initio = keine experimentell angepaßten Parameter, explizite Berechnung aller auftretenden Integrale)

Berechnung der molekularen Wellenfunktion (der molekularen Orbitale) als lineare Kombination atomarer Orbitale

Koeffizienten gehen in Berechnung molekularer Eigenschaften ein

Berechnung der Gesamtenergie eines Moleküls (Berechnung der Gesamtenergie eines Moleküls (Hartree-FockHartree-Fock and and DFTDFT)) Einlesen der atomaren Koordinaten , Konstruktion der Atomorbitale Berechnung der Kern-Kern-Abstoßung Berechnung verschiedener Integrale über atomare Orbitale (z.B. Elektron-Elektron-

Abstoßung) Überlappungsmatrix zwischen Orbitalen Konstruktion der Fock-Matrix (auch abhängig von den Koeffizienten!) Lösung des Eigenwertproblems

durch Diagonalisierung von Test auf Konvergenz

Ab initioAb initio quantenchemische Simulationenquantenchemische Simulationen

totE}{ iR

nnE

S

C

F

SCFC elE2/12/1 FSSF

Sel

bst

kon

sist

enz-

zyk

lus



Ab initioAb initio quantenchemische Simulationenquantenchemische Simulationen

StrukturoptimierungStrukturoptimierung Gesamtenergie Atomare Kräfte (“Gradienten”) Minimierung der Gesamtenergie durch iterative Verfahren

Rechentechnische AspekteRechentechnische Aspekte Rechenaufwand ist bestimmt durch N und den Typ der Basisfunktionen Rechenzeit per Prozessor ~N2 … N4 abhängig vom jeweiligen Berechnungsschritt Konvergenzbeschleunigungstechniken (z.B. Vordiagonalisierung mit verschiedenen

Matrixdimensionen) DFT (Dichtefunktionaltheorie) im Vergleich mit klassischen Hartree-Fock-Rechnungen:

• Bessere Vergleichbarkeit mit Experiment (näherungsweise Behandlung der “Elektronenkorrelation”)

• Teilweise andere Integraltypen (spezialisierte numerische Integrationsverfahren notwendig)

• Höherer Aufwand (CPU Last und Memory)

Programmtechnische AspekteProgrammtechnische Aspekte 500 k Zeilen Quellcode (F77) + Programmbibliotheken (F77, K&R C, ANSI C)

})({})({})({ ielinnitot RERERE

itoti REF /



RNA-FragmentRNA-Fragment

Sequenz von drei Aminosäuren

200 Atome

1291 Basisfunktionen



2600

2800

3000

3200

3400

3600

3800

4000

192 256 320 384

# PEs (450 MHz, 600 MHz)

wall c

lock [

s]

gamess

RNA-Fragment, sv 6-31G, SCFRNA-Fragment, sv 6-31G, SCF

1291 basis functions, 200 atoms1291 basis functions, 200 atoms

Calculation time (SCF + gradient)



MetaComputing im Gigabit Testbed (Topologie)MetaComputing im Gigabit Testbed (Topologie)

CRAYT3E/404@ ZIB

München Erlangen Berlin

CRAYT3E/816@ RZG

LRZ TUB ZIBRZG

650 km

700 km

HIPPI 800, 800 Mb/s

ATM OC12, 622 Mb/s

OC48, 3 x 2.4 Gb/s

ATM Switch



Morphine (DFT)Morphine (DFT)

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

32 64 96 128

# PEs, 300 MHz (450 MHz) T3E

wall c

lock [

s]

Morphine, 6-31G(d,p), BLYPMorphine, 6-31G(d,p), BLYP

410 basis functions410 basis functions

Calculation time (SCF + gradient)

gamess-mpi

gamess-pacx

Documents

Konrad-Zuse-Zentrum für Informationstechnik Computer-Science / Rechenzentrum 26/09/2000ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum1 Höchstleistungsrechnen