62
NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) [email protected]

NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) [email protected]

Embed Size (px)

Citation preview

Page 1: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

NECESIDADES DE SUPERCOMPUTACIÓN EN LAS

EMPRESAS ESPAÑOLAS

Andrés GómezCentro de Supercomputación de Galicia (CESGA)

[email protected]

Page 2: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

Índice

• What is CESGA

• What is supercomputing

• Enterprise Supercomputing Uses

• Supercomputing and Enterprises

Page 3: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CESGA

WHAT IS CESGA?

Page 4: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WHERE IS CESGA?

Page 5: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

• Regional Government of Galicia

• National Research Council of Spain

Board of Trustees

PARTNERS

Page 6: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

MISSION STATEMENT

To provide high performance computing and advanced communications resources and services to the scientific community of Galicia and to the Spanish National Research Council (CSIC), as well as, to institutions and enterprises with R&D activity.

To promote high quality research in Computational Science in close collaboration with the research community from Galicia as well as from other regions or countries all over the world; contributing in this way to the advancement of science, to transfer technology to industry and administrations, and as consequence, to the welfare of society as a whole.

SANTIAGO DE COMPOSTELA, SPAIN,

Page 7: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

Computational Science is the field of study concerned with constructing mathematical models and numerical solution

techniques using computers to analyze and solve scientific, social scientific and engineering problems.

(Source: Wikipedia)

COMPUTATIONAL SCIENCE

Page 8: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CESGA’s COMMUNITY OF USERS

GALICIAN UNIVERSITIES

GALICIAN REGIONAL GOVERNMENT RESEARCH CENTRES

SPANISH NATIONAL RESEARCH COUNCIL (CSIC) CENTRES

OTHER PUBLIC OR PRIVATE ORGANIZATIONS

Hospital R&D Departments

Industries R&D Departments

Technological & Research Centres

Other Universities worldwide

Non-profit R&D organizations

Page 9: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SERVICES

• HPC, HTC & GRID Computing

• User Data Storage

• Training

• Advanced Communications Network

• Video streaming broadcast & on-demand

• Remote Learning & Collaboration Room Network

• e-Learning & Collaboration Tools

• GIS (Geographical Information Systems)

• e-Business Innovation Consulting and Tech. transfer.

• R&D&I Project management

Page 10: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

TECHNOLOGICAL EVOLUTION

1993VP 2400

2,5 GFLOPS

1998

VPP 300 AP 3000

14,1 GFLOPS 12 GFLOPS

1999HPC 4500 STORAGETEK

9,6 GFLOPS

2003SUPERDOME

768 GFLOPS

2001SVG

9,9 GFLOPS

2002HPC 320 BEOWULF

64 GFLOPS 16 GFLOPS

51 TERABYTES

2004, 2005, 2006SVG

3,142 GFLOPS

2007-8FINIS TERRAE

16,000 GFLOPS

Page 11: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

Finis Terrae

Fuente: El Correo Gallego

Page 12: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CESGA’s PEAK PERFORMANCE EVOLUTION

Page 13: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

HOW REQUEST HPC, HTC, STORAGE SERVICES (I)

• Galician University, CSIC or Public Regional Center

• It is FREE, no FEE Except for

Special Requirements

• Fill Form

• Other Public Organization

• Agreement (It is NOT free)

• Public calls (from Jan. 2009)

Page 14: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

• Private Organizations & Companies

• ONLY for R&D (maybe &I)

• Small FEE (less 2€/CPU-hour)

• Soft Licenses NOT included

• Contact us for Budget

• Public calls (from Jan. 2009)

• Independent Researcher

• Contact us

• Public calls (from Jan. 2009)

HOW REQUEST HPC, HTC, STORAGE SERVICES (II)

Page 15: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CESGA

WHAT IS SUPERCOMPUTING?

Page 16: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SUPERCOMPUTER

• A supercomputer is a computer that is at the frontline of current processing capacity, particularly speed of calculation.

• Now, mainly aggregate off-the-shell computers linked with high performance networks.

Page 17: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

• Capability computing: solve a single large problem in the shortest amount of time.

• Capacity computing: solve large problems or many small problems.

• Finis Terrae: Designed as a mix capacity-capability

SUPERCOMPUTING

Page 18: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

• HPC: High Performance Computing is the use of parallel processing for running advanced application programs efficiently, reliably and quickly.

• HPC: High Productivity Computing. The goal is to decrease the time-to-solution, which means decreasing both the execution time and development time of an application on a particular system.

• HTC: High Throughput Computing. The use many computing resources over long periods of time to accomplish a computational task. Many jobs can be completed over a long period of time.

TECHNICAL COMPUTING

Page 19: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

• FLOPS: FLoating point Operations Per Second• Giga FLOPS: 109 = 1.000.000.000• TFLOPS: 1012= 1.000.000.000.000• PFLOPS: 1015=1.000.000.000.000.000• EFLOPS: 1018=1.000.000.000.000.000.000• ZFLOPS: 1021=1.000.000.000.000.000.000.000

TECHNICAL COMPUTING

Page 20: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

1.45 PFLOP =

1 PERSON 45.979.198 YEARS

1 PERSON x 1 YEAR x 1 FLOP/s

= 31.536.000 OPS

TOP 1:Roadrunner

•CORES: 129600•GFlops: 1456704 (1.45PFlops)

Page 21: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

Number 1

Number 500

Aggregated

TOP500

Page 22: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

TOP 500 EVOLUTION

Page 23: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

EVOLUTION

Page 24: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

•6 Supercomputers

•153201 GFLOPs

TOP 500 (2008) SPAIN

Page 25: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

Cores Rmax Rpeak

40 BSCBladeCenter JS21 Cluster, PPC 970, 2.3 GHz, Myrinet

10240 63830 94208 68% Academic

131Research

Institution

Cluster Platform 3000 BL460c, Xeon 54xx 2.66GHz, Infiniband

2816 23402 30041,1 78% Academic

162Financial

Institution (S1)

Cluster Platform 3000 BL460c, Xeon 53xx 1.86GHz, GigEthernet

5248 20791,7 39045,1 53% Industry

335 CeSViMa - BSCBladeCenter JS20 Cluster, PPC 970, 2.2 GHz, Myrinet

2744 15955,2 24147,2 66% Academic

376 Bank (S1)Cluster Platform 3000 BL460c, Xeon 53xx 2.33GHz, GigEthernet

3040 15212,4 28332,8 54% Industry

427 CESGAIntegrity rx5670 ClusterItanium2 1,6GHzInfiniband

2528 14010 16179 87% Academic

TOP SPANISH SUPERCOMPUTERS

Page 26: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CESGA

SUPERCOMPUTING ENTERPRISE USES

Page 27: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

•Not Specified (24%)•Research (13%)•Finance (11.2%)•Geophysics (9.8%)•Semiconductor (4.8%)

APPLICATION AREA TOP500

Page 28: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

APPLICATION AREA EVOLUTION

Page 29: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

Deformación en el sólidoCampo de presiones en el fluido

Malla de un sólido con fluidoen su interior + propiedades fluido + propiedades sólido

MODELLING & SIMULATION

Page 30: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WHERE

Page 31: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WHERE

Source: PRACE project

Page 32: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WHERE

Source: PRACE project

Page 33: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WHERE

Source: PRACE project

Page 34: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WHERE

Source: HET project . http://www.hpcineuropetaskforce.eu/

Weather, Climatology, Earth ScienceAstrophysics, Elementary particle physics, Plasma physicsMaterial Science, Chemistry, NanoscienceLife ScienceEngineering

Page 35: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WHERE

Source: HET project . Jean-Yves Berthou, et. al.http://www.irisa.fr/ORAP/Forums/GenciOrap/PresentationsGenciOrap/JYBerthouEDF.pdf

Page 36: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

“ELECTROMAGNETIC COMPATIBILITY”

Page 37: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

RADIOTHERAPY TREATMENT VALIDATION (e-IMRT)

0 10 20 30 40 50 60 70 80

00:00:00

02:24:00

04:48:00

07:12:00

09:36:00

12:00:00

14:24:00

16:48:00

19:12:00

21:36:00

00:00:00

0

2

4

6

8

10

12

Page 38: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CESGA

SUPERCOMPUTING & ENTERPRISES

Page 39: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Base: All. Source: http://simula.cesga.es

Numerical simulation not commonly used

Page 40: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Base: ALL companies. Source: http://simula.cesga.es

Not own design

Page 41: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Base: Companies using Numerical Simulation

Page 42: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Page 43: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Page 44: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Page 45: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Page 46: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Page 47: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Base: Empresas que utilizan Simulación Numérica internamente

Page 48: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SIMULA (2004)

Base: Empresas que utilizan Simulación Numérica internamente

Page 49: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

NAVAL (2008)

•NEEDS: 90% Internally10% Subcontracting of full process.Hydrodynamic, turbines or ships.

•BARRIERS:ConfidentialityLicensesData movement

Page 50: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

WIND ENERGY (2008)

•NEEDS: StructuresCFDsMore accuracy

•BARRIERS:ConfidentialityLicensesData movement

Page 51: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

FINANCES (2008)

•NEEDS: NONE. Internal computingData MiningScoringFraudRating

•BARRIERS:ConfidentialityLicensesJust-in-time. No Queues.Data movement

Page 52: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

AUTOMOBILE (2008)

•NEEDS: Only for R&DCFD

•BARRIERS:ConfidentialityLicensesData movement

Page 53: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

AERONAUTIC (2008)

•NEEDS: ELECTROMAGNETISMCFDSOUNDSTRUCTURALFLIGHT PHYSICS

•BARRIERS:Not identified

Page 54: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

SUMMARY (2008)

•NEEDS: ELECTROMAGNETISMCFDACOUSTICAL PHYSICSSTRUCTURALPHYSICSFINANCENANOTECHNOLOGY

•BARRIERS: LICENSESDATA MOVEMENTCONFIDENTIALITYQUEUE TIMEEASY-TO-USE

Page 55: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

THE SOFTWARE LICENSE PROBLEM

• Commercial Licenses

• It is expensive for R&D

• Allow limited innovation

• OK, Obligation in Innovation

• Solutions

• We can use your license (if

contracted allowed) or

• Rent a new license (likely)

• Other

• USE OPEN SOFTWARE in R&D

Page 56: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

OPEN SOFTWARE BENEFITS

• Unlimited number of licenses

• Allows faster inclusion of new methods

• Optimization

• Solvers

• Base libraries (BLAS,

FFTW,etc)

• …

• “Localize” the knowledge

• Allows the production of new soft products easily

• Faster response to new CPU architectures

• As good as commercial software

Page 57: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

OPEN SOFTWARE INITIATIVE

• Joint project of

• CESGA

• Applied Math Departments

(USC, UDC, UVIGO)

• Analyze Open Software for CAD/CAE (i.e. CAELINUX)

• We have selected:

• SALOME (CAD, PRE-POST)

• CODE-ASTER (Thermo-

Mechanic)

• ELMER (Multi-physics)

Page 58: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

OPEN SOFTWARE INITIATIVE

• Test applications for:

• Well-known academic cases

• Real Industrial cases

• Produce Distribution with:

• Software

• Manuals

• Tutorials

Page 59: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CESGA

CONCLUSIONS

Page 60: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

CONCLUSIONS

Reduced usage of supercomputers by enterprises (8% INCITE)

Usually big companies Sectors: Energy, Finance, Aeronautic,

Automobile Main barriers: licenses, confidentiality,

data movement Technical computing is the starting point It is a must for the future

Page 61: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

MORE INFO

Page 62: NECESIDADES DE SUPERCOMPUTACIÓN EN LAS EMPRESAS ESPAÑOLAS Andrés Gómez Centro de Supercomputación de Galicia (CESGA) agomez@cesga.es

THANK YOU

FOR YOUR ATTENTION

ANDRÉS GÓMEZ TATO

[email protected]

http://www.cesga.es