SEARCH –Vista Geralgec.di.uminho.pt/Discip/MInf/cpd0708/SCD/slidesSeARCH_RJM.pdf ·...

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

SEARCH Cluster

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

SEARCH –Vista Geral

�Compostopor:

�46 nós

�2 centrais

�30 genéricos

�8 com GPU

�6 com I/O

�sistemade armazenamento(SAN) ligadocom um switch fibre

channel

�doissistemasde inteligação

�Myrinet 10 Gb

�Ethernet 1 Gb

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

SEARCH –Vista Geral

�Algunsnúmeros

�46 nósde computaçãocom 1U de altura

�92 processadoresXeon a 3.2 Ghz

�92 GB de Ram

�8 processadoresNvidia7900GT

�920 GbpsMyrinet 10Gb

�92 GbpsGbEEthernet

�3.0 TB de armazenamentoemSAN

�3.7 TB de armazenamentoemdisco local

�17.5 kW de consumode energiaeléctrica

�59.5 kBTU/hde calorgerado

�1.5 toneladas

www.di.uminho.pt/search/equipamento.htm

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

SEARCH –Vista Geral

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nós–Vista Geral

�assentamemplataformascom 1U de altura

�sãocompostospor(exceptoosnóscom GPU)

�motherboard baseadano chipset Intel E7320

�doisprocessadoresIntel Xeon de 64 bits

�2 GB de memóriaRAM DDR2-400

�discos locaisemtodososnós

�160 GB emRAID-1 nosnóscentrais

�80 GB nosrestantesnós

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nós-Processador

�Pentium Xeon (baseadono pentium4)

�3.2 GHz

�2 MB cache (L2)

�800 MHz bus speed (FSB)

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nós-Motherboard

�Motherboard de ServidorIntel SE7501WV2

�baseadano chipset Intel E7320

�suportaum oudoisprocessadoresIntel Xeon

�até12 GB de suportea memóriaDDR –no casodo

SEARCH, estãoequipadascom 2 GB

�duplo800 MHz system bus

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nós-Motherboard

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nós-Especificidades

�Nóscom GPU

�motherboard

�processador

�Nóscentrais

�Interface Fibre Channel

�DVD-ROM

�Disco

�Nóscom I/O

�Interface Fibre Channel

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nóscom GPU -Motherboard

�Motherboard de ServidorIntel S5000PAL

�baseadano chipset Intel 5000

�suportaum oudoisprocessadoresIntel Xeon Dual-Core

�até32 GB de suportea memóriaDDR –no casodo

SEARCH, estãoequipadascom 4 GB

�duplo1333 MHz data bus (FSB)

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nóscom GPU -Motherboard

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nóscom GPU -Processador

�Intel Xeon Dual Core 5130

�2 GHz

�128 KB cache L1

�4 MB cache L2

�1333MHz FSB

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nóscom GPU -GPU!

�GPU Nvidia7900GT

�256MB DDR3

�bomdesempenhoemcálculomatricial

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Nóscom I/O

�Interface FibreChannel(HBA) Emulex LP-982E

(PCI-X 66)

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Sistemade Comunicações

�Ethernet 1 Gb

�Myrinet 10 Gb

�Fibre Channel –Storage Area Network (SAN)

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Interligações-Ethernet

�Não satisfaz totalmente as necessidades de

desempenho requeridas por clusters(HPC e HTC)

�No entanto:

�Usa um protocolo bem establecido(ao contrário da

Myrinet) que pode ser usado para comunicações mais

leves

�Útil como sistema de comunicação alternativo que sobre

o qual operam sistemas de monitorização do sistema

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Interligações-Ethernet

�Sobre esta conxãoopera um sistema de

monitorização remoto baseado no protocolo IPMI

�Define mensagens e o interface do sistema para o

controlo do hardware da plataforma

�Permite o controlo da “saúde”do sistema

�Temperatura, voltagem, necessidades de energia, etc

�Possui mecanismos que permitem reduzir o custo de

manutenção da plataforma

�Automaticshutdownandrestart, powercontrolcapabilities

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

InterligaçõesEthernet -Topologia

�Em termos físicos, os nós estão ligados em estrela

�Todos os nós estão ligados entre si através de um nó

central –switchHP ProCurve2848, com 48 portas

�Em termos lógicos, trata-se de uma topologia de

barramento

�Cada nólimita-se a lançar o pacote na rede esperando

que o receptor o recolha

�A optimizar esta topologia estáo switch, que encaminha

o pacote para o seu destinatário, aumentantoa

disponibilidade do sistema

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Interligações-Myrinet

�“Myrinet is a cost-effective, high-performance, packet-

communication and switching technology that is widely

used to interconnect clustersof workstations, PCs, servers,

blade servers, or single-board computers.”-

www.myri.com

�Conexão10 Gbfull duplex

�Usa o protocolo MPICH-MX

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Myrinet -Topologia

�Conecta todos os nós através de uma topologia de

rede CLOS (expansível a 128 portas)

�4 spineswitches

�6 módulos de 8 portas (total 48 portas)

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Myrinet -Topologia

�No caso de se concretizar a expansão a 128 portas

�16 módulos de 8 portas

�8 spineswitches

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Sistemade Armazenamento

�EMC CLARiiONCX300

�50K IOPS

�698 MB/s transferrate

�3 TB de espaço de armazenamento (estensívela 27 TB)

�12 discos

�2 GbFibreChanneltechnology

�Ligado a switchfibrechannelde 16 portas

�“basedona commonhigh-availabilitydesign”

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Interligações–SAN

�SAN –4 portasde I/O

�Switch Fibre Channel

�Conectaos6 nósde I/O a 2 portasdaSAN

�Os 2 nóscentraisestãoconectadosdirectamenteà

SAN

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Referências

�www.di.uminho.pt/search

�www.intel.com

�Intel Server Board S5000PAL /S5000XAL

Technical Product Specification

�www.myri.com

�www.emc.com

�www.siber.cankaya.edu.tr–Myrinet & CLOS

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Fotosdo instalaçãodo cluster

Universidadedo Minho

Novembro, 2007

Ricardo Marques -pg10898

ricjmarques@gmail.com

Fotosdo instalaçãodo cluster