Embed Size (px)
Citation preview
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
SEARCH Cluster
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
SEARCH –Vista Geral
�Compostopor:
�46 nós
�2 centrais
�30 genéricos
�8 com GPU
�6 com I/O
�sistemade armazenamento(SAN) ligadocom um switch fibre
channel
�doissistemasde inteligação
�Myrinet 10 Gb
�Ethernet 1 Gb
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
SEARCH –Vista Geral
�Algunsnúmeros
�46 nósde computaçãocom 1U de altura
�92 processadoresXeon a 3.2 Ghz
�92 GB de Ram
�8 processadoresNvidia7900GT
�920 GbpsMyrinet 10Gb
�92 GbpsGbEEthernet
�3.0 TB de armazenamentoemSAN
�3.7 TB de armazenamentoemdisco local
�17.5 kW de consumode energiaeléctrica
�59.5 kBTU/hde calorgerado
�1.5 toneladas
www.di.uminho.pt/search/equipamento.htm
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
SEARCH –Vista Geral
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nós–Vista Geral
�assentamemplataformascom 1U de altura
�sãocompostospor(exceptoosnóscom GPU)
�motherboard baseadano chipset Intel E7320
�doisprocessadoresIntel Xeon de 64 bits
�2 GB de memóriaRAM DDR2-400
�discos locaisemtodososnós
�160 GB emRAID-1 nosnóscentrais
�80 GB nosrestantesnós
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nós-Processador
�Pentium Xeon (baseadono pentium4)
�3.2 GHz
�2 MB cache (L2)
�800 MHz bus speed (FSB)
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nós-Motherboard
�Motherboard de ServidorIntel SE7501WV2
�baseadano chipset Intel E7320
�suportaum oudoisprocessadoresIntel Xeon
�até12 GB de suportea memóriaDDR –no casodo
SEARCH, estãoequipadascom 2 GB
�duplo800 MHz system bus
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nós-Motherboard
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nós-Especificidades
�Nóscom GPU
�motherboard
�processador
�Nóscentrais
�Interface Fibre Channel
�DVD-ROM
�Disco
�Nóscom I/O
�Interface Fibre Channel
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nóscom GPU -Motherboard
�Motherboard de ServidorIntel S5000PAL
�baseadano chipset Intel 5000
�suportaum oudoisprocessadoresIntel Xeon Dual-Core
�até32 GB de suportea memóriaDDR –no casodo
SEARCH, estãoequipadascom 4 GB
�duplo1333 MHz data bus (FSB)
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nóscom GPU -Motherboard
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nóscom GPU -Processador
�Intel Xeon Dual Core 5130
�2 GHz
�128 KB cache L1
�4 MB cache L2
�1333MHz FSB
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nóscom GPU -GPU!
�GPU Nvidia7900GT
�256MB DDR3
�bomdesempenhoemcálculomatricial
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Nóscom I/O
�Interface FibreChannel(HBA) Emulex LP-982E
(PCI-X 66)
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Sistemade Comunicações
�Ethernet 1 Gb
�Myrinet 10 Gb
�Fibre Channel –Storage Area Network (SAN)
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Interligações-Ethernet
�Não satisfaz totalmente as necessidades de
desempenho requeridas por clusters(HPC e HTC)
�No entanto:
�Usa um protocolo bem establecido(ao contrário da
Myrinet) que pode ser usado para comunicações mais
leves
�Útil como sistema de comunicação alternativo que sobre
o qual operam sistemas de monitorização do sistema
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Interligações-Ethernet
�Sobre esta conxãoopera um sistema de
monitorização remoto baseado no protocolo IPMI
�Define mensagens e o interface do sistema para o
controlo do hardware da plataforma
�Permite o controlo da “saúde”do sistema
�Temperatura, voltagem, necessidades de energia, etc
�Possui mecanismos que permitem reduzir o custo de
manutenção da plataforma
�Automaticshutdownandrestart, powercontrolcapabilities
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
InterligaçõesEthernet -Topologia
�Em termos físicos, os nós estão ligados em estrela
�Todos os nós estão ligados entre si através de um nó
central –switchHP ProCurve2848, com 48 portas
�Em termos lógicos, trata-se de uma topologia de
barramento
�Cada nólimita-se a lançar o pacote na rede esperando
que o receptor o recolha
�A optimizar esta topologia estáo switch, que encaminha
o pacote para o seu destinatário, aumentantoa
disponibilidade do sistema
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Interligações-Myrinet
�“Myrinet is a cost-effective, high-performance, packet-
communication and switching technology that is widely
used to interconnect clustersof workstations, PCs, servers,
blade servers, or single-board computers.”-
www.myri.com
�Conexão10 Gbfull duplex
�Usa o protocolo MPICH-MX
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Myrinet -Topologia
�Conecta todos os nós através de uma topologia de
rede CLOS (expansível a 128 portas)
�4 spineswitches
�6 módulos de 8 portas (total 48 portas)
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Myrinet -Topologia
�No caso de se concretizar a expansão a 128 portas
�16 módulos de 8 portas
�8 spineswitches
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Sistemade Armazenamento
�EMC CLARiiONCX300
�50K IOPS
�698 MB/s transferrate
�3 TB de espaço de armazenamento (estensívela 27 TB)
�12 discos
�2 GbFibreChanneltechnology
�Ligado a switchfibrechannelde 16 portas
�“basedona commonhigh-availabilitydesign”
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Interligações–SAN
�SAN –4 portasde I/O
�Switch Fibre Channel
�Conectaos6 nósde I/O a 2 portasdaSAN
�Os 2 nóscentraisestãoconectadosdirectamenteà
SAN
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Referências
�www.di.uminho.pt/search
�www.intel.com
�Intel Server Board S5000PAL /S5000XAL
Technical Product Specification
�www.myri.com
�www.emc.com
�www.siber.cankaya.edu.tr–Myrinet & CLOS
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Fotosdo instalaçãodo cluster
Universidadedo Minho
Novembro, 2007
Ricardo Marques -pg10898
Fotosdo instalaçãodo cluster
