GRADO EN INGENIERÍA DE COMPUTADORESatc2.aut.uah.es/~frutos/areinco/pdf/ArquiPARALELAS.pdf · MPP: Massively Parallel Processor. Típicamente el número de procesadores es superior

1

Prof. Dr. José Antonio de Frutos Redondo Curso 2013-2014

GRADO EN INGENIERÍA DE COMPUTADORES Arquitectura e Ingeniería de Computadores

Departamento de Automática Arquitecturas Paralelas

© J. A. de Frutos Redondo 2013

Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res

1. Arquitecturas paralelas 2

Tema 4. Arquitecturas Paralelas

n  Arquitecturas paralelas. n  Características de los supercomputadores actuales. n  Arquitecturas paralelas. n  Memoria compartida.

n  SMP n  DSM n  Coherencia en memoria cache.

n  Multicomputadores. n  Redes de interconexión.

n  Interconexión de sistemas paralelos. n  Redes de interconexión estáticas. n  Redes de interconexión dinámicas.

2


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Características de los supercomputadores actuales

n  Comparativa Vectoriales-MPP

LINPACK (GFLOPS)

"CRAY peak"MPP peak

Xmp /416(4)

Ymp/832(8) nCUBE/2(1024)iPSC/860

CM-2CM-200

Delta

Paragon XP/S

C90(16)

CM-5

ASCI Red

T932(32)

T3D

Paragon XP/S MP(1024)

Paragon XP/S MP(6768)

0.1

1

10

100

1,000

10,000

1985 1987 1989 1991 1993 1995 1996

Cray vectoriales (paralelos) :

X-MP (2-4) Y-MP (8) C-90 (16) T94 (32) Desde 1993,

Cray produce también MPP (T3D, T3E)


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Lista TOP500 de los computadores más rápidos

Num

ber o

f sys

tem

s

11/93 11/94 11/95 11/96 0

50

100

150

200

250

300

350

PVP MPP

SMP

319

106

284

239

63

187

313

198

110

106 73


3


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res




Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  SMP: Symmetric Multiprocessor. n  MPP: Massively Parallel Processor. Típicamente el número

de procesadores es superior a 100. n  Cluster: Conjunto de computadores completos conectados

por una red comercial. n  Cluster Beowulf: Cluster de sistema operativo libre y

componentes comerciales ordinarios. n  Constellation: Cluster de nodos donde cada uno de ellos es

de tipo SMP. n  Grid: Colección de recursos autónomos geográficamente

distribuidos, acoplados mediante la infraestructura de comunicaciones, y débilmente acoplados.


4


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res




Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res



5


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res




Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res



6


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res




Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res



7


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res




Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res



8


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res




Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Caracterización de la Arquitectura. n  ANTES: Conjunto de instrucciones. n  AHORA: Comunicaciones.

n  Podemos decir que la “Arquitectura Paralela” es: n  Arquitectura convencional

+ n  Arquitectura de comunicación

Arquitecturas Paralelas

9


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res



Arquitectura de comunicación n  User/System Interface + Implementación

n  User/System Interface: n  Primitivas de comunicación a nivel de usuario y a nivel de sistema.

n  Implementación: n  Estructuras que implementan las primitivas: hardware o OS n  Capacidades de optimización. Integración en los nodos de proceso. n  Estructura de la red.

n  Objetivos: n  Rendimiento n  Amplia aplicación n  Fácil programación n  Ampliable n  Bajo coste


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Modelos de programación n  Especifica las comunicaciones y la sincronización. n  Ejemplos:

n  Multiprogramación: no hay comunicación o sincronismo. Paralelismo a nivel de programa.

n  Memoria compartida: como un tablón de anuncios. n  Paso de mensajes: como cartas o llamadas telefónicas, punto a

punto. n  Paralelismo de datos: varios agentes actúan sobre datos

individuales y luego intercambian información de control antes de seguir el proceso.

n  El intercambio se implementa con memoria compartida o con paso de mensajes.


10


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


CAD

Multiprogramming Shared address

Message passing

Data parallel

Database Scientific modeling Parallel applications

Programming models

Communication abstraction User/system boundary

Compilation or library

Operating systems support

Communication hardware

Physical communication medium

Hardware/software boundary


n  Niveles de abstracción en la comunicación


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Memoria Compartida

n  Cualquier procesador puede referenciar directamente cualquier posición de memoria.

n  La comunicación se realiza implícitamente por medio de cargas y almacenamientos.

n  Tipos: n  Symmetric multiprocessors (SMP). n  Distributed shared memory (DSM).

11


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Memoria Compartida

n  Symmetric multiprocessors (SMP) n  Pequeño número de cores. n  Memoria compartida con acceso uniforme (UMA).


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Memoria Compartida

n  Distributed shared memory (DSM) n  Memoria distribuida entre los procesadores. n  Latencia de acceso no uniforme (NUMA).

12


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Coherencia en Memoria Cache

Estructuras comunes de la jerarquía de memoria en

multiprocesadores

n  Memoria cache compartida. n  Memoria compartida mediante bus. n  Interconexión por medio de red (dance-hall) n  Memoria distribuida.


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res



P1 Pn

Memoria principal (Entrelazada)

Memoria cache (Entrelazada)

Cache compartida n  Pequeño número de

procesadores (2-8) n  Fue común a mediados

de los 80 para conectar un par de procesadores en placa.

n  Posible estrategia en chip multiprocesadores.

13


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Compartición por medio de bus.

n  Ampliamente usada en multiprocesadores de pequeña y mediana escala (20-30)

n  Forma dominante en las máquinas paralelas actuales.

n  Los microprocesadores modernos están dotados para soportar protocolos de coherencia en esta configuración.

P1 Pn

Memoria principal

Memoria cache

Memoria cache

bus



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Salón de baile n  Fácilmente escalable. n  Estructura simétrica

UMA. n  Memoria demasiado

lejana especialmente en grandes sistemas.

P1 Pn

Memoria principal

Memoria cache

Memoria cache

Red de interconexión

Memoria principal


14


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Pn

Memoria cache Memoria

principal

Red de interconexión

P1

Memoria cache Memoria

principal


Memoria distribuida • Especialmente atractiva par multiprocesadores escalables. • Estructura no simétrica NUMA. • Accesos locales rápidos.


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


El problema de la coherencia n  Datos actualizados en memoria principal y las caches

particulares. n  Monoprocesadores:

n  Incoherencia en distintos niveles. n  Operaciones de I/O.

n  Multiprocesadores: n  Incoherencia en distintos niveles n  Incoherencia en el mismo nivel


15


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Fuentes de incoherencia: n  Los datos compartidos. n  La migración de procesos. n  Las operaciones de entrada-salida.

Fuentes de incoherencia


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


P0 P1 P2 Pn

Memoria principal

Memoria cache

Datos compartidos en caches de escritura directa.


16


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Memoria principal

P0 P1 P2 Pn

Memoria cache

Datos compartidos en caches de post-escritura.



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


P0 P1 P2 Pn

Memoria principal

Memoria cache

P2 P0

Migración de procesos en caches de escritura directa.


17


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


P0 P1 P2 Pn

Memoria principal

Memoria cache

P2 P0

Migración de procesos en caches de post-escritura.



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Operaciones de entrada salida

Salida (post-escritura)

Memoria principal

Memoria cache

P0 P1 P2 Pn

Entrada


18


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Posibles soluciones

n  Caches locales. n  Memoria cache compartida. n  Caches privadas con protocolos de escucha. n  Caches privadas con directorio compartido.



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


P

X

P

X

P

X

P

X

X

P

X'

P

I

P

I

P

I

X'

P

X'

P

X'

P

X'

P

X'

X'

Invalidar Actualizar

n  Políticas de mantenimiento de coherencia n  Invalidar. n  Actualizar.


19


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Protocolos de escucha

Protocolos snoopy n  Sistemas de memoria basados en bus. n  Escucha de las operaciones (snoop) n  Se deben transmitir las operaciones de lectura y escritura. n  Las operaciones de cambio de bloque no influyen en el

estado del bloque en otros procesadores.


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Protocolos snoopy Caches de escritura directa.

inválido válido R(j) W(j)

R(i), W(i)

W(j)

R(j) W(i)

R(i)


20


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


R(i) R(j)

R(j), W(j)

M S

I

R(j)

W(i) R(i) W(i)

W(j)

W(i)

W(j)

R(i)

Protocolos snoopy Caches de post-escritura MSI.



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


W(j) R(j)

R(i) S

R(i) R(j)

W(i) W(j) R(j)

R(i) R(i) W(i) M E

S I

W(j)

R(i) S

W(i)

W(j)

R(j) S

W(i)

Protocolos snoopy Caches de post-escritura MESI.


21


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Protocolos basados en directorios n  Multiprocesadores con red de interconexión. n  Dificultades de broadcast y su escalabilidad. n  Directorio: guarda la información relativa al estado del bloque

de cache. n  Directorios centralizados y directorios distribuidos.

Protocolos basados en directorios


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Fallo de lectura en estado modificado.

Directorio

P1

Cache Bloque Mem.

Directorio

P2

Cache Bloque Mem.

Directorio

P3

Cache Bloque Mem.


1

2

3

4

4

22


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Fallo de escritura en estado compartido.

Directorio

P1

Cache Bloque Mem. Directorio

P2

Cache Bloque Mem.

Directorio

P3

Cache Bloque Mem.

Directorio

P4

Cache Bloque Mem.


4 4

3 3

1

2


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


bloque 1 0 1 0

Directorio

P

Cache Bloque Mem.

0

P0 P1 Pm P2 Dirty

Estructura del directorio (directorios completos)


23


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Estructura del directorio (directorios limitados)

bloque

Directorio

P

Cache Bloque Mem.

0

I1 In I2 Dirty

log2 P



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Estructura del directorio (directorios encadenados)

bloque Directorio

P

Cache Bloque Mem. 0

P Dirty

log2 P

Directorio

P

Cache Bloque Mem.

Directorio

P

Cache Bloque Mem.

Directorio

P

Cache Bloque Mem.

FC FC FC


24


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Multicomputadores

n Sistemas compuestas por la interconexión de computadores completos (CPU, memoria, I/O)

n Mapas de memoria disjuntos. n Comunicación por paso de mensajes.


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Memory bus

MicroChannel bus

I/O

i860 NI

DMA

DRAM

IBM SP-2 node

L2 $

Power 2CPU

Memorycontroller

4-wayinterleaved

DRAM

General inter connectionnetwork formed fr om8-port switches

NIC

Ejemplo: IBM SP-2

n  Realizado a base de estaciones RS6000.

Multicomputadores

25


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Memory bus (64-bit, 50 MHz)

i860

L1 $

NI

DMA

i860

L1 $

Driver

Memctrl

4-wayinterleaved

DRAM

IntelParagonnode

8 bits,175 MHz,bidirectional2D grid network

with processing nodeattached to every switch

Sandia’ s Intel Paragon XP/S-based Super computer

Ejemplo Intel Paragon.

Multicomputadores


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Interconexión de sistemas paralelos

n  La misión de la red en una arquitectura paralela es transferir información desde cualquier fuente a cualquier destino minimizando la latencia y con coste proporcionado.

n  La red se compone de: n  nodos; n  conmutadores; n  enlaces.

n  La red se caracteriza por su: n  topología: estructura de la interconexión física; n  enrutado: que determina las rutas que los mensajes pueden o

deben seguir en el grafo de la red; n  estrategia de conmutación: de circuitos o de paquetes; n  control de flujo: mecanismos de organización del tráfico.

26


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Clasificación de las redes por su topología. n  Estáticas:

n  conexiones directas estáticas punto a punto entre los nodos; n  fuerte acoplamiento interfaz de red-nodo; n  los vértices del grafo de la red son nodos o conmutadores; n  se clasifican a su vez:

n  simétricas: anillo, hipercubo, toro; n  no simétricas: bus, árbol, malla.



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Clasificación de las redes por su topología. n  Dinámicas:

n  los conmutadores pueden variar dinámicamente los nodos que interconectan.

n  Se clasifican a su vez: n  monoetapa; n  multietapa:

n  bloqueante (línea base, mariposa, baraje); n  reconfigurable (Beneš); n  no bloqueante (Clos).


27


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Parámetros característicos de una red: n  Tamaño de la red: número de nodos que la componen.

n  Grado de un nodo: número de enlaces que inciden en el nodo.

n  Diámetro de la red: es el camino mínimo más largo que se puede encontrar entre dos nodos cualesquiera de la red.

n  Simetría: una red es simétrica si todos los nodos son indistinguibles desde el punto de vista de la comunicación.



Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Red lineal

Anillo Estrella

Arbol Malla Red sistólica

Totalmente conexa Anillo cordalCubo-3

Redes estáticas

28


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Tipo de red grado diámetro enlaces simetría lineal 2 N − 1 N − 1 no

anillo 2 N/2 N sí

totalmente conexa N − 1 1 N(N − 1)/2 sí

arbol (h = log2 N + 1) 3 2(h − 1) N − 1 no

estrella N − 1 2 N − 1 no

malla - 2D (r x r) 4 2(r − 1) 2N − 2r no

hipercubo n n n nN/2 sí

Redes estáticas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Hipercubo 3D ciclo-conexo

Redes estáticas

29


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


000 001

010 011

101

111110

100

000 010001 011 100 110101 111

Conexión de nodos que se diferencian en el bit menos significativo

Conexión de nodos que se diferencian en el segundo bit

000 010001 011 100 110101 111

Conexión de nodos que se diferencian en el bit más significativo

000 010001 011 100 110101 111

Ejemplo de conexiones en un hipercubo 3

Redes estáticas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Redes dinámicas: son redes cuya configuración puede modificarse. Hay dos tipos: n  monoetapa. n  multietapa.

n  Las redes monoetapa realizan conexiones entre elementos de proceso en una sola etapa. n  Puede que no sea posible llegar desde cualquier elemento a

cualquier otro, por lo que puede ser necesario recircular la información (=>redes recirculantes)

n  Las redes multietapa realizan conexiones entre los elementos de proceso en más de una etapa.

Redes dinámicas

30


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Redes de interconexión monoetapa

Redes dinámicas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


EP0

EP1

EPn

EP0 EP1 EPn

EP0

EP1

EPn

M0 M1 Mm

Red de barras cruzadas: permite cualquier conexión.

Redes dinámicas

31


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


Redes de interconexión (multietapa)

Las cuatro configuraciones posibles de una caja de conmutación de 2 entradas.

Cajas de conmutación

a 0

a 1

b 0

b 1

a 0

a 1

b 0

b 1

a 0

a 1

b 0

b 1

a 0

a 1

b 0

b 1

Paso directo Cruce

Difusión superiorDifusión inferior

Redes dinámicas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Redes multietapa bloqueantes. n  Se caracterizan porque no es posible establecer siempre una

nueva conexión entre un par fuente/destino libres, debido a conflictos con las conexiones en curso.

n  Generalmente existe un único camino posible entre cada par fuente/destino.

Redes dinámicas

32


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Red de línea base:

Red de línea base 8 x 8

Redes dinámicas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Red mariposa:

Redes dinámicas

33


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Red baraje perfecto:

000

001

010

011

100

101

110

111

000

001

010

011

100

101

110

111

Barajado perfecto

000

001

010

011

100

101

110

111

000

001

010

011

100

101

110

111

Barajado perfecto inverso

Redes dinámicas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Redes multietapa reconfigurables. n  Se caracterizan porque es posible establecer siempre una

nueva conexión entre un par fuente/destino libres, aunque haya conexiones en curso, pero puede hacerse necesario un cambio en el camino usado por alguna(s) de ellas (reconfiguración).

n  Interesante en procesadores matriciales, en donde se conoce simultáneamente todas las peticiones de interconexión.

Redes dinámicas

34


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Red de Beneš:

Red de Benes 8 x 8

Redes dinámicas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  La red de Beneš se puede construir recursivamente:

Red de Benes 8 x 8

Red de Benes 4 x 4

Red de Benes 4 x 4

Redes dinámicas

35


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Redes dinámicas no bloqueantes. n  Se caracterizan porque es posible establecer siempre una

nueva conexión entre un par fuente/destino libres sin restricciones.

n  Son análogas a los conmutadores de barras cruzadas, pero pueden presentar mayor latencia, debido a las múltiples etapas.

Redes dinámicas


Arq

uite

ctur

a e

Inge

nier

ía d

e C

ompu

tado

res


n  Red de Clos:

1

2

r

1

2

m

1

2

r

n x m r x r m x n

1

n

1

n

Red de Clos

Redes dinámicas

Documents

GRADO EN INGENIERÍA DE COMPUTADORESatc2.aut.uah.es/~frutos/areinco/pdf/ArquiPARALELAS.pdf · MPP: Massively Parallel Processor. Típicamente el número de procesadores es superior