Traitement des données massives (INF442, A7)

INF442 : Traitement des Données Massives

A7 : Topologie des réseaux d'inter onnexions

Frank Nielsen

nielsen�lix.polyte hnique.fr

X2013

27 mai 2015

Frank Nielsen 1

Plan

◮deux types de topologies :

◮topologie physique du luster : réseau d'inter onnexion

◮topologie logique/virtuelle utilisées par les algorithmes parallèles

◮topologie de l'hyper ube et son ode de Gray asso ié

Frank Nielsen 2

Réseaux d'inter onnexion :

réseau qui relie les ma hines

du luster

Frank Nielsen 3

Clusters de ma hines et réseaux

�Ordinateur parallèle� à mémoire distribuée = Grappe de ma hines reliées

entre elles par un réseau d'inter onnexion .

memoire

locale

processeur

memoire

locale

processeur

memoire

locale

processeur

memoire

locale

processeur

memoire

locale

processeur

memoire

locale

processeur

reseau

d’interconnexion

echange de messages

avec MPI

Frank Nielsen 1.Topologie-1.Réseaux statiques/dynamiques 4

Aperçes topologies des réseaux d'inter onnexion

Topologie = propriétés génériques d'une famille de réseaux


Réseaux statiques et réseaux dynamiques

Deux types de réseaux :

◮les réseaux statiques : �xés, non modi�ables

◮les réseaux dynamiques : modi�able en ours d'exé ution par un

gestionnaire de onnexions, dépend du tra� , de la ongestion, et .

Elasti Computing (EC) : ajuster les ressour es en fon tion du traitement des

données ...


Réseau logique et réseau physique

◮Réseau physique où haque n÷ud est un pro esseur (Pro essing

Element, PE) et haque lien relie deux pro esseurs pouvant

ommuniquer dire tement entre eux : ommuni ations point à point

◮Réseau logique : abstra tion d'un réseau de ommuni ation

indépendante de l'ar hite ture matérielle sous-ja ente qui fa ilite la mise

en ÷uvre d'algorithmes parallèles.

Par exemple, le produit matri iel sur la topologie du tore 2D

En résumé :

◮Réseau logique dépend de l'algorithme (organisé par groupes de

pro esseurs, les ommuni ators), peut-être dynamique

◮Réseau physique dépend du matériel, le plus souvent statique

→ en pratique, performan e optimale quand les réseaux physiques et logiques

sont identiques, sinon on her he une transposition (ou plongement ).

Frank Nielsen 1.Topologie-2.Réseaux logique/physique 7

Réseau d'inter onnexion

◮réseau omplet point à point (grande omplexité) versus bus ommun

(simple mais problèmes de ollisions)

◮les algorithmes parallèles ont besoin de primitives de

◮ ommuni ations point à point (send et re eive)

◮ ommuni ations globales (di�usion, é hange total, et .)

◮hypothèse : routage sans perte !

→ au un message rejeté, absen e de ontentions, pas de �bu�er

over�ow�

◮en pratique, demande un ontr�le du �ot des messages sur les

liens/n÷uds par un gestionnaire de ommuni ations

Frank Nielsen 1.Topologie-3.Réseau d'inter onnexion : les extrêmes ! 8

Topologie du réseau dé rite par un graphe G = (V ,E )

◮ V : sommets (verti es) = pro esseurs (PEs), pro essus

◮ E : arêtes (edges), ar s = liens de ommuni ation

Établir un équilibre (trade-o�) entre deux ritères opposés :

◮minimiser le nombre de liens (← oût matériel $$$)

◮maximiser le nombre des ommuni ations dire tes

← oût des ommuni ations, modèle α+ βτ

Une topologie est dé rite par une famille générique de graphes

Par exemple,la topologie de l'anneau pour les anneaux, et .

Frank Nielsen 1.Topologie-4.Topologie 9

Cara téristiques des topologies (graphes induits)

Attributs d'un graphe G = (V ,E ) de ommuni ations liés à la topologie :

◮dimension = #n÷uds, P

◮nombre de liens, l

◮longeur d'un hemin : nombre de liens du hemin

◮distan e : longueur du plus ourt hemin reliant deux n÷uds

◮degré : nombre de liens partant/arrivant à un n÷ud,

degré entrant + degré sortant d :

d = darrivant + dpartant

◮diamètre : maximum des distan es entre deux n÷uds, D.

Frank Nielsen 1.Topologie-5.Cara téristiques 10

Autres attributs : onnexité et bisse tion

Cara térisations (souvent ré ursives) des topologies en sous-topologies :

◮ onnexité du réseau : nombre minimum de liens à enlever pour obtenir

deux réseaux onnexes

◮largeur de bisse tion : nombre minimum de liens né essaires pour

relier deux moitiés semblables, b

(expression ré ursive de topologies omme la grille)


Quelles sont les bonnes topologies pour un réseau ?

◮minimiser le degré d du réseau (→ oût faible en ables)

◮minimiser le diamètre D du réseau (→ hemins ourts pour les

ommuni ations e� a es)

◮maximiser la dimension du réseau (→ augmenter P , passage à

l'é helle, s alability, pour l'e� a ité)


Quelques bases pour la omparaison des topologies

Arguments en faveur du POUR :

◮uniformité (régularité du degré) ou symétrie

◮ apa ité à partitionner (en sous-réseaux de même topologie) ou à

étendre le réseau en onservant la même topologie

◮passage à l'é helle : augmenter la performan e en proportion de sa

dimension P

◮ apa ité à transformer le réseau en d'autres topologies

◮fa ilité de routage

Fa teurs en faveur du CONTRE :

◮augmentation du oût ou de la omplexité du routage (degré élevé)

◮perte de robustesse (degré bas, onnexité)

◮perte de performan e en ommuni ation (degré bas et diamètre élevé)

◮perte de performan e en al ul (petite dimension P)

Frank Nielsen 1.Topologie-6.Bases pour la omparaison 13

Le réseau omplet : le graphe omplet ou la lique

◮Réseau idéal : pro esseurs à distan e D = 1 des uns des autres

◮Degré d = P − 1, régulier

◮Nombre de liens quadratiques :

(P2

)= P(P−1)

2

→ permet de simuler fa ilement toutes les autres topologies (puisqu'elle

ontient tous les sous-graphes !) mais à oût élevé !

Frank Nielsen 2.Réseaux statiques simples-1.La lique 14

L'étoile

Star graphs

→ faible toléran e aux pannes.

Exemple : lors du dysfon tionnement du n÷ud entral


L'anneau

ring graphs

→ permet de faire des algorithmes pipelinés fa ilement

ommuni ations unidire tionnelles ou ommuni ations bidire tionnelles

Graphe non-orienté (arêtes) vs graphe orienté (ar s de ommuni ation)


L'anneau ordal

ajouter des ordes sur l'anneau ( hordal ring)

→ ommuni ations plus rapides (diamètre D devient plus petit)


Étoile, anneau, et anneau ordal

étoile anneau anneau ordal

Diamètre ...


Grille 2D, 3D et dD

near-neighbor mesh, degré irrégulier

→ bien adapté au domaine de l'image (2D : pixels, 3D : voxels) mais ...

... faire attention aux pro esseurs sur les bords ( as parti uliers)


Tore 2D

Degré régulier 4 : pas de bords !

→ traitement uniforme des n÷uds

Tore 3D, tore dD... et l'anneau = tore 1DFrank Nielsen 2.Réseaux statiques simples-1.La lique 20

Re ouvrements/ ommuni ations on urrentes multiples

◮On suppose que les pro esseurs (PEs) peuvent faire en on urren e des

envois/ré eptions non-bloquants ainsi que des al uls lo aux

◮liens uni-dire tionels ou bi-dire tionnels :

◮Half-duplex : bande passante partagée par deux messages sur le même

lien allant dans des dire tions opposées

◮Full-duplex : omme si on avait deux liens, on garde la bande passante

pour haque dire tion

◮Sur un pro essus �logique� (topologie de l'algorithme parallèle) à l liens,nombre de ommuni ations on urrentes :

◮multi-port : envoi et ré eption en parallèle sur tous les liens

◮1-port : 1 envoi et 1 ré eption en parallèle

◮ k-port : k envois et k ré eptions en parallèle


Cube 3D

P = 8 n÷uds

Diamètre : 3, régulier

Très souvent utilisé... on va voir l'hyper ube !


Arbres (binaires)

Beau oup d'algorithmes ré ursifs utilisent des stru tures d'arbres ave

requêtes ...

◮Par ours en profondeur d'abord (depth-�rst sear h, DFS)

◮Par ours en largeur d'abord (breadth-�rst sear h, BFS)


Résumé des ara téristiques des prin ipales topologies

p = nombre de pro esseurs

topologie pro esseurs p degré k diamètre D #liens l b

réseau omplet p p − 1 1

p(p−1)2

p2

4

anneau p 2 ⌊ p2

⌋ p 2

grille 2D

√p√p 2, 4 2(

√p − 1) 2p − 2

√p√p

tore 2D

√p√p 4 2⌊

√p

2

⌋ 2p 2

√p

hyper ube p = 2

d d = log

2

p d 1

2

p log

2

p p/2

b : largeur bisse tion


Topologie moins ourante : arbre élargi (fat trees)

Plus on se rappro he de la ra ine plus la bande passante doit être grande, ar

plus on remonte plus d'information des feuilles à la ra ine.


Topologie : Cy les Conne tés en Cube (CCC)

On rempla e les sommets du s-hyper ube par des anneaux de s pro esseurs.

Avantage : degré d = 3 au lieu de d = s, nombre de n÷uds p = 2

ss,

diamètre D = 2s − 2+ ⌊ s2

⌋ pour s > 3 et D = 6 quand s = 3.


L'hyper ube : le d - ube, ube en dimension d

Constru tion ré ursive :

Pour onstruire un hyper ube de dimension d + 1, on part de deux opies

d'un hyper ube de dimension d en reliant les opies des n÷uds ensembles

0D 1D 2D 3D 4D

Degré d , régulier

Frank Nielsen 2.Réseaux statiques simples-2.hyper ube 27

Comment étiquetter les n÷uds de l'hyper ube ?

◮arbitrairement mais on aurait alors besoin d'une table de routage pour

onnaître ses d voisins pour le routage → ne passe pas à l'é helle.

◮on her he plut�t une représentation telle que deux n÷uds voisins P et

Q di�érent simplement par un bit ! Fa ile alors à véri�er : P = (0010)2

et Q = (1010)2

sont voisins puisque P xor Q = 1000.

Table de vérité du OU ex lusif :

xor 0 1

0 0 1

1 1 0

◮on voudrait aussi que les d bits de la représentation orrespondent aux d

axes de l'hyper ube : ainsi on envoie un message de P = (0010)2

à

Q = (1010)2

en utilisant le d -ième axe !

Frank Nielsen 2.Réseaux statiques simples-2.hyper ube 28

Code de Gray sur l'hyper ube

◮Code de Gray G (i , x) = ode binaire ré�é hi

◮Seulement un bit de di�éren e entre deux n÷uds onne tés

◮breveté en 1953 par Frank Gray (Bell Labs)

Dé�nition du ode de Gray :

Gd ={

0Gd−1

, 1G ré�é hi

d−1

}

i : rang du mot

x : nombre de bits du ode

G (0, 1) = 0

G (1, 1) = 1

G (i , x + 1) = G (i , x), i < 2

x

G (i , x + 1) = 2

x + G (2x+1 − 1− i , x), i ≥ 2

x

Frank Nielsen 2.Réseaux statiques simples-3. ode de Gray 29

Propriétés d'un ode de Gray

◮mots adja ents di�érent par un bit

◮ ode y lique

◮une séquen e dé roissante équivaut à une séquen e roissante quand on

�ippe le bit de tête 0↔ 1

Codage dé imal Codage binaire Codage Gray (binaire ré�é hi)

0 000 000

1 001 001

2 010 011

3 011 010

4 100 110

5 101 111

6 110 101

7 111 100


Distan e de Hamming sur l'hyper ube

◮soit P = (Pd−1

. . .P0

)2

et Q = (Qd−1

. . .Q0

)2

deux sommets de

l'hyper ube de dimension d

◮la distan e entre P et Q est la longueur du plus ourt hemin les

reliant

◮la distan e entre P et Q équivaut à la distan e de Hamming sur la

représentation binaire de P et Q :

Hamming(P ,Q) =

d−1∑

i=0

1Pi 6=Qi

Par exemple, Hamming(1011, 1101) = 2.

On ompte simplement le nombre de bits di�érents dans les

représentations


Chemins sur l'hyper ube et routage

◮il existe Hamming(P ,Q)! (fa torielle) hemins entre P et Q dont

Hamming(P ,Q) sont deux à deux disjoints.

◮Par exemple, Hamming(00, 11) = 2 et deux hemins distin ts

00→ 10→ 11 et 00→ 01→ 11 :

00 ↔ 01

l l10 ↔ 11

◮routage : en partant soit des poids faibles (souvent la onvention prise)

soit des poids forts, on a hemine le message jusqu'à transformer P en Q

en �ippant le bit (= ommuni ation sur le lien) aux positions des 1 du

P xor Q.

◮exemple : P = 1011 → Q = 1101 ave P xor Q = 0110. P envoit don

le message à P ′ = 1001 sur le lien 1 et P ′envoie le message à

P ′′ = 1101 = P sur le lien 2.


Générer un ode de Gray en C++ ave la STL

sans la ré ursivité... ode optimisé

lass Gray {

publi :

ve tor<int> ode(int n) {

ve tor<int> v;

v.push_ba k(0);

for(int i = 0; i < n; i++) {

int h = 1 << i;

int len = v.size();

for(int j = len - 1; j >= 0; j--) {

v.push_ba k(h + v[j℄);

}

}

return v;

}

};


Générer un ode de Gray en C++ : utilisation

#in lude<iostream>

#in lude <ve tor>

#in lude <bitset>

using namespa e std;

int main() {

Gray g; ve tor<int> a = g. ode(4);

for(int i = 0; i < a.size(); i++) {

out << a[i℄ << "\t";}

out << endl;

for(int i = 0; i < a.size(); i++) {

out << (bitset<8>) a[i℄ << "\t";}

out << endl;

return 0;

}


Générer un ode de Gray en C++ : résultat

C:\INF442>gray ode442

0 1 3 2 6 7 5 4 12 13

15 14 10 11 9 8

00000000 00000001 00000011 00000010 00000110

00000111 00000101 00000100 00001100 00001101

00001111 00001110 00001010 00001011 00001001

00001000


Hyper ube 4D ave numérotation par le ode de Gray

0000 0100

1000 1100

10101110

0001 0101

0111

11111011

1001

0011

00100110


Popularité de l'hyper ube

◮ P = 2

d, don d = log

2

P , topologie qui passe à l'é helle : extensible

◮topologie de l'hyper ube permet de réaliser elle de l'anneau

◮topologie de l'hyper ube permet de réaliser un réseau torique de taille

2

r × 2

sdans un d = r + s- ube, en utilisant la numérotation

(Grayr ,Grays)


Di�usion (broad ast) dans l'hyper ube

à partir du n÷ud P0

= (0...0)2

◮on pourrait di�user sur tous les liens, puis au niveau un tout les

pro esseurs di�userait sur les liens, et . Iné� a e et redondant !

◮on pourrait simuler la di�usion simple sur l'anneau plongé dans

l'hyper ube : mais trop lent !

◮En d étapes numérotées de d − 1 à 0 par onstru tion d'un arbre

binomial re ouvrant ...


Algorithme de di�usion sur l'hyper ube

Di�usions à partir de P0

= (0...0)2

que l'on renomme en (10...0)2

en ajoutant

un bit à 1 en tête :

◮Les pro esseurs reçoivent le message sur le lien orrespondant à leur

premier 1

◮ils propagent le message sur les liens qui pré

�

dent e premier 1

◮profondeur d = log

2

P étapes

◮il existe de meilleurs algorithmes ...

i i, en dimension 3. Regardons maintenant en dimension 4







Arbre binomial re ouvrant de l'hyper ube

Arbre de di�usion

0000

1000 0100 0010 0001

1100 1010 1001 0110 0101 0011

1110 1101 1011 0111

1111


Réseau physique / réseau logique et plongements

Transposition du réseau logique (utilisé par l'algorithme) sur le réseau

physique (l'ar hite ture sous-ja ente) : mise en orrespondan e des n÷uds.

En ore appelée te hnique de plongement

Paramètres à optimiser :

◮dilatation : distan e maximale dans le réseau physique entre deux

n÷uds voisins du réseau logique

◮expansion :

expansion =#n÷uds du réseau physique

#n÷uds du réseau logique

Frank Nielsen 3.Transposition/plongement 46

Transposition des topologies logiques ⇒ physiques

Topologique physique = réseau d'inter onnexion

Topologique logique = topologie du groupe de ommuni ation (pour les

algorithmes parallèles)

On her he à avoir :

◮dilatation = 1

◮expansion = 1

Car on veut éviter :

◮la perte de performan e des ommuni ations lorsque la dilatation > 1

◮la perte de performan e en al ul : expansion < 1 (plusieurs n÷uds

logiques sur un même n÷ud physique → time-sli ing des pro essus)

Frank Nielsen 3.Transposition/plongement-1.Transposition 47

Transposer l'anneau P = 2

dsur l'hyper ube {0, 1}d

panneau

= phypercube = 8 ⇒ expansion=1

010

000001

011

110

100 101

111

12

3

3

3

3

2

010

000

001

110

111

101

100

011

transposition

Les arêtes logiques de l'anneau en pointillées demandent 3 liens physiques sur

l'hyper ube (diamètre) : dilatation=3


Transposition optimale : anneau → hyper ube

N÷ud Ai de l'anneau est asso ié au pro esseur HG(i ,d) de l'hyper ube.

Parfait ! dilatation = 1 et expansion = 1

010

000001

011

110

100 101

111

transposition010

000

001

110

111

101

100

011

0

1

2

34

5

6

7

0 1

76

4 5

32

(0, 1, 2, 3, 4, 5, 6, 7)anneau = (0, 1, 3, 2, 6, 7, 5, 4)cube

anneau cube

Ai ⇔ HGray(i,d)

On forme un y le (= anneau) sur l'hyper ube


Transpositions/plongements

L'hyper ube : une topologie de hoix !

◮grilles/tores 2D sur l'hyper ube : optimal ! (dilatation=1 et expansion=1)

◮arbres binaires sur l'hyper ube

◮et .

Passe à l'é helle


Produit artésien de graphes : l'opérateur ⊗Soit G

1

= (V1

,E1

) and G2

= (V2

,E2

) deux graphes onne tés.

Le produit artésien G = G1

⊗ G2

= (V ,E ) est dé�ni par :

◮les sommets V : V = V

1

× V2

= {(u1

, u2

), u1

∈ V1

, u2

∈ V2

},◮

les arêtes E :

((u1

, u2

), (v1

, v2

)) ∈ E ⇔{

u1

= v1

(u2

, v2

) ∈ E2

u2

= v2

(u1

, v1

) ∈ E1

⊗ =

G1 G2G1 ⊗G2

u1

u2

v1 v2 v3

(u2, v1) (u2, v2) (u2, v3)

(u1, v1)(u1, v2) (u1, v3)

http://en.wikipedia.org/wiki/Graph_produ t

Frank Nielsen 3.Transposition/plongement-2.Produit artésien de graphes ⊗ 51

http://en.wikipedia.org/wiki/Graph_product

Produit artésien de graphes : un autre exemple


Le produit artésien de graphes en a tion

◮Produit de deux arêtes est un y le à 4 sommets : K

2

⊗ K2

= C4

◮Produit de K

2

et d'un hemin est une é helle (ladder graph)

◮Produit de deux hemins est une grille

◮ d produits d'une arête donne l'hyper ube de dimension d :

K2

⊗ ...⊗ K2

︸︷︷︸

d fois

= Hyper ubed

◮Don le produit de deux hyper ubes est un hyper ube :

Hyper ubed1

⊗ Hyper ubed2

= Hyper ubed1

+d2


Topologies régulières

régulier = haque sommet joue le même r�le

( omme pour les solides platoniques ...)

Graphe de Petersen : P = 10, d = 3, D = 2

⇒ produit artésien de deux graphes réguliers est un graphe régulier

Frank Nielsen 4.Topologies régulières 54

Topologies régulières omplexes

Dé�nition :

N(d ,D) = p : nombre maximum de n÷uds dans un graphe régulier de

degré d et diamètre D (nombre �ni don !).

◮Anneau : d = 2 et D = ⌊p

2

⌋◮

Graphe omplet : d = p − 1 et D = 1

◮Hyper ube : N(d ,D = d) = 2

d

Inégalités (bornes supérieures) de Moore :

◮ N(2,D) ≤ 2D + 1

◮ N(d ,D) ≤ d(d−1)D−2

d−2

, d > 2

◮ N(16, 10) = 12951451931

Un véritable problème de re her he en soi :

Moore graphs and beyond : A survey of the degree/diameter problem

http://www. ombinatori s.org/ojs/index.php/elj /arti le/viewFile/DS14/pdf

Frank Nielsen 4.Topologies régulières-1.Topologies omplexes 55

http://www.combinatorics.org/ojs/index.php/eljc/article/viewFile/DS14/pdf

Le graphe X8 et la lique K3 en produit artésien...

⊗ =

topologie régulière

K3 ∗ X8

degré=5, Diamètre=2, p = 24, borne supérieure de Moore=26

Frank Nielsen 4.Topologies régulières-1.Topologies omplexes 56

Réseaux d'inter onnexions

sur la pu e

Frank Nielsen 5.Réseaux sur la pu e 57

Intel Xeon

R© Phi 72- ore x86 CPU (14nm) 3 TFlops

Construire des super- al ulateurs à partir de pu es ( hip) �super omputing�


Les pu es des ordinateurs multi- ores

Réseaux d'inter onnexions pour les ÷urs de la pu e ( hip) (On- hip

inter onne tion networks)

◮minimiser la laten e

hiérar hie des mémoires : registres → a hes → DRAMs

◮Dans un y le d'horloge (Clo k Cy le, CC), on ne tou he qu'une partie

du ir uit (5% pour 60-nm pro ess)

◮a ès à la DRAM en ×100 CCs, pas en temps onstant !


Contention dans les réseaux

◮Contention = ompétition pour les ressour es

◮Lorsque deux ou plusieurs n÷uds veulent transmettre un message sur une

ligne en même temps.

◮Bus partagé d'inter onnexion : Un seul n÷ud à la fois peut utiliser le bus

memoire globale

BUS

P

cache

P P P P

cache cache cache cache

Frank Nielsen 5.Réseaux sur la pu e-1.Contention 60

Les réseaux d'inter onnexion en résumé

◮ luster (= ordinateur parallèle) modélisé par un graphe

◮topologie = ara téristiques instrinséques du graphe générique

◮réseaux statiques ou dynamiques

◮réseaux régulier simples ou omplexes (produits de graphes)

◮l'hyper ube et le ode de Gray (routage fa ile !)

◮transposition/plongement de topologies virtuelles sur les topologies

physiques

◮inter onnexions des ÷urs sur une pu e

(bus, swit h, rossbar & omega. Cf. poly opié)

⇒ ommuni ations (laten e/bande passante) limitent souvent la performan e

des algorithmes parallèles sur une ar hite ture à mémoire distribuée


Résumé A7

�X topologie physique/logique et transposition

�X hyper ube, ode de Gray et plongement de l'anneau dans l'hyper ube

�X algorithmes de routage : di�usion sur l'hyper ube

Pour la pro haine fois : lire les hapitres 3 et 10 du poly opié


Science

Traitement des données massives (INF442, A7)