Upload
gaetane-mangin
View
102
Download
0
Embed Size (px)
Citation preview
Lundi 15 mars 2004 AS 1
SplitStream : diffusion de contenu à fort besoin en bande passante
Anne-Marie Kermarrec (INRIA-Rennes, IRISA)
En collaboration avec M. Castro, A. Rowstron (MSR Cambridge) P.Druschel, A. Nandi et A. Singh (Rice University)
Lundi 15 mars 2004 AS 2
SplitStream
Distribution de contenu à fort besoin en bande-passante Distribution de fichiers Mises à jour de logiciel Diffusion de contenu multimédia
Environnement coopératif Système pair-à-pair (P2P) Partage de ressources Auto organisation Pas d’élément de centralisation
Lundi 15 mars 2004 AS 3
Protocole de diffusion applicatif
Lundi 15 mars 2004 AS 4
Protocole de diffusion applicatif Protocoles à base d’arbre
Déséquilibre de charge; la majorité des nœuds sont des feuilles Défaillance des nœuds internes de l’arbre
Protocole épidémique Redondance par défaut Engendre un lourd trafic sur le réseau
Inconvénients exacerbés par la nature des contenus diffusés Équité Charge réseau
Lundi 15 mars 2004 AS 5
L’approche SplitStream
Contenu divisé en flots (stripes) et distribué sur de multiples arbres de diffusion indépendants
Équité Nœuds internes dans un arbre sont des feuilles dans les autres
Disponibilité Défaillance d’un nœud entraîne seulement une perte de qualité
(parents indépendants)
Flexibilité S’accommode de bande passante diverses
Lundi 15 mars 2004 AS 6
Construction d’un arbre de diffusion
B
C
E
F
D
A
G
Lundi 15 mars 2004 AS 7
Construction d’un arbre de diffusion
B
C
E
F
D
A
G
Lundi 15 mars 2004 AS 8
Arbre de diffusion unique : équité
B
C
E
F
D
A
G
IN: n kb/sec
OUT: 2n kb/sec
Lundi 15 mars 2004 AS 10
La forêt SplitStream
B
C
E
F
D
A
G
Lundi 15 mars 2004 AS 11
La forêt SplitStream
B
C
E
F
D
A
G
Lundi 15 mars 2004 AS 12
La forêt SplitStream
B
C
EF
DA
G D
E G
B A F C
A
B C
F G D E
N kb/sec
N/2 kb/sec N/2 kb/sec
Lundi 15 mars 2004 AS 13
La forêt SplitStream
B
C
EF
DA
G D
E G
B A F C
A
B C
F G D E
N kb/sec
N/2 kb/sec N/2 kb/sec
Lundi 15 mars 2004 AS 14
L’approche SplitStream
Difficulté majeure : construire et assurer la maintenance des multipels arbres de diffusion de manière décentralisée, fiable et extensible (passage à l’échelle) afin que:
Chaque client reçoive le nombre désiré de flots de données Arbres indépendants Contrôle de l’allocation de bande passante Délais et charge imposées au réseau raisonnables
Utilisation de Scribe/Pastry Pastry: infrastructure de routage structurée, efficace, fiable Scribe : protocole de diffusion à base d’arbre, décentralisé et
efficace
Lundi 15 mars 2004 AS 15
Pastry : rappel
[Rowstron-Druschel 2001] DHT Functionality 128 bit circular id space nodeIds (uniform random) objIds (uniform random) Invariant: node with
numerically closest nodeId is object’s root
objId
nodeIds
O 2128-1
Lundi 15 mars 2004 AS 16
Localité dans Pastry
d46a1c
Route(d46a1c)
d462ba
d4213f
d13da3
65a1fc
d467c4d471f1
Name space
d467c4
65a1fcd13da3
d4213f
d462ba
Leaf set
Proximity space IP*1.6
Lundi 15 mars 2004 AS 17
Scribe : rappel
Create : route vers groupId Join : route vers groupId Arbre : union des routes
Pastry des membres du groupe à la racine
Diffusion Charge raisonnable
imposée sur le réseau Délai raisonnable
groupId
join( groupId)
Multicast (groupId)
Racine
join( groupId)
Lundi 15 mars 2004 AS 18
Scribe
d13da3
65a1fc
d467c4: rootd471f1
Name space
26b20d
Proximity space
26b20d
65a1fcd13da3
d467c4: root
Lundi 15 mars 2004 AS 19
SplitStream
Construction d’un arbre/ groupe Scribe pour chaque flot de données
Chaque identificateur de flot commence par un digit différent (indépendance jusqu’à 16 flots)
0x 1x fx
…..
Lundi 15 mars 2004 AS 20
SplitStream : gestion de la forêtContraintes Degré sortant limité augmente potentiellement la profondeur des
arbre Besoin d’équilibrer la charge entre les arbre et à l’intérieur des
arbres Conserver l’indépendance face aux défaillances.
Solution Nœuds en sous charge joignent un arbre de capacité disponible Nœuds en sur charge abandonnent des enfants Orphelins anycast à l’arbre de capacité disponible pour trouver de
nouveaux parents
Lundi 15 mars 2004 AS 21
Expériences
Simulations Topologies GT, Mercator, MS Corp. 40000 noeuds
Pastry (b=4, leafset = 16) SplitStream : 16 flots Configurations degré entrant x degré sortant
Impact de la capacité disponible 16x16, 16x18, 16x32 et 16xNB Impact de capacités/besoins variés (Gnutella)
Expérimentations Construction de la forêt Performance de la diffusion
Lundi 15 mars 2004 AS 22
Construction de la forêt : charge des noeuds
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
1 10 100 1000 10000
Node Stress
Cum
ulat
ive
prop
ortio
n of
nod
es
16 x NB
16 x 32
16 x 18
16 x 16
Lundi 15 mars 2004 AS 23
Construction de la forêt: charge des noeuds
Configuration 16x16 16x18 16x32 16xNB
Max 5893 4285 2876 5058
Mean 74 65 43 21
Med 52 48 30 17
Lundi 15 mars 2004 AS 24
Diffusion : charge réseau
Configuration Centralisé
(0.43)
Scribe
(0.47)
IP
(0.43)
16x16
(0.98)
16x18 16x32 16xNB
Max 639984 3990 16 1411 1124 886 1616
Mean 128.9 39.6 16 20 19 19 20
Med 16 16 16 16 16 16 16
Lundi 15 mars 2004 AS 25
Pénalité de délai lors de la diffusion
0
2
4
6
8
10
12
14
16
0 0,5 1 1,5 2 2,5
Delay penalty
Cum
ulat
ive
strip
es
RAD (16 x NB)
RAD (16 x 32)
RAD (16 x 18)
RAD (16 x 16)
Lundi 15 mars 2004 AS 26
Diversité des chemins
Configuration 16x16 16x32 16xNB
Max 6.8 6.6 1
Mean 2.1 1.7 1
Med 2 2 1
Nombre de flots perdus (au plus) a chaque noeud en cas de défaillance d’un noeud
Lundi 15 mars 2004 AS 27
Nombre de flots reçus (Trace Gnutella, 10000 nœuds)
Lundi 15 mars 2004 AS 28
Défaillance catastrophique (25% de nœuds défaillants) : nombre de flots reçus (10, 000)
Lundi 15 mars 2004 AS 29
Défaillance catastrophique (25% de nœuds défaillants) : nombre de messages (10000 noeuds)
Lundi 15 mars 2004 AS 30
Conclusion
SplitStream permet d’effectuer de la distribution de contenus à fort besoin en bande passante de manière équitable et robuste Forêt d’arbres indépendants au lieu d’un arbre unique Gestion extensible et décentralisée reposant sur Pastry et Scribe Bonnes propriétés de fiabilités en environnement dynamique