Embed Size (px)
DESCRIPTION
Groupe de travail STAPH, Institut de Mathématiques de Toulouse, Toulouse, France January 14th, 2008
Citation preview
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Carte de Kohonen par noyau et application agravela classification de sommets de graphes
Nathalie Villa-Vialaneix(1) Fabrice Rossi(2)
(1)Institut de Matheacutematiques de Toulouse France -nathalievillamathuniv-toulousefr
(2)Projet AxIS INRIA Rocquencourt France
Groupe de travail STAPH 14 Janvier 2008
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Sommaire
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Graphes
Les donneacuteesOn considegravere un graphe G constitueacute de
1 n sommets x1 xn 2 un ensemble drsquoarecirctes pondeacutereacutees E caracteacuteriseacute par des
poids w(xi xj) tels que w(xi xj) = w(xj xi) w(xi xi) = 0 etw(xi xj) ge 0Alors
sumnj=1 w(xi xj) equiv di (degreacute du sommet xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)
Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Un exemple concret les reacuteseaux sociaux
Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales
Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe
Sommets paysans citeacutes dans les contrats
Poids nombre de mentions communes de deux paysans
Nombre de sommets 615Nombre drsquoarecirctes 4193Somme totale des poids 40 329Diamegravetre 10Densiteacute 22
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Sommaire
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Graphes
Les donneacuteesOn considegravere un graphe G constitueacute de
1 n sommets x1 xn 2 un ensemble drsquoarecirctes pondeacutereacutees E caracteacuteriseacute par des
poids w(xi xj) tels que w(xi xj) = w(xj xi) w(xi xi) = 0 etw(xi xj) ge 0Alors
sumnj=1 w(xi xj) equiv di (degreacute du sommet xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)
Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Un exemple concret les reacuteseaux sociaux
Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales
Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe
Sommets paysans citeacutes dans les contrats
Poids nombre de mentions communes de deux paysans
Nombre de sommets 615Nombre drsquoarecirctes 4193Somme totale des poids 40 329Diamegravetre 10Densiteacute 22
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Graphes
Les donneacuteesOn considegravere un graphe G constitueacute de
1 n sommets x1 xn 2 un ensemble drsquoarecirctes pondeacutereacutees E caracteacuteriseacute par des
poids w(xi xj) tels que w(xi xj) = w(xj xi) w(xi xi) = 0 etw(xi xj) ge 0Alors
sumnj=1 w(xi xj) equiv di (degreacute du sommet xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)
Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Un exemple concret les reacuteseaux sociaux
Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales
Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe
Sommets paysans citeacutes dans les contrats
Poids nombre de mentions communes de deux paysans
Nombre de sommets 615Nombre drsquoarecirctes 4193Somme totale des poids 40 329Diamegravetre 10Densiteacute 22
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Graphes
Les donneacuteesOn considegravere un graphe G constitueacute de
1 n sommets x1 xn 2 un ensemble drsquoarecirctes pondeacutereacutees E caracteacuteriseacute par des
poids w(xi xj) tels que w(xi xj) = w(xj xi) w(xi xi) = 0 etw(xi xj) ge 0Alors
sumnj=1 w(xi xj) equiv di (degreacute du sommet xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)
Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Un exemple concret les reacuteseaux sociaux
Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales
Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe
Sommets paysans citeacutes dans les contrats
Poids nombre de mentions communes de deux paysans
Nombre de sommets 615Nombre drsquoarecirctes 4193Somme totale des poids 40 329Diamegravetre 10Densiteacute 22
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)
Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Un exemple concret les reacuteseaux sociaux
Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales
Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe
Sommets paysans citeacutes dans les contrats
Poids nombre de mentions communes de deux paysans
Nombre de sommets 615Nombre drsquoarecirctes 4193Somme totale des poids 40 329Diamegravetre 10Densiteacute 22
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Objectif
Pour simplifier la structure du graphe obtenir une classificationdes sommets en groupes de proximiteacutes (deux sommets sont dansla mecircme classe si il existe un poids fort entre eux OU si ils ontbeaucoup de voisins en commun)Problegraveme Le graphe ne possegravede aucune structure euclidiennenaturelle
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Un exemple concret les reacuteseaux sociaux
Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales
Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe
Sommets paysans citeacutes dans les contrats
Poids nombre de mentions communes de deux paysans
Nombre de sommets 615Nombre drsquoarecirctes 4193Somme totale des poids 40 329Diamegravetre 10Densiteacute 22
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Un exemple concret les reacuteseaux sociaux
Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales
Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe
Sommets paysans citeacutes dans les contrats
Poids nombre de mentions communes de deux paysans
Nombre de sommets 615Nombre drsquoarecirctes 4193Somme totale des poids 40 329Diamegravetre 10Densiteacute 22
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux)
Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Communauteacutes
Classes drsquoindividus fortement lieacutes equiv communauteacutes (probleacutematiqueimportante dans le domaine des reacuteseaux sociaux) Ici Classification et organisation trouver des groupes pertinantsdrsquoindividus et comprendre la structure des relations entre cesgroupesReacuteduction de la complexiteacute du reacuteseau initial par lrsquoutilisation drsquounplongement sur des carte de Kohonen
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Villa N amp Boulet R (2007) Clustering a medieval social network by SOM
using a kernel based distance measure In proceedings of ESANN 2007
M Verleysen Ed Bruges Belgique 31-38 [Villa and Boulet 2007]
Villa N amp Rossi F (2007) A comparison between dissimilarity SOM and
kernel SOM for clustering the vertices of a graph In proceedings of WSOM
2007 Bielefeld Allemagne 36 septembre [Villa and Rossi 2007]
Boulet R Jouve B Rossi F amp Villa N (2008) Batch kernel SOM and
related Laplacian methods for social network analysis Neurocomputing Agrave
paraicirctre [Boulet et al 2008]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Un algorithme neuronal de classification nonsuperviseacutee
Donneacutees et principe
Donneacutees x1 xn isin Rk (k grand)
ldquoProjeterrdquo x1 xn sur une carte de faible dimension (1 ou 2) quipreacuteserve la topologie initiale des donneacutees ([Kohonen 2001])
Grille rectangulaire (dimension 2)
un neurone
Ficelle (dimension 1)
un neurone
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Relations donneacutees carte
Proprieacuteteacutes de la carteChaque neurone de la carte i = 1 M est repreacutesenteacute parun prototype mi isin R
k
Les neurones sont lieacutes les uns aux autres par une relation devoisinage (ldquodistancerdquo d)
Proprieacuteteacutes des donneacutees
Chaque individu xi est associeacute agrave un neurone de la carte f(xi)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Preacuteserver au mieux la topologie initiale
Eacutenergie
On cherche agrave minimiser lrsquoeacutenergie de la carte
E =
int Msumi=1
h(d(f(x) i))x minusmi2dP(x)
ougrave h est une fonction deacutecroissante (ex h(t) = αeminust2σ2)
Lrsquoeacutenergie est approcheacutee par sa version empirique
En =nsum
j=1
Msumi=1
h(d(f(xj) i))xj minusmi2
Algo de descente de gradient approximation de cetteminimisation
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme stochastique
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation de xL
f(xL ) = arg mini=1M
mLminus1i minus xL
2 Phase de repreacutesentation forall i = 1 M
mLi = mLminus1
i + α(L)hL (d(f(xL ) i))(xL minusmLminus1i )
jusqursquoagrave affectation de tous les (xi)i=1n et stabilisation de lavaleur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme ldquobatchrdquo (version ldquomoyennerdquo)
Initialisation initialiser forall j = 1 M m0j isin R
k Reacutepeacuteter (iteacuteration L )
1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
mLminus1i minus xj
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
xisinRk
nsumj=1
hL (d(f(xj) i))xj minus x2
=
sumnj=1 hL (d(f(xj) i))xjsumnj=1 hL (d(f(xj) i))︸ ︷︷ ︸moyenne geacuteneacuteraliseacutee
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n
2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Adaptations pour les donneacutees non vectoriellesdeacutecrites par une mesure de dissimilariteacute
Les donneacuteesDonneacutees x1 xn isin V ougraveV est un espace abstrait quelconqueDissimilariteacute On connait forall i j = 1 n δ(xi xj) telle que
δ est symeacutetrique
δ est positive
δ(xi xi) = 0
Adaptations [Kohohen and Somervuo 1998][El Golli et al 2006]
1 Les propotypes sont un des (xj)j=1n 2 La distance euclidienne dans Rk est remplaceacutee par δ
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Cartes auto-organisatrices pour donneacutees deacutecritespar un tableau de dissimilariteacutes
Initialisation initialiser forall j = 1 M m0j isin x1 xn
Reacutepeacuteter (iteacuteration L )1 Phase drsquoaffectation forall j = 1 n
f(xj) = arg mini=1M
δ(mLminus1i xj)
2 Phase de repreacutesentation forall i = 1 M
mLi = arg min
jprime=1n
nsumj=1
hL (d(f(xj) i))δ(xj xjprime)
jusqursquoagrave stabilisation de la valeur de lrsquoeacutenergie En
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Quelques dissimilariteacutes classiques pour graphes
Indice de Jaccard (graphe non pondeacutereacute)
J(xi xj) =]k xk sim xi et xk sim xj
]k xk sim xi ou xk sim xj
Plongement dans un espace Euclidien agrave partir des premiersvecteurs propres du Laplacien L = (Lij)ij=1n ougrave
Lij =
minuswij if i jdi if i = j
ldquospectral clusteringrdquo
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien I [von Luxburg 2007]
Composantes connexesLe noyau de la matrice L est engendreacute par les indicatricesIA1 IAk des sommets des k composantes connexes du graphe
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien II [Boulet et al 2008]
Communauteacute parfaite Sous-graphe complet (clique) dont tousles sommets ont les mecircmes voisins agrave lrsquoexteacuterieur de la clique
Deacutetermination de communauteacutes parfaitesLes communauteacutes parfaites drsquoun graphe non pondeacutereacutecorrespondent agrave des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mecircmes coordonneacuteesnulles
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Proprieacuteteacutes du Laplacien III [von Luxburg 2007]
Problegraveme de la coupe optimaleSupposons maintenant que notre graphe soit connexeLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise
12
ksumi=1
sumjisinAi jprimeltAi
wjjprime
est approcheacute par le problegraveme drsquooptimisation continue suivant
minHisinRntimesk
Tr(HT LH
)subject to HT H = I
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Une version reacutegulariseacutee de L
Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =
sum+infink=1
(minusβL)k
k rArr
k β V times V rarr R
(xi xj) rarr Kβij
noyau de diffusion (ou noyau de la chaleur)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Marche aleacuteatoire sur le graphe
Si Z0 = (1 1 1 1 1)T est le score ldquodrsquoeacutenergierdquo dans chaquesommet du graphe et si cette eacutenergie est diffuseacutee le long desarecirctes du graphe selon une petite fraction ε sur chaque arecircte etagrave chaque pas de temps Alors au bout de n pas de temps lescore dans les sommets du graphe srsquoeacutecrit
Zn = (1 + εL)n Z0
Limites Pas de temps n rarr t(∆t) et α rarr α∆t puis(∆t)rarr 0 (processus continu) alors
lim Zn = eαtL = kαt
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Inteacuterecircts
1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β
2 Plongement dans un espace de Hilbert exist (Hβ 〈 〉β) etφβ G rarr Hβ tels que
k β(xi xj) = 〈φβ(xi) φβ(xj)〉β
rArr δβ(xi xj) = k β(xi xi) + k β(xj xj) minus 2k β(xi xj) est unedissimilariteacute [Villa and Boulet 2007]
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
kernel SOM [Lau et al 2006]
Utiliser lrsquoalgorithme de carte de Kohonen dans le RKHS
Le prototype du neurone i est dans Hβ et est de la forme
pi =nsum
j=1
γjiφβ(xj)
φ est implicite car forall i j = 1 n
φβ(xi) minus φβ(xj)
2 = k β(xi xi) + k β(xj xj) minus 2k β(xi xj)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p li =
sumnj=1 γ
ljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Algorithme (on line)
Phase drsquoaffectation pour xl
arg minj=1M
nsumi=1
γijk β(xl xi) minusnsum
iiprime=1
γijγiprimejk β(xi xiprime)
Phase de repreacutesentation p l
i =sumn
j=1 γljiφ
β(xj)
γlji = γlminus1
ji + α(l)h(d(f l(xl) j))(Iil minus γ
lminus1ji
)
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
En geacuteneacuteralisant SOM pour dissimilariteacute au cas ougrave le prototype duneurone i est de la forme
pj =nsum
i=1
γjiφβ(xi)
on peut deacuteduire la version globale (batch) de lrsquoalgorithme decarte de Kohonen par noyau
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
δβ(xi p lminus1j )
Phase de repreacutesentation
p lj = arg min
xisin(xiprime )iprime=1n
nsumi=1
h(d(f l(xi) j))δβ(xi x)
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
∥∥∥∥∥∥∥xi minus
nsumi=1
γjiφβ(xi)
∥∥∥∥∥∥∥β
Phase de repreacutesentation
γlj = arg min
γisinRn
nsumi=1
h(d(f l(xi) j))
∥∥∥∥∥∥∥xi minus
nsumlprime=1
γlprimeφβ(xlprime)
∥∥∥∥∥∥∥2
β
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Preacutesentation de lrsquoalgorithme de cartes de KohonenDissimilariteacutesCartes de Kohonen agrave noyau
Comment passer de SOM pour dissimilariteacute agrave SOM agravenoyau [Villa and Rossi 2007]
Phase drsquoaffectationPour xi
arg minj=1M
nsumuuprime=1
γjuγjuprimek β(xu xuprime) minus 2nsum
u=1
γjuk β(xu xi)
Phase de repreacutesentation
γlji =
h(d(f l(xi) j)))sumniprime=1 h(d(f l(xiprime j)))
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Table of contents
1 Contexte et motivations
2 Cartes de KohonenPreacutesentation de lrsquoalgorithme de cartes de KohonenAdaptation pour donneacutees repreacutesenteacutees par un tableau dedissimilariteacutesCartes de Kohonen agrave noyau
3 Application
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Cartes obtenues [Boulet et al 2008]
RICH
465
7 9
9 8
520
324
107
9 2
423
407
408
524
515
510
2 7
150
22
23
54
25
26
27
38
29
3
1 0
2
1 1
2
1 2
2
1 3
2
1 4
2
1 5
2
1 6
2
1 7
4
1 8
2
1 9
3
2 0
2
2 1
2
2 2
2
2 3
3
2 4
2
2 5 2
2 6
2
2 7
5
2 8
2
2 9
2
3 0
1 13 1
2
3 2
2
3 3
8
3 4
2
3 6
2
3 7
2
3 8
2
3 9
3
4 0
2
4 1
2
4 2
2
4 3
2
4 4
2
4 5
3
4 6
4
4 8
2
4 9
4
5 0
2
5 1
2
5 3
2
5 4
3
5 5
2
5 9
2
6 0
2
6 1
3
6 2
4
6 3
2
6 4
3
6 5
2
6 6 3
6 7
2
6 8
2
6 9
3
7 0
2
7 1
2
7 2
2
7 3
2
7 4
2
7 6
2
7 9
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Quelques cartes theacutematiques
1 Noms2 Dates et Comparaison3 Lieux et Comparaison
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Repreacutesentation globale La Suite
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Reacutealiseacutee par Dinh Truong et Tao Dkaki
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
Contexte et motivationsCartes de Kohonen
ApplicationReacutefeacuterences
Reacutefeacuterences
Boulet R Jouve B Rossi F and Villa N (2008)Batch kernel SOM and related laplacian methods for social network analysis Neurocomputing To appear
El Golli A Rossi F Conan-Guez B and Lechevallier Y (2006)Une adaptation des cartes auto-organisatrices pour des donneacutees deacutecrites par un tableau de dissimilariteacutes Revuede Statistique Appliqueacutee LIV(3)33ndash64
Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol strings Neurocomputing 2119ndash30
Kohonen T (2001)Self-Organizing Maps 3rd Edition volume 30 Springer Berlin Heidelberg New York
Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classification Neurocomputing 692033ndash2040
Villa N and Boulet R (2007)Clustering a medieval social network by SOM using a kernel based distance measure In Verleysen M editorProceedings of ESANN 2007 pages 31ndash36 Bruges Belgium
Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph In Proceedings ofthe 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany
von Luxburg U (2007)A tutorial on spectral clustering Technical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf
Nathalie Villa amp Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
