Embed Size (px)
DESCRIPTION
Self-organizing neural networks endeavour to preserve the topology of an input space by means of competitive learning. This capacity is used for the representation of objects and their motion. In addition, these applications usually have real-time constraints imposed on them. This paper describes several variants of a Growing Neural Gas self-organizing network that accelerate the learning process. However, in some cases this acceleration causes a loss in topology preservation and, therefore, in the quality of the representation. Our study quantifies topology preservation using different measures to establish the most suitable learning parameters, depending on the size of the network and on the time available for adaptation.
Citation preview
© 2
000-2
002 p
or Pac o Maciá
Study of the qualityof the representation of bidimensional objects
with Growing Neural Gas depending on the learning
parameters
Francisco Flórez RevueltaJuan Manuel García Chamizo
José García RodriguezAntonio Hernández Sáez
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
introducción
Representación de los objetos y de su movimiento mediante una red neuronal auto-organizativa
Estas aplicaciones están sujetas a restricciones temporales o a posibles interrupciones
Modificando los parámetros de aprendizaje se puede completar la adaptación en el tiempo disponible
Diferente calidad en la respuesta
motivación
introducción
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
Growing Neural Gas
Características: Topología de unión entre neuronas no
preestablecida A partir de un número inicial de neuronas,
se crean y eliminan hasta cumplir una condición de finalización
Adaptación mediante función de energíaConvergencia rápida
Resultado: Triangulación de Delaunay inducida por el espacio de entrada
introducción
GrowingNeural Gas
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
Growing Neural Gas
Iniciar creando dos neuronasIterar hasta cumplir una condición de finalización (e.g. número de neuronas):
Hasta λ iteraciones: Introducir un patrón Obtener 1ª y 2ª neurona ganadora Establecer arista con edad 0 Actualizar error neurona ganadora Adaptar ponderadamente pesos de
ganadora y sus vecinas Incrementar edades de las aristas de
la neurona ganadora
algoritmo de aprendizaje
GrowingNeural Gas
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
Growing Neural Gas
Iniciar creando dos neuronasIterar hasta cumplir una condición de finalización (e.g. número de neuronas):
Hasta λ iteraciones: Introducir un patrón Obtener 1ª y 2ª neurona ganadora Establecer arista con edad 0 Actualizar error neurona ganadora Adaptar ponderadamente pesos de
ganadora y sus vecinas Incrementar edades de las aristas de
la neurona ganadora Eliminar aristas de edad mayor que
un umbral Eliminar neuronas con error 0 Insertar neurona
algoritmo de aprendizaje
GrowingNeural Gas
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
Growing Neural Gas
Insertar neurona: Localizar neurona de mayor
error Localizar vecina de anterior con
mayor error Decrecer ponderadamente el
error de ambas Suprimir arista entre ellas Insertar neurona entre
anteriores y establecer aristas con ellas
Interpolar error para neurona nueva
algoritmo de aprendizaje
GrowingNeural Gas
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
Growing Neural Gasalgoritmo de aprendizaje
Crearmapa
Obtener patrón
Calcular distancia
Comparar distancias
Modificar pesos
Actualizar error de la neurona
ganadora
Crear aristas
Actualizar edades de las aristas
Eliminar neuronas
Eliminar aristas
Insertar neurona
Hasta completar iteraciones
Hasta cumplir condición de finalización (número de neuronas, tiempo límite,…)
Inicializar errores
Crearmapa
Obtener patrón
Calcular distancia
Comparar distancias
Modificar pesos
Actualizar error de la neurona
ganadora
Crear aristas
Actualizar edades de las aristas
Eliminar neuronas
Eliminar aristas
Insertar neurona
Hasta completar λ iteraciones
Inicializar errores
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
aceleración del aprendizaje
El factor tiempo como condición de finalización provoca adaptaciones incorrectas
Se deben modificar parámetros de aprendizaje para completar la red: número λ de señales de entrada por
iteración número de neuronas insertadas por
iteración
La calidad de la adaptación se ve afectada
aceleracióndel aprendizaje
Crearmapa
Obtener patrón
Calcular distancia
Comparar distancias
Modificar pesos
Actualizar error de la neurona
ganadora
Crear aristas
Actualizar edades de las aristas
Eliminar neuronas
Eliminar aristas
Insertar neurona
Hasta completar iteraciones
Hasta cumplir condición de finalización (número de neuronas, tiempo límite,…)
Inicializar errores
Crearmapa
Obtener patrón
Calcular distancia
Comparar distancias
Modificar pesos
Actualizar error de la neurona
ganadora
Crear aristas
Actualizar edades de las aristas
Eliminar neuronas
Eliminar aristas
Insertar neurona
Hasta completar λ iteraciones
Inicializar errores
1 neurona 2 neuronas
5 neuronas 10 neuronas
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
medidas de preservaciónde la topología
La calidad de la adaptación de las redes se suele realizar desde dos aspectos: resolución preservación de la topología del espacio de
entradamedidas
de preservaciónde la topología
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
medidas de preservaciónde la topología
Error de cuantización:
medidasde preservaciónde la topología
medida de resolución
( )ξ
ξ
ξ ξ∀ ∈
= −∑ gd
sE w pR
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
medidas de preservaciónde la topología
Producto topográfico geodésico:
Función topográfica: compara la red resultante con la triangulación de Delaunay inducida por el espacio de entrada
medidasde preservaciónde la topología
medidas de preservación de topología
( )( )( )( )
( )( )( )( )
−
= = =
÷ ÷= × ÷ ÷− ÷ ÷ ÷
∑∑ ∏12
1
1 1 1
, ,1log
( 1 ) ,,
Al
Vl
kV A AkN N j n j l
A VVj k l lj n j
d w w d j n jP
N N d j n jd w w
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
medidas de preservaciónde la topología
Medida C de bondad de la red (Kaski y Lagus): Combina el error de cuantización con un indice
de la adecuación entre el espacio de entrada y el mapeado obtenido
medidasde preservaciónde la topología
medidas conjuntas
||||||||)( )1(
1
0)()(
),('
+
−
=
−+−= ∑ kI
K
kkI
ixc i
ixc
immnimmxxd
[ ])(xdEC =
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
estudio comparativo
Se han adaptado GNGs a diversos espacios de entrada bidimensionales
Se han fijado algunos de los parámetros de aprendizaje (ε1=0.1, ε2=0.01, α=0.5, β=0.0005, amax=250)
Se han modificado el número de señales de entrada y las neuronas insertadas por iteración
estudio comparativo
datos del estudio
0.12
0.17
0.24
0.56
0.13
0.30
0.57
1
Tiempo (s.)Variante
100001GNG50001GNG25001GNG10001GNG100002GNG100005GNG100007GNG1000010GNG 100
79
62
30
93
51
30
18
Neuronas (a los 0.12s)
Variante
100001GNG50001GNG25001GNG10001GNG100002GNG100005GNG100007GNG1000010GNG
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
estudio comparativo
De interés en el caso de que no existan restricciones temporales, pero sí exista un tamaño máximo de la red
estudio comparativo
en función del número de neuronas
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
estudio comparativo
De interés en el caso de que no existan restricciones espaciales, pero sí puedan existir restricciones temporales o interrupciones
estudio comparativo
en función del tiempo de aprendizaje
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
conclusiones
La preservación de la topología se ve afectada por los parámetros y el tiempo de aprendizaje
Los métodos más rápidos mejoran la resolución pero pueden afectar negativamente a la preservación de la topología
En muchos casos, será más interesante conseguir redes pequeñas con menor resolución y mejor preservación topológica
conclusiones
introducción
GrowingNeural Gas
aceleracióndel aprendizaje
medidasde preservaciónde la topología
estudio comparativo
conclusiones
Contenido
conclusiones
Se están realizando estudios similares con otros modelos (Neural Gas, GWR)
Se pretende extraer cuáles son las características de cada red que permiten una representación adecuada
Desarrollo de nuevas redes auto-organizativas a partir de estos estudios
conclusiones
línea de trabajo
© 2
000-2
002 p
or Pac o Maciá
Study of the qualityof the representation of bidimensional objects
with Growing Neural Gas depending on the learning
parameters
Francisco Flórez RevueltaJuan Manuel García Chamizo
José García RodriguezAntonio Hernández Sáez
