La Combinación de RNs y AGs

La Combinacin de Redes Neuronales y Algoritmos GenticosAngel KuriInstituto Tecnolgico Autnomo de MxicoOctubre de 2001

Redes NeuronalesUna de las ms populares alternativas es el perceptrn multi-capa entrenado con el algoritmo de retropropagacin (BMLP).

Perceptrn Multi-Capa de Retropropagacin (BMLP)El BMLP se basa en la regla delta generalizada:

que se ha usado con xito para clasificar y predecir

BMLPSin embargo, el BMLP impone varias restricciones:a) La funcin de activacin debe ser derivableb) La derivada debe ser fcilc) El error a minimizar es

BMLPd) La tasa de aprendizaje, momento, etc. deben determinarse a priorie) El entrenamiento no se garantiza

BMLPFunciones de activacin tpicas son: Funcin DerivadaLinealLogstica

Sigmoide

Redes Neuronales Genticas (RNG)Una alternativa para superar las limitaciones mencionadas es entrenar la RNs usando un Algoritmo Gentico.A las redes as entrenadas las llamamos Redes Neuronales Genticas.

Algoritmo Bsico de Programacin Evolutivat := 0Genera P(0)Mientras t < Mximo nmero de PoblacionesEvala P(t)Selecciona individuos

Algoritmo Bsico (contina)RecombinaMutat := t+1Fin mientras

Modelo Simple de AGsEl llamado modelo simple de algoritmos genticos (SGA) fue definido y estudiado por Holland y considera:Representacin gentica haploideSeleccin proporcional

Modelo Simple (contina)Eleccin aleatoriaCruzamiento lineal en locus aleatoriosMutacin con baja probabilidad

Algoritmos GenticosSin elitismoCon cadenas binariasCon una poblacin de tamao constanteCon un nmero mximo de poblaciones

Algoritmos GenticosEl algoritmo,entonces, parte de una coleccin de cadenas binarias

Algoritmos Genticos

Cada una de estas cadenas (correspondientes a una solucin candidata) es evaluada, como se ilustra en la siguiente figura:

Algoritmos Genticos

Algoritmos GenticosLas cadenas son ordenadas de mejor a peor de acuerdo con su desempeo

Algoritmos GenticosA cada cadena se le asigna una probabili-dad de seleccin proporcional a su des-empeo

Algoritmos Genticos(...contina Seleccin)

Hoja1

IndividuoEvaluacinProbabilidad de Seleccin

Cadena 1533.33%

Cadena 2426.67%

Cadena 3320.00%

Cadena 4213.33%

Cadena 516.67%

15100.00%

&A

Pgina &P

Hoja1

&A

Pgina &P

Probabilidad de Seleccin

Hoja2

&A

Pgina &P

Hoja3

&A

Pgina &P

Hoja4

&A

Pgina &P

Hoja5

&A

Pgina &P

Hoja6

&A

Pgina &P

Hoja7

&A

Pgina &P

Hoja8

&A

Pgina &P

Hoja9

&A

Pgina &P

Hoja10

&A

Pgina &P

Hoja11

&A

Pgina &P

Hoja12

&A

Pgina &P

Hoja13

&A

Pgina &P

Hoja14

&A

Pgina &P

Hoja15

&A

Pgina &P

Hoja16

&A

Pgina &P

Algoritmos GenticosDe esta manera, a la larga, los individuos con mejor desempeo tienen una ms alta probabilidad de ser seleccionados y sus mejores genes intervienen con ms frecuencia en el pool gentico de la poblacin.

Algoritmos GenticosSe elige una pareja de individuos con las probabilidades mencionadas y se genera un punto de cruzamiento de manera aleatoria, como se ilustra en la siguiente figura.

Algoritmos Genticos

Algoritmos GenticosSe intercambian los contenidos genticos

Algoritmos GenticosEste proceso se repite m/2 veces dando origen a m individuos que son descendientes de los m individuos originales.

Algoritmos GenticosLa idea gentica es que los mejores genes se perpeten en la poblacin dando origen a nuevos individuos (genticamente hablando) que se desempeen mejor.

Algoritmos GenticosUna vez que se tiene la nueva poblacin, se alteran ciertos genes de manera aleatoria (se muta). La idea es que es necesario dotar de cierta dosis de novedad a la poblacin.

Algoritmos GenticosSin embargo, los porcentajes de mutacin son muy bajos (tpicamente del orden de 0.1% a 0.5%).

Algoritmos GenticosEl conjunto de nuevos individuos reemplaza al conjunto anterior y el proceso se repite un cierto nmero de veces hasta que se alcanza un criterio de convergencia.En nuestro caso, demandamos un nmero de generaciones mximo.

Algoritmos GenticosEl resultado neto de este proceso es que el algoritmo nos entrega un conjunto de valores que resuelven la funcin de ajuste de manera ptima.

Redes Neuronales GenticasAqu nos preguntamos si la norma

puede ser reemplazada por una ms apropiada, cules son las alternativas y cmo determinar sus ventajas.

Algoritmo Gentico EclcticoEl AG que usamos no es el algoritmo gentico simple propuesto por Holland.Usamos el llamado AG Eclctico (AGE) que incorpora:a) Elitismo totalb) Seleccin determinsticac) Cruzamiento anular

Algoritmo Gentico Eclcticod) Activacin probabilstica de un EMAe) Determinacin autoadaptable dePc (probabilidad de cruzamiento)Pm (probabilidad de mutacin)N (nmero de descendientes) (prob. de activacin del EMA)

Elitismo Total

Seleccin Determinista

Cruzamiento Anular

RepresentacinEl genoma de la RNG se form encade-nando secuencias de bits de longitud 32. Cada cadena representa un peso en el rangoLos pesos se inicializaron as:

Representacin

SolucinLa solucin al problema es, por tanto, un genoma de longituddonde denota el nmero de conexiones de la red. Al ser interpre-tados, estos pesos y la topologa de la RNG determinan la solucin del problema

PROBLEMAS DE PRUEBA

ARQUITECTURA

PROBLEMA

LOGSTICO

CLASIFICACION

PREDICCIN

CAPAS

3

3

3

NEURONAS EN LA CAPA DE PRESENTACIN

3

13

12

NEURONAS EN LA CAPA ESCONDIDA

2

5

2

FUNCIN

SIGMOIDE

SIGMOIDE

TANH

NEURONAS EN LA CAPA DE SALIDA

2

3

1

FUNCIN

SIGMOIDE

SIGMOIDE

LINEAL

CONEXIONES

14

88

29

GENOMA

448

2816

928

CONJUNTO DE ENTRENAMIENTO

54

160

108

CONJUNTO DE PRUEBA

12

18

12

Ejemplo de Pesos

BIAS

PESO

VALOR

*

W[1]( 1, 1)

-1.8574

*

W[1]( 1, 2)

2.9398

W[1]( 2, 1)

3.8708

W[1]( 2, 2)

-4.5245

W[1]( 3, 1)

-0.0062

W[1]( 3, 2)

0.3795

W[1]( 4, 1)

-0.2853

W[1]( 4, 2)

-1.5044

*

W[2]( 1, 1)

-1.5631

*

W[2]( 1, 2)

2.5868

W[2]( 2, 1)

7.9438

W[2]( 2, 2)

-7.7568

W[2]( 3, 1)

-7.7481

W[2]( 3, 2)

3.6868

Normas Alternativas

_1003055612.unknown

_1003399258.unknown

_1003413938.unknown

_1003055226.unknown

Problema Logstico

Rasgo 1

Rasgo 2

Rasgo 3

Vino A

Vino B

0.8421

0.1917

0.5722

1

0

0.5711

0.2055

0.4171

1

0

0.5605

0.3202

0.7005

1

0

0.8789

0.2391

0.6096

1

0

0.5816

0.3656

0.8075

1

0

0.3421

0.0711

0.4920

0

1

0.6947

0.1008

0.2995

0

1

0.3526

0.0771

0.4278

0

1

0.3000

0.1403

0.6257

0

1

0.3526

0.0929

0.6417

0

1

Problema de Agrupamiento

Rasgo 1

Rasgo 2

Rasgo3

...

Rasgo 13

Vino 1

Vino 2

Vino 3

0.8421

0.1917

0.5722

...

0.5613

1

0

0

0.5711

0.2055

0.4171

...

0.5506

1

0

0

0.5605

0.3202

0.7005

...

0.6469

1

0

0

0.8789

0.2391

0.6096

...

0.8573

1

0

0

0.3421

0.0711

0.4920

...

0.2867

0

1

0

0.6947

0.1008

0.2995

...

0.2511

0

1

0

0.3526

0.0771

0.4278

...

0.1013

0

1

0

0.3000

0.1403

0.6257

...

0.0549

0

1

0

0.4868

0.4447

0.5561

...

0.1797

0

0

1

0.4684

0.3103

0.5561

...

0.2011

0

0

1

0.4395

0.5553

0.5348

...

0.2297

0

0

1

0.4132

0.3399

0.4492

...

0.2974

0

0

1

Problema de Prediccin

t-12

t-11

t-10

t-9

t-8

t-7

t-6

t-5

t-4

t-3

t-2

t-1

Venta

0.323

0.358

0.404

0.382

0.348

0.424

0.487

0.482

0.437

0.352

0.287

0.368

0.378

0.358

0.404

0.382

0.348

0.424

0.487

0.482

0.437

0.352

0.287

0.368

0.378

0.386

0.404

0.382

0.348

0.424

0.487

0.482

0.437

0.352

0.287

0.368

0.378

0.386

0.469

0.382

0.348

0.424

0.487

0.482

0.437

0.352

0.287

0.368

0.378

0.386

0.469

0.411

0.348

0.424

0.487

0.482

0.437

0.352

0.287

0.368

0.378

0.386

0.469

0.411

0.432

0.424

0.487

0.482

0.437

0.352

0.287

0.368

0.378

0.386

0.469

0.411

0.432

0.439

0.487

0.482

0.437

0.352

0.287

0.368

0.378

0.386

0.469

0.411

0.432

0.439

0.498

0.482

0.437

0.352

0.287

0.368

0.378

0.386

0.469

0.411

0.432

0.439

0.498

0.491

0.437

0.352

0.287

0.368

0.378

0.386

0.469

0.411

0.432

0.439

0.498

0.491

0.435

0.352

0.287

0.368

0.378

0.386

0.469

0.411

0.432

0.439

0.498

0.491

0.435

0.358

0.287

0.368

0.378

0.386

0.469

0.411

0.432

0.439

0.498

0.491

0.435

0.358

0.299

Resultados (Clasificacin)

CONJUNTO DE ENTRENAMIENTO

(160/54 ELEMENTOS EN EL CONJUNTO)

Nmero de Respuestas Correctas en el Problema de Agrupacin

Indice de Entrenamiento

Nmero de Respuestas Correctas en el Problema Logstico

Indice de Entrenamiento

Promedio

Exponencial

148

92.50%

26

48.15%

70.32%

Media Absoluta

159

99.38%

43

79.63%

89.50%

Media Cuadrtica

146

91.25%

51

94.44%

92.85%

MiniMax

159

99.38%

48

88.89%

94.13%

BMLP

155

96.88%

44

81.48%

89.18%

Resultados (Clasificacin)

CONJUNTO DE PRUEBA

(18/12 ELEMENTOS EN EL CONJUNTO)


Indice de Generalizacin


Indice de Generalizacin

Promedio

Exponencial

11

61.11%

7

58.33%

59.72%

Media Absoluta

14

77.78%

6

50.00%

63.89%

Media Cuadrtica

12

66.67%

8

66.67%

66.67%

MiniMax

14

77.78%

9

75.00%

76.39%

BMLP

13

72.22%

9

75.00%

73.61%

Resultados (Prediccin)

PRUEBA

(12 ELEMENTOS EN EL CONJUNTO)

Error Promedio

Exponencial

5.74%

Media Absoluta

9.34%

Media Cuadrtica

10.04%

MiniMax

9.50%

BMLP

17.67%

ENTRENAMIENTO

(108 ELEMENTOS EN EL CONJUNTO)

Error Promedio

Exponencial

10.62%

Media Absoluta

5.27%

Media Cuadrtica

5.26%

MiniMax

5.68%

BMLP

3.35%


V E

Resultados (Entrenamiento)

ConclusionesEntrenamiento de RNs con AGsEl entrenamiento gentico es una alternativa viableSe evitan los parmetros de BMLPCon un buen AG se garantiza la convergencia

ConclusionesNormas No-estndarRNs entrenadas con normas no-estndar se desempean tan bien como o mejor que las tradicionalesEn este conjunto de experimentos la norma SAE result ser la ms efectiva

ConclusionesEl entrenamiento en modo de lotes es ms conveniente cuando se trabaja con RNGs

ConclusionesEste tipo de entrenamiento se puede aplicar a cualquier RN que implique optimizacinPor ejemplo, podemos optimizar:Mapas Auto-Organizados (Redes de Kohonen)

ConclusionesMquinas de Soporte VectorialMquinas de Funciones de Base RadialRedes Auto-Organizadas Difusas

Evolucin de ArquitecturasUna interesante forma de interaccin entre RNs y AGs es la de evolucionar las redes (y no los pesos, como en el primer caso discutido).Yao y Liu han propuesto un algoritmo basado en programacin evolutiva y no en AGs, mismo que consideramos de inters y comentamos a continuacin.

EPNetGenrese una poblacin de M redes al azar. El nmero de nodos escondidos y la densidad de conexiones inicial se generan uniformemente al azar dentro de ciertos rangos. Los pesos iniciales aleatorios se generan dentro de un rango restringido.Se entrena cada una de las RNs parcialmente durante un cierto nmero de pocas K0 usando un RP modificado (MRP) con tasas de aprendizaje adaptables.

EPNetEl nmero de pocas K0 es especificado por el usuario. El error E de cada RN se checa despus del entrenamiento parcial. Si E no se ha reducido significativamente, se asume que la RN ha sido atrapada en un ptimo local y la RN se marca como fracaso (f ); de otra forma se marca como xito (x).3. Se ordenan las RNs de acuerdo con sus errores de mejor a peor.

EPNet4. Si la mejor RN es aceptable o se ha llegado al mximo nmero de generaciones, ir al paso 11.5. Usar seleccin basada en rango para selec-cionar una RN padre de la poblacin. Si es de tipo x ir al paso 6; si no, ir al paso 7.6. M1. Entrenar parcialmente la RN padre durante K1 pocas usando MRP para obtener una RN hija y marcarla como en el paso 2, en donde K1 es un parmetro del usuario.

EPNetReemplazar la RN padre por la RN hija en lapoblacin actual e ir al paso 3.7. M2. Entrenar la RN padre usando un AG para obtener una RN hija. Si el AG reduce el error E de la RN padre significativamente, marcar la RN hija con x, reemplace la RN padre con la hija e ir al paso 3. De otra forma, descartar esta RN e ir al paso 8.8. M3. Decidir el nmero de nodos escondidos NE que van a eliminarse generando un nmero aleatorio entre 1 y un mximo del usuario. NE es, normalmente, muy pequeo: no mayor de 3.

EPNetBorrar ahora NE nodos de la red padre unifor-memente al azar. Entrenar parcialmente la RN podada con MRP para obtener una RN hija. Si esta RN es mejor que la peor en la poblacin, reemplazar la peor con la hija e ir al paso 3; o descartar a la RN hija e ir al paso 9.9. M4. Calcular la importancia relativa de cada conexin en la RN padre usando el mtodo noconvergente. Decidir el nmero de conexiones a quitar de la misma forma como se hizo en el paso 8.

EPNetAleatoriamente eliminar las conexiones de la RN padre de acuerdo con la importancia calculada. Parcialmente entrenar la red podada con MRP para obtener una hija. Si esta RN es mejor que la peor RN en la poblacin, reemplazar e ir al paso 3; o descartar esta RN e ir al paso 10.10. M5. Decidir el nmero de conexiones que deben ser agregadas igual que en el paso 8. Calcular la importancia relativa de cada conexin virtual con peso =0.

EPNetAleatoriamente agregar las conexiones a la RN padre para obtener el descendiente 1 (D1) de acuerdo con su importancia. La agregacin de nodos se implementa dividiendo un nodo elegido aleatoriamente en la RN padre. La nueva RN crecida es el descendiente 2 (D2). Parcialmente entrenar a D1 y a D2 con MRP para obtener un descendiente sobreviviente (DS). Reemplazar la peor red en la poblacin con DS e ir al paso 3.

EPNet11. Despus del proceso evolutivo, terminar el entrenamiento de la mejor red hasta que converja con los conjuntos de entrenamien-to y prueba.

Eliminacin de Conexiones y el Mtodo no ConvergenteCiertas conexiones se eliminan probabilstica-mente de acuerdo con su importancia. El nmero mximo de conexiones que se pueden eliminar se determina con un parmetro de usuario. La importancia se define con una prueba de significacin para la desviacin del peso en el proceso de actualizacin de los mismos.

Eliminacin de Conexiones y el Mtodo no ConvergenteDenotamos la actualizacinpor el gradiente local de la funcin lineal deerror L con respecto a la muestra t y el peso wij, en donde

La significacin de la desviacin de wij decero se define por la variable de prueba:

Eliminacin de Conexiones y el Mtodo no Convergente

en donde y denota el pro-medio sobre ; t=1,...,T

Eliminacin de Conexiones y el Mtodo no ConvergenteUn valor ms alto de test(wij ) indica una mayor importancia de la conexin con peso wij.La ventaja de este mtodo es que no requiere de que el mtodo converja para probar las conexiones.

Evolucin de ArquitecturasEPNet ha sido aplicado en varios problemas prcticos con xito. En general, puede encontrar RNs quasi-ptimas; puede agregar y podar RNs dinmicamente dependiendo de si la RN es mayor o menor de los necesario. Adems, el ordenamiento de las cinco mutaciones ha resultado en RNs muy compactas debido al sesgo hacia la eliminacin de conexiones y nodos.

Evolucin de ArquitecturasLas conexiones se modifican ms frecuentemente que los nodos porque las mutaciones a las conexiones causan menor alteracin que las mutaciones a los nodos. El algoritmo puede producir redes con buena capacidad de generalizacin.

Redes Neuronales de KohonenLas Redes de Kohonen, tambin llamadas Mapas Auto-Organizados o SOMs (por sus siglas en ingls) son sistemas de clasificacin no supervisada que permiten encontrar individuos de una poblacin que comparten caractersticas comunes.Esto los hace ideales para explorar espacios vectoriales en los que se desconoce la estructura de clasificacin de los vectores.

Redes de KohonenEn esta ilustracin se muestra un SOM de dos dimensiones. Las neuronas se representan...

Redes de Kohonen...en el mapa bidimen-sional, mientras quelos vectores de datos(representados por Xi)estn en la parte inferior. Cada neuronaapunta a los vectores, de manera que cada neurona tiene tantas coordenadas como rasgos hay en un vector.

Redes de KohonenSupongamos, por ejemplo, que cada vector de datos tiene 13 rasgos y que el mapa tiene una estructura de 4 X 4. La neurona (1,1) tiene 13 coordenadas:

Redes de KohonenPor otra parte, la neurona 16 (4,4) tiene las siguientes 13 coordenadas:

Redes de KohonenNuestro problema consiste en encontrar los valores de las coordenadas de c/u de las neuronas del mapa de manera que, en el espacio bidimensional de las neuronas, las neuronas vecinas apunten a aquellos datos que forman parte del mismo grupo.Por ejemplo, en el caso anterior, cada dato es una muestra de las componentes qumicas de alguno de tres medicamentos.

Mapas Auto-OrganizadosEn el mapa que se mues-tra, cada color identifi-ca una de las tres medi-cinas; y cada crculo co-rresponde a una neurona.Como puede verse, lasneuronas correspondien-tes a cada tipo de medi-cina son vecinas entresi.

Mapas Auto-OrganizadosAs, lo que pedimos de este tipo de redes, es un mapa del espacio multidimensional (en el ejemplo, de 13 dimensiones) al espacio bi-dimensional de tal manera que haya una cercana geogrfica entre las neuronas que mapean a miembros del mismo grupo.

Cmo logramos eso? Kohonen propuso el siguiente algoritmo:

Algoritmo de Kohonen1. Todas las coordenadas de las neuronas reciben, inicialmente, valores aleatorios.2. Se inicializa un contador de pocas 3. Se define la tasa de aprendizaje para la poca n. (Una poca es la presentacin de todas las muestras).4. Se define la funcin de retroalimentacin rik(n) de la neurona i a la neurona ganadora k en la poca n, dada por:

Algoritmo de Kohonenen donde es el radio de aprendizaje para la poca n y d es la distancia (euclidiana) entre la i-sima neurona y la k-sima neurona (o neurona ganadora, como se define ms adelante).5. Se define el factor de aprendizaje . Este tiene un valor cercano a 1 (por ejemplo 0.99)6. Se define el factor radial . Este tiene, asimismo, un valor cercano a 1 (p.e. 0.995).7. Se presenta la muestra x(t) de entrenamiento a la red.

Algoritmo de Kohonen8. Se determina cul de las neuronas est ms cerca de la muestra. Normalmente se calcula la distancia euclidiana entre el vector de pesos de las neuronas y el vector de entrenamiento. A esta neurona (la k-sima) se le denomina la neurona ganadora.9. Los vectores de peso de c/u de las neuronas perdedoras se modifican de acuerdo con:

10. Se ha cumplido una poca?Si: Se actualizan los los parmetros de aprendizaje, de acuerdo con:

Algoritmo de Kohonen

11. Se cumple algn criterio de convergencia? Si: Fin No: Ir al paso 7

Algoritmo de KohonenDebe notarse que la transformacin del espacio M-dimensional (de los M rasgos o elementos del vector de c/u de las muestras) al espacio bidimensional de las N neuronas se produce al encontrar la distancia

puesto que


La distancia entredos neuronas veci-nas es, convencio-nalmente, igual a 1, como se ilustra.

Algoritmo de KohonenNtese que la ex-presin de rik essimilar a la deuna distribucinnormal, centradaen dik y con unadesviacin como se ilustra.

Algoritmo de KohonenLo anterior implica que el ajuste al peso wik est en funcin de la diferencia que existe entre la neurona ganadora y la i-sima ponderada por la desviacin estndar para esta poca. Como en cada poca

la influencia de la neurona ganadora en sus vecinas se reduce exponencialmente con el nmero de poca (n).

Algoritmo de KohonenAnlogamente:

Algoritmo de KohonenEste algoritmo garantiza que neuronas que apuntan a datos similares sean vecinas en el mapa de la red, pero no resuelve el problema de cmo estn sectorizadas (a qu grupo pertenecen) las neuronas individuales.En otras palabras, empezamos con un mapa de neuronas disociadas de los vectores de datos y las asociamos en las coordenadas del mapa. Pero falta pintar los grupos.

AgrupamientoDado: Obtener:

Agrupamiento (Labeling)Al problema de encontrar los grupos a los que pertenecen las neuronas se le llama etiquetamiento (labeling) de las neuronas.Este proceso se puede automatizar de manera sencilla si se conocen, a priori, los grupos a los que pertenecen los datos de entrenamiento.

Algoritmo de AgrupamientoDadas N clases y un conjunto de objetos Oi (muestras) cada uno de los cuales pertenece a las clase se define una matriz P de N X M elementos, en donde M es el nmero de neuronas de la red. Los elementos de P se inicializan a 0.

Entonces se puede aplicar el siguiente procedimiento.

1. Presntese el objeto Oi de la clase C(i) a la red y calclese la distancia de todas las neuronas a este objeto. 2. Hgase

3. Repetir los pasos 1-2 hasta que todos los objetos hayan sido presentados a la red.4. Calcular Algoritmo de Agrupamiento

Algoritmo de Agrupamiento5. Asigne la etiqueta de clase Im a la neurona m.Puede ser que no haya un mximo nico ni est garantizado que haya al menos una neurona asignada a cada clase. En estos casos es necesario aplicar algn heurstico para desambiguar el sistema. Adicionalmente, se requieren, al menos, tantos objetos como neuronas haya en la red.

Matriz de Distancia

Agrupamiento AutomticoCuando se desconocen los grupos a los que perte-necen las neuronas, el problema es considera-blemente ms complejo.Debemos de determinar, en este caso, en dnde estn los lmites de las vecindades entre las neuronas del mapa.

El Problema de las Particiones

Es este el nmerocorrecto de parti-ciones?

Son adecuadas es-tas particiones?

Mtrica de ClasesPara establecer un sistema que determine, dado un nmero de clases, a qu clase pertenece cada una de las muestras, propusimos 4 mtricas:a) Distancia absoluta b) Distancia absoluta agrupadac) Distancia euclidianad) Distancia euclidiana agrupada

Mtrica de ClasesDistancia Absoluta:

Mtrica de ClasesDistancia Absoluta Agrupada:

Mtrica de ClasesDistancia Euclidiana:

Mtrica de ClasesDistancia Euclidiana Agrupada:

Resultados NumricosEn la figura se muestran los valores obtenidos de muestrear valores aleatoriamente para los 4 tipos de mtrica.

Resultados NumricosLo que se observa es el resultado de medir las distancias entre los grupos cuando los grupos son los conocidos (1a fila) y cuando la agrupacin se hace aleatoriamente.Lo que buscamos es la mtrica que nos entregue el menor valor posible para una agrupacin aleatoria, de manera que tratemos de encontrar la agrupacin que minimice ese valor.

Una Medida de AgrupamientoEl razonamiento anterior se deriva del hecho de que una asignacin aleatoria debe arrojar distancias menores que aquellas obtenidas del caso real.Si logramos una mtrica que tenga el comportamiento deseado, nuestro problema se convierte en uno de minimizacin de los valores derivados de agrupar las muestras segn la mtrica ms adecuada.

SimulacionesEn la siguiente figura se muestra una tabla con los resultados de aplicar las distintas mtricas a 5 grupos de 10, 15 y 20 muestras cada uno. En las 1as 4 columnas se muestra la desviacin.En las ltimas 4 se muestra el nmero de veces que la mtrica equivoc su diagnstico.

Simulaciones

Mtricas RobustasDe la tabla se puede ver que, en principio, las mtricas 1 y 3 inducen errores.Por otra parte las mtricas 2 y 4 no se equivocan. De estas, la mejor es la #4 cuya desviacin es, consistentemente, menor que el el caso de la #2.Es decir, la mtrica euclidiana agrupada se desempea mejor.

Eleccin de los Elementos del GrupoUna vez convencidos que la mtrica mejor es

debemos encontrar un mtodo para encontrar la agrupacin que minimice esta distancia.

El Problema de MinimizacinEste problema es no trivial.Supongamos que tenemos 160 muestras y 3 clases. Cuntas formas de agrupar estas 160 muestras en 3 clases existen?El nmero es O(2320) que es, aproximada-mente, O(1096). Obviamente una bsqueda exhaustiva es inaplicable.Pero para un AG la solucin de este problema es trivial.

GenomaPara resolver el problema de optimizacin debemos de construir un genoma (binario) que nos permita representar la solucin.Una posible forma de proponiendo una cadena de nmeros (un nmero por muestra) tal que cada nmero indique a qu grupo corresponde una muestra.

GenomaSiguiendo con el ejemplo anterior, donde hay 160 muestras y 3 categoras, el genoma se compone de 160 nmeros entre 1 y 3.Por ejemplo:

1232323231112323...123123

160 nmeros

GenomaNosotros decidimos codificar en binario, de manera que un individuo est representado por 160 X 2 bits; es decir, asociando parejas de bits representamos un nmero entre 0 y 2 (y no usamos la combinacin 11).El genoma es de 320 bits y, por lo tanto, hay del orden de 2320 posibles combinaciones de individuos.

Solucin al Problema

Solucin al ProblemaEn la grfica anterior se muestra el comportamiento de los mtodos de Las lneas inferio-res correspondena las mejores m-tricas.

ConclusionesEstableciendo una mtrica adecuada es posible convertir el problema de determinacin de grupos en problemas de clasificacin a uno de minimizacin.El problema de minimizacin se puede resolver fcil y eficientemente usando AGs.Para determinar el nmero de grupos se requiere ir aplicando el AG consecutiva-mente para 2, 3, ..., N grupos.

ConclusionesLos resultados obtenidos hasta el momento son alentadores pero no definitivos ya que el criterio de eleccin de la mtrica ms adecuada no asegura que los grupos encontrados sean los ptimos.En el futuro inmediato buscaremos un modelo matemtico del comportamiento de la mtrica para garantizar sus adecuadas propiedades matemticas en todos los casos.

Documents

La Combinación de RNs y AGs