Introducción a Aprendizaje no SupervisadoAssociationRules.pdfMotivaci on k-MediasDefinici...

Motivacion k-Medias Definicion Motivacion Aproximacion Implementacion

Introduccion a Aprendizaje no Supervisado

Felipe Suarez, Alvaro Riascos

25 de abril de 2017

2 / 33

Contenido

1. Motivacion

2. k-MediasAlgoritmosImplementacion

3. Definicion

4. Motivacion

5. Aproximacion

6. Implementacion

3 / 33

Problema

Considere la siguiente imagen medica.

4 / 33

Problema

4 / 33

Problema

4 / 33

Historia

Hugo Steinhaus, 1887 - 1972

5 / 33

Historia

Hugo Steinhaus, 1887 - 1972

5 / 33

Definicion

El metodo de agrupamiento (clustering) k−medias es un procedimiento de clasificacion nosupervisado basado en centroides. Las observaciones x1, . . . , xn son asignadas a la clase delcentroide mas cercano µ1, . . . , µk a el.

6 / 33

Definicion

6 / 33

Definicion

6 / 33

Definicion

Definition

Sea X = {x1, . . . , xn} ⊆ Rd un conjunto de n observaciones numericas. El agrupamiento pork−medias consiste de particionar X en k subconjuntos X = S1 ∪ · · · ∪ Sk por medio de kcentroides µ1, . . . , µk que minimizan la varianza:

k∑i=1

∑x∈Si

||x− µi||2, donde µi =1

|Si|∑x∈Si

Propiedades

I Estimacion de grupos con simetrıa esferica.

I Las variables tienen la misma varianza.

I Se asume apriori que todos los grupos son de igual tamano.

7 / 33

Definicion

Definition

Sea X = {x1, . . . , xn} ⊆ Rd un conjunto de n observaciones numericas. El agrupamiento pork−medias consiste de particionar X en k subconjuntos X = S1 ∪ · · · ∪ Sk por medio de kcentroides µ1, . . . , µk que minimizan la varianza:

k∑i=1

∑x∈Si

||x− µi||2, donde µi =1

|Si|∑x∈Si

Propiedades

I Estimacion de grupos con simetrıa esferica.

I Las variables tienen la misma varianza.

I Se asume apriori que todos los grupos son de igual tamano.

7 / 33

Ejemplos

8 / 33

Ejemplos

8 / 33

Estado del Arte

Quien lo utiliza? Todavıa se investiga?

9 / 33

Algoritmo

El problema de optimizacion no es computacionalmente facil de resolver: es NP-Dificil! Existenheurısticas que aproximan la solucion a un mınimo local muy rapido.

Definition

Input: Datos numericos X = {x1, . . . , xn} ⊆ Rd, Numero de grupos k > 0.Output: Subgrupos (x1, y1), . . . , (xn, yn), con yi ∈ {1, . . . , k}.Algoritmo:

1. Inicialice los centros µ1, . . . , µk aleatoriamente.

2. Repita2.1 Calcula el subgrupo de cada observacion:

yi = arg minj||xi − µj ||

2.2 Actualiza los centros:

µi =1

|Si|∑x∈Si

10 / 33

Algoritmo

El problema de optimizacion no es computacionalmente facil de resolver: es NP-Dificil! Existenheurısticas que aproximan la solucion a un mınimo local muy rapido.

Definition

Input: Datos numericos X = {x1, . . . , xn} ⊆ Rd, Numero de grupos k > 0.Output: Subgrupos (x1, y1), . . . , (xn, yn), con yi ∈ {1, . . . , k}.Algoritmo:

1. Inicialice los centros µ1, . . . , µk aleatoriamente.

2. Repita2.1 Calcula el subgrupo de cada observacion:

yi = arg minj||xi − µj ||

2.2 Actualiza los centros:

µi =1

|Si|∑x∈Si

10 / 33

Ejemplo

11 / 33

Ejemplo

12 / 33

Ejemplo

13 / 33

Ejemplo

14 / 33

Ejemplo

15 / 33

Casos Problematicos

16 / 33

Casos Problematicos

17 / 33

Casos Problematicos

18 / 33

Alternativas

Existen alternativas al algoritmo heurıstico. Las alternativas ayudan a evitar la agrupaciondiscontinua y la simetrıa esferica.

1. Estandarizar variables para evitar sesgos de escala.

2. Fuzzy k-means:

f(X,S) =

k∑i=1

∑x∈Si

ui(x)||x− µi||2, ui(x) =||x− µi||−2/r∑i ||x− µi||−2/r

3. Mixturas Gaussianas: Se asume que la muestra es una suma de normales y se actualizan µ, σpor subgrupos ponderado por probabilidad P(xi|µj , σj).

4. Kernel k-medias: Se utiliza una funcion de kernel k(xi − µj , xi − µj) a cambio de ||xi − µj ||2.

5. Metricas no euclidianas: l1, l∞, lp.

19 / 33

Alternativas

2. Fuzzy k-means:

f(X,S) =

k∑i=1

∑x∈Si

19 / 33

Alternativas

2. Fuzzy k-means:

f(X,S) =

k∑i=1

∑x∈Si

19 / 33

Alternativas

2. Fuzzy k-means:

f(X,S) =

k∑i=1

∑x∈Si

19 / 33

Alternativas

2. Fuzzy k-means:

f(X,S) =

k∑i=1

∑x∈Si

19 / 33

Garantıas

1. Complejidad? NP-Difıcil, pero las heurısticas son O(nd).

2. Convergencia? El algortimo heurıstico converge rapidamente a un optimo local.

3. Robustez? No. De hecho es muy facil que el algoritmo falle:3.1 Muestra desbalanceada3.2 Sensible a escala3.3 No acepta datos categorticos3.4 Que pasa en dimensiones altas (d > n)?3.5 Convergencia a optimo local

20 / 33

Garantıas

20 / 33

Garantıas

3. Robustez? No. De hecho es muy facil que el algoritmo falle:

3.1 Muestra desbalanceada3.2 Sensible a escala3.3 No acepta datos categorticos3.4 Que pasa en dimensiones altas (d > n)?3.5 Convergencia a optimo local

20 / 33

Garantıas

3. Robustez? No. De hecho es muy facil que el algoritmo falle:3.1 Muestra desbalanceada

3.2 Sensible a escala3.3 No acepta datos categorticos3.4 Que pasa en dimensiones altas (d > n)?3.5 Convergencia a optimo local

20 / 33

Garantıas

3. Robustez? No. De hecho es muy facil que el algoritmo falle:3.1 Muestra desbalanceada3.2 Sensible a escala

3.3 No acepta datos categorticos3.4 Que pasa en dimensiones altas (d > n)?3.5 Convergencia a optimo local

20 / 33

Garantıas

3. Robustez? No. De hecho es muy facil que el algoritmo falle:3.1 Muestra desbalanceada3.2 Sensible a escala3.3 No acepta datos categorticos

3.4 Que pasa en dimensiones altas (d > n)?3.5 Convergencia a optimo local

20 / 33

Garantıas

3. Robustez? No. De hecho es muy facil que el algoritmo falle:3.1 Muestra desbalanceada3.2 Sensible a escala3.3 No acepta datos categorticos3.4 Que pasa en dimensiones altas (d > n)?

3.5 Convergencia a optimo local

20 / 33

Garantıas

20 / 33

Garantıas

20 / 33

Reglas de Asociacion

21 / 33

Motivacion

I Las reglas de asociacion son muy usadas en bases de datos comerciales.

I Tenemos ”canastas” de bienes que son vectores (muy grandes)

I ¿Podemos encontrar bienes que sean comprados juntos con mucha frecuencia?

I ¿Para que podrıa servir algo ası?

22 / 33

Motivacion

I Un almacen puede organizar mejor sus repisas para mejorar sus ingresos.

I Hacer mercadeo cruzado de ciertas promociones que tengan que ver la una con la otra.

I Segmentar clientes de acuerdo a sus patrones de consumo.

I Disenar experiencias para usuarios en paginas web.

I Recomendar pelıculas en Netflix? Productos en Amazon?

23 / 33

Motivacion

24 / 33

Aproximacion al problema

I Quisieramos encontrar algunas canastas v1, . . . , vn tales que su densidad de probabilidadPr(vi) sea ”alta”.

I Este problema se llama Mode Finding o Bump Hunting.

I Sin embargo hay muchısimas canastas posibles (¿Cuantos productos tiene Exito en susrepisas?)

I Una estimacion de la densidad de estas canastas siempre dara algo muy pequeno como paraser confiable.

I Ademas calcular esas densidades es incomputable! ¿Cuantas canastas hay?

25 / 33

¿Cuantos productos vende Amazon?

26 / 33

Simplificar

I Podemos dejar de buscar canastas prototipos y buscar ”regiones” en el consumo.

I Probablemente sea mucho mas interesante y facil de interpretar una relacion entre dos opocos productos.

I Podrıamos agrupar tipos de productos en una sola variable dummy.

I Podemos pensar en la probabilidad de todas las canastas que contienen el artıculo ω.

27 / 33

Con variables dummy

I Considerando un elemento de cada clase (posiblemente binaria) la ecuacion se simplifica

P [∩k∈K(zk = 1)] = P

[∏k∈K

zk = 1

]= T (K)

I Esto implica segmentar variables continuas que pueda haber en el analisis.

I El conjunto K se conoce como conjunto de bienes o item set.

28 / 33

Algoritmo Crecimiento de Arbol de patrones

Queremos encontrar reglas X → Y con buenas garantıa probabilısticas (confianza). Estimamos lasprobabilidades de las canatas con la frecuencia en las base de transacciones:

supp(X) :=T (X)

T, conf(X → Y ) =

supp(X y Y )

supp(X).

Queremos tener en cuenta solo aquellas transacciones con un soporte mınimimo t y confianzamınima s. El algoritmo del arbol busca reglas aprovechando:

1. X → Y y X → Z implican X → Y ∪ Z2. X ⊆ Y implica supp(X) ≥ supp(Y )

El algoritmo realiza:

1. Saca las items con soporte < t.

2. Ordena los items descendientemente por soporte.

3. Orden las transacciones descendientemente por tamano.

4. Construye un arbol con pesos en el que cada camino hacia la raız es una transaccion.

5. Para cada hoja del arbol, Y , la rama que la contiene es el antecedente que la implica X.

29 / 33

Algoritmo Crecimiento de Arbol de patrones

Queremos encontrar reglas X → Y con buenas garantıa probabilısticas (confianza). Estimamos lasprobabilidades de las canatas con la frecuencia en las base de transacciones:

supp(X) :=T (X)

T, conf(X → Y ) =

supp(X y Y )

supp(X).

Queremos tener en cuenta solo aquellas transacciones con un soporte mınimimo t y confianzamınima s. El algoritmo del arbol busca reglas aprovechando:

1. X → Y y X → Z implican X → Y ∪ Z2. X ⊆ Y implica supp(X) ≥ supp(Y )

El algoritmo realiza:

1. Saca las items con soporte < t.

2. Ordena los items descendientemente por soporte.

3. Orden las transacciones descendientemente por tamano.

4. Construye un arbol con pesos en el que cada camino hacia la raız es una transaccion.

5. Para cada hoja del arbol, Y , la rama que la contiene es el antecedente que la implica X.

29 / 33

Ejemplo

I Se buscan reglas de asociacion entre 9409 cuestionarios de compradores de un Mall en SanFrancisco.

I Se buscan relaciones entre las variables demograficas.

I Se parten las variables ordinales como ”Dummies” por la mediana.

I El algoritmo encuentra 6288 reglas de asociacion (difıcil de interpretar) con soporte mayor a10 %

30 / 33

Ejemplo

31 / 33

Limitaciones

I Esta sesgado hacia observaciones mas frecuentes que otras.

I Nunca encontrarıa Vodka ⇒ Caviar. A pesar de tener un lift alto.

I Esto es porque intrınsicamente se esta comparando con una distribucion de referenciauniforme.

I Esto se puede solucionar en conjuntos pequenos con una estimacion de la densidad basada enuna distribucion de referencia acorde a las probabilidades marginales.

I Se usa aprendizaje supervisado para ajustar una densidad relativa a esa distribucion (porejemplo una logıstica).

32 / 33

Introducción a Aprendizaje no SupervisadoAssociationRules.pdfMotivaci on k-MediasDefinici...

Documents

Teoría: Aprendizaje Supervisado€¦ · Aprendizaje supervisado: experiencia es un conjunto de ejemplos hx;f(x)i, de la función f a ser aproximada. Aprendizaje por refuerzos: experiencia

Aprendizaje no supervisado y el algoritmo wale sleep en redes neuronales

Aprendizaje supervisado en conjuntos de datos no ...openaccess.uoc.edu/webapps/o2/bitstream/10609/64768/3/...a un clasiﬁcador neuronal para construir un modelo de reconocimiento

Clasificacion y regresion mediante aprendizaje supervisado

Inteligencia en Redes de Comunicaciones - UC3M · Datos binarios Supervisado red de Hopfield red de Hamming No supervisado clasificador Carpenter/Grosberg Datos continuos Supervisado

Autores Supervisado por

EUSTAT Cap tulo 1 Aprendizaje Supervisado Los m etodos de este primer cap tulo est an divididos en dos principales grupos: la regresi on y la clasi caci on. En ambos casos, los datos

Tema 4: Aprendizaje de conceptos - Universidad de Sevilla · Tipos de aprendizaje y paradigmas x Tipos de aprendizaje u Supervisado u No supervisado u Con refuerzo x Paradigmas u

Evaluación de un método de Aprendizaje Supervisado para la

CLASIFICACIÓN DE TWEETS MEDIANTE MODELOS DE … Veronica Chamorro Alvarado.pdfclasificaciÓn de tweets mediante modelos de aprendizaje supervisado verónica lucía chamorro alvarado

APRENDIZAJE NO SUPERVISADO Y EL …jupiter.utm.mx/~tesis_dig/11612.pdf · redes neuronales de aprendizaje supervisado por lo que es dif cil encontrar informaci on detallada sobre

Aprendizaje No Supervisado y Redes de Kohonen Aplicaciones y Estado del Arte

MEJORAS EN EFICIENCIA Y EFICACIA...MEJORAS EN EFICIENCIA Y EFICACIA DE ALGORITMOS EVOLUTIVOS PARA APRENDIZAJE SUPERVISADO DEPARTAMENTO DE LENGUAJES Y SISTEMAS INFORMÁTICOS Memoria

IA Aprendizaje No Supervisado

FORTALECIMIENTO INSTITUCIONAL - Consejo de …€¦ · QUÉ ES EL PROCESO Y HERRAMIENTA ... que es apoyado y supervisado por un facilitador entrenado.Esto permite el aprendizaje del

Evidencia comparada, Tratamiento supervisado judicialmente:

Aprendizaje supervisado para la detección de amenazas Webopenaccess.uoc.edu/.../bitstream/10609/91066/6/jmoscardoTFM0119memoria.… · entrenamiento, verificación y pruebas. En

Redes neuronales artificiales del aprendizaje no supervisado

Redes Competitivas. Características Arquitectura: 1 nivel Full-connected Aprendizaje: no supervisado por parejas pesos fijos Función de activación f a

Árboles (CART), Random Forests, Boosting y Kernels › humanAI › arbolesKernels.pdf · Random Forests M etodos de Kernels: Aprendizaje no supervisado Boosting Arboles de clasi