Upload
encarna-barcenas
View
233
Download
0
Embed Size (px)
Citation preview
REPRESENTANTES
JOHNNY ALEXANDER PAEZ TOVAR
JOHAN ANDRES LOPERA ZULETA
REDES BAYESIANAS Y DECISIOacuteN ESTADIacuteSTICA
Las redes bayesianas son una representacioacuten grafica de dependencias para razonamiento probabiliacutestico en la cual los nodos representan variables aleatorias y los arcos representan relaciones de dependencia directa entre las variablesLa Figura muestra un ejemplo hipoteacutetico de una red bayesiana (RB) que representa cierto conocimiento sobre medicina En este caso los nodos representan enfermedades siacutentomas y factores que causan algunas enfermedades La variable a la que apunta un arco es dependiente de la que esta en el origen de este
iexclQUE SON LAS REDES BAYESIANAS
Por ejemplo una red bayesiana puede representar las relaciones probabiliacutesticas entre enfermedades y siacutentomas Dados los siacutentomas la red puede ser usada para computar las probabilidad de la presencia de varias enfermedades
Ejemplo de una red bayesiana Los nodos representan variables aleatorias y los arcos relaciones de dependencia
Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia
Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es
donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo
iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda
APRENDIZAJE DE CLASIFICADORES BAYESIANOS
Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas
1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante
Clasificador bayesiano simple
Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos
El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Las redes bayesianas son una representacioacuten grafica de dependencias para razonamiento probabiliacutestico en la cual los nodos representan variables aleatorias y los arcos representan relaciones de dependencia directa entre las variablesLa Figura muestra un ejemplo hipoteacutetico de una red bayesiana (RB) que representa cierto conocimiento sobre medicina En este caso los nodos representan enfermedades siacutentomas y factores que causan algunas enfermedades La variable a la que apunta un arco es dependiente de la que esta en el origen de este
iexclQUE SON LAS REDES BAYESIANAS
Por ejemplo una red bayesiana puede representar las relaciones probabiliacutesticas entre enfermedades y siacutentomas Dados los siacutentomas la red puede ser usada para computar las probabilidad de la presencia de varias enfermedades
Ejemplo de una red bayesiana Los nodos representan variables aleatorias y los arcos relaciones de dependencia
Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia
Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es
donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo
iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda
APRENDIZAJE DE CLASIFICADORES BAYESIANOS
Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas
1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante
Clasificador bayesiano simple
Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos
El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Ejemplo de una red bayesiana Los nodos representan variables aleatorias y los arcos relaciones de dependencia
Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia
Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es
donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo
iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda
APRENDIZAJE DE CLASIFICADORES BAYESIANOS
Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas
1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante
Clasificador bayesiano simple
Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos
El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia
Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es
donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo
iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda
APRENDIZAJE DE CLASIFICADORES BAYESIANOS
Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas
1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante
Clasificador bayesiano simple
Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos
El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es
donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo
iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda
APRENDIZAJE DE CLASIFICADORES BAYESIANOS
Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas
1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante
Clasificador bayesiano simple
Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos
El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
APRENDIZAJE DE CLASIFICADORES BAYESIANOS
Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas
1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante
Clasificador bayesiano simple
Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos
El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Clasificador bayesiano simple
Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos
El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Extensiones
bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas
iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol
BAN clasificador bayesiano simple aumentado con una red
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como
Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)
1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria
Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Propagacioacuten en Arboles
Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)
Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS
Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol
httpwwwyoutubecomwatchv=5N8crlktbKQ
GRACIAS