Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
Razonamiento Automatico Curso 2000–2001
Tema 11: Aprendizaje deconceptos
Jose A. Alonso Jimenez
Miguel A. Gutierrez Naranjo
Dpto. de Ciencias de la Computacion e Inteligencia Artificial
Universidad de Sevilla
RA 2000–01 CcIa Aprendizaje de conceptos 11.1
Aprendizaje de conceptos
x Distintas aproximaciones
x Un concepto no es mas que el conjunto de todas sus instancias(Leibnitz)
.
u La Humanidad es el conjunto de todos los hombres.
u La sociedad andaluza es el conjunto de habitantes de Andalucıa.
u La relacion mayor que definida sobre el conjunto de los numeros reales es el conjunto
de pares (x, y) tales que x es mayor que y.
RA 2000–01 CcIa Aprendizaje de conceptos 11.2
Aprendizaje de conceptos
• Para conocer un conjuntos tenemos dos tipos de definiciones:
– Extensiva: Enumerando uno tras otro sus elementos
Vocales = {a, e, i, o ,u}– Intensiva: Dando una propiedad que tengan todos aquellos y solo
aquellos elementos del conjunto
ParesN = {n ∈ N|∃m ∈ N(n = 2×m)}
RA 2000–01 CcIa Aprendizaje de conceptos 11.3
Aprendizaje de conceptos
x El aprendizaje de conceptos estudia como conseguir la definicion de unacategorıa a partir de ejemplos positivos y negativos de esa categorıa.
x El aprendizaje de conceptos estudia como inferir automaticamenteuna funcion general sobre el conjunto de ejemplos que tome valoresbooleanos y caracterice los ejemplos conocidos.
f : Ejemplos −→ {0, 1}
x Dos objetivos:
u Compresion de la informacion
u Capacidad predictiva
RA 2000–01 CcIa Aprendizaje de conceptos 11.4
Aprendizaje de conceptos
x Graficamente
⊕ ⊕
⊕
⊕
⊕⊕
ªª
ª
ª
ª ª
ª◦
◦◦
◦
◦◦
◦
◦
◦◦
◦
◦
◦◦
◦
◦◦
◦
◦
'
&
$
%
'
&
$
%
'
&
$
%
'
&
$
%
RA 2000–01 CcIa Aprendizaje de conceptos 11.5
Ejemplo
Problema: Un amigo nuestro practica deportes acuaticos. Unos dıas lospractica y otros no. Nos gustarıa saber si hoy va a ir a practicarlos o no.
o o o O o o o
• Universo: Conjunto de todos los dias posibles
• Objetivo: Conjunto de todos los dias que practica deporte
• Funcion objetivo: Funcion caracterıstica del conjunto objetivo
Hacer deporte : Dıas −→ {0, 1}
RA 2000–01 CcIa Aprendizaje de conceptos 11.6
El problema de la representacion
¿Como representamos un dıa?
• Pares atributo–valor
• Seleccion de atributos: Cielo, Temperatura, Humedad, VientoAgua, Prevision
• Seleccion de valores:
Cielo: Soleado, lluvioso. Viento: Fuerte, debil, sin viento.Temperatura: Alta, templada, frıa. Agua: Caliente, templada, frıa.Humedad: Alta, normal, baja. Prevision: Cambio, Sigue igual.
RA 2000–01 CcIa Aprendizaje de conceptos 11.7
Ejemplo
Conjunto de entrenamiento:
Cielo Temperatura Humedad Viento Agua Prevision Hacer DeporteSoleado Templada Normal Fuerte Templada Sigue igual SıSoleado Templada Alta Fuerte Templada Siguel igual SıLluvioso Frıa Alta Fuerte Templada Cambio NoSoleado Templada Alta Fuerte Frıa Cambio Sı
• ¿Cuando hacemos deporte?
• ¿Podemos definir el concepto Hacer Deporte?
RA 2000–01 CcIa Aprendizaje de conceptos 11.8
El problema del aprendizaje de conceptos (I) (Inf.)
•Dados:
– Un universo o conjunto de instancias X (Dıas posibles, cada unodescrito por los atributos Cielo, Temperatura, Humedad, Viento,Agua y Prevision).
– Una funcion de clasificacion definida sobre X desconocida:
c : X −→ Clasif
donde Clasif es el conjunto de posibles clasificaciones que tiene unainstancia. En nuestro ejemplo podemos considerar
Clasif={Sı, No} o Clasif = {0, 1}
RA 2000–01 CcIa Aprendizaje de conceptos 11.9
El problema del aprendizaje de conceptos (Inf.)
– Un conjunto de entrenamiento (conocido)
D = {(x1, c(x1)), (x2, c(x2)), . . . , (xn, c(xn))}formado por pares (xi, c(xi)) donde xi ∈ X y c(xi) es la clasificacionde la instancia xi por la funcion c.
• Encontrar:
– Una funcion objetivo
h : X −→ Clasif
tal que si (xi, c(xi)) ∈ D entonces h(xi) = c(xi)
RA 2000–01 CcIa Aprendizaje de conceptos 11.10
Hipotesis
La Hipotesis del Aprendizaje Inductivo:
Cualquier hipotesis que aproxime la funcion obje-tivo sobre un conjunto suficientemente grande deejemplos de entrenamiento tambien aproximarala funcion objetivo sobre el resto de los ejemplos.
RA 2000–01 CcIa Aprendizaje de conceptos 11.11
El problema de la representacion
Seguimos con nuestro ejemplo
•Muchas representaciones posibles
• Pares valor–atributo
•Hipotesis: Conjuncion de restricciones sobre las instancias de los atrib-utos
• Cada restriccion puede ser:
– Un valor especıfico (p. e. Agua = Templada)
– Cualquier valor (p. e. Agua = ?)
– No se permite ningun valor (p. e. Agua = ∅)
RA 2000–01 CcIa Aprendizaje de conceptos 11.12
Elpro
ble
ma
de
lare
pre
senta
cion
Eje
mplo
s
•Pod
emos
consi
der
arqu
elo
sdıa
spar
ahac
erde-
por
teso
naq
uel
los
enlo
squ
e
Cie
lo=
Sol
eado
yTem
per
atura
=?
yH
um
edad
=?
yV
ient
o=
Fuer
tey
Agu
a=
?y
Pre
visi
on=
Sig
ue
igual
•Oco
nuna
repre
sent
acio
nm
asco
mpac
ta
(Sol
eado,
?,?,
Fuer
te,?
,Sig
ue
igual
)
•Que
repre
sent
ael
subco
nju
nto
de
Xfo
rmad
opor
aquel
osdıa
sen
los
que
elat
ributo
Cie
loto
ma
elva
lorSol
eado
,el
Vie
nto
esFuer
tey
laPre
vision
esSig
ue
igual
,y
los
dem
asat
ributo
spued
ento
mar
cual
quie
rva
lor.
RA
2000
–01
CcI a
Apre
ndiz
aje
de
conce
pto
s11
.13
Apre
ndiz
aje
induct
ivo
xU
nsi
stem
afo
rmal
con
un
lenguaje
Ly
tres
suble
nguaje
s:
uL
B(e
lle
ngu
aje
delco
noc
imie
nto
base
)
uL
H(e
lle
ngu
aje
dela
shi
pot
esis
)
uL
E(e
lle
ngu
aje
delo
sej
empl
os)
xElpro
ble
ma
sedefine
de
lasi
guie
nte
manera
:
•Dados
–B∈
LB
Con
ocim
ient
obas
e
–E⊕∈
LE
Eje
mplo
spos
itiv
os
–Eª∈
LE
Eje
mplo
sneg
ativ
os
tale
squ
ecu
mpla
n:
∗Nec
esid
ada
prio
ri:∃e
⊕∈
E⊕
T6`
e⊕
∗Con
sist
enci
aa
prio
ri:∀e
ª∈
Eª
T6`
eª
•Enco
ntr
ar
un
conju
nto
finit
oH∈
LH
talqu
ese
cum
-pla
n ∗Sufici
enci
aa
post
erio
ri:∀e
⊕∈
E⊕
T⋃
H`
e⊕
∗Con
sist
enci
aa
post
erio
ri:∀e
ª∈
Eª
T⋃
H6`
eª
RA
2000
–01
CcI a
Apre
ndiz
aje
de
conce
pto
s11
.14
Aprendizaje de conceptos
• En nuestro ejemplo no consideramos conocimiento base
•Dados:
• LE es el conjunto de todas las sextuplas formadas por los corrrespondi-entes valores, esto es, todas las instancias expresables.
• LH sera el conjunto de todas la aplicaciones
h : LE −→ {0, 1}cada aplicacion se representara como una sextupla del tipo
(Soleado,?,?,Fuerte,?,Sigue igual)
que represeanta el conjunto de instancias clasificadas positivamente.
RA 2000–01 CcIa Aprendizaje de conceptos 11.15
Aprendizaje de conceptos
• Un conjunto de entrenamiento
E⊕ = {(xi, 1}i∈I Eª = {(xi, 0}i∈I
(o de manera resumida D = {(xi, c(xi)}i∈I)
• Encontrar:
h ∈ H tal que ∀i ∈ I(h(xi) = c(xi))
RA 2000–01 CcIa Aprendizaje de conceptos 11.16
Aprendizaje como busqueda
• Numero de instancias del conjunto X = 3× 2× 2× 2× 2× = 96 (Cielopuede tomar tres posibles valores, el resto de los atributos dos.
• Numero de hipotesis sintacticamente distintas = 5×4×4×4×4×4 = 5120(En cada atributo podemos considerar ademas los valores “?” y”∅”
• Numero de hipotesis semanticamente distintas = 1+(4×3×3×3×3×3) =973 (Basta con que ∅ aparezca una vez en la hipotesis para que ningunejemplo sea positivo.)
RA 2000–01 CcIa Aprendizaje de conceptos 11.17
Estructura de retıculo (I)
x Definicion 1: Una relacion R es un orden parcial sobre un conjunto Xsi se satisfacen las siguientes condiciones:
u (∀x ∈ X) [xRx] Reflexiva
u (∀x, y ∈ X) [(xRy ∧ yRx) ⇒ x = y] Antisimetrica
u (∀x, y, z ∈ X) [(xRy ∧ yRz) ⇒ xRz] Transitiva
x Definicion 2: Sea S un conjunto con un orden parcial R y T un subcon-junto de S. Entonces, se dice que a ∈ S es un cota superior de T si paratodo x ∈ T se tiene xRa. Analogamente se dice que b ∈ S es una cotainferior de T si para tod x ∈ T se tiene que bRx.
RA 2000–01 CcIa Aprendizaje de conceptos 11.18
Estructura de retıculo (I)
x Definicion 3: Sea S un conjunto con un orden parcial R y T un subcon-junto de S. Entonces, se dice que a ∈ S es el supremo de T , sup(T ) sia es una cota superior, y para cualquier otra cota superior a′, se tieneque aRa′. De manera analoga, se dice que b ∈ S es el ınfimo de T , inf (T )si b es una cota inferior, y para cualquier otra cota inferior b′, se tieneque b′Rb.
x Definicion 4: Sea S un conjunto con un orden parcial R. Decimos queel par (S, R) es un retıculo si para cualquier subconjunto finito T de S,existen inf (T ) y sup(T )
RA 2000–01 CcIa Aprendizaje de conceptos 11.19
Instancias, hipotesis y ordenes
h = <Sunny, ?, ?, Strong, ?, ?>
h = <Sunny, ?, ?, ?, ?, ?>
h = <Sunny, ?, ?, ?, Cool, ?>
2h
h3
h
Instances X Hypotheses H
Specific
General
1x
2x
x = <Sunny, Warm, High, Strong, Cool, Same>
x = <Sunny, Warm, High, Light, Warm, Same>
1
1
2
1
2
3
RA 2000–01 CcIa Aprendizaje de conceptos 11.20
Espacios de versiones
Una hipotesis h es consistente con el conjunto de entrenamiento D delconcepto objetivo c si y solo si φh(x) = c(x) para cada ejemplo de entre-namiento (x, c(x)) de D.
Consistente(h,D) ≡ (∀(x, c(x)) ∈ D)φh(x) = c(x)
donde φh es la funcion objetivo asociada a la hipotesis h.
Nota: En lo que sigue, identificamos h con φh
RA 2000–01 CcIa Aprendizaje de conceptos 11.21
Espacios de versiones
El espacio de versiones V SH,D correspondiente al espacio de hipotesisH y el conjunto de entrenamiento D es el subconjunto de H consistente conel conjunto de entrenamiento D.
V SH,D ≡ {h ∈ H|Consistente(h,D)}
x El espacio de versiones es el conjunto de todas las posibles soluciones alproblema de aprendizaje.
RA 2000–01 CcIa Aprendizaje de conceptos 11.22
Ejemplo
Cielo Temperatura Humedad Viento Agua Prevision Hacer DeporteSoleado Templada Normal Fuerte Templada Sigue igual SıSoleado Templada Alta Fuerte Templada Siguel igual SıLluvioso Frıa Alta Fuerte Templada Cambio NoSoleado Templada Alta Fuerte Frıa Cambio Sı
Espacio de versiones:
(Soleado, Templada, ?, Fuerte, ?,?) (Soleado, ?, ?, Fuerte, ?,?)(Soleado, Templada, ?, ?, ?,?) (?, Templada, ?, Fuerte, ?,?)(Soleado, ?, ?, ?, ?,?) (?, Templada, ?, ?, ?,?)
RA 2000–01 CcIa Aprendizaje de conceptos 11.23
El algoritmo Enumera–y–elimina
Algoritmo para encontrar el espacio de versiones de unproblema de aprendizaje
1. Inializa Espacio–de–versiones como una lista conteniendo todas las hipotesisde H .
2. Para cada ejemplo de entrenamiento (x, c(x))
• Elimina de Espacio–de–versiones todas las hipotesis h para las queh(x) 6= c(x)
3. Salida: Espacio–de–versiones
RA 2000–01 CcIa Aprendizaje de conceptos 11.24
Representacion
Sea H un conjunto de hipotesis y ≤ el orden de generalidad.
• Se dice que g ∈ H es un elemento de maxima generalidad de H si
¬∃g′ ∈ H (g < g′)
• Se dice que s ∈ H es un elemento de maxima especificidad de H si
¬∃s′ ∈ H (s′ < s)
RA 2000–01 CcIa Aprendizaje de conceptos 11.25
Representacion
• La Cota General, G, de un espacio de hipotesis H respecto de unconjunto de entrenamiento D es el conjunto de los elementos de maximageneralidad de H consistentes con D
G = {g ∈ H|consistente(g, D) ∧ (¬∃g′ ∈ H)[(g′ > g) ∧ Consistenete(g′, D)]}• La Cota Especıfica, S, de un espacio de hipotesis H respecto de un
conjunto de entrenamiento D es el conjunto de los elementos de maximaespecificidad de H consistentes con D
S = {s ∈ H|consistente(s,D) ∧ (¬∃s′ ∈ H)[(s > s′) ∧ Consistenete(s′, D)]}
RA 2000–01 CcIa Aprendizaje de conceptos 11.26
Teorema
Teorema de representacion del espacio de versiones:
Sea X un conjunto arbitrario de instancias y sea H un conjunto de hipo-tesis de valores booleanos definido sobre X . Sea c : X ← {0, 1} unafuncion de clasificacion definida sobre X y D = {(xi, c(xi)}i∈I un conjuntode entrenamiento. Sean G y S las cotas general y especıfica resp. del espaciode hipotesis H respecto de un conjunto de entrenamiento D. Entonces
V SH,D = {h ∈ H|(∃s ∈ S)(∃g ∈ G)(g ≥ h ≥ s)}
RA 2000–01 CcIa Aprendizaje de conceptos 11.27
Ejemplo de espacio de versiones
S:
<Sunny, Warm, ?, ?, ?, ?><Sunny, ?, ?, Strong, ?, ?> <?, Warm, ?, Strong, ?, ?>
<Sunny, Warm, ?, Strong, ?, ?>{ }
G: <Sunny, ?, ?, ?, ?, ?>, <?, Warm, ?, ?, ?, ?> { }
RA 2000–01 CcIa Aprendizaje de conceptos 11.28
Generalizacion y especializacion
Sea H un espacio de versiones y h ∈ H
• h′ ∈ H es una generalizacion minimal de h verificando la propiedad Psi
– h′ > h, h′ verifica la propiedad P y no existe h′′ ∈ H verificando lapropiedad P cumpliendo h < h′′ < h′
• h′ ∈ H es una especializacion minimal de h verificando la propiedad Psi
– h > h′, h′ verifica la propiedad P y no existe h′′ ∈ H verificando lapropiedad P cumpliendo h′ < h′′ < h
RA 2000–01 CcIa Aprendizaje de conceptos 11.29
Algoritmo Eliminacion–de–candidatos
• Inicio: Dados H y D
– G ← El conjunto de elementos de maxima generalidad de H
– S ← El conjunto de elementos de maxima especificidad de H
• Para cada ejemplo d del conjunto de entrenamiento D,
– Si d es un ejemplo positivo
∗ Elimina de G cualquier hipotesis inconsistente con d
∗ Para cada hipotesis s de S que no sea consistente con d
· Elimina s de S
· Anade a S todas las generalizaciones minimales h de s tales que
RA 2000–01 CcIa Aprendizaje de conceptos 11.30
Algoritmo Eliminacion–de–candidatos
1. h sea consistente con d
2. Algun elemento de G es mas general que h
· Elimina de S cualquier hipotesis mas general que otra hipotesis de S
– Si d es un ejemplo negativo
∗ Elimina de S cualquier hipotesis inconsistente con d
∗ Para cada hipotesis g de G que no sea consistente con d
· Elimina g de G
· Anade a G todas las especializaciones minimales h de g tales que
1. h sea consistente con d
2. Algun elemento de S es mas especıfico que h
· Elimina de G cualquier hipotesis menos general que otra hipotesis de G
RA 2000–01 CcIa Aprendizaje de conceptos 11.31
Eje
mplo
(I)
{<?,
?, ?
, ?, ?
, ?>
}
S0:
{<Ø
, Ø, Ø
, Ø, Ø
, Ø>
}
G0:
Tra
inin
g ex
ampl
es:
. <Su
nny,
War
m, N
orm
al, S
tron
g, W
arm
, Sam
e>, E
njoy
Spo
rt =
Yes
1
. <Su
nny,
War
m, H
igh,
Str
ong,
War
m, S
ame>
, Enj
oy S
port
= Y
es2
S1
:<
Sunn
y, W
arm
, Nor
mal
, Str
ong,
War
m, S
ame>
{}
S2
:<
Sunn
y, W
arm
, ?, S
tron
g, W
arm
, Sam
e>{
}
12
0G
, G:
G,
<?,
?, ?
, ?, ?
, ?>
{}
S 0:
{}
∅, ∅
, ∅, ∅
, ∅, ∅
<>
RA
2000
–01
CcI a
Apre
ndiz
aje
de
conce
pto
s11
.32
Eje
mplo
(II)
G3:
<R
ainy
, Col
d, H
igh,
Str
ong,
War
m, C
hang
e>,
Enj
oySp
ort=
No
Tra
inin
g E
xam
ple:
3.S 2, S
3:
<Su
nny,
War
m, ?
, Str
ong,
War
m, S
ame>
{}
<Su
nny,
?, ?
, ?, ?
, ?>
<
?, W
arm
, ?, ?
, ?, ?
>
<?,
?, ?
, ?, ?
, Sam
e>{
}
G2:
<?,
?, ?
, ?, ?
, ?>
{}
Tra
inin
g E
xam
ple:
Enj
oySp
ort =
Yes
<Su
nny,
War
m, H
igh,
Str
ong,
Coo
l, C
hang
e>,
4.
S3:
<Su
nny,
War
m, ?
, Str
ong,
War
m, S
ame>
{}
S4:
<Su
nny,
War
m, ?
, Str
ong,
?, ?
>{
}
G4:
<Su
nny,
?, ?
, ?, ?
, ?>
<
?, W
arm
, ?, ?
, ?, ?
>
{}
G3:
<Su
nny,
?, ?
, ?, ?
, ?>
<
?, W
arm
, ?, ?
, ?, ?
>
<?,
?, ?
, ?, ?
, Sam
e>{
}
RA
2000
–01
CcI a
Apre
ndiz
aje
de
conce
pto
s11
.33
Convergencia del algoritmo
Si el conjunto de entrenamiento es suficientemtente grande, ¿Podemos garan-tizar que el espacio de versiones contiene como unico elemento la funcion declasificacion? Sı si se verifica:
• No hay errores en la clasificacion de los ejemplos de entrenamiento
• La hipotesis correcta esta en el espacio de hipotesis
RA 2000–01 CcIa Aprendizaje de conceptos 11.34
Bibliografıa
Mitchell, T. M. Machine Learning
• Texto: McGraw–Hill, 1997. Capıtulos I y II.
• Web: http://www.cs.cmu.edu/ tom/mlbook.html
RA 2000–01 CcIa Aprendizaje de conceptos 11.35