Upload
internet
View
107
Download
0
Embed Size (px)
Citation preview
Introdução à Classificação Introdução à Classificação ConceitualConceitual
Prof. Francisco de A. T. de [email protected]
Agrupamento (Clustering)Agrupamento (Clustering)Forma de aprendizagem de máquina não supervisionada
Dado: Um conjunto de objetos alguns critérios de agrupamento
Objetivo: Formar (encontrar) grupos (clusters) C1, C2, …, Ck, tal que o agrupamento obtido (ie, conjunto de grupos) é considerado de alta qualidade (talvez não otimo) em relação à qualidade dos critérios
Os metodos usuais de agrupamento são conhecidas como Taxinomia Numérica
Em Taxonomia Numerica, um objeto (individuo, observação) é descrito por p variáveis y1, yc, , yp
= (y1(), y2(), , yp())
Uma variável y (ou descritor) é uma funçãoy: D é o conjunto de observações y()
D é o domínio da variável y
As variáveis podem ser
quantitativascontínuas (ex, Peso, Altura)discretas (ex, numero de antenas, número de filhos)
qualitativas (ex, sexo, grau de instrução)binárias (ex, presença de asas)
com escala
nominal (ex, sexo (masculino, feminino)),ordinal (ex, Grau de instrução{primário, segundário,
superior})intervalar (ex, grau celsius)proporcional (ex, grau kelvin, idade)
Tabelas individuos variáveis
Nome Cobertura doCorpo
Cavidades doCoração
Temperaturado Corpo
Fertilização
mamífero pelos 4 regulada internapássaro penas 4 regulada interna
réptil pele seca 4 imperfeitas não regulada internaanfíbio pele úmida 3 não regulada externapeixe escamas 2 não regulada externa
Taxonomia Numerica:formar (encontrar) grupos (clusters) C1, C2, …, Ck, tal que dissimilaridade entre os objetos:
de um mesmo grupo tende a ser minimizada de grupos diferentes tende à ser maximizada
Um índice de dissimilaridade d é uma função
d: R+
(, ’) d(, ’)que satisfaz as seguintes propriedades a) , d (, ) = 0b) (, ’) , d(, ’) = d(’, ) (simetria)
Exemplos de índices de dissimilaridadeExemplos de índices de dissimilaridade
1,)()(),(
1
1
p
jbjajba yyd
a) Tabelas de variáveis quantitativas
b) Tabelas de variáveis binárias
a 1 0
b
1
0
x y
z w
wzyxzy
d ba ),(
Tipos de espaços de classificação (ie, estrutura a priori do espaço das Tipos de espaços de classificação (ie, estrutura a priori do espaço das observações)observações)
Seja Seja um conjunto de indivíduos à agrupar um conjunto de indivíduos à agrupar
PartiçãoPartição
Uma partição de Uma partição de é um conjunto de subconjuntos não vazios P = (P é um conjunto de subconjuntos não vazios P = (P11, , , , PPkk) de interseção vazia dois a dois e cuja união forma ) de interseção vazia dois a dois e cuja união forma
a) a) l l {1, {1, , k}, P, k}, Pll b) b) l,m l,m {1, {1, , k}, l , k}, l m, P m, Pll P Pmm = = c) c) ll P Pll = =
ObservaçõesObservações
**
* *
*
*
*
P1
P2
P3
**
* *
*
*
*
Partição
CoberturaCobertura
Uma cobertura de Uma cobertura de é um conjunto de subconjuntos não vazios P = (P é um conjunto de subconjuntos não vazios P = (P11, , , P, Pkk) cuja união forma ) cuja união forma
a) a) l l {1, {1, , k}, P, k}, Pll b) b) ll P Pll = =
* **
*
*
*
*
P1
P2
P3
* **
*
*
*
*
HierarquiaHierarquia
Seja H um conjunto de subconjuntos não vazios de Seja H um conjunto de subconjuntos não vazios de . H é uma hierarquia . H é uma hierarquia sese
a) a) H; H;b) b) , {, {} } H Hc) c) h, h h, h’’ H, tem-se: h H, tem-se: h h h’’ = = ou h ou h h h’’ ou h ou h’’ h h
* 7* 5
* 6 * 4
* 2
* 1
* 3
**
**
*
*
*
1 23 4 5 6 7
PiramidePiramide
Seja P um conjunto de subconjuntos não vazios de de Seja P um conjunto de subconjuntos não vazios de de . P é uma piramide . P é uma piramide sese
a) a) P; P;b) b) , {, {} } P Pc) c) h, h h, h’’ P, tem-se: h P, tem-se: h h h’’ = = ou h ou h h h’’ P Pd) Existe uma ordem d) Existe uma ordem tal que todo elemento de P seja um intervalo de tal que todo elemento de P seja um intervalo de
* 2* 1
* 3
1 23 4 5 6 7
* 7* 5
* 6 * 4
Em Taxonomia Numerica distingue-se tres grupos de métodosEm Taxonomia Numerica distingue-se tres grupos de métodos
Técnicas de OtimizaçãoTécnicas de Otimização
Objetivo: obter partição. Número de grupos sempre fornecido pelo usuárioObjetivo: obter partição. Número de grupos sempre fornecido pelo usuário
Técnicas hierarquicasTécnicas hierarquicas
Objetivo: obter uma hierarquia (ou uma piramide) Objetivo: obter uma hierarquia (ou uma piramide) Pode-se obter uma partição “cortando-se” a hierarquia em um determinado nível.Pode-se obter uma partição “cortando-se” a hierarquia em um determinado nível.
Técnicas de CoberturaTécnicas de Cobertura
Objetivo: obter grupos que eventualmente podem partilhar indivíduos.Objetivo: obter grupos que eventualmente podem partilhar indivíduos.
Abordagens para classificaçãoAbordagens para classificação
Agrupamento conceitual (intencional)• simbólico• híbrido (redes bayesianas)
Nebuloso (lógica fuzzy) Conexionista (redes neurais) Evolucionista (algoritmos genéticos) Estatística
IFCS
BCS SFC GfKlJCS
Congressos Bianuais da IFCS
Congressos anuais das Associações Nacionais
http://edfu.lis.uiuc.edu/~class/ifcs
CSNA•••
Agrupamento ConceitualAgrupamento Conceitual
Um grupo pode ser descrito em:Um grupo pode ser descrito em:
extensão (enumeração dos seus membros) ouextensão (enumeração dos seus membros) ouem compreensão (conjunto de propriedades que definem a pertinência de um em compreensão (conjunto de propriedades que definem a pertinência de um elemento à um grupo)elemento à um grupo)
Agrupamento não conceitual fornece:Agrupamento não conceitual fornece:
apenas descrição em extensão de cada grupo. apenas descrição em extensão de cada grupo. obtenção dos grupos leva em conta apenas as descrições dos individuos.obtenção dos grupos leva em conta apenas as descrições dos individuos.
Agrupamento conceitual fornece:Agrupamento conceitual fornece:também a descrição em compreensão (intencional) de cada grupo.também a descrição em compreensão (intencional) de cada grupo.formação dos grupos levam em consideração também a qualidade da descrição em formação dos grupos levam em consideração também a qualidade da descrição em compreensão de cada grupo compreensão de cada grupo
Agrupamento Conceitual funciona em 2 fases:Agrupamento Conceitual funciona em 2 fases:
agregação: agregação: encontrar grupos de um conjunto de individuos segundo uma estrutura encontrar grupos de um conjunto de individuos segundo uma estrutura considerada e um ou mais critérios fixadosconsiderada e um ou mais critérios fixados
caracterização: caracterização: determinar uma descrição (conceito) de cada um dos grupos determinar uma descrição (conceito) de cada um dos grupos obtidos na fase de agregaçãoobtidos na fase de agregação
Em aprendizagem caracterização = Em aprendizagem caracterização = aprendizagem à partir de exemplosaprendizagem à partir de exemplos
As 2 fases podem ser:As 2 fases podem ser:simultaneassimultaneassequênciadas (na maioria dos casos)sequênciadas (na maioria dos casos)
Geração de k AgrupamentosGeração de k Agrupamentosem competiçãoem competição
Iniciar com (Conjunto de Individuos)
Agrupamento 1Agrupamento k•••
{C11, …, C1m1} {Ck1, …, Ckmk}
Iniciar com um Agrupamento
•••
Geração de descrições conceituais em competição par o Agrupamento
{D1(C1), ... D1(C1m1) ... {Dn(C1), ... Dn(C1m1)
Tipos de abordagens em Agrupamento Conceitual:Tipos de abordagens em Agrupamento Conceitual:3 dimensões3 dimensões
Estrutura do espaço de observaçãoEstrutura do espaço de observação::partição, hierarquia, coberturapartição, hierarquia, cobertura
AlgoritmoAlgoritmo::incremental (incremental (FormaçãoFormação de Conceitos) ou batch ( de Conceitos) ou batch (DescobertaDescoberta de Conceitos) de Conceitos)
Linguagem de descriçãoLinguagem de descrição (representação do conhecimento): (representação do conhecimento):Logica de Atributos (ordem 0)Logica de Atributos (ordem 0)Logica de Predicados de 1a OrdemLogica de Predicados de 1a OrdemLogica de predicados de 2a OrdemLogica de predicados de 2a Ordem
Caracterização (descrição) dos grupos em lógica 0
Seja um conjunto de observações descritas por p atributos (variáveis) y1, …, yp cujos dominios são D1, …, Dp.
Um objeto simbólico a = [y1 A1] … [y1 Ap], onde
Ai Di, i {1, …, p}, expressa a condição “atributo y1 toma seus valores em A1 e … e atributo yp toma os seus valores em Ap
Pode-se associar à a uma função f: {1, 0} tal quefa() = 1 yi () Ai, i {1, …, p},
A extensão de a é definida como ext (a) = { / fa()=1}
Exemplo
variaveis Dominios
Cor
Tamanho
Forma
{azul, verm, verde}
{grande, medio, pequeno}
{esfera, bloco, triangulo}
Considere o seguinte objeto simbólico
a = [Cor {az,vm}] [Tam {g}] [Forma {e,b}]
a é uma generalização de qualquer conjunto de objetos cuja cor é azul ou vermelho, cujo tamanho é grande e cuja forma é esfera ou bloco
Da mesma forma, esta na extensão de a (é membro de a) sefa()=1, isto é, se sua cor é azul ou vermelha, seu tamanho é grande e sua forma é esfera ou bloco
Dizemos que um objeto simbolico a é uma generalização de um conjunto de individuos se , fa()=1
Sejam dois objetos simbólicos a = i [yi Ai] e b = i [yi Bi]. Diz-se que b < a se Bi Ai i. Nesse caso diz-se que a é mais geral do que b
e b é menos geral do que a
Diz-se que um objeto simbólico a é maximamente especifico de um conjunto de indivíduos se a é uma generalização de e não existe um outro objeto simbólico b generalização de tal que b < a
Sejam os individuos
1 = [Cor {az}] [Tam {g}] [Forma {e}]
2 = [Cor {az}] [Tam {m}] [Forma {e}]
3 = [Cor {az}] [Tam {p}] [Forma {b}]
Tres possíveis generalizações desses conjuntos pour um objeto simbolico
a = [Cor {az}] [Tam {g,m,p}] [Forma {e,b}]b = [Cor {az}] [Tam {g,m,p}] [Forma {e,b,t}]c = [Cor {az,vm,vd}] [Tam {g,m,p}] [Forma {e,b,t}]
c é mais geral do que b que é mais geral do que aa é maximamente especifico do conjunto de indivíduos acima.
Um objeto simbolico a é uma descrição discriminante de um conjunto 1 de individuos em relação à um outro conjunto 2 de individuos se a é uma generalização de 1 e não existe 2 tal que fa()=1
Um objeto simbólico a é uma descrição maximalmente discriminante de um conjunto 1 de indivíduos em relação à um outro conjunto 2 de indivíduos se a é uma descrição discriminante de 1 em relação à 2 e não existe um outro objeto b a) que seja uma descrição discriminante de 1 em relação à 2; b) que seja mais geral do que a (b > a)
ExemploGrupo 1(G1)1 = [Cor {az}] [Tam {l}] [Forma {e}]
Grupo 2 (G2)1 = [Cor {vm}] [Tam {l}] [Forma {b}]
1 = [Cor {vm}] [Tam {l}] [Forma {t}]
Descrições maximalmente discriminantes de G1 em relação à G2a = [Cor {az,vd}] [Tam {l,m,p}] [Forma {e,b,t}]b = [Cor {az,vm,vd}] [Tam {l,m,p}] [Forma {e}]
Descrições maximalmente discriminantes de G2 em relação à G1c = [Cor {vm,vd}] [Tam {l,m,p}] [Forma {e,b,t}]d = [Cor {az,vm,vd}] [Tam {l,m,p}] [Forma {b,t}]
Atribuição de descrições maximamente discriminantes aos Grupos 1 e 2
Descrições
disjuntas
Descrições
não disjuntas
Grupo1 Grupo 2
b = …[Forma {e}] d = …[Forma {b,t}]
a = [Cor {az,vd}] … c = [Cor {vm,vd}] …
a = [Cor {az,vd}] … d = …[Forma {b,t}]
b = …[Forma {e}] c = [Cor {vm,vd}] …
Em geral conjuntos disjuntos da mesma variável implicarão em descrições maximamente discriminantes de um grupo em relação à outros grupos
Algoritmo CLUSTER/2Algoritmo CLUSTER/2
Descoberta de Conceitos (em batch) Dois módulos
• Partição• Hieraráquico
Exemplo
Nome Cobertura doCorpo
Cavidades doCoração
Temperaturado Corpo
Fertilização
mamífero pelos 4 regulada internapássaro penas 4 regulada internaréptil pele seca 4 imperfeitas não regulada interna
Anfíbio-1 pele úmida 3 não regulada internaAnfibio-2 Pele-úmida 3 não regulada externa
Módulo partiçãoMódulo partição
Formando Agrupamentos inicias
Semente 1 Semente 2 Semente k
D11 D12 D1n1 D21D21 D2n2……
Encontrar descrições maximamente discriminantes
Atribuir os objetos à cada descrição Dij obtendo as classes Cij
C11C12
… C1n1 C21C21 … C2n2
• seleção de k(2) sementes aleatoriamente
Nome Cobertura doCorpo
Cavidades doCoração
Temperaturado Corpo
Fertilização
Semente 1 mamífero pelos 4 regulada internaSemente 2 réptil pele seca 4 imperfeitas não regulada interna
encontrar descrições maximamente discriminantes de cada um dos k (2) grupos à partir das sementes
a1=[Cobertura do Corpo={pelos, penas, pele úmida}]
a2= [Cavidades do Coração = {3, 4}]a3= [Temperatura do Corpo= {regulada}]
b1=[Cobertura do Corpo={penas, pele seca, pele úmida}]
b2= [Cavidades do Coração = {3, 4 imperfeitas}]
b3= [Temperatura do Corpo= {não regulada}]
Semente 1 Semente 2
• Atribuição dos objetos à cada descrição Dij obtendo as classes Cij
a2= [Cavidades do Coração = {3, 4}]
b2= [Cavidades do Coração = {3, 4 imperfeitas}]
Semente 1 Semente 2
G1=Ext(a2)={Mamífero, Pássaro, Anfíbio-1, Anfíbio-2}
G2=Ext(a2)={Réptil, Anfíbio-1, Anfíbio-2}
Obtendo descrições dos grupos
Tornando os grupos disjuntos
G1G2
G1={Mamífero, Pássaro} G2={Réptil}
Lista de exceções
{Anfíbio-1, Anfíbio-2}
• Obtendo descrições maximamente específicas de cada grupo
a2= [Cobertura do Corpo = {pelos, penas}] [Cavidades do Coração = {4}] [Temperatura do Corpo = {regulada}] [Fertilização = {interna}]
G1 = {Mamífero, Pássaro} G2 = {Réptil}
b2= [Cobertura do Corpo = {pele seca}] [Cavidades do Coração = {4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna}]
a1= [Cobertura do Corpo = {pelos, penas,pele úmida}] [Cavidades do Coração = {3,4}] [Temperatura do Corpo = {regulada,não regulada}] [Fertilização = {interna}]
Agrupamento A (G1 + Anfíbio-1)
C1
C2
Agrupamento B (G2 + Anfíbio-1)
b1= [Cobertura do Corpo = {pele seca}] [Cavidades do Coração = {4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna}]
a2= [Cobertura do Corpo = {pelos, penas}] [Cavidades do Coração = {4}] [Temperatura do Corpo = {regulada}] [Fertilização = {interna}]
b2= [Cobertura do Corpo = {pele úmida, pele seca}] [Cavidades do Coração = {3,4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna}]
Inserindo o primeiro objetos da lista de exceções nos grupos e obtendo descrições maximamente específicas de cada grupo
Avaliação dos Agrupamentos obtidos em função da qualidade das descriçõesCritério: a) para cada par de descrições de agrupamentos diferentes calcula-se o número de variáveis cuja interseção é vazia; b) faz-se a soma para cada par; o agrupamento escolhido é aquele cuja soma é máxima
o Agrupamento B é selecionadoO segundo objeto da lista de exceções é inserido no agrupamento B
um processo semelhante ao descrito para a incorporação de anfíbio-1 é relizado
O processo descrito deve ser realizado para todas as 9 combinações de descrições maximamente discriminantes
Das 9 possibilidades, escolhe-se a melhor partição em dois grupos
Em seguida, novas sementes são selecionadas e o processo continua
O módulo hierárquico construi uma árvore de classificação Nessa árvore os arcos representam as descrições e nós a extensão de
cada grupo
Módulo Hierarquico
[Cobertura do Corpo = {pelos, penas}] [Cavidades do Coração = {4}] [Temperatura do Corpo = {regulada}] [Fertilização = {interna}]
[Cobertura do Corpo = {pele úmida, pele seca}] [Cavidades do Coração = {3,4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna, externa}]
{mamífero, pássaro, réptil, anfíbio-1, anfíbio-2}
{mamífero, pássaro} {réptil,anfíbio-1,anfíbio-2}
Classificação politética Construção de árvore de cima para baixo O módulo hierárquico usa o módulo partição como uma subrotina o módulo partição fornece partições de vários tamanhos (2, 3 e 4) e
seleciona a melhor O módulo hierárquico construi um nível da árvore de cada vez A construção da árvore finaliza quando a qualidade da partição obtida
no nível seguinte não é melhorada
Referências Fisher, D.H. and Langley, P. W., “ Methods of Conceptual Clustering
and their relation to Numerical Taxonomy”, Technical Report 85-26, University of California, Irvine, 1985
Fisher, D. H., “ Knowledg Acquisition via Incremental Conceptual Clustering”, Machine Leaning, Vol2, No. 2, pp. 139-172, 1987
Guenoche, ª , “Generalization and Conceptual Classification: Indices and Algorithms”, Proceedings of the Conference on Data Analysis, Learning symbolic and Numeric Knowledg, pp. 503-510, INRIA, Antibes, 1989
Kodratoff, Y. and Ganascia, J., “Improving the Generalization Step in Learning,” Chapter in the book, Machine Learning:An Artificial Intelligence Approach, R. S. Michalski, J.G. Carbonell and T.M. Mitchell (Eds.), TIOGA Publishing Co., PaloAlto, pp. 215-244, 1983.
Lebowitz, M., “Experiments with Incremental Concept Formulation: UNIMEN”, Machine Learning, Vol. 2, No. 2, pp. 103-138, 1987. Michalski, R. S., Stepp, R., and Diday, E., "A Recent Advance in Data
Analysis: Clustering Objects into Classes Characterized by Conjunctive Concepts," Chapter in the book Progress in Pattern Recognition, Vol. 1, L. Kanal and A. Rosenfeld (Editors), North-Holland, pp. 33-55, 1981
Michalski, R. S. and Stepp, R., "Learning from Observation: Conceptual Clustering," Chapter in the book, Machine Learning:An Artificial Intelligence Approach, R. S. Michalski, J.G. Carbonell and T.M. Mitchell (Eds.), TIOGA Publishing Co., PaloAlto, pp. 331-363, 1983.
Michalski, R.S. and Kaufman, K.A., "Data Mining and Knowledge Discovery: A Review of Issues and a Multistrategy Approach," Reports of the Machine Learning and Inference Laboratory, MLI 97-2, George Mason University, Fairfax, VA, 1997.