Tecniche di Tecniche di Apprendimento AutomaticoApprendimento Automatico

Evelina Lamma

Fabrizio Riguzzi

Sergio Storari

Giacomo Gamberoni

2

Definizione di AADefinizione di AA

• Definizione 1:– Learning is constructing or modifying

representations of what is being experienced [Michalski 1986], pag. 10

• Definizione 2:– Learning denotes changes in the system that are

adaptive in the sense that they enable the system to do the same task or tasks drawn from the same population more efficiently and more effectively the next time [Simon 1984], pag. 28

3

Impieghi dell’AAImpieghi dell’AA

• A) estrazione di conoscenza – da utilizzare per il funzionamento di sistemi basati

su conoscenza (ad esempio, sistemi per la classificazione)

– a fini scientifici, ovvero scoperta di nuovi fatti e teorie attraverso l’osservazione e la sperimentazione

• B) miglioramento delle performance di una macchina– ad esempio, miglioramento delle capacità motrici e

cognitive di un robot

4

Tecniche di AATecniche di AA

• Tecniche simboliche (impieghi A e B)• diversi tipi di rappresentazione

– rappresentazione attributo valore– rappresentazione del primo ordine (regole)

• Tecniche statistiche (impiego B)• Reti neurali (impiego B)

• L’apprendimento automatico può essere supervisionato (a partire da esempi) oppure non supervisionato.

5

Tecniche di AATecniche di AA

• Alberi decisionali (supervisionato)• Support Vector Machine (“ “)

• Regole associative• Reti bayesiane• Clustering

6

Apprendimento di alberi di decisioneApprendimento di alberi di decisione

• Problemi appropriati:– le istanze sono rappresentate da coppie attributo

valore– la funzione target ha valori discreti– descrizioni disgiuntive di concetti possono essere

richieste– l’insieme dei dati di training può contenere errori– l’insieme dei dati di training può contenere dati

mancanti• Sistemi che apprendono alberi di decisione: CLS,

IDR, C4, ASSISTANT, ID5, CART, ID3 etc.

10

Esempio:Esempio:

No Outlook Temp (°F) Humid (%) Windy ClassD1 sunny 75 70 T PD2 sunny 80 90 T ND3 sunny 85 85 F ND4 sunny 72 95 F ND5 sunny 69 70 F PD6 overcast 72 90 T PD7 overcast 83 78 F PD8 overcast 64 65 T PD9 overcast 81 75 F PD10 rain 71 80 T ND11 rain 65 70 T ND12 rain 75 80 F PD13 rain 68 80 F PD14 rain 70 96 F P

11

Albero di decisioneAlbero di decisione

Outlook

rainsunny

Humidity 75

P

true

N

false

Windy

N

true

P

false

P

overcast

12

Regole associativeRegole associative

• Descrivono correlazioni di eventi (attributo-valore) e possono essere viste come regole probabilistiche.

• Due eventi sono correlati quando sono osservati frequentemente insieme.

• Una regola associativa è un’implicazione della forma X Y, dove X e Y sono insiemi di eventi disgiunti

• Esempio:

Outlook=overcast Class=P

13

EsempioEsempio

No Outlook Temp (°F) Humid (%) Windy ClassD1 sunny 75 70 T PD2 sunny 80 90 T ND3 sunny 85 85 F ND4 sunny 72 95 F ND5 sunny 69 70 F PD6 overcast 72 90 T PD7 overcast 83 78 F PD8 overcast 64 65 T PD9 overcast 81 75 F PD10 rain 71 80 T ND11 rain 65 70 T ND12 rain 75 80 F PD13 rain 68 80 F PD14 rain 70 96 F P

14

Supporto e confidenzaSupporto e confidenza

• X Y ha supporto s nel database D se e solo se una frazione pari ad s delle transazioni in D contengono X Y:

s(Outlook=overcast Class=P) = 4/14

• X Y ha confidenza c nel database D, se e solo se, tra tutte le transazioni che contengono X, ce n’e’ una frazione c che contiene anche Y:

c(Outlook=overcast Class=P) = 1

21

Bayesian NetworksBayesian Networks

• Appropriate tool for modeling uncertainty• Directed acyclic graph G:

– Nodes=random variables– Arcs=dependence relations:

• Each node is conditionally independent from any node that is not its descendant given its parents

• Conditional Probability Tables (CPTs) GPr

22

Bayesian NetworksBayesian Networks

Tampering

Smoke

Fire

Alarm

Leaving

Report

n

iiin VVVV

11 ))(|Pr(),,Pr(

23

ClusteringClustering

• Raggruppare le istanze di un dominio in cluster tali che gli oggetti nello stesso cluster mostrino un alto grado di similarità e gli oggetti in cluster diversi un alto grado di dissimilarità

• Misure di distanza e dissimilarità

• Distanze per punti in Rn: distanza euclidea

2

21

1

22 , yxyxyxd

n

kkk

24

Esempio (K-means)Esempio (K-means)

Punti iniziali

Centri dei cluster

Membri del primo cluster

Membri del secondo cluster

Dopo la seconda iterazione

25

Clustering gerarchicoClustering gerarchico

• Ogni istanza è considerata come un gruppo separato

• I gruppi più simili sono raggruppati in un nuovo gruppo di livello superiore nella gerarchia