FACIAL EXPRESSIONS RECOGNITION: SEMI-SUPERVISED LEARNING AND DEVELOPMENT OF A GUI FOR BUILDING AUTOMATION

UNIVERSITA’ CAMPUS BIO-MEDICO DI ROMA

Facoltà di ingegneria

Corso di laurea specialistica in ingegneria biomedica

RICONOSCIMENTO ESPRESSIONI FACCIALI:

APPRENDIMENTO SEMI-SUPERVISIONATO E

SVILUPPO DI UNA GUI PER L’AUTOMAZIONE DI

EDIFICIO Relatore:

Dott. Ing. Paolo Soda

Laureando:

Andrea Landi

Correlatore:

Ing. Roberto D’Ambrosio

A.A. 2010/2011

Introduzione

Obiettivi

Software implementato

Apprendimento semi-supervisionato

Risultati sperimentali

Conclusioni e sviluppi futuri

Sistema Esperto Interazione

crescente

con l’uomo

Importanza

interfacce HM

Modello di interazione

naturale (uomo-uomo)

Importanza

riconoscimento

espressioni facciali

Sistema di riconoscimento espressioni facciali (FER)

Estensione funzionalità

ed usabilità

Utilizzo

in situazioni reali

Sviluppo

di

una GUI

Interfacciamento

sistema

automazione

di edificio

Apprendimento

semi-supervisionato

Barra dei menù

Zona “A”

Zona “B”

Zona “C”

Barra di stato

Diagramma a blocchi: Video di esempio:

Emoticon espressioni rilevate:

Protocollo XML-RPC

Comunicazione tra il software e il sistema di automazione

di edificio

TSVM: estensione semi-supervisionata della SVM

SVM

l

i

iCi 1

2

b,, 2

1min

w

w

ul

li

i

l

i

i CCi 11

2

b,,'

2

1min

w

w

TSVM

l

i

i

ul

lj

i yl

yu 11

1ˆ

1con

L

Campioni etichettati:

ul

iiU

11x

Estensione

Apprendimento supervisionato:

Campioni non etichettati:

Classificatore

Apprendimento semi-supervisionato:

l

iii yL1

,

x

L U Classificatore +

UL

•TSVM implementata in MATLAB tramite SVMlin:

u

j

j

l

i

iul 11

2

2

'

2

1

2min

w

w

ryu

ul

lj

i

1

ˆ1

con

•Database utilizzati:

DB Numero

Soggetti

Numero

Campioni Rabbia Disgusto Paura Felicità Tristezza Sorpresa

CK 105 876 126 162 66 198 78 246

MMI 15 180 30 30 30 30 30 30

•Pairwise Coupling per la ricombinazione delle classi

•Subject out

Set-up sperimentale

: parametro di

regolarizzazione :' parametro di

regolarizzazione per

campioni non etichettati

Prova Training set Test set

1 CKetichettato MMI, 15 fold

2 CKetichettato+MMIetichettato MMI, 15 fold

3 MMIetichettato MMI, 15 fold

4 CKetichettato+MMInon etichettato MMI, 15 fold

5 CKetichettato+MMIparz. etichettato MMI, 15 fold

6 MMIetichettato+CKnon etichettato CK, 105 fold

7 MMIetichettato+CKparz.etichettato CK, 105 fold

8 MMIetichettato+CKetichettato CK, 105 fold

9 MMIetichettato+CKnon etichettato MMI, 15 fold


1 CKetichettato MMI, 15 fold

λ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10

λ=0.001 25.65% 25.65% 25.65% 25.65% 25.65%

λ=0.01 27.37% 27.37% 27.37% 27.37% 27.37%

λ=0.1 29.24% 29.24% 29.24% 29.24% 29.24%

λ=1 29.24% 29.24% 29.24% 29.24% 29.24%

λ=10 29.24% 29.24% 29.24% 29.24% 29.24%

•Saturazione

•Indipendenza

da λ’

•Bassa

accuratezza

(scarsa

correlazione)


2 CKetichettato+MMIetichettato MMI, 15 fold

λ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10

λ=0.001 35.53% 35.53% 35.53% 35.53% 35.53%

λ=0.01 35.53% 35.53% 35.53% 35.53% 35.53%

λ=0.1 34.06% 34.06% 34.06% 34.06% 34.06%

λ=1 33.36% 33.36% 33.36% 33.36% 33.36%

λ=10 29.88% 29.88% 29.88% 29.88% 29.88%

•Saturazione

•Indipendenza

da λ’

•Rispetto a “1”

aggiunta MMI

aumenta

accuratezza


3 MMIetichettato MMI, 15 fold

λ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10

λ=0.001 29.51% 29.51% 29.51% 29.51% 29.51%

λ=0.01 29.51% 29.51% 29.51% 29.51% 29.51%

λ=0.1 29.51% 29.51% 29.51% 29.51% 29.51%

λ=1 28.38% 28.38% 28.38% 28.38% 28.38%

λ=10 28.38% 28.38% 28.38% 28.38% 28.38%

•Saturazione

•Indipendenza

da λ’

•Bassa

accuratezza,

scarsa

correlazione

soggetti MMI


4 CKetichettato+MMInon etichettato MMI, 15 fold

λ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10

λ=0.001 24.21% 21.21% 22.19% 23.12% 24.23%

λ=0.01 23.00% 22.26% 22.34% 30.75% 27.70%

λ=0.1 18.57% 19.01% 26.37% 29.24% 31.53%

λ=1 16.40% 16.96% 25.48% 30.30% 26.76%

λ=10 11.21% 11.77% 12.51% 17.14% 12.40%

•Al crescere di

λ’ accuratezza

cresce

•i campioni

dell'MMI non

etichettati

aggiungono

contenuto

informativo

simile a set di

test (cfr “1”)


5 CKetichettato+MMIparz.etichettato MMI, 15 fold

•E’ generalizzazione della “4”

•I parametri del massimo valore

sono in accordo con la 4

•Percentuale ottimale è 90%

•Risultato inferiore a caso

completamente supervisionato

(cfr. “2”)


9 MMIetichettato+CKnon etichettato MMI, 15 fold

λ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10

λ=0.001 27.61% 26.03% 22.92% 23.66% 22.47%

λ=0.01 25.01% 20.51% 20.14% 21.25% 21.09%

λ=0.1 19.36% 17.88% 17.04% 17.69% 15.21%

λ=1 18.88% 18.88% 17.56% 13.67% 14.23%

λ=10 13.82% 13.82% 13.82% 15.90% 15.95%

•Massima

accuratezza

per basso λ’

•CK non è

correlato con

MMI e

peggiora

accuratezza

(cfr. “3”)

Prova Training set Test set Acc. max al

variare dei

parametri

1 CKetichettato MMI, 15 fold 29.24%

2 CKetichettato+MMIetichettato MMI, 15 fold 35.53%

3 MMIetichettato MMI, 15 fold 29.51%

4 CKetichettato+MMInon etichettato MMI, 15 fold 31.53%

5 CKetichettato+MMIparz.etichettato MMI, 15 fold 33.29%

6 MMIetichettato+CKnon etichettato CK, 105 fold 26.49%

7 MMIetichettato+CKparz.etichettato CK, 105 fold 59.96%

8 MMIetichettato+CKetichettato CK, 105 fold 61.17%

9 MMIetichettato+CKnon etichettato MMI, 15 fold 27.61%

Considerazioni:

•CK e MMI poco correlati

•L’aggiunta di campioni etichettati

simili a set di test produce sempre

risultati migliori di non etichettati


variare dei

parametri










Considerazioni:





•L'aggiunta di campioni non

etichettati produce risultati migliori

solo quando rende set di training

“simile” a set di test


variare dei

parametri










Considerazioni:





•L'aggiunta di campioni non

etichettati produce risultati migliori

solo quando rende set di training

“simile” a set di test

Usabilità:

•GUI con struttura modulare

•Espansione funzioni

•Multipiattaforma

•Opzioni auto-esplicative

Sviluppi:

Multithreading e CUDA/OpenCL

(GPGPU)

Aggiunta ulteriori funzioni

Creazione guida in linea

Interfacciamento con

sistema di automazione

di edificio:

•Testato con successo in

UCBM

Sviluppi:

Aggiunta metodi

Differenti combinazioni

metodi/espressioni

Apprendimento

semi-supervisionato:

•Indagini compiute

•Ipotesi proposta

Sviluppi:

Ulteriori indagini

Technology

FACIAL EXPRESSIONS RECOGNITION: SEMI-SUPERVISED LEARNING AND DEVELOPMENT OF A GUI FOR BUILDING AUTOMATION