Upload
lukasz-pelszynski
View
923
Download
0
Embed Size (px)
Citation preview
Algorytm do automatycznej klasyfikacji wyrazu twarzy
Promotor: dr hab. inż. Khalid Saeed, prof. AGH
Łukasz Wojciech Pełszyński
Cel pracy
Celem pracy było zbadanie problemów napotykanych przy projektowaniu i implementacji systemu, który może dokony-wać automatycznej klasyfikacji wyrazów twarzy.
Emocje
➲ Procesy psychiczne, nadające wrażeniom subiektywne właściwości.
Emocje c.d.
➲ Procesy psychiczne, nadające wrażeniom subiektywne właściwości.
➲ 38% treści komunikatu stanowi ton głosu, 55% mimika twarzy, gesty oraz postawa a jedynie 7% słowa.
Automatyczna analizawyrazów twarzy
➲ Zastosowania:● Nowoczesne interfejsy
użytkownika● Robotyka● Badania behawioralne:
● Psychologia● Marketing
Założenia
➲ Analiza twarzy widzianej z przodu.
➲ Twarz osoby o dowolnym pochodzeniu etnicznym.
➲ Dopuszczalne lekkie obroty i przesunięcia głowy.
Działanie aplikacji
Wykrycietwarzy
Znalezieniepołożeniacech twarzy
Klasyfikacja
Wykrycie twarzy
➲ Konwersja do skali szarości.
➲ Znalezienie twarzy w obrazie:● Viola-Jones Face Detector
➲ Wycięcie twarzy i przeskalowanie do rozmiaru 240x240 pikseli.
Znalezienie cech twarzy
➲ Algorytm bazujący na rezprezentacjach obrazu w przestrzeni Gabora.
➲ Reprezentacja piksela 49 wymiarowa:● 48 reprezentacji Gabora,● 1 w skali szarości.
Filtr Gabora
90 stopni 45 stopni 0 stopni
Znalezienie cech twarzy c.d.
➲ Skanowanie obrazu klasyfikatorem 17x17 pikseli w obszarach zain-teresowania.
➲ Szukana cecha znajduje się w miejscu o najwięk-szej wartości odpowiedzi klasyfikatora.
Znalezienie cech twarzy c.d.
Budowanie klasyfikatora
➲ Utworzenie mocnego klasyfikatora z prostych funkcji decyzyjnych.
➲ Algorytm GentleBoost:● mniejsza czułość na ob-
serwacje odstające i szum niż AdaBoost,
● większa niż w AdaBoost zdolność uogólniania.
Uczenie klasyfikatorów
Klasyfikacja
➲ Algorytm k-NN.➲ Przestrzeń wzorców zbu-
dowana na podstawie bazy JAFFE.
➲ Klasyfikacja do jednej z 6 podstawowych emocji:● Strach● Smutek● Zaskoczenie● Radość● Gniew● Obrzydzenie
k-NN
happiness
Użyte technologie
➲ Języki programowania:● C++● Ruby
➲ Biblioteki:● OpenCV● RMagick
Wyniki
Etykieta Gniew Radość Zaskoczenie
Wynik klasyfikacji
Smutek Radość Smutek
Wyniki
Etykieta Smutek Strach Obrzydzenie
Wynik klasyfikacji
Smutek Smutek Smutek
Dziękuję za uwagę
Literatura
1. J. M. Rehg, M. Loughlin, K. Waters „Vision for a Smart Kiosk”, Czerwiec 1997, Computer Vision and Pattern Recognition, 690-696.2. M. Pantic, L. J. M. Rothkrantz „Automatic Analysis of Facial Expressions: The State of the Art”, Grudzień 2000, IEEE Transactions on pattern analysis and machine intelligence, vol. 22, no. 12, 1424-1443.3. „Emotions” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://changingminds.org/explanations/emotions/emotions.htm4. P. Viola, M. Jones „Rapid Object Detection using a Boosted Cascade of Simple Features ”, 2001, Conference on computer vision and pattern recognition.5. K. Saeed, P. Charkiewicz „Experimental Criterion for Face Classification” [w:] Enhancement Methods in Computer Security – Biometric and Artificial Intelligence Systems, Springer Science + Business Media, New York, USA, 2004, 195-2026. K. Saeed „Minimal-Eigenvalue-Based Face Feature Descriptor” [w:] Issues in Intelligent Systems Models and Techniques. Institute of System Research, Polish Academy of Sciences, Akademicka Oficyna Wydawnicza EXIT, Warsaw, Poland, 2005, 185-1967. „Tutorial on Gabor filters” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://mplab.ucsd.edu/tutorials/gabor.pdf8. D. Vukadanovic, M. Pantic, „Fully Automatic Facial Feature Point Detection Using Gabor Feature Based Boosted Classifiers”, Październik 2005, IEEE International Conference on Systems, Man and Cybernetics9. D. Hand, H. Mannila, P. Smyth “Eksploracja danych”, WNT, Warszawa 200510. „JAFFE Database” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://kasrl.org/jaffe.html