Συστήµατα καταγραφής συναισθηµάτων

Affective Computing

Παπασωτήρης Γεώργιος

ΓΤΠ61

Τµήµα ΑΘΗ-1

Τα Συστήµατα καταγραφής συναισθηµάτων – affective computingείναι υπολογιστικά συστήµατα, που µε χρήση ειδικών λογισµικών και κατάλληλων συσκευών, µπορούν να αναγνωρίζουν, να ερµηνεύουν αλλάκαι να προσοµοιώνουν ανθρώπινα συναισθήµατα.

Α. Ιστορική αναδροµή

• ΣΥΝΑΙΣΘΗΜΑ VS ΛΟΓΙΚΗΤα συναισθήµατα εµπόδιο για µια ορθολογική σκέψη.

Από τις λίγες εξαιρέσεις η µελέτη του ∆αρβίνου το 1872:«Η έκφραση των Συναισθηµάτων στον Άνθρωπο και στα Ζώα»

• ΣΥΝΑΙΣΘΗΜΑ + ΛΟΓΙΚΗ

Το συναίσθηµα αποτελεί τη βάση για µια ορθολογική συµπεριφορά.Η συναισθηµατική εµπειρία προκύπτει απ΄ όλο το σώµα. Τα συναισθήµατα είναι σε «συνεχή διάλογο» µε το πολιτισµικό και το κοινωνικό περιβάλλον που ζούµε. Τα συναισθήµατα αποτελούν έναν κοινωνικό και δυναµικό µηχανισµό επικοινωνίας.

Το συναίσθηµα στην τεχνολογία

Οι νέες απόψεις για το συναίσθηµα επηρέασαν και την έρευνα στο χώρο των νέων τεχνολογιών (τεχνητή νοηµοσύνη, αλληλεπίδραση ανθρώπου υπολογιστή).

Rosalind Picardτο βιβλίο της: «Affective Computing», 1997

• Πρώτη χρησιµοποίησε τον όρο affective computing

• Σε συνεργασία µε την οµάδα της στο MIT καθόρισε σε µεγάλο βαθµό τις εξελίξεις στον τοµέα

αυτό

Β. Συστήµατα καταγραφής συναισθηµάτων - affective computingστην πράξη

• Ανίχνευση της συναισθηµατικής πληροφορίας

• Αναγνώριση της συναισθηµατικής πληροφορίας

• Εφαρµογές συστηµάτων καταγραφής συναισθηµάτων – affective computing

Ανίχνευση της συναισθηµατικής πληροφορίας

• Χρήση κατάλληλων συσκευών( video κάµερες υψηλής ανάλυσης, µικρόφωνα, βιοαιθητήρες κ.α. )

• Συλλογή δεδοµένων( εκφράσεις προσώπου, στάση σώµατος, χειρονοµίες, οµιλία, θερµοκρασία σώµατος, καρδιακοί παλµοί, ιδρώτας ή αγωγιµότητα δέρµατος, κ.α.)

Ανίχνευση και καταγραφή των εκφράσεων του προσώπου (νεύµατα, χαµόγελο κ.α) µε την τεχνολογία affdex της εταιρίας Affectiva

Ανίχνευση και καταγραφή αγωγιµότητας του δέρµατος, θερµοκρασίας και κίνησης µε τη χρήση του βιοαισθητήρα Q sensor, τεχνολογία της εταιρίας Affectiva

Αναγνώριση της συναισθηµατικής πληροφορίας

• Βάση δεδοµένων µε κωδικοποιηµένες απεικονίσεις των ανθρώπινων συναισθηµάτων

∆εδοµένα που είναι αποτέλεσµα προϋπάρχουσας έρευνας και µελέτης πάνω στην έκφραση των ανθρώπινων συναισθηµάτων

Φυσικά δεδοµένα

• Αλγόριθµοι (λογισµικό) που επιτρέπουν την ταχεία και ακριβή ταυτοποίηση του

συναισθήµατος

∆εδοµένα που είναι αποτέλεσµα προϋπάρχουσας έρευνας και µελέτης πάνω στην έκφραση των ανθρώπινων συναισθηµάτων

Μύες του προσώπου για την κίνηση των φρυδιών και των µυών γύρω από το µάτι όταν εκφράζουν διαφορετικά συναισθήµατα.

Τα έξι βασικά συναισθήµατα

(θυµός, φόβος, αηδία, έκπληξη, χαρά, λύπη)

Εκφράσεις του προσώπου απεικονισµένες από τον Paul Ekman

∆εδοµένα που είναι αποτέλεσµα προϋπάρχουσας έρευνας και µελέτης πάνω στην έκφραση των ανθρώπινων συναισθηµάτων

Μοντέλο περιγραφής της σχέσης µάθησης και συναισθηµάτων

του James Russell

Μοντέλο ερµηνείας της ανθρώπινης συµπεριφοράς του Ortony

Καταγραφή φυσικών δεδοµένων

Καταγραφή εκφράσεων προσώπου, οµιλίας, κινήσεων σώµατος από τον Peter Robinson του Πανεπιστηµίου του Cambridge

Αλγόριθµοι για την ταχεία και ακριβή ταυτοποίηση του συναισθήµατος

• LDC

• k-nearest neighbour (k-NN)

• Gaussian mixture model (GMM)

• Support vector machines (SVM)

• Decision tree algorithms and hidden Markov models (HMMs)

• Neural network processing

Γ. Εφαρµογές συστηµάτων καταγραφής συναισθηµάτων – affective computing

• E-therapy

• E-learning

• Ροµποτική

• Gaming

• Τέχνη

• Βιοµηχανία - Εµπόριο

Mind-reading machines

Ανάλυση σε πραγµατικό χρόνο των εκφράσεων του προσώπου και των κινήσεων του κεφαλιού, µε χρήση ψηφιακών video καµερών.

Συστήµατα mind-reading

Σε µεγάλες αυτοκινητοβιοµηχανίες, σε αυτοκίνητα για τον εντοπισµό της νοητικής κατάστασης του οδηγού π.χ. υπνηλία, απόσπαση προσοχής , θυµός, κ.α.

Συστήµατα mind-readingΓια εµπορικούς λόγους, για την ανάλυση των αντιδράσεων των µελλοντικών καταναλωτών στηδοκιµή νέων προϊόντων πριν αυτά δοθούν για κατανάλωση (Market test).

Συστήµατα mind-readingΣτη ροµποτική για τη δηµιουργία ροµπότ µε δυνατότητα επικοινωνίας µε ανθρώπους µη-λεκτικά.

Χρησιµοποιούνται για να βοηθηθούν παιδιά µε αυτισµό.

MindReading Glass

Γυαλιά που ερµηνεύουν τις εκφράσεις του προσώπου και τις κινήσεις της κεφαλής του συνοµιλητή, παρέχοντας στον χρήστη πληροφορίες για τη συναισθηµατική κατάστασή του.

Μεταφέρουν τη συναισθηµατική πληροφορία µε ήρεµες ειδοποιήσεις µέσω των ακουστικών.

Βοηθηθούν άτοµα µε αυτισµό ή µε οπτικά προβλήµατα να αντιληφθούν τη συναισθηµατική κατάσταση του συνοµιλητή τους.

Συστήµατα mind-reading για e-therapy.

Cardiocam: Σύστηµα καταγραφής καρδιακών παλµών, ρυθµού αναπνοής, πίεσης αίµατος, οξυγόνου και άγχους.

• Άµεσες µετρήσεις και καταγραφή σε ειδική πλατφόρµα για υπολογιστή (στο µέλλον και σε κινητό τηλέφωνο)

• ∆υνατότητα αποστολής των δεδοµένων διαδικτυακά

Από απόσταση παροχή πρωτοβάθµιας φροντίδας υγείας.

Συστήµατα mind-readingΓια καταγραφή συναισθηµάτων ολόκληρων πληθυσµών.

Μέσω διαδικτύου ανάλυση των εκφράσεων καθώς παρακολουθούν διαφηµίσεις προϊόντων.

Σε αµερικανικές φυλακές ξεκίνησε η πειραµατική χρήση συστηµάτων που, όχι µόνο καταγράφουν τις δραστηριότητες των κρατουµένων, αλλά εντοπίζουν ύποπτες κινήσεις και ειδοποιούν τους φύλακες.

Σε νοσοκοµείο της Νέας Υόρκης χρησιµοποιούνται πειραµατικά συστήµατα που υπενθυµίζουν στους γιατρούς και τις νοσοκόµες να πλένουν τα χέρια τους και τους ειδοποιούν όταν κάποιος ασθενής κινδυνεύει να πέσει από το κρεβάτι ή στριφογυρνά εξαιτίας του πόνου.

Συστήµατα µε ΒιοµετρητέςΚαταγράφουν τις συναισθηµατικές εµπειρίες των ανθρώπων µε ένα προϊόν ή µια υπηρεσία.

• Παρακάµπτονται οι παραδοσιακοί µέθοδοι των συνεντεύξεων(όπου οι συµµετέχοντες έπρεπε να θυµούνται)

• Αντλούνται πληροφορίες για το πώς επιδρά στους καταναλωτές η χρήση ενός προϊόντος ή µιαςυπηρεσίας σε πραγµατικό χρόνο.

Καταγραφή συναισθηµατικής κατάστασης κατά τη διάρκεια ενός παιχνιδιού

Καταγραφή συναισθηµατικής κατάστασης µάνας και βρέφους κατά τη χρήση ενός νέου προϊόντος (βρεφικής πάνας)

Συστήµατα µε Βιοµετρητές

Συστήµατα αυτόµατης αναγνώρισης του άγχους στην καθηµερινότητα των ανθρώπων(µέτρηση αγωγιµότητας δέρµατος)

Πρόληψη χρόνιων ψυχολογικών παθήσεων άγχους καθώς και άλλων σωµατικών παθήσεων που συνδέονται µε το άγχος.

Συστήµατα µε ΒιοµετρητέςΣύστηµα παρακολούθησης κοινωνικού άγχους σε κινητό

Αισθητήρας βραχιόλι που µετρά την αγωγιµότητα του δέρµατος, διασυνδεδεµένος µε το κινητό µέσω Bluetooth ανιχνεύει και καταγράφει σε πραγµατικό χρόνο τα επίπεδα άγχους και διέγερσης κάθε φορά που ο χρήστης διαβάζει ένα e-mail, πραγµατοποιεί µια κλήση, παρακολουθεί µια εκδήλωση κ.α.

Ο χρήστης µπορεί να δει:

• ποιο γεγονός του προκάλεσε µεγαλύτερο άγχος

• ποιο µέρος µιας εκδήλωσης του προκάλεσε

µεγαλύτερο ενδιαφέρον.

Συστήµατα µε Βιοµετρητές

Συστήµατα ανάλυσης της ποιότητας του ύπνου(µέτρηση αγωγιµότητας δέρµατος, θερµοκρασίας και κίνησης)

Η καταγραφή και µελέτη των βιοµετρήσεων κατά την διάρκεια του ύπνου σε υγιείς οµάδες, σε οµάδες ατόµων µε αυτισµό αλλά και σε οµάδες µε διαταραχές ύπνου έχει αποδειχθεί πώς συνδέονται άµεσα µε την ποιότητα του ύπνου αλλά και µε τη δυνατότητα βελτίωσης της µνήµης.

Συστήµατα µε Βιοµετρητές

Externalization toolkitΠακέτο που περιλαµβάνει αισθητήρα καταγραφής καρδιακών παλµών και αγωγιµότητας δέρµατος που φοριέται ασύρµατα µε µορφή κοσµήµατος κρεµαστού ή στο χέρι, ή βρίσκεται ενσωµατωµένο σε παιχνίδια ή εργαλεία.

• ∆ηµιουργεί το προφίλ διέγερσης (εκδηλώσεις ενδιαφέροντος) στην καθηµερινή ζωή ατόµων µε αυτισµό.

• Γονείς, δάσκαλοι και φροντιστές αποκτούν µια καλύτερη εικόνα της συµπεριφοράς των ατόµων µε αυτισµό και κατ΄ επέκταση µια καλύτερη επικοινωνία µαζί τους.

Συστήµατα µε ΒιοµετρητέςΣύστηµα Icalm

Χρησιµοποιείται για παιδιά µε αυτισµό και έλλειψης προσοχής.

Χρησιµοποιεί βοιαισθητήρα ασύρµατο, εύκολο στη χρήση που φοριέται στον καρπό ή πάνω στον αστράγαλο που µετρά και καταγράφει την αγωγιµότητα του δέρµατος και την κίνηση.

Ανιχνεύει τη φυσιολογική κατάσταση του χρήστη, παίζοντας σηµαντικό ρόλο για τον έλεγχο αλλά και την αποτελεσµατικότητα της θεραπευτικής αγωγής που χρησιµοποιείται.

Σύστηµα Icalm

Affective computing στην τέχνηΚιθάρα που αναγνωρίζει τα συναισθήµατα του καλλιτέχνη χρήστη της, µέσω της ανίχνευσης των κινήσεων του.

Ασύρµατες συσκευές όπως wiimote, iphone κ.α. προσαρµοσµένες πάνω στην κιθάρα χρησιµοποιούνται για την µεταφορά σε πραγµατικό χρόνο των κινήσεων του καλλιτέχνη (και των αντίστοιχων συναισθηµάτων που αυτά αντιπροσωπεύουν) σε εξωτερικούς επεξεργαστές µουσικών εφέ.

∆ηµιουργία νέων συναρπαστικών µουσικών τρόπων έκφρασης. Ο Rob Morris χρησιµοποιώντας Nintendo Wii controller

Affective computing και Gaming

Ανίχνευση και αναγνώριση των συναισθηµάτων του παίκτη και προσαρµογή του παιχνιδιού σε αυτά τα συναισθήµατα.

Yψηλής ανάλυσης, multi-channel, ασύρµατο neuroheadset, της εταιρίας Emotiv, που χρησιµοποιεί ένα σύνολο αισθητήρων για την ανίχνευση σκέψεων, συναισθηµάτων και εκφράσεων του χρήστη σε πραγµατικό χρόνο, µέσω ηλεκτρικών σηµάτων που παράγονται από τον εγκέφαλο.

• Ο χαρακτήρας µπορεί να µεταλλαχθεί για να προσαρµοστεί στα συναισθήµατα του χρήστη

• Μουσική, φωτισµός σκηνής και εφέ µπορούν να προσαρµοστούν σε πραγµατικό χρόνο

• Οι προγραµµατιστές µπορούν να προσαρµόσουν τη δυσκολία του παιχνιδιού ώστε να

ταιριάζει σε κάθε κατάσταση

∆. Τα συστήµατα καταγραφής συναισθηµάτων - affective computing

στο µέλλον

Οι υπολογιστές έχουν αρχίσει να έχουν την ικανότητα να εκφράζουν και να αναγνωρίζουν ανθρώπινα συναισθήµατα.

• Θα τους δοθεί η δυνατότητα να έχουν συναισθήµατα;

• Θα ενισχύσουν τις ικανότητές τους στο να παίρνουν αποφάσεις;

Προβληµατισµοί για το µέλλον

• Υπάρχει φόβος ότι µπορεί να καταργηθούν τα προσωπικά δεδοµένα;

• Οδεύουµε προς µια κοινωνία «Μεγάλου Αδερφού»;

http://affect.media.mit.edu/

http://www.affectiva.com/affdex/#pane_overview

http://www.armytimes.com/offduty/health/offduty-lies-psychologist-focuses-on-microexpressions-022111w/

http://bigthink.com/ideafeed/mit-software-to-read-the-emotion-of-the-masses

http://www.boston.com/ae/music/articles/2009/02/06/his_guitars_got_game/

http://www.cl.cam.ac.uk/research/rainbow/emotions/

http://www.cl.cam.ac.uk/techreports/UCAM-CL-TR-740.pdf

http://www.computer.org/cms/Computer.org/transactions/tac/pdfs/tta2012030260.pdf

http://www.emotiv.com/

http://hedmanresume.blogspot.gr/search/label/Research

http://www.imgd.wpi.edu/speakers/0910/Hudlicka_GAMEON_TUT_01.pdf

http://www.interaction-design.org/encyclopedia/affective_computing.html

http://labcast.media.mit.edu/?p=117

http://labcast.media.mit.edu/?p=120

http://www.media.mit.edu/research/groups/affective-computing

http://www.pervasive.jku.at/Teaching/_2009SS/SeminarausPervasiveComputing/Begleitmaterial/Related%20Work%20(Readings)/1995_Affective%20computing_Picard.pdf

http://www.skai.gr/news/technology/article/218069/apeileitai-i-anthropotita-apo-tous-ilektronikous-upologistes/

http://www.talk2myshirt.com/blog/archives/2746

http://www.tovima.gr/science/technology-planet/article/?aid=459921

http://vimeo.com/12192224

http://vismod.media.mit.edu/tech-reports/TR-574/index.html

http://web.media.mit.edu/~jackylee/mglass.htm

http://web.media.mit.edu/~jackylee/toolkit.htm

http://whatis.techtarget.com/definition/affective-computing

Σας ευχαριστώ.