Upload
others
View
18
Download
0
Embed Size (px)
Citation preview
A SZEMÉLYKÖZI KOMMUNIKÁCIÓ MULTIMODALITÁSÁT VIZSGÁLÓ
KÍSÉRLETSOROZAT EREDMÉNYEIR ŐL
Takács OrsolyaDebreceni Egyetem
Nyelvtudományok Doktori Iskola
ÁTTEKINTÉS
1. Háttér, célok
2. A kísérletsorozat leírásaa. Felhasznált eszközök, módszerek
b. Az alapérzelmek szerepe a kísérletekben
2
b. Az alapérzelmek szerepe a kísérletekben
3. Kísérleti eredményeka. Integratív áttekintés
b. Alapérzelmek modalitásonként
c. Kifejezésformák modalitásonként
4. Konklúzió, felhasználási lehetőségek
2
HÁTTÉR, CÉLOK
� A HuComTech projekt
� Modalitás = csatorna
� A multimodalitás (hiánya) az ember–ember és az ember–gép kommunikációban
3
gép kommunikációban
� Verbális versus nem verbális csatornák
� Alapérzelmek mint átadandó üzenetek
� Korábbi kapcsolódó kutatások
� Bänziger 2009, Liikkanen 2008, Hunyadi 2011
3
A KÍSÉRLETSOROZAT
KÍSÉRLETI ANYAG
� Öt kísérleti csoport – egyetlen videóbejátszás manipulált változatai:
1. „Normál” csoport: kép + hang(normál modalitás eloszlás)
2. „Videó” csoport: kép (nem verbálisdominancia)
3. „Audió” csoport: hang (verbálisdominancia)
4. „Képes prozódia” csoport: kép + prozódia(nem verbális
5
4. „Képes prozódia” csoport: kép + prozódia(nem verbális dominancia + részleges verbális)
5. „Prozódia” csoport: prozódia (részleges verbális)
� Felhasznált kisfilm:
Dyga Zsombor: Köntörfalak(5 perces részlet, 3 szereplő)
� Néhány aggály:� Természetesen uni-/bimodálisnak szánt kommunikáció?
� A videóbejátszás egyedi sajátosságai 5
1. „Normál”
6
2. „Videó”
7
3. „Audió”
4. „Képes prozódia”
9
5. „Prozódia”
MÓDSZEREK, LEBONYOLÍTÁS
� 20-20 fő csoportonként
� Résztvevők: a Debreceni Egyetem hallgatói és dolgozói; 18–50 év között; férfiak és nők egyenlő eloszlásban
� Nyílt végű kérdőív (ld. kitöltött példányok)
� Azonos feladat mind az öt csoportnál
11
� Modalitáshiány mellett is felismerhető üzenetre volt szükségünk →� Alapérzelmek: „Univerzálisan”, a világ minden népe által hasonló
gesztusokkal kifejezett érzelmek (Ekman 1992). – Eredetileg: harag, félelem, meglepettség, öröm, szomorúság, undor
� Kísérleti alanyok feladata: � Eldönteni, szerepel-e az adott érzelem a bejátszásban
� Leírni, milyen (verbális, képi, hangi) jelekből következtetett jelenlétükre
KÍSÉRLETI EREDMÉNYEK
INTEGRATÍV ÁTTEKINTÉS –FELISMERT ÉRZELMEK SZÁMA
� Potenciálisan felismerhető érzelmek száma: � Fejenként 6
� Csoportonként 120
13
� Undor – ténylegesen nem észlelhető
� Rangsor a csoportok „összpontszámai” alapján:
FELISMERT ÉRZELMEK SZÁMA CSOPORTONKÉNTI ELOSZLÁSBAN
Kísérleti csoport
Kísérleti anyag Észlelések száma
Maximális lehetőségekhez
viszonyított arány
Átlagos fejenkénti észlelések
száma
1. Harmadik „audió” 88 73% 4,4
14
2. Második „videó” 83 69% 4,2
3. Első „normál” 80 67% 4,0
4. Negyedik „képes
prozódia” 75 63% 3,8
5. Ötödik „prozódia” 67 56% 3,4
FELISMERT ÉRZELMEK SZÁMÁHOZ FŰZŐDŐ MEGÁLLAPÍTÁSOK
� 1. helyen az „audió csoport” → az érzelemfelismerésben a verbális csatornatölti be a legfontosabb szerepet
� 2. helyen a „videó csoport” → a vizuális információtólcsak a nyelvi adatok jelentékenyebbek
� 3. helyen a „normál csoport”→ „kevesebb csatorna –
15
� 3. helyen a „normál csoport”→ „kevesebb csatorna –nagyobb figyelem” elv; tudatosság kérdése
� A verbális információt is tartalmazó videó ill. hanganyag mindig előrébb foglal helyet a rangsorban, mint a puszta prozódiával ellátott. → a prozódia verbális tartalom nélkül csak bizonyos esetekben értelmezhető
� „Videó csoport” vs. „prozódia csoport”! → a verbális tartalom nélküli prozódia akár zavaró hatástis kiválthat
AZ EGYES ÉRZELMEK ÉSZLELÉSE A CSOPORTOKBAN
80
100
120
normál
videó
160
20
40
60
harag félelem meglepettség öröm szomorúság undor
videó
audió
képes prozódia
prozódia
ALAPÉRZELMEK ÉSZLELÉSE A KÜLÖNFÉLE MODALITÁSOKBAN
� Amit minden csoport közel 100%-ban felismert:� Harag → Minden modalitásban
� Meglepettség → erős markerek.
� Ahol csak a „normál” és az „audió” csoport teljesített közel 100%-osan, a többi pedig gyengén:
17
100%-osan, a többi pedig gyengén:� Félelem → Kulcsfontosságú a verbális csatorna.
� Ahol mindenki viszonylag gyengén teljesített:� Öröm → A bejátszásban nem konvencionálisan/
� Szomorúság → nem elég erősen vannak jelen.
� (Undor → meglepettség?)
� A bejátszásban kifejezett érzelmek konvencionalitási foka
AZ ALAPÉRZELMEK KIFEJEZÉSFORMÁI A KÜLÖNFÉLE MODALITÁSOKBAN
� Interpretáció → számadatok
� 8 manifesztáció-kategória:
� verbális információ, következtetés a szituációból
� arckifejezés
tekintet
18
� tekintet
� testbeszéd, kézmozdulatok, mozgás
� intonáció
� beszédtempó
� hangerő, hangmagasság
� szünetek, csönd
AZ ALAPÉRZELMEK KIFEJEZÉSFORMÁI A KÜLÖNFÉLE MODALITÁSOKBAN
19
AZ ALAPÉRZELMEK KIFEJEZÉSFORMÁI A KÜLÖNFÉLE MODALITÁSOKBAN
� „Normál” csoport: Ha minden modalitás rendelkezésünkre áll, rendkívüli módon a verbalitásratámaszkodunk az érzelemfelismerésben.
� „Videó” csoport: Ha csak a vizuális csatorna elérhető, az arckifejezésvan segítségünkre leginkább. (DE: arckifejzés vs. tekintet?)
20
van segítségünkre leginkább. (DE: arckifejzés vs. tekintet?)
� „Audió” csoport: Az első állítást erősíti.
� „Képes prozódia” csoport: Nyelvi információ híján a vizuális elemekre támaszkodunk, nem pedig a prozódiára.
� „Prozódia” csoport: Nyelvi információ nélkül a prozódia összetevői egyenlő mértékben (nem?) hordoznak érzelmi információt.
ÉRZELEMFELISMERÉSI MODALITÁS-RANGSOR
1. Verbális modalitás
2. Vizuális modalitások (különösen az arckifejezés)
3. Prozodikus információ
21
� Jelentőség a multimodális kommunikációs modell szempontjából!
KONKLÚZIÓ, FELHASZNÁLÁSI LEHETŐSÉGEK
� Konklúziók:� A kommunikáció multimodalitása által okozott redundancia
kiemelkedő fontosságú eleme az érzelemfelismerésnek.
� A multimodális kommunikáció csatornái között rangsorállítható fel az érzelemfelismerés szempontjából.
22
� A verbális csatornaa legfontosabb az érzelemfelismerésben, de figyelemreméltóan jól teljesítünk ennek hiányában is.
� Felhasználási lehetőségek:� További kutatások más jellegű videóbejátszásokkal, esetleg
más érzelmekkel, és eredetileg is uni-/bimodálisnak szánt mozzanatok felhasználásával.
� Pszicholingvisztikai alkalmazás.
Felhasznált irodalom:
� Bänziger, T. – Grandjean, D. – Scherer, K. R. (2009). Emotion recognition from expressions in face, voice, and body: the Multimodal Emotion Recognition Test (MERT). Emotion Washington Dc, 9(5), 691–704.
� Clahsen, H. – Felser, C. (2006). Grammatical processing in language learners. Applied Psycholinguistics 27, 3–42.
23
Applied Psycholinguistics 27, 3–42.
� Ekman, P. (1992). An argument for basic emotions. Cognition & Emotion, 6(3), 169–200.
� Hunyadi, L. (2011). Multimodal human–computer interaction technologies. Theoretical modeling and application in speech processing. Argumentum 7, 240–260.
� Liikkanen, L. A. – Jacucci, G. – Huvio, E. – Laitinen, T. – André, E. (2008). Exploring emotions and multimodality in digitally augmented puppeteering. System, 339-342.
23
KÖSZÖNÖM A FIGYELMET!FIGYELMET!