információelméleti megközelítések a pszicholingvisztikában

INFORMÁCIÓELMÉLETI MEGKÖZELÍTÉSEK A

PSZICHOLINGVISZTIKÁBAN

Pléh Csabapleh.csaba@gmail.com

Áttekintés

• A kurzus célja és jellemzői • Információs alapfogalmak• Az információelmélet karrierje a nyelvészetben • Pszicholingvisztikában• Pszichológiában• A jelentés helye az informécióelméletben

Az információelméleti megközelítés, mint az egyik vezető kvantitatív törekvés a nyelv kezelésére. Információs fogalmak relevanciája megértési produkciós fejlődési

Kvantitatív megközelítés érvénye a nyelvi diverzitás és változás elemzésében.

A kurzus célja

Rendszer és követelmények • Feldolgozás: a kurzus az órákhoz folyamatos munkát vár el. Minden

hétre megpróbálok kicsiny de világos egyénített gyakorlati feladatokat adni. • Követelmények és dolgozatok ÉRTÉKELÉS 100 PONTOS SKÁLÁN• évközi kis feladatok 50 pont • Írott dolgozat december 11-ig 50 pont • Irodalomösszefoglaló, saját témádból, 10 oldalon, kapcsolva az

információelméleti megközelítés lehetőségeihez. Horgonyzási pont: 50 pontot az kap, akinek a dolgozata megjelentethető színvonalú és formátumú.

Előadástéma Feladat típusa 1 Mi az információelmélet? Kulcsfogalmak. Infor, redundancia,

entrópia. Az IE megközelítés szakaszai a nyelvre alkalmazva. A szemantikai információ vitái.

Számok, betűk, smileyk információs elemzése.Egységek és elemek.

2 A szófelismerés információs értelmezése. Gyakoriság és a szótár. Ziff törvények. Predikció a vizuális szófelismerésben. Bejóslás és felismerési idő. Kohorsz elmélet és a szókezdet értéke. ‘Gating’, entrópiacsökkenés és az akusztikus szófelismerés. Az egyéni szótár információs elemzése.

Entrópiaértékek a magyar szótárban eltérő gyakoriságoknál.Intuitív és objektív gyakoriság összevetése. WEP alapú eljárások a szófelismerés RI elemzésére.

3 A morfológia információelméleti értelmezése. A morfológiai modellek kvantitatív értelmezése.

Szuffixumok információs elemzése a magyarban.Entrópia és szegmentáció.

4 A mondattan információs megközelítése. Chomsky és Miller kritikai elemzése. Változatok az információs gondolatok visszacsempészésére. A kompeticiós (Bates-MacWhinney) és a konnekcionista modellek.

Vonzatok és igék kapcsolatának entrópiája.Szótári és gyakorisági alapon.

5 A priming folyamatok általános érdekessége. Lexikai emlékezet, világismeret és információ. Szövegmegértési sémamodellek és az információ. Kintsch információintegrálási felfogása.

Szókincsmutatók és az információelmélet. Szavak jellemzése az asszociatív szótárakban.

6 Beszédprodukció és információ. Habozás és hibázás és a bejósolhatóság (Goldmann-Eisler). Priming és közös információ a társalgásban.

Tömegközlési habozások értelmezése.

7 Szabály és statisztika kettős modellek. Pinker, Ullman. Példák a magyar szabályok általánosítottságáról a nyelvi humorban.

8 Elsajátítás és statisztika a kisbabánál. A szabály vs. statisztika viták (Aslin vs. Marcus).

9 Tanulási mechanizmusok és az információ. Mesterséges nyelvtan kísérletek.

10 Nyelvi diverzitás, változás és információs gazdagság. Szóhosszúság és morfológiai bonyolultság. Példák

sajtóból és smsekből

A nyelvészeti információelméleti érdeklődés szakaszai

• Korai lelkesedés: Nyelvészeti kritika Visszajön a statisztika a statisztika

•1950 Shannon 1960 Chomsky 1990 Kostic • Miller G. Miller Bayern Saffran

Kiinduló Shannon Weaver modell ? Hol a kód?? Hol a jelentés ?

Alapfogalmak • Információ és bizonytalanság• Rendszerek átlagos információértéke és a lehetséges jelszám. ÁBC

nagyságtól függ • Átlagos információ log N • Bináris egységekben, kettes alapú log.• Miért? neuro optimális keresés természeti folyamatok csillapítása

Találjuk ki • Gondoltam egy 0… 9 közti számot

• Gondoltam egy betűt

Néhány egyszerű nyelvi példa • Folytassuk: • a…

• abl..

• Egészítsd ki:

• b. r . t . . i. m . t

Az entrópia általános képlete

Entrópia változásai • Maximális ha minden p egyforma • Ha vannak kiemelt valószínűségű jelek, csökken a rendezetlenség • Redundancia: a H (max) és a H(megfigyelt) viszonya • A struktúra kérdése vizuális formáknál Attneave és Garner• Akkor a Gestalt szerveződés alacsony információ lenne? • Vagy éppen a hirtelen• változás adja a formát?

Átviteli fogalmak • Csatornakapacitás• Átvitt, vesztett s hozzátett információ• Mi történik, ha a rendszert emberre értelmezzük? • Átviteli korlátok Hick törvény: RI az alternatívák log fgvénye

Mire vagyunk limitálva? Miller felismerései • Abszolút ítélet: 2-4 bit, 4-8 színt

• Munkamemória: 7 ± 2 egység, s nem info csatorna. ‚Tömb’ határ

Korai felvetések az információs alapú morfológiáról• Antal László (1964) a szó

testében az általános tendencia az entrópia fokozatos csökkenése. Morfémahatáron megszakad ez a csökkenés

• igaz-ság-os-ak-at

Miller és Chomsky megfordítják a trendet:mindez legfeljebb egy gyenge Markov modell

• A Chomsky hierarchia és a pszicholingvisztika• Nemcsak a nyelvtanra,

hanem a nyelvi viselkedésre is algebrai modell kell• Abból is nem akármilyen• Véges állapotú nem elég • Az ellenérdekeltek szerint

igen, ha a gráf ágaihoz valószínűségeket rendelünk

A viselkedés és nyelvi modell• A nyelv minden viselkedés

analógiája lesz• Valójában a belső

reprezentáció modellje• De modellje a

feldolgozásnak is• Ami approximations to

English volt, most grammatikalitás lesz

MacKay 2003• 1. A communication system requires a sender and a receiver to be in

possession of a source code defining the scope of the possible messages that can be transmitted.• 2. Communication across the system is not concerned with the

meaning of messages. In a Shannon system the receiver reconstructs the source message from the received signal by discriminating the source message from other possible messages • 3. The receiver does not interpret or expand on the source message.

It simply reconstructs it at the destination with no loss of signal content

A pszichológia és a nyelv--- statisztikailag• Két hagyomány: algebra és a számok• Sorsuk a pszichológiában: Hull, Estes integráció• A statisztikai múlt: A gyakoriság szerepe• A feltupírozott statisztika: Információelméleti modellek• Szavak felismerése és a statisztikai modell• Herbart és Galton randevúja: Számok a gráfokban • A Chomsky hierarchia és a pszicholingvisztika• Az elméleti gépek és az igazi gépek • Parsing és emberi feldolgozás: Az alaktan példája• Hogyan jön vissza a statisztikai modell a gyermekeknél?

Johann Friedrich Herbart (1776 – 1841)• 1809-1833 Kant utóda Königsbergben• Lelki matematika:• Az emberi hajlamok oly változékonyak, mint a

szél, hangulatunk oly bizonytalan, mint az időjárás – ki találhatna mércéket rájuk, hogy a matematikai törvények hatálya alá rendelje őket? Ahol a mérés nem lehetséges, ott a számolás sem lehetséges; következésképp nem lehet a pszichológiai kutatásban felhasználni a matematikát. Így szól a szillogizmus [...] Meglehetősen téves azonban [...] azt mondani, hogy csak azután számolhatunk, hogy méréseket végeztünk [...] A matematika nagy érdeme az, hogy jóval azelőtt, hogy kielégítően pontos tapasztalásaink lennének, fel tudjuk tárni azokat a lehetőségeket, melyeken belül a valóságnak el kell helyezkednie.

• Herbart: A matematika pszichológiára alkalmazásának lehetőségéről és szükségességéről, 1822/1974, 674. o.

Pl. gátlás: A2 + ab-b/a +b

Hebb szabály szerűen a gátlásról • Ha két nem egyenlő és ellentétes képzet gátolja egymást és az A képzet nagyobb,

mint a B képzet, akkor a gátlások összege fordítottan arányos erejükkel.• Az A ereje a következő képlet szerint gátlódik tehát:• A2 + ab – b a + b• míg a B a következő képletnek megfelelően gátlódik:• B2 a+b. Ha b – Ab/a + b = 0, akkor B intenzitása 0 lesz, és a B képzet el fog tűnni a tudat

küszöbe alatt.

20. századi Herbartok• Clark Hull

• Tanulás formális modelljei• Egyedi szokások • Számokat is mellé ír: már nem

teljesen Herbart

Gustav Theodor Fechner (1801-1881)• A mérés megjelenése• E = K x log S + B• Külső és belső pszichofizika• Fechner misztikus érdeklődései:• Éjjeli és nappali szemlélet

Gustav Theodor Fechner (1801-1881)• A mérés megjelenése• E = K x log S + B

A spekulatív Fechner-MisesAz angyalok összehasonlító anatómiája, 1825• curves and specifically the sphere are the ideal forms and these

change (as, indeed, Plato had said). The parts of man's body are beautiful as they approach it, but the eyeball is most complete.

• Just as the air is the element of the angels, who are simply free and independent eyes, all eye, or the eye-type in its highest and most beautiful development. Thus, what in man is a subordinate organ, in the angels is of independent worth.

• They are attraction or repulsion, and with this goes the wonderful color play. General gravitation, which relates all bodies, is their sense. They feel the farthest thing in the universe and the slightest change in it.s They are, in short, living planets and, in fine, the planets are angels.

A statisztikai múlt az észlerlésre : A gyakoriság szerepe

• Cattell, 1886: Közeledünk a nyelvhez. Szavak olvasása. Még embert vizsgálunk, de már a rendszer is érdekel

• It will be noticed that the perception-time is only slightly longer for a word than for a single letter; we do not therefore perceive separately the letters of which a word is composed, but the word as a whole. The application of this to teaching children to read is evident

A szavak gyakorisága gyakran felmerül• Olvasás és szókincs tudás mérés megalapozásához• Asszociatív adatok értelmezéséhez • Betegek bizarr beszédének interpretáláshoz• Még stílus statisztikák is megjelennek • Legfeljebb szófajban jellemezve a szavak

Vissza az információhoz sokrétű fogalom

• Miért ‚szintaktikai’ a Shannon féle? • Mi informatívabb köznapilag:

kutya vagy állat? S melyik ritkább?• Szemantikai elméletek • BarHillel MacKay • Igazság s P ill. diszkriminatív

érték

Egy szó fogalom szerkezete (Kintsch)

Visszacsempésződnek a számokA szemantikai gráfokban a vastagság vagy a hossza képviseli a tipikalitást

kanári

madár

állat

hattyú

emlős

Tovaterjedő aktivációs modell: A szavak a jelentés alapján izgalomba hozzák a hozzájuk kapcsolódó szavakat. Ez

megjelenik asszociációkban, de a szófelismerés kontextus hatásaiban is

sárga

doktor orvos

láz

zöld

baba

bölcső

ágy kórház

nap

folyó hő

fű

nővér

lázálom

WordNet szemantikai szerkezetek: Vissza az alapító atyákhoz

Eliza: „pszichoterapeuta”Weisenbaum 1966• A férfiak mind egyformák.• Ezt hogy érted?• Mindig nyaggatnak minket valamiért.• Mondanál egy konkrét példát?• Hát, a fiúm küldött ide.• A fiúd küldött ide.• Azt mondja, mindig depressziós vagyok.• Sajnálom, hogy depressziós vagy.• Talán ki kellene békülnöm az anyámmal.• Mesélj még a családodról.

• A módszer:• Kulcsszókeresés

• mindig• anyám

• Kulcsszó aktivál egy szabályt• Mondanál egy konkrét példát?• Mesélj még a családodról.

• Reguláris kifejezések segítségével behelyettesítés a szabálynak megfelelően• fiúm -> fiúd

• A kulcsszavak rangsorolva vannak

Mi ELISSA tanulsága? • Sok emberi folyamat algoritmizálható• Nem is olyan elvont az ember• Kérdés, hogy olyan-e ez, mintha átmenne a Turing próbán?• Miért nem?• Hogyan lehet becsapni? • És a valódi pszichológust?

Feladat• Számok, betűk, smileyk információs elemzése.• Pl. msh mgh • Smileyk elemei• Átlagos illetve statisztikai alapú • Egységek és elemek.