Gépi fordítás

A számítógépes nyelvfeldolgozás alapjai

A számítógépes nyelvfeldolgozás alapjai – 2013. április 25.

Bevezetés

• Machine Translation (MT)

• Teljes szövegek automatikus fordításra forrás nyelvről célnyelvre.

• Computer Aided Translation (CAT)

• Nehéz feladat: jelentést kell visszaadni, ugyanakkor a másik nyelv morfológiai és szintaktikai szabályainak is meg kell felelni

Bevezetés - 2• Jelenleg a minőség (jelentősen) elmarad

az emberi fordítástól• DE: bizonyos részterületeken elég

– Receptek– Időjárás-jelentés

• Óriási igény lenne rá, főleg Magyarországon

A fordítási feladat„Csak kiszótárazom, lefordítom és kész”

– legyen 1 mondat átlagosan 15 szó hosszú– legyen 1 szónak átlagosan 3 jelentése

– 1 „mondatnak” 315 különböző fordítása áll elő– * szórendből permutációk– * extra szavak, kimaradó szavak

A fordítási piramis

Interlingua

Forrásnyelvi szemantika Célnyelvi szemantika

Forrásnyelvi szintaxis Célnyelvi szintaxis

Forrásnyelvi szavak Célnyelvi szavak

Gépi fordítási megközelítések

• Szótáron alapuló

• Szintaktikai transzformáción alapuló

• Szemantikai transzformáción alapuló

Szótáron alapuló fordítóprogram

• Elektronikus szótáron vagy kétnyelvű szólistákon alapszik

• A forrásnyelvi szavakat, szóalakokat vagy frázisokat szavaknak, szóalakoknak vagy frázisoknak felelteti meg a célnyelvben

• A különböző eljárások különböző problémákhoz vezetnek

Szó-szó megfeleltetésnél fellépő problémák:

• Nincs benne a szótárban a szó (ilyenkor forrásnyelvi szó kerül a céloldalra is)

• Túl sok jelentést ad meg a szótár (általában gyakoriság alapján dönt a fordítóprogram)

Szóalak-szóalak megfeleltetésnél fellépő problémák:

• A szótár csak egy szóalakot tartalmaz

• Agglutináló nyelvekben (pl. magyar) a szavaknak rengeteg formájuk van

• Morfológiai elemzőre is szükség van (lenne) a fordításhoz

Frázis-frázis megfeleltetésnél fellépő problémák:

• Forrásnyelvi és célnyelvi szintaktikai elemzés kell

• Szintaktikai többértelműségek feloldása

• Szükség van (lenne) szintaktikai elemzőre is

Szintaktikai transzformáción alapuló fordítás

• Szintaktikai fát fordít (= alakít át) szintaktikai fává

• Nemcsak a fa levelei fordítódnak le, hanem átalakul a fa maga

A fatranszformáció lépései1. 1 adott csomóponthoz társítjuk

maximum 1 gyermekét bizonyos valószínűséggel

2. Az elemi fa gyermekeit rendezzük (sorrend változtatása, elemek beszúrása vagy törlése…)

3. A leveleknél levő lexikai egységeket lefordítjuk

Példa

Mary did not slap the green witch Maria no daba una bofetada a la bruja verde

Jellemzők• Szórendi problémákat általában jól kezeli• Rokon nyelvek közti fordításra alkalmas módszer• Bonyolult, költséges transzformációs szabályok• Eltérő nyelvtani szerkezeteknél teljesen rossz

fordítás:

La botella entro a la cuerva flotando.

The bottle floated into the cave.

*The bottle entered the cave floating.

Szemantikai transzformáció• Szemantikai információt is

hasznosítanak a fordítás során

• A nyelvek közti különbségek semlegesítődnek

• Szemantikai jegyek alkalmazása (legegyszerűbb)

• Köztes (logikai) nyelvre fordítódik le a forrásnyelvi információ (Interlingua)

• A köztes nyelvről fordítódik át a célnyelvre

• Az információt (jelentést) fordítjuk, nem pusztán a szintaxist

• Manapság: angol ~ interlingua

Példa• John gave Mary a book.

Give(john; book; mary)

T<now

• Jean a donné un livre à Marie.

• János adott Marinak egy könyvet.

Szemantikai alapú fordítás• Egyszerűbb szabályok• Pontosabb fordítás• Elméleti szemantikai alapokon

nyugszik• Kevés a tapasztalat• Nehezen építhető ki minden

nyelvpárra• Az elméleti szemantika fejlődésével

módosításokra is szükség lehet

Példaalapú fordítás (EBMT)• „amikor az ember fordít, nem

használ transzformációs szabályokat, hanem korábban látott mintákat használ”

• Van egy fordítási adatbázis (párhuzamos korpusz)

• Azonosítjuk a fordítási egységeket• Az adatbázisból kiválasztjuk a

legközelebbi mintát

Módszerek• Példaalapú: adatbázisban tárolt

mondatok/kifejezések közül melyikre hasonlít legjobban

• Szótáralapú: gyenge, rokon nyelvekre lehet jó

• (szintaktikai) transzfer alapú: legtöbb módszer ezt használja, tűrhető megoldások

• Interlingua: köztes nyelvre fordít – „utópia”

Statisztikai MT• Minden szónak több lehetséges

fordítása van

• Válasszuk ki a legvalószínűbb szekvenciát

• Fordítási modell: bag-of-words fordítás

• Nyelvi modell: értelmes mondatok

argmax P(m|a)=argmax P(m)*P(a|m)

BLEU-score• A fordítás minőségének mérése• Az embernél nincs jobb kiértékelő, de

az nagyon drága• Adott néhány (emberi) fordítás

minden mondatra a teszthalmazon• Számoljuk meg, hogy 1,2,3,4 gramok

milyen fedésben vannak az emberi fordításokkal

• + javítások…

Magyar-angol eredmények (2007)

Fejlesztések• MetaMorpho (www.webforditas.hu)• Google Translate (http://

translate.google.com/)• Bing (http://www.bing.com/translator)• Hunglish nyersfordító• Emberi fordítást segítő eszközök (CAT)

fejlesztése:– intelligens szótárak– lexikai adatbázisok– fordítómemóriák– párhuzamos korpuszok

Vicces példák• 2006-ból…• Összetett szavak:

bányászszív [miner sucks]bulvárszíndarab [boulevard colour][ piece]gyertyamártás candle saucehabképző [foam][ derivational suffix]hajsütés hair bakinghalálnem death genderhalmajonéz[dying mayonnaise]hóhányás [snow][ vomit]hóhullás [snow][ corpse]hőképzés [heat][ training]hőkiütés [heat][ knockout]időjóslat [time][ prophecy]+ light verb construction fényigeszerkezet (2012)

Konkrét példák (angol-magyar fordítás)

• Többjelentésű szó nem megfelelő jelentésben (1):

Her children go to the same school as mine.

A gyerekei bányaként járnak ugyanabba az iskolába. (MetaMorpho)

Gyermekei megy ugyanaz iskola mint bánya. (InterTran)

A gyerekei ugyanabba az iskolába járnak, mint az enyémek. (referencia)

Angol-magyar fordítás• Többjelentésű szó nem megfelelő

jelentésben (2):

John gives marvellous parties.

John csodálatos pártokat ad. (MetaMorpho)

Budi ad csodálatos parti. (InterTran)

János fantasztikus bulikat szokott rendezni. (referencia)

Angol-magyar fordítás• Többjelentésű szó nem megfelelő

jelentésben (3):

When did you last fly a plane?

Mikor röpítettél egy repülőgépet utoljára? (MetaMorpho)

Mikor tett ön utolsó slicc egy sík? (InterTran)

Mikor vezettél utoljára repülőgépet? (referencia)

Angol-magyar fordítás• Többjelentésű szó nem megfelelő

jelentésben (4):

There are no biscuits left!

Kekszek nincsenek balra! (MetaMorpho)

Nincs kétszersültek bal! (InterTran)

Nincs több keksz! (referencia)

Angol-magyar fordítás• Szótári-elemzői hiányosságokI haven’t driven a car for ages.Nem vezettem autót régóta.

(MetaMorpho)ÉN kikötő vezetett egy autó részére

évek.(InterTran)Évek óta nem vezettem autót.

(referencia)

Angol-magyar fordítás• Nyelvtan hiánya (1):How many dogs does the Queen

have?A királynőnek hány kutya van?

(MetaMorpho)Mennyi kutyák csinál a Királynő

volna? (InterTran)Hány kutyája van a királynőnek?

(referencia)

Angol-magyar fordítás• Nyelvtan hiánya (2):

What does he do in his free-time?

Mit nyír ki övé szabad-idő? (MetaMorpho)

Mi csinál ő csinál -ban -a szabad - idő? (InterTran)

Mit csinál szabadidejében? (referencia)

Konkrét példák (magyar-angol fordítás)

• Többjelentésű szó nem megfelelő jelentésben (1):

Bal kézzel írok.

[Left hand][ Irishmen]. (MetaMorpho)

Leftward kézzel írok. (InterTran)

I write with my left hand. (referencia)

Magyar-angol fordítás• Többjelentésű szó nem megfelelő

jelentésben (2):

Csak Margót ébresztettem fel.

Csak[ Margin][ waked]. (MetaMorpho)

Only Margin awoke up. (InterTran)

I only woke Margot. (referencia)

Magyar-angol fordítás• Többjelentésű szó nem megfelelő

jelentésben (3):

Hány kutyája van a királynőnek?

[Vomits] kutyája[ is][ the queen]? (MetaMorpho)

Vomit his dog there is the queen? (InterTran)

How many dogs does the Queen have? (referencia)

Magyar-angol fordítás• Többjelentésű szó nem megfelelő

jelentésben (4):

Kedden költöztek ki.

[Tue] költöztek[ who]. (MetaMorpho)

On Tuesday trek who. (InterTran)

They moved out on Tuesday. (referencia)

Magyar-angol fordítás• Szótári-elemzői hiányosságok:

Én inkább vennék egyet.

[I] inkább[ would buy] egyet. (MetaMorpho)

Am I rather vennék university. (InterTran)

I’d rather buy one. (referencia)

Magyar-angol fordítás• Nyelvtani hiányosságok (1):

Én inkább vennék egyet.

[I] inkább[ would buy] egyet. (MetaMorpho)

Am I rather vennék university. (InterTran)

I’d rather buy one. (referencia)

Magyar-angol fordítás• Nyelvtani hiányosságok (2):Ma te vigyáztál a gyerekeire, nem?[Today][ you] vigyáztál[ his children],

[ gender]? (MetaMorpho)Yet today your are take care the

about your child , not? (InterTran)You looked after her children today,

didn’t you? (referencia)