1 Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt 28.5.2010

1

Transduktoren für die Sprachverarbeitung:Komposition zweier Transduktoren

Karin Haenelt

28.5.2010

Themen

Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele

Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln

Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren

Filter zur Eliminierung redundanter Pfade Komplexität

© Karin Haenelt, Transduktoren: Komposition 28.5.2010

2

EinführungKomposition


3

das

gute

Beispiel

dete

nomn

adje

[NP

NP]

NP

Σ Δ Ω

Komposition von Relation R zwischen Σ und Δ und Relation S zwischen Δ und Ω ergibt Relation T zwischen Σ und Ω

EinführungKomposition


4

ermöglicht es, zwei Transduktoren, die in Serie hintereinander laufen, durch einen komplexeren Transduktor zu ersetzen T1 Transduktor von Σ nach Δ T2 Transduktor von Δ nach Ω T1 ○ T2 Transduktor von Σ Ω

EinführungKomposition, Beispiel


5

das gute Beispiel

[NP NP NP]21 TT

das gute Beispiel

dete adje nomn1T

[NP NP NP]

dete adje nomn

2T

Themen






6

Prinzip des Algorithmusfür endlich-sequentielle Transduktoren

Generalisierung der klassischen Zustandspaar-Konstruktion zur Intersektion von Akzeptoren (Hopcroft und Ullman, 1979)

statt Schnitt der Eingaben:Schnitt der Ausgabe von T1 mit Eingabe von T2


7

Prinzip des Algorithmus - 1 -für endlich-sequentielle Transduktoren

Zustände der Komposition R ○ S zweier Transduktoren R und S sind Paare eines R-Zustandes und eines S-Zustandes

es gelten folgende Bedingungen Startzustand ist das Paar der Startzustände von R und S Endzustände sind Paare von Endzuständen aus R und S es gibt eine Transition t von (r,s) nach (r‘,s‘) für jedes Paar

von Transitionen tR von r nach r‘ und tS von s nach s‘, wenn das Ausgabeetikett von tR dem Eingabeetikett von tS entspricht


8

Mohri , Pereira,Riley(1997:273)

Prinzip des Algorithmus - 2 -für endlich-sequentielle Transduktoren

Eingabe von t ist das Eingabeetikett von tR,

Ausgabe ist das Ausgabeetikett von tS

Gewicht von t ist das ⊗-Produkt der Gewichte von tR und tS, wenn die Gewichte Wahrscheinlichkeiten entsprechen(Operation ⊗ durch den verwendeten Semiring bestimmt)

Transitionen mit ε-Kanten bedürfen einer Sonderbehandlung (s. Folien weiter hinten)


9

Mohri , Pereira,Riley(1997:273)

KompositionEndlich-subsequentielle Transduktoren

Sei f : Σ*→Δ* eine sequentielle (oder p-subsequentielle)

Funktion g : Δ*→Ω* eine sequentielle (oder q-subsequentielle)

Funktion dann ist g ○ f sequentiell (oder pq-subsequentiell)


10

Mohri (1997:273)

KompositionEndlich-subsequentielle TransduktorenDefinition des pq-subsequentiellen Transduktors


11

1T ),,,,,,,( 1011111 qFQ p-subsequentiell

2T ),,,,,,,( 2022222 qFQ q-subsequentiell

21 TTT }),{,,,,,,,( 201021 qqFQQ pq-subsequentiell

F }))(,(,:),{( 211221121 FqqFqQqq

Qqqa ),(, 21

)),,(( 21 aqq ))),(,(),,(( 112211 aqqaq

)),,(( 21 aqq )),(,( 1122 aqq

Fqq ),( 21

)),(( 21 qq )))(,(())(,( 11221122 qqqq

Mohri (1997:273)

Themen






12

KompositionEndlich-subsequentielle TransduktorenBeispiel 1 - 1 -

© Karin Haenelt, Transduktoren: Komposition 28.5.2010 13

3 2

3 00 0 1 1 2 2 3 3

das gute Beispiel

[NP NP NP]21 TT

das gute Beispiel

dete adje nomn1T

[NP NP NP]

dete adje nomn

2T

0 1 2 3

0 1 2 3

x

x:y

z

yz

3 1

0 2

0 1

0 3 3 3

0 0

1 2 2 2

1 1 2 1

1 3 2 3

2 01 0

das:[NP

Beispiel:NP

gute:NP



14

1

1Q Beispiel das gute

0 - 1 - 1 - - 2 2 3 - - 3 f - - -

1


0 - dete - 1 - - adje 2 nomn - - 3 f - - -

1

1Q

0 - 1 - 2 - 3 f x

2

2Q nomn dete adje x

0 - 1 - - 1 - - 2 - 2 3 - - - 3 f - - - 3

2

2Q nomn dete adje x

0 - [NP - - 1 - - NP - 2 NP] - - - 3 f - - - y

2

2Q

0 - 1 - 2 - 3 f z

1T

2T



15

δ3 ( [q1,q2] , a ) = [ δ1 ( q1 , a ) , δ2 ( q2 , σ1 ( q1 , a ) ) ]

δ3 ( [0,0] , das ) = [ δ1 ( 0 , das ) , δ2 ( 0 , σ1 ( 0 , das ) ) ] = [ 1 , δ2 ( 0 , dete ) ] = [ 1 , 1 ]

1


0 - 1 - 1 - - 2 2 3 - - 3 f - - -

2

2Q nomn dete adje x

0 - 1 - - 1 - - 2 - 2 3 - - - 3 f - - - 3

1


0 - dete - 1 - - adje 2 nomn - - 3 f - - -

3 Q3 das [00] [11]

Berechnung von δ3 für Zustand [0,0]



16

1T 2T

:3T 3 ( [q1,q2] , a ) = 2 ( q2 , 1 ( q1 , a ) )

3 ( [0,0] , das ) = 2 ( 0 , 1 ( 0 , das ) )

= 2 ( 0 , dete ) = [NP

1


0 - dete - 1 - - adje 2 nomn - - 3 f - - -

2

2Q nomn dete adje x

0 - [NP - - 1 - - NP - 2 NP] - - - 3 f - - - y

Berechnung von σ3 für Zustand [0,0]

3 ( [q1,q2] ) = 2 ( q2 , 1 ( q1 ) ) 2 ( ( q2 , 1 ( q1 ) ) )

3 ( [3,3] ) = 2 ( 3 , 1 ( 3 ) ) 2 ( ( q2 , 1 ( 3 ) ) )

= 2 ( 3 , x ) 2 ( ( 3 , x ) ) = y 2 ( 3 ) = y z

1

1Q

0 - 1 - 2 - 3 f x

2

2Q nomn dete adje x

0 - [NP - - 1 - - NP - 2 NP] - - - 3 f - - - y

2

2Q

0 - 1 - 2 - 3 f z

Berechnung von ρ3 für Zustand [3,3]

2

2Q nomn dete adje x

0 - 1 - - 1 - - 2 - 2 3 - - - 3 f - - - 3




18

3

Q3 Beispiel das gute 00 - 11 - 11 - - 22 22 33 - - 33 f - - -

3

Q3 Beispiel das gute 00 - [NP - 11 - - NP 22 NP] - - 33 f - - -

3

Q3 00 - 11 - 22 - 33 f yz

Ergebnis der Konstruktion

Themen






19

KompositionBeispiel 2 - 1 -


20

1

0 3

2

[0.6]a:b [0.1]

c:a [0.3]

a:a [0.4]

b:a [0.2] b:b [0.5]

10 2 [0.7]b:c [0.3]

a:b [0.6]

a:b [0.4]

[1.3]a:c [0.4]

c:b [0.9]

a:b [0.8]

c:b [0.7]a:b [1.0]

0,0

1,1

1,2

3,2

1T

2T

21 TT

(Mohri/Riley, 2002: I,20)



21

3,1

3,01,0

0,1 1,1

0,2 1,2

2,1

3,2

0,3 1,3 2,3 3,3

0,0 2,0

2,2[0.7]

[0.6]

a:b [0.1]b:c [0.3]

a:a [0.4]a:b [0.4]

a:a [0.4]a:b [0.6]

c:a [0.3]a:b [0.4]

Zustandsmenge und gemeinsame Pfade bei Schnitt der Ausgabe von mit der Eingabe von

a:b [0.6]c:a [0.3]

21 TT QQ 1T 2T


lazy implementation: Konstruktion mit

Zustand (0,0) beginnen, nur dann weitere

Zustände hinzufügen, wenn sie Ergebnis einer Transition sind, die von einem bereits hinzugefügten Zustand ausgeht


22

w w w a b c 0,0 1,1 c 0.4 0,1 0,2 1,0 1,1 3,2 b 0.8 1,2 b 0.7 1,2 3,2 b 1.0 1,2 b 0.9 2,0 2,1 2,2 3,0 3,1 3,2

Themen






23



24

#__^/ szsx

e

r0 r1 r2 r3 r4

r5

s

#

:e^:

z,x

z,s,x

#,other

z,s,x

^:#other ^:s

z,s,x

other

#,other

Regel für die Einfügung von –eim Plural der englischen Nomina,die auf x,s,z enden („foxes“)

Jurafsky/Martin, 2000, S. 78



25

q0 q1 q2 q3 q4

q5

s

#

:e^:

z,x

z,s,x

#,other

z,s,x

^:#other ^:s

z,s,x

other

#,other

+N +PLl0 l1 l2 l5 l6 l7 l8 l9

f

f

o

o

x

x ^ s #

l3 l4c

c

a

a

t

t

Regel

Lexikon



26

ε:e

+N:ε

o:o*:*

f:f *:* 3,01,00,0 2,0 7,05,04,0 6,0 9,08,0

3,11,10,1 2,1 7,15,14,1 6,1 9,18,1

3,21,20,2 2,2 7,25,24,2 6,2 9,28,2

3,31,30,3 2,3 7,35,34,3 6,3 9,38,3

3,41,40,4 2,4 7,45,44,4 6,4 9,48,4

3,51,50,5 2,5 7,55,54,5 6,5 9,58,5

x:xx:x

+Pl:^^:ε

ε:ss:s

ε:##:#



r1 r2 r3 r4

r5

s

#z,x

z,s,x

#,other

z,s,x

^:ε

other sz,s,x

other

#,other

+N +PLl0

l1 l2

l5 l6 l7 l8 l9f

f

o

o

x

x

^ s #

l3 l4c

c

a

a

t

t

Regel

Lexikon

r0

#

^:ε

^:ε ε:e

f:f

*:*

o:o

*:*

x:x

x:x

+N:ε +Pl:^

^:ε ε:e

ε:s

s:s

ε:#

#:#0,0 1,0 2,0 5,1 6,1 7,2 7,3 8,4 9,0

Regel ○ Lexikon



28

+N +PLl0r0 l1r0 l2r0 l5r1 l6r1 l7r2 l7r3 l8r4

f

f

o

o

x

x ε e s

l3r0 l4r0c

c

a

a

t

t

+N +PLl6r0 l7r0 l8r1

s #

l5r0

l9r0

#

komponierter Gesamtautomat

ε

εε


Komposition von Lexikonautomat und Regelautomat zu einem

integrierten Gesamtautomaten Zustandsübergang (q0, other, q0) am Beginn des

Regelautomaten behandelt alle Eingaben, die von der Regel nicht betroffen sind und daher identisch transduziert werden;

diese Behandlung hat den Effekt, dass bei Komposition mit dem Lexikonautomaten der gesamte Lexemteil mit diesem Zustandsübergang komponiert wird; auf diese Weise werden die Relationen des Lexikons mit dem Regelautomaten verkettet.

Ergebnis der Komposition: Lexikonautomat mit pfadspezifisch komponierten Endungen Komposition mit Regelautomaten kann zu Vervielfachungen

von Teilen des Regelautomaten führen


29

Themen






30

Komposition von Transduktoren mit ε-Transitionenungewichtete Transduktoren

Eingabe- oder Ausgabeetikett eines Transduktors kann ε sein. Bedeutung: null move: kein Vorrücken zum nächsten Zustand

je nachdem, wann die ε-Transitionen im 1. oder 2. Transduktor gewählt werden, ergeben sich im komponierten Transduktor verschiedene Variationen eines Pfades, die dieselbe Transduktion darstellen

ein ungewichteter Transduktor ist auch mit diesen Variationen eines Pfades korrekt


31

Mohri, Pereira, Riley, 1996

Komposition von Transduktoren mit ε-Transitionengewichtete Transduktoren

ein gewichteter Transduktor ist mit verschiedenen Variationen eines Pfades nicht korrekt: das Gesamtgewicht einer Beobachtung ist die Summe der

Gewichte der Einzelpfade für diese Beobachtung Gesamtgewicht würde durch Anzahl der Variationen eines

Pfades beeinflusst Eliminierung der Pfadvariationen erforderlich


32


Komposition von Transduktoren mit ε-Transitionen Beispiel


33

1 20 3 4das:d sehr:ε gute:ε Beispiel:n

1 20 3d:[ ε:NP n:]

1 20 3 4das:d sehr:ε2 gute:ε2 Beispiel:n

1 20 3d:[ ε1:NP n:]

ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1

ε2:ε ε2:ε ε2:ε ε2:ε

A

B

A‘

B‘

abgeleitete Transduktoren mit expliziter Form der Null-Bewegungen

Basis

vgl. Mohri, Pereira, Riley, 1996



34

1 20 3 4das:d Beispiel:n

1 20 3d:[ ε1:NP n:]


A‘

B‘

sehr:ε2 gute:ε2





35

10 3 4das:d Beispiel:n

1 20 3d:[ ε1:NP n:]


A‘

B‘

sehr:ε2 gute:ε2


2




36

10 3 4das:d Beispiel:n

1 20 3d:[ ε1:NP n:]


A‘

B‘Null-Ausgabe und

korrespondierende Null-Bewegung

2 3 5 64

sehr:ε2 gute:ε2


Null-Bewegung und

korrespondierende Null-Eingabe

2

1

Null-Ausgabe und

korrespondierende Null-Eingabe

1

4

2 3 5 6




3 2

3 0

3 1

0 2

0 1

0 3 3 3

0 0

1 2 2 2

1 1 2 1

1 3 2 3

2 01 0

das:[

sehr:NP

4 2

4 0

4 1

4 3

gute:εsehr:ε

gute:εsehr:ε

Beispiel:]

ε:NP ε:NP ε:NP


Beispiel:]

Komposition von Transduktoren mit ε-Transitionen Problem bei gewichteten Transduktoren


3 2

3 10 0

1 2 2 2

1 1 2 1das:[

sehr:NP

4 3gute:εsehr:ε

gute:εsehr:ε

ε:NP ε:NP ε:NP

Die verschiedenen Pfade sind hier entstanden durch Komposition nicht durch unterschiedliche Beobachtungen

Folge: unkorrekte Berechnung der Gewichte in gewichteten Transduktoren(Gewicht einer Beobachtung: Summe der Gewichte der verschiedenen Pfade für eine Beobachtung) Mohri, Pereira, Riley, 1996

Themen






39

Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade

behält nur eine Variante der Verwendung von ε-Transitionen bei angewendet auf die abgeleitete Variante mit expliziter

Darstellung von Nullbewegungen: A‘ und B‘ darstellbar als Transduktor verschiedene Varianten möglich auf der nächsten Folie folgende Variante

führt oft zu Ergebnis mit den wenigsten Transitionen hat meistens die beste Zeiteffizienz


40


Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade


41

Beispiel:]3 2

3 10 0

1 2 2 2

1 1 2 1das:[

sehr:NP

4 3gute:εsehr:ε

gute:εsehr:ε

ε:NP ε:NP ε:NP

x:x ε2:ε2 ε2:ε2

ε1:ε1 ε2:ε1

ε2:ε2

ε1:ε1ε1:ε1

ε2:ε2 x:x

0

2

1ε2:ε1

x:xx:x

x:x

ε2:ε2

ε1:ε1

- x:x Ausgabe(A) = Eingabe(B)- rücke vor in A und in B- bleibe im Filter in Zustand 0

- ε1:ε1 ε-Transition in A- rücke vor in A (Zustand 1)- Wiederholung bis Fall x:x

- ε2:ε2 ε-Transition in B- rücke vor in B (Zustand 2)- Wiederholung bis Fall x:x

ε1:ε1

ε2:ε2


Themen






42

Komplexität

Algorithmus Platz: komponierter Transduktor: Q3: Q1 x Q2

Zeit: lazy implementation möglich Vergleich komponierter Transduktor : Einzeltransduktoren

Platz komponierter Transduktor kann sehr viel größer sein als

die Einzeltransduktoren (möglicherweise zu groß) in der Praxis oft nicht alle Zustandspaare aus Q1 x Q2

Zeit: komponierter Transduktor: nur einmal zu durchlaufen Einzeltransduktoren je einzeln zu durchlaufen


43

Vielen Dank

Für Verbesserungshinweise danke ich Frank Tobian

Versionen 28.5.2010,11.5.2009, 95.6.2005, 115.1.2003


44

Literatur

Jean Berstel und Dominique Perrin (2004). Algorithms on Words. In: M.Lothaire (ed). (2004). Applied Combinatorics on Words. http://www-igm.univ-mlv.fr/~berstel/Lothaire/Lothaire3/appcowC1.ps (version 06.04.2004)

Hopcroft, John E. und Jeffrey D. Ullman (1979). Introduction to Automata Theory, Languages and Computation. Addison Wesley, Reading, MA.

Jurafsky, Daniel und James H. Martin (2000): Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. New Jersey: Prentice Hall. S. 21-56.

Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press.


45

http://www-igm.univ-mlv.fr/~berstel/Lothaire/Lothaire3/appcowC1.ps

http://www-igm.univ-mlv.fr/~berstel/Lothaire/Lothaire3/appcowC1.ps

Literatur

Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S. 269-311. http://citeseer.nj.nec.com/mohri97finitestate.html

Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Teil 1: http://www.research.att.com/~mohri/postscript/icslp.ps, Teil 2: http://www.research.att.com/~mohri/postscript/icslp-tut2.ps

Mohri, Mehryar, Fernando Pereira und Michael Riley (1996). Weighted Finite-State Transducers in Speech Recognition. 12th European Conference on Artificial Intelligence. John Wiley & Sons, Ltd.


46

http://citeseer.nj.nec.com/mohri97finitestate.html

http://www.research.att.com/~mohri/postscript/icslp.ps

http://www.research.att.com/~mohri/postscript/icslp-tut2.ps

http://www.research.att.com/~mohri/postscript/icslp-tut2.ps

Copyright

© Karin Haenelt, 2003, 2004, 2005, 2006, 2010All rights reserved. The German Urheberrecht (esp. § 2, § 13, § 63 , etc.). shall be applied to these slides. In accordance with these laws these slides are a publication which may be quoted and used for non-commercial purposes, if the bibliographic data is included as described below.

Please quote correctly. If you use the presentation or parts of it for educational and scientific purposes, please observe the laws (copyright, Urheberrecht, etc.) Please include the bibliographic data (author, title, date, page, URL) in your publication (book, paper, course slides, etc.).

Deletion or omission of the footer (with name, data and copyright sign) is not permitted

Bibliographic data. Karin Haenelt. Transduktoren für die Sprachverarbeitung. Komposition von Transduktoren. 28.5.2010 (1 15.01.2003) http://kontext.fraunhofer.de/haenelt/kurs/folien/Haenelt_Fst-Komposition.pdf

For commercial use: No commercial use is allowed without written permission from the author. In case you are interested in commercial use please contact the author.

Court of Jurisdiction is Darmstadt, Germany

http://bundesrecht.juris.de/bundesrecht/urhg/

http://kontext.fraunhofer.de/haenelt/kurs/folien/Haenelt_FstKomposition.pdf

Documents

1 Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt 28.5.2010