aimag97

8/14/2019 aimag97

1/24

A u t o m a t i n g K n o w l e d g e A c q u i s i t i o n f o r M a c h i n e T r a n s l a t i o n

K e v i n K n i g h t

1 I n t r o d u c t i o n

H o w c a n w e w r i t e a c o m p u t e r p r o g r a m t o t r a n s l a t e a n E n g l i s h s e n t e n c e i n t o J a p a n e s e ? A n y o n e

w h o h a s t a k e n a g r a d u a t e - l e v e l c o u r s e i n A r t i c i a l I n t e l l i g e n c e k n o w s t h e a n s w e r . F i r s t , c o m p u t e

t h e m e a n i n g o f t h e E n g l i s h s e n t e n c e . T h a t i s , c o n v e r t i t i n t o l o g i c o r y o u r f a v o r i t e k n o w l e d g e

r e p r e s e n t a t i o n l a n g u a g e . T h i s c o n v e r s i o n p r o c e s s w i l l a p p e a l t o a d i c t i o n a r y , w h i c h m a p s w o r d s

( l i k e " c a n y o n " ) o n t o c o n c e p t s ( l i k e C A N Y O N ) , a n d t o a w o r l d m o d e l t h a t c o n t a i n s f a c t s a b o u t

r e a l i t y ( l i k e " c a n y o n s d o n ' t y " ) . I n t h i s w a y , a n a m b i g u o u s s e n t e n c e l i k e " J o h n s a w t h e G r a n d

C a n y o n y i n g t o N e w Y o r k " g e t s t h e r i g h t i n t e r p r e t a t i o n . F i n a l l y , t u r n t h e c o n c e p t u a l s t r u c t u r e

i n t o J a p a n e s e ( o r w h a t e v e r ) , u s i n g f u r t h e r g r a m m a t i c a l a n d l e x i c a l k n o w l e d g e b a s e s .

A l o n g t h e w a y , t h e r e w i l l b e m a n y f a s c i n a t i n g p r o b l e m s t o s o l v e . L i k e : c a n y o n s d o n ' t " y " , b u t

d o p e o p l e " y " ? O n l y i n t h e s e n s e o f R I D E - I N - A I R P L A N E , w i t h t h e c a v e a t t h a t t h e W H E E L S o f

t h e A I R P L A N E m u s t a t s o m e p o i n t l e a v e t h e G R O U N D | o t h e r w i s e , w e ' r e j u s t t a x i i n g . H o w a b o u t

" J o h n e w m e t o N e w Y o r k " ? T h a t ' s a n o t h e r m e a n i n g o f " y , " i n v o l v i n g D R I V E - A I R P L A N E a s

w e l l a s R I D E - I N - A I R P L A N E . A n d i f " U n i t e d e w m e t o N e w Y o r k , " I m a y s a y t h a t t h e A I R P L A N E

t h a t I r o d e i n w a s d r i v e n b y a n E M P L O Y E E o f t h e A I R L I N E t h a t O W N S t h e A I R P L A N E . A n d

w h i l e w e ' r e a t i t , w h y d o n ' t c a n y o n s y ? A I R P L A N E s a n d C A N Y O N s a r e b o t h i n a n i m a t e , b u t a

C A N Y O N s e e m s t o o b i g t o y , o r a n y w a y n o t a e r o d y n a m i c e n o u g h . . . W e s e e m t o b e o n t h e r i g h t

t r a c k , b u t c o n s i d e r i n g t h e v a s t n e s s o f h u m a n l a n g u a g e a n d t h e i n t r i c a c i e s o f m e a n i n g , w e ' r e i n f o r

a v e r y l o n g j o u r n e y .

M e a n w h i l e , i n t h e r e a l w o r l d ( n o t t h e f o r m a l m o d e l ) , p e o p l e a r e b u y i n g s h r i n k - w r a p p e d m a -

c h i n e t r a n s l a t i o n ( M T ) s o f t w a r e f o r f t y d o l l a r s . E m a i l p r o g r a m s s h i p w i t h l a n g u a g e t r a n s l a t i o n

c a p a c i t y ( o p t i o n a l ) . C o m p a n i e s u s e M T t o t r a n s l a t e m a n u a l s a n d t r a c k r e v i s i o n s . M T p r o d u c t s

h e l p g o v e r n m e n t s t o t r a n s l a t e w e b p a g e s a n d o t h e r n e t - t r a c .

W h a t ' s h a p p e n i n g h e r e ? I s A I i r r e l e v a n t ? N o , b u t t h e r e a r e m a n y a p p r o a c h e s t o M T , a n d n o t

a l l o f t h e m u s e f o r m a l s e m a n t i c r e p r e s e n t a t i o n s . ( I ' l l d e s c r i b e s o m e i n t h i s a r t i c l e . ) T h i s s h o u l d

c o m e a s n o s u r p r i s e , b e c a u s e M T p r e - d a t e s A I , a s a e l d . A n A I s c i e n t i s t c o u l d e a s i l y s p e n d t w o

m o n t h s r e p r e s e n t i n g " J o h n s a w t h e G r a n d C a n y o n y i n g t o N e w Y o r k , " w h i l e a n y b o d y w i t h a

b i l i n g u a l d i c t i o n a r y c a n b u i l d a g e n e r a l - p u r p o s e w o r d - f o r - w o r d t r a n s l a t o r i n a d a y . W i t h t h e r i g h t

l a n g u a g e p a i r , a n d n o s m a l l a m o u n t o f l u c k , w o r d - f o r - w o r d r e s u l t s m a y b e i n t e l l i g i b l e | " J o h n v i e l

G r a n d C a n y o n v o l a n d o a N e w Y o r k . " T h a t ' s o k a y S p a n i s h . B u t m o s t o f t h e t i m e t h e t r a n s l a t i o n s

w i l l b e t e r r i b l e , w h i c h i s w h y M T r e s e a r c h e r s a r e v e r y b u s y :

B u i l d i n g h i g h - q u a l i t y s e m a n t i c s - b a s e d M T s y s t e m s i n c i r c u m s c r i b e d d o m a i n s , l i k e w e a t h e r r e -

p o r t s C h a n d i o u x a n d G r i m a i l a , 1 9 9 6 ] a n d h e a v y e q u i p m e n t m a n u a l s N y b e r g a n d M i t a m u r a ,

1 9 9 2 ] .

A b a n d o n i n g a u t o m a t i c M T , a n d b u i l d i n g s o f t w a r e t o a s s i s t h u m a n t r a n s l a t o r s i n s t e a d I s -

a b e l l e e t a l . , 1 9 9 3 ; D a g a n a n d C h u r c h , 1 9 9 4 ; M a c k l o v i t c h , 1 9 9 4 ] .

D e v e l o p i n g a u t o m a t i c k n o w l e d g e a c q u i s i t i o n t e c h n i q u e s f o r i m p r o v i n g g e n e r a l - p u r p o s e M T

B r o w n e t a l . , 1 9 9 3 b ; Y a m r o n e t a l . , 1 9 9 4 ; K n i g h t e t a l . , 1 9 9 5 ] .

T h e r e h a v e b e e n e x c i t i n g r e c e n t d e v e l o p m e n t s a l o n g a l l t h e s e l i n e s . I w i l l c o n c e n t r a t e o n t h e

t h i r d t h r u s t | i m p r o v i n g M T q u a l i t y t h r o u g h a u t o m a t i c k n o w l e d g e a c q u i s i t i o n .

1

8/14/2019 aimag97

2/24

Source Text

(eg, Japanese)

Target Text

(eg, English)

Target Text

Semantics

Source Text

Semantics

Target Text

Syntax

Source Text

Syntax

Interlingua

(word-for-word)

(syntax-based)

(semantics-based)

F i g u r e 1 : D i e r e n t s t r a t e g i e s f o r M a c h i n e T r a n s l a t i o n ( M T ) .

I f y o u t a k e a p o l l o f g e n e r a l - p u r p o s e M T u s e r s , y o u w i l l n d t h a t t h e y w a n t m a n y i m p r o v e m e n t s :

s p e e d , c o m p a t i b i l i t y w i t h t h e i r w o r d p r o c e s s o r , c u s t o m i z a b l e d i c t i o n a r i e s , t r a n s l a t i o n m e m o r y , r e -

v i s i o n t r a c k i n g , e t c . A t t h e t o p o f e v e r y o n e ' s l i s t , h o w e v e r : b e t t e r o u t p u t q u a l i t y . U n f o r t u n a t e l y ,

t h e M T c o m p a n i e s a r e b u s y s u p p l y i n g a l l t h o s e o t h e r t h i n g s , b e c a u s e t h e y k n o w h o w . C o m m e r c i a l

t r a n s l a t i o n q u a l i t y h a s r e a c h e d s o m e t h i n g o f a p l a t e a u , a s i t i s d i c u l t t o e n t e r s o m u c h l i n g u i s t i c

k n o w l e d g e b y h a n d . S o t h e r e ' s a g r e a t p a y o f o r s u c c e s s f u l r e s e a r c h i n a u t o m a t i c , c o r p u s - b a s e d

k n o w l e d g e a c q u i s i t i o n . R e c e n t c o r p u s - b a s e d t e c h n i q u e s ( p a r s i n g , w o r d s e n s e d i s a m b i g u a t i o n , b i l i n -

g u a l t e x t a n a l y s i s , e t c . ) h a v e y e t t o s h o w u p i n c o m m e r c i a l M T , a n d i t l o o k s l i k e t h e r e a r e p l e n t y

m o r e r e s u l t s t o c o m e .

F r o m a s c i e n t i c p o i n t o f v i e w , M T r e m a i n s t h e c l a s s i c a c i d t e s t o f h o w m u c h w e u n d e r s t a n d

a b o u t h u m a n l a n g u a g e . I f w e p o u r i n l o t s o f t h e o r i e s f r o m c o m p u t e r s c i e n c e , l i n g u i s t i c s , s t a t i s t i c s

a n d A I | a n d s t i l l g e t w r o n g t r a n s l a t i o n s | t h e n w e k n o w w e n e e d b e t t e r t h e o r i e s . B r o a d l y s p e a k i n g ,

t h e o r i e s o f M T f a l l i n t o t h e c a t e g o r i e s s h o w n i n F i g u r e 1 . T h e s i m p l e s t m e t h o d , a t t h e b o t t o m o f

t h e t r i a n g l e , i s w o r d - f o r - w o r d s u b s t i t u t i o n . W o r d s a r e a m b i g u o u s , s o s e l e c t i n g w h i c h s u b s t i t u t i o n t o

m a k e i s n o t e a s y . W o r d - s u b s t i t u t i o n p r o g r a m s o f t e n w i n d u p d o i n g a l i m i t e d a m o u n t o f r e - o r d e r i n g

a l s o , e . g . , i p p i n g a d j e c t i v e s a n d n o u n s . W o r d o r d e r d i e r e n c e s c a n b e h a n d l e d m o r e e l e g a n t l y i f

w e d o a s y n t a c t i c a n a l y s i s o f t h e s o u r c e t e x t , t h e n t r a n s f e r t h i s a n a l y s i s i n t o a c o r r e s p o n d i n g t a r g e t

l a n g u a g e s t r u c t u r e . I n t h a t c a s e , w o r d t r a n s l a t i o n s c a n b e s e n s i t i v e t o s y n t a c t i c r e l a t i o n s | e . g . ,

w e c a n t r a n s l a t e a v e r b d i e r e n t l y d e p e n d i n g o n i t s d i r e c t o b j e c t . S t i l l , t h e t a r g e t t e x t s y n t a x w i l l

l i k e l y m i r r o r t h a t o f t h e s o u r c e t e x t . W e c a n t h e r e f o r e d o a s e m a n t i c a n a l y s i s t h a t a b s t r a c t s a w a y

s y n t a c t i c d e t a i l s ( m o v i n g o n u p t h e t r i a n g l e i n F i g u r e 1 ) .

U l t i m a t e l y , w e a r r i v e a t a n a l l - e n c o m p a s s i n g m e a n i n g r e p r e s e n t a t i o n , c a l l e d I n t e r l i n g u a . Y o u

m a y w o n d e r w h y s e m a n t i c s a n d I n t e r l i n g u a a r e n o t t h e s a m e t h i n g | h e r e i s a n i l l u s t r a t i o n f r o m a

J a p a n e s e / E n g l i s h M T s y s t e m I h a v e w o r k e d o n . I t o n c e t r a n s l a t e d a J a p a n e s e s e n t e n c e a s " T h e r e

i s a p l a n t h a t a b a b y i s h a p p e n i n g i n h e r , " a p r e t t y r e a s o n a b l e t r a n s l a t i o n , b u t w i t h a d e n i t e

J a p a n e s e - s e m a n t i c s f e e l t o i t . S e m a n t i c s i s n o t a n a l l - o r - n o t h i n g p r o p o s i t i o n i n M T a n y m o r e t h a n

i n , s a y , e x p e r t s y s t e m s .

A s y o u g o u p t h e t r i a n g l e , y o u e n c o u n t e r m o r e g o o d i d e a s , l i n g u i s t i c g e n e r a l i z a t i o n s , a n d e x -

p l a n a t o r y p o w e r . I t a l s o b e c o m e s m o r e d i c u l t t o b u i l d l a r g e - s c a l e s y s t e m s , b e c a u s e t h e k n o w l e d g e

r e q u i r e m e n t s b e c o m e s e v e r e . A t t h e b o t t o m , y o u n e e d t o k n o w t h i n g s l i k e h o w t o s a y " r e a l e s t a t e "

i n F r e n c h . T o p a r s e , y o u n e e d t o k n o w p a r t s o f s p e e c h a n d g r a m m a r . T o g e t m e a n i n g , y o u n e e d t o

k n o w a l l t h e m e a n i n g s o f a l l t h e w o r d s , i n c l u d i n g t h e s l i p p e r y l i t t l e o n e s , a n d h a v e k n o w l e d g e f o r

c o m b i n i n g w o r d m e a n i n g s i n t o s e n t e n c e m e a n i n g s . I t ' s p r o g r e s s i v e l y h a r d e r t o g e t t h e k n o w l e d g e .

F o r t u n a t e l y f o r M T , r e c e n t w o r k i n c o r p u s - b a s e d l e a r n i n g o e r s t h e p o s s i b i l i t y o f r e d u c i n g t h e

2

8/14/2019 aimag97

3/24

k n o w l e d g e b o t t l e n e c k .

N o t e t o r e a d e r : Y o u w i l l s e e t h a t I d e v o t e m o r e p a g e s t o w o r d - f o r - w o r d M T t h a n t o s e m a n t i c

M T . I n p a r t , t h i s i s t o p r e s e n t t h e s t a t i s t i c a l w o r d - f o r - w o r d w o r k a b i t m o r e s i m p l y a n d a c c e s -

s i b l y ; t h e s t a n d a r d l i t e r a t u r e h i t s y o u w i t h t e r m s l i k e " K r o n e c k e r d e l t a f u n c t i o n " a n d " L a g r a n g e

m u l t i p l i e r " o n p a g e t w o . F u r t h e r m o r e , w o r d - f o r - w o r d M T c o m p r i s e s a f a i r l y s e l f - c o n t a i n e d s e t o f

t e c h n i q u e s , w h i l e s e m a n t i c M T b e n e t s f r o m t h e f u l l r a n g e o f c o r p u s - b a s e d l a n g u a g e r e s e a r c h , m o s t

o f w h i c h I w i l l n o t r e v i e w .

2 W o r d - f o r - W o r d T r a n s l a t i o n

W o r d - f o r - w o r d t r a n s l a t i o n w a s r s t p r o p o s e d i n t h e 1 9 5 0 s . P r o t o c o m p u t e r s h a d j u s t b r o k e n G e r m a n

m i l i t a r y c o d e s , s u c c e s s f u l l y t r a n s f o r m i n g e n c r y p t e d - G e r m a n i n t o r e a l G e r m a n b y i d e n t i f y i n g l e t t e r

s h i f t s a n d s u b s t i t u t i o n s . C r y p t o g r a p h e r s a n d i n f o r m a t i o n - t h e o r y s c i e n t i s t s w o n d e r e d i f R u s s i a n

c o u l d n ' t b e u s e f u l l y v i e w e d a s e n c r y p t e d - E n g l i s h | a n d M T a s a k i n d o f d e c i p h e r m e n t .

A s a c i p h e r , R u s s i a n l o o k e d t o b e q u i t e c o m p l e x . S o m e t i m e s a w o r d w o u l d b e e n c r y p t e d o n e

w a y , a n d s o m e t i m e s a n o t h e r ( w h a t w e n o w c a l l l e x i c a l a m b i g u i t y ) . W o r d s a l s o c h a n g e d t h e i r o r d e r |

t r a n s p o s i t i o n i n t h e c r y p t o g r a p h i c j a r g o n . N o w , t o c r a c k c o m p l e x c i p h e r s , i t w a s a l w a y s v e r y u s e f u l

t o i n t e r c e p t m e s s a g e s i n b o t h t h e i r n o r m a l a n d e n c r y p t e d f o r m s ( a l s o k n o w n a s " p l a i n t e x t " a n d

" c i p h e r t e x t " ) . F o r t u n a t e l y , t h e r e w e r e m a n y s u c h m e s s a g e s i n b o t h R u s s i a n a n d E n g l i s h a v a i l a b l e :

t r a n s l a t i o n s o f T o l s t o y , f o r i n s t a n c e . B u t t h e c r y p t o g r a p h e r s s o o n g a v e u p t h i s w h o l e a p p r o a c h ,

b e c a u s e o f t h e s h e e r s i z e o f t h e p r o b l e m . G e r m a n e n c r y p t i o n h a d b e e n p e r f o r m e d o n r o t o r m a c h i n e s

i n t h e e l d , w h i l e M T w a s s o m e t h i n g e l s e , w i t h c o m p l e x g r a m m a r a n d h u n d r e d - t h o u s a n d - w o r d

s u b s t i t u t i o n " a l p h a b e t s . "

T h i s l i n e o f a t t a c k w a s r e s u m e d i n t h e 1 9 9 0 s , h o w e v e r , w h e n c o m p u t e r s g r e w m o r e p o w e r f u l . I

w i l l r e c o n s t r u c t t h e b a s i c a p p r o a c h w i t h a n e x a m p l e .

S u p p o s e I g i v e y o u t h e t r a n s l a t e d d o c u m e n t s h o w n i n F i g u r e 2 . S e n t e n c e s a p p e a r i n b o t h

" C e n t a u r i " a n d " A r c t u r a n " t r a n s l a t i o n s . I f y o u a r e n ' t u e n t i n e x t r a t e r r e s t r i a l l a n g u a g e s , d o n ' t

d e s p a i r | t h e n o n s e n s e w o r d s w i l l a c t u a l l y h e l p y o u t o s e e t h e t e x t f r o m a c o m p u t e r ' s p o i n t o f v i e w .

A w a r e t h a t y o u m a y s o o n b e a b d u c t e d b y a l i e n s a n d p u t t o w o r k i n a n I n t e r s t e l l a r T r a n s l a t i o n

B u r e a u , y o u a r e e a g e r t o a n a l y z e t h e d a t a .

Y o u r s t n o t i c e t h a t c o r r e s p o n d i n g s e n t e n c e s h a v e t h e s a m e n u m b e r o f w o r d s , e x c e p t f o r ( 1 1 ) .

Y o u c o n j e c t u r e t h a t t h e t w o l a n g u a g e s a r e v e r y c l o s e t o o n e a n o t h e r , a n d p e r h a p s s i m p l e w o r d -

f o r - w o r d s u b s t i t u t i o n w i l l s u c e f o r t r a n s l a t i o n . T o t e s t t h i s h y p o t h e s i s , y o u l o o k a t t h e C e n t a u r i

w o r d " g h i r o k , " w h i c h a p p e a r s i n s e n t e n c e p a i r s 3 a n d 1 0 . I t s i t s d i r e c t l y a b o v e " h i l a t " a n d " b a t "

i n t h e t w o r e s p e c t i v e A r c t u r a n t r a n s l a t i o n s . S o p e r h a p s t h e w o r d " g h i r o k " i s a m b i g u o u s , l i k e t h e

E n g l i s h w o r d " b a n k " . O n t h e o t h e r h a n d , t h e A r c t u r a n w o r d " h i l a t " a p p e a r s i n b o t h s e n t e n c e

p a i r s | i n f a c t , " h i l a t " a p p e a r s i n A r c t u r a n i f a n d o n l y i f " g h i r o k " a p p e a r s i n C e n t a u r i . S o y o u

m i g h t i n s t e a d a s s u m e t h a t w h i l e " g h i r o k " a l w a y s m e a n s " h i l a t " , C e n t a u r i a n d A r c t u r a n e m p l o y

d i e r e n t w o r d o r d e r s c h e m e s .

N e x t , y o u d e c i d e t o f r y s o m e e a s y s h . T h e w o r d s " o k - v o o n " a n d " a t - v o o n " ( 1 ) l o o k s u s p i c i o u s l y

f a m i l i a r , s o y o u l i n k t h e m . Y o u d o t h e s a m e f o r " a t - d r u b e l / o k - d r u b e l " ( 2 ) , " o k - y u r p / a t - y u r p " ( 9 ) ,

a n d " z a n z a n o k / z a n z a n a t " ( 1 1 ) . T h e p a i r " e n e m o k / e n e a t " ( 7 ) a l s o l o o k s p r o m i s i n g , b u t y o u d e c i d e

t o w a i t f o r m o r e e v i d e n c e .

S e n t e n c e p a i r ( 1 ) i s n o w p a r t i a l l y e x p l a i n e d , l e a v i n g t w o o b v i o u s a l t e r n a t i v e s ; e i t h e r

( A ) " o r o r o k " m e a n s " b i c h a t " ( a n d " s p r o k " m e a n s " d a t " ) , o r

( B ) " o r o r o k " m e a n s " d a t " ( a n d " s p r o k " m e a n s " b i c h a t " ) .

3

8/14/2019 aimag97

4/24

--------------------------------------------------

1a. ok-voon ororok sprok .

1b. at-voon bichat dat .

--------------------------------------------------

2a. ok-drubel ok-voon anok plok sprok .

2b. at-drubel at-voon pippat rrat dat .

--------------------------------------------------

3a. erok sprok izok hihok ghirok .

3b. totat dat arrat vat hilat .

--------------------------------------------------

4a. ok-voon anok drok brok jok .

4b. at-voon krat pippat sat lat .

--------------------------------------------------

5a. wiwok farok izok stok .

5b. totat jjat quat cat .

--------------------------------------------------

6a. lalok sprok izok jok stok .

6b. wat dat krat quat cat .

--------------------------------------------------

7a. lalok farok ororok lalok sprok izok enemok .

7b. wat jjat bichat wat dat vat eneat .

--------------------------------------------------

8a. lalok brok anok plok nok .

8b. iat lat pippat rrat nnat .

--------------------------------------------------9a. wiwok nok izok kantok ok-yurp .

9b. totat nnat quat oloat at-yurp .

--------------------------------------------------

10a. lalok mok nok yorok ghirok clok .

10b. wat nnat gat mat bat hilat .

--------------------------------------------------

11a. lalok nok crrrok hihok yorok zanzanok .

11b. wat nnat arrat mat zanzanat .

--------------------------------------------------

12a. lalok rarok nok izok hihok mok .

12b. wat nnat forat arrat vat gat .--------------------------------------------------

Translation dictionary:

ghirok - hilat ok-yurp - at-yurp

ok-drubel - at-drubel zanzanok - zanzanat

ok-voon - at-voon

F i g u r e 2 : T w e l v e p a i r s o f s e n t e n c e s w r i t t e n i n i m a g i n a r y C e n t a u r i a n d A r c t u r a n l a n g u a g e s .

4

8/14/2019 aimag97

5/24

O f c o u r s e , i t c o u l d b e t h e c a s e t h a t " o r o r o k " i s a n ( u n t r a n s l a t e d ) a u x i l i a r y v e r b , a n d t h a t

" s p r o k " h a s a p h r a s a l t r a n s l a t i o n " b i c h a t d a t . " B u t y o u i g n o r e t h a t p o s s i b i l i t y f o r n o w . S o , w h i c h

o f t h e t w o a l t e r n a t i v e s i s m o r e l i k e l y ? T o n d o u t , y o u l o o k f o r a s e n t e n c e t h a t c o n t a i n s " s p r o k "

b u t n o t " o r o r o k , " s u c h a s ( 2 a ) . I t s t r a n s l a t i o n ( 2 b ) h a s " d a t , " l e n d i n g s u p p o r t t o h y p o t h e s i s ( A )

a b o v e . Y o u c a n n o w a d d t w o m o r e e n t r i e s t o y o u r t r a n s l a t i o n d i c t i o n a r y a n d l i n k t h e i r o c c u r r e n c e s

t h r o u g h o u t t h e c o r p u s ( 1 , 2 , 3 , 6 , 7 ) .

S e n t e n c e p a i r ( 2 ) i s a l o g i c a l p l a c e t o c o n t i n u e , b e c a u s e y o u o n l y n e e d t o c o n s i d e r h o w t o m a p

" a n o k p l o k " o n t o " p i p p a t r r a t . " A g a i n , t w o p o s s i b i l i t i e s s u g g e s t t h e m s e l v e s , b u t s e n t e n c e p a i r ( 4 )

p u s h e s y o u t o w a r d " a n o k / p i p p a t " a n d t h e r e f o r e " p l o k / r r a t . "

S e n t e n c e p a i r ( 3 ) i s m u c h m o r e c h a l l e n g i n g . S o f a r , w e h a v e :

e r o k s p r o k i z o k h i h o k g h i r o k

| /

t o t a t d a t a r r a t v a t h i l a t

T h e C e n t a u r i w o r d " i z o k " w o u l d s e e n t o t r a n s l a t e a s e i t h e r " t o t a t , " " a s r a t , " o r " v a t , " a n d y e t w h e n

y o u l o o k a t " i z o k " i n ( 6 ) , n o n e o f t h o s e t h r e e w o r d s a p p e a r i n t h e A r c t u r a n . T h e r e f o r e , " i z o k "

l o o k s t o b e a m b i g u o u s . T h e w o r d " h i h o k , " o n t h e o t h e r h a n d , i s x e d b y ( 1 1 ) a s " a r r a t . " B o t h ( 3 )

a n d ( 1 2 ) h a v e " i z o k h i h o k " s i t t i n g d i r e c t l y o n t o p o f " a r r a t v a t , " s o i n a l l p o s s i b i l i t y , " v a t " s e e m s

a r e a s o n a b l e t r a n s l a t i o n f o r ( a m b i g u o u s ) " i z o k . " S e n t e n c e s ( 5 , 6 , 9 ) s u g g e s t t h a t " q u a t " i s i t s o t h e r

t r a n s l a t i o n . B y p r o c e s s o f e l i m i n a t i o n , y o u c o n n e c t t h e w o r d s " e r o k " a n d " t o t a t , " n i s h i n g o t h e

a n a l y s i s :

e r o k s p r o k i z o k h i h o k g h i r o k

| | \ / /

| | X /

| | / \ /

t o t a t d a t a r r a t v a t h i l a t

N o t i c e t h a t a l i g n i n g t h e s e n t e n c e p a i r s h e l p s y o u t o b u i l d t h e t r a n s l a t i o n d i c t i o n a r y , a n d t h a t

b u i l d i n g t h e t r a n s l a t i o n d i c t i o n a r y a l s o h e l p s y o u d e c i d e o n c o r r e c t a l i g n m e n t s . Y o u m i g h t c a l l t h i s

t h e " d e c i p h e r m e n t m e t h o d . "

F i g u r e 3 s h o w s t h e p r o g r e s s s o f a r . W i t h a b a l l - p o i n t p e n a n d s o m e p a t i e n c e , y o u c a n c a r r y

t h i s r e a s o n i n g t o i t s l o g i c a l e n d , l e a d i n g t o t h e f o l l o w i n g t r a n s l a t i o n d i c t i o n a r y :

a n o k - p i p p a t m o k - g a t

b r o k - l a t n o k - n n a t

c l o k - b a t o k - d r u b e l - a t - d r u b e l

c r r r o k - ( n o n e ? ) o k - v o o n - a t - v o o n

d r o k - s a t o k - y u r p - a t - y u r p

e n e m o k - e n e a t o r o r o k - b i c h a t

e r o k - t o t a t p l o k - r r a t

f a r o k - j j a t r a r o k - f o r a t

g h i r o k - h i l a t s p r o k - d a t

h i h o k - a r r a t s t o k - c a t

i z o k - v a t / q u a t w i w o k - t o t a t

j o k - k r a t y o r o k - m a t

k a n t o k - o l o a t z a n z a n o k - z a n z a n a t

l a l o k - w a t / i a t

5

8/14/2019 aimag97

6/24

--------------------------------------------------

1a. ok-voon ororok sprok .

1b. at-voon bichat dat .--------------------------------------------------

2a. ok-drubel ok-voon anok plok sprok .

2b. at-drubel at-voon pippat rrat dat .

--------------------------------------------------

3a. erok sprok izok hihok ghirok .

3b. totat dat arrat vat hilat .

--------------------------------------------------

4a. ok-voon anok drok brok jok .

4b. at-voon krat pippat sat lat .

--------------------------------------------------

5a. wiwok farok izok stok .

5b. totat jjat quat cat .

--------------------------------------------------

6a. lalok sprok izok jok stok .

6b. wat dat krat quat cat .

--------------------------------------------------

7a. lalok farok ororok lalok sprok izok enemok .

7b. wat jjat bichat wat dat vat eneat .

--------------------------------------------------

8a. lalok brok anok plok nok .

8b. iat lat pippat rrat nnat .

--------------------------------------------------

9a. wiwok nok izok kantok ok-yurp .

9b. totat nnat quat oloat at-yurp .

--------------------------------------------------

10a. lalok mok nok yorok ghirok clok .

10b. wat nnat gat mat bat hilat .

--------------------------------------------------

11a. lalok nok crrrok hihok yorok zanzanok .

11b. wat nnat arrat mat zanzanat .

--------------------------------------------------

12a. lalok rarok nok izok hihok mok .

12b. wat nnat forat arrat vat gat .

--------------------------------------------------

Translation dictionary:

anok - pippat ok-yurp - at-yurp

erok - total ok-voon - at-voon

ghirok - hilat ororok - bichat

hihok - arrat plok - rrat

izok - vat sprok - dat

ok-drubel - at-drubel zanzanok - zanzanat

F i g u r e 3 : T h e p r o g r e s s o f b u i l d i n g a t r a n s l a t i o n d i c t i o n a r y f r o m p a i r s o f s e n t e n c e s , u s i n g a d e c i -

p h e r m e n t m e t h o d .

6

8/14/2019 aimag97

7/24

ok-drubel anok ghirok farok . wiwok rarok nok zerok ghirok enemok .

ok-drubel ziplok stok vok erok enemok kantok ok-yurp zinok jok yorok clok .

lalok clok izok vok ok-drubel . ok-voon ororok sprok . ok-drubel ok-voon

anok plok sprok . erok sprok izok hihok ghirok . ok-voon anok drok brok

jok . wiwok farok izok stok . lalok sprok izok jok stok . lalok brok

anok plok nok . lalok farok ororok lalok sprok izok enemok . wiwok nok

izok kantok ok-yurp . lalok mok nok yorok ghirok clok . lalok nok crrrok

hihok yorok zanzanok . lalok rarok nok izok hihok mok .

Word pair counts:

1 . erok 1 hihok yorok 1 ok-drubel ok-voon

7 . lalok 1 izok enemok 1 ok-drubel ziplok

2 . ok-drubel 2 izok hihok 2 ok-voon anok

2 . ok-voon 1 izok jok 1 ok-voon ororok

3 . wiwok 1 izok kantok 1 ok-yurp .

1 anok drok 1 izok stok 1 ok-yurp zinok

1 anok ghirok 1 izok vok 1 ororok lalok

2 anok plok 1 jok . 1 ororok sprok

1 brok anok 1 jok stok 1 plok nok

1 brok jok 1 jok yorok 1 plok sprok

2 clok . 2 kantok ok-yurp 2 rarok nok

1 clok izok 1 lalok brok 2 sprok .1 crrrok hihok 1 lalok clok 3 sprok izok

1 drok brok 1 lalok farok 2 stok .

2 enemok . 1 lalok mok 1 stok vok

1 enemok kantok 1 lalok nok 1 vok erok

1 erok enemok 1 lalok rarok 1 vok ok-drubel

1 erok sprok 2 lalok sprok 1 wiwok farok

1 farok . 1 mok . 1 wiwok nok

1 farok izok 1 mok nok 1 wiwok rarok

1 farok ororok 1 nok . 1 yorok clok

1 ghirok . 1 nok crrrok 1 yorok ghirok

1 ghirok clok 2 nok izok 1 yorok zanzanok

1 ghirok enemok 1 nok yorok 1 zanzanok .

1 ghirok farok 1 nok zerok 1 zerok ghirok

1 hihok ghirok 1 ok-drubel . 1 zinok jok

1 hihok mok 1 ok-drubel anok 1 ziplok stok

F i g u r e 4 : M o n o l i n g u a l C e n t a u r i t e x t w i t h a s s o c i a t e d w o r d - p a i r ( b i g r a m ) c o u n t s .

T h e d i c t i o n a r y s h o w s a m b i g u o u s C e n t a u r i w o r d s ( l i k e " i z o k " ) a n d a m b i g u o u s A r c t u r a n w o r d s

( l i k e " t o t a t " ) . I t a l s o c o n t a i n s a c u r i o u s C e n t a u r i w o r d ( " c r r r o k " ) t h a t h a s n o t r a n s l a t i o n | a f t e r

t h e a l i g n m e n t o f ( 1 1 ) , t h i s w o r d w a s s o m e h o w l e f t o v e r :

l a l o k n o k c r r r o k h i h o k y o r o k z a n z a n o k

| | / / /

w a t n n a t a r r a t m a t z a n z a n a t

Y o u b e g i n t o s p e c u l a t e w h e t h e r " c r r r o k " i s s o m e k i n d o f a x , o r " c r r r o k h i h o k " i s a p o l i t e

f o r m o f " h i h o k " | b u t y o u a r e s u d d e n l y w h i s k e d a w a y b y a n a l i e n s p a c e c r a f t a n d p u t t o w o r k i n t h e

I n t e r s t e l l a r T r a n s l a t i o n B u r e a u , w h e r e y o u a r e i m m e d i a t e l y t a s k e d w i t h t r a n s l a t i n g t h e f o l l o w i n g

A r c t u r a n d i s p a t c h i n t o C e n t a u r i :

1 3 b . i a t l a t p i p p a t e n e a t h i l a t o l o a t a t - y u r p .

1 4 b . t o t a t n n a t f o r a t a r r a t m a t b a t .

1 5 b . w a t d a t q u a t c a t u s k r a t a t - d r u b e l .

Y o u h a v e n e v e r s e e n t h e s e s e n t e n c e s b e f o r e , s o y o u c a n n o t l o o k u p t h e a n s w e r s . M o r e r e a s o n i n g

i s c a l l e d f o r .

T h e r s t s e n t e n c e c o n t a i n s s e v e n A r c t u r a n w o r d s . Y o u c o n s u l t y o u r d i c t i o n a r y t o c o n s t r u c t a

l i s t o f s e v e n c o r r e s p o n d i n g C e n t a u r i w o r d s : " l a l o k , " " b r o k , " " a n o k , " " e n e m o k , " " g h i r o k , " " k a n t o k , "

7

8/14/2019 aimag97

8/24

wiwok

nok

yorok

hihok

clok

.

crrrok

rarok

F i g u r e 5 : A n a t t e m p t t o p u t a g r o u p o f C e n t a u r i w o r d s i n t h e r i g h t o r d e r . A r r o w s r e p r e s e n t

p r e v i o u s l y o b s e r v e d w o r d p a i r s f r o m F i g u r e 4 .

a n d " o k - y u r p . " Y o u c o n s i d e r w r i t i n g t h e m d o w n i n t h a t o r d e r ( a s i m p l e w o r d - f o r - w o r d t r a n s l a t i o n ) ,

b u t a s y o u w a n t t o m a k e a g o o d r s t i m p r e s s i o n i n t h e B u r e a u , y o u a l s o c o n s i d e r s h i f t i n g t h e w o r d s

a r o u n d . T h e r e a r e 5 0 4 0 ( 7 ! ) p o s s i b l e w o r d o r d e r s t o c h o o s e f r o m . C e n t a u r i t e x t m a y p r o v i d e u s e f u l

d a t a | t h e r e y o u c a n s e e t h a t w o r d A f o l l o w s w o r d B m o r e o r l e s s f r e q u e n t l y . Y o u r r e q u e s t f o r m o r e

C e n t a u r i t e x t i s g r a n t e d ( F i g u r e 4 ) . W i t h r e l i s h , y o u s e t a b o u t t a b u l a t i n g w o r d p a i r f r e q u e n c i e s ,

n o t i n g i n p a s s i n g n e w w o r d s l i k e " v o k , " " z e r o k , " " z i n o k , " a n d " z i p l o k . "

Y o u a r e n o w i n a p o s i t i o n t o e v a l u a t e y o u r 5 0 4 0 a l t e r n a t i v e w o r d o r d e r s . A s a s h o r t c u t , y o u

m a y a s k : w h i c h w o r d i s m o s t l i k e l y t o s t a r t a s e n t e n c e ? ( O r : w h i c h w o r d u s u a l l y f o l l o w s a p e r i o d ? ) .

S u r e l y , i t i s " l a l o k . " O f t h e r e m a i n i n g s i x w o r d s , w h i c h b e s t f o l l o w s " l a l o k " ? I t i s " b r o k . " T h e n

" a n o k " . B u t a f t e r " a n o k , " " g h i r o k " i s m o r e s u i t a b l e t h a n " e n e m o k . " F o r t u n a t e l y , " e n e m o k " i t s e l f

i s a g o o d f o l l o w - o n t o " g h i r o k . " S o y o u d e c i d e t o i p t h e w o r d s " e n e m o k " a n d " g h i r o k . " Y o u r n a l

t r a n s l a t i o n i s

1 3 a . l a l o k b r o k a n o k g h i r o k e n e m o k k a n t o k o k - y u r p .

Y o u m o v e t o t h e n e x t s e n t e n c e ( 1 4 b ) . I m m e d i a t e l y , y o u a r e f a c e d w i t h a l e x i c a l a m b i g u i t y .

S h o u l d y o u t r a n s l a t e " t o t a t " a s " e r o k " o r " w i w o k " ? B e c a u s e " w i w o k " o c c u r s m o r e f r e q u e n t l y , a n d

b e c a u s e y o u ' v e n e v e r s e e n " e r o k " f o l l o w e d b y a n y o f t h e o t h e r w o r d s y o u ' r e c o n s i d e r i n g , y o u d e c i d e

o n " w i w o k . " B u t a d m i t t e d l y , t h i s i s o n l y a b e s t g u e s s . N e x t , y o u c o n s i d e r v a r i o u s w o r d o r d e r s . T h e

a r r o w s i n F i g u r e 5 r e p r e s e n t w o r d p a i r s y o u h a v e s e e n i n C e n t a u r i t e x t . T h e r e a p p e a r s t o b e n o

u e n t ( g r a m m a t i c a l ? ) p a t h t h r o u g h t h e s e w o r d s . S u d d e n l y y o u r e m e m b e r t h a t c u r i o u s C e n t a u r i

w o r d " c r r r o k , " w h i c h h a d n o t r a n s l a t i o n | w h i c h t u r n s o u t t o b e a n a t u r a l b r i d g e b e t w e e n " n o k "

a n d " h i h o k , " g i v i n g y o u t h e s e e m i n g l y u e n t , p o s s i b l y c o r r e c t t r a n s l a t i o n :

1 4 a . w i w o k r a r o k n o k c r r r o k h i h o k y o r o k c l o k .

T h e l a s t s e n t e n c e ( 1 5 b ) i s s t r a i g h t f o r w a r d e x c e p t t h a t o n e o f t h e A r c t u r a n w o r d s ( " u s k r a t " ) i s

n e w ; i t d o e s n o t a p p e a r i n t h e b i l i n g u a l d i c t i o n a r y y o u b u i l t . ( Y o u i m a g i n e " u s k r a t " t o b e s o m e

t y p e o f a n i m a l ) . Y o u t r a n s l a t e t h e t h i r d s e n t e n c e a s

1 5 a . l a l o k s p r o k i z o k s t o k ? o k - d r u b e l .

w h e r e t h e q u e s t i o n m a r k s t a n d s f o r t h e C e n t a u r i e q u i v a l e n t o f " u s k r a t . " Y o u d e c i d e t o c o n s u l t y o u r

C e n t a u r i t e x t t o n d a w o r d t h a t i s l i k e l y t o a p p e a r b e t w e e n " s t o k " a n d " o k - d r u b e l . " B e f o r e y o u

c a n n i s h , h o w e v e r , y o u a n d y o u r t r a n s l a t i o n s a r e r u s h e d b e f o r e t h e A r c t u r a n R e w r i t e P e r s p i c u i t y

A u t h o r i t y .

8

8/14/2019 aimag97

9/24

A l t h o u g h y o u c a n n o t u n d e r s t a n d A r c t u r a n , y o u g e t t h e f e e l i n g t h a t t h e A u t h o r i t y i s p l e a s e d

w i t h y o u r w o r k . Y o u a r e h i r e d a n d t a s k e d w i t h t r a n s l a t i n g n e w s e n t e n c e s l i k e " b r i z a t m i n a t s t a t

v a t b o r a t " t h a t a r e f u l l o f w o r d s y o u ' v e n e v e r s e e n b e f o r e . T o i m p r o v e y o u r c o r r e s p o n d e n c e t a b l e s ,

y o u s e e k o u t m o r e d o c u m e n t s , b o t h b i l i n g u a l ( A r c t u r a n / C e n t a u r i ) a n d m o n o l i n g u a l ( C e n t a u r i ) .

Y o u a r e s o o n o v e r w h e l m e d w i t h d o c u m e n t s . P e r h a p s a c o m p u t e r w o u l d h e l p . . .

* * *

W a s t h i s a r e a l i s t i c f o r a y i n t o l a n g u a g e t r a n s l a t i o n , o r j u s t i n s p i r e d n o n s e n s e ? A c t u a l t r a n s l a t i o n

i s , o f c o u r s e , m o r e c o m p l i c a t e d :

O n l y t w o o f t h e 2 7 C e n t a u r i w o r d s w e r e a m b i g u o u s , w h e r e a s i n n a t u r a l l a n g u a g e s l i k e E n g l i s h ,

a l m o s t a l l w o r d s a r e a m b i g u o u s .

S e n t e n c e l e n g t h w a s u n c h a n g e d i n a l l b u t o n e o f t h e t r a n s l a t i o n s ; i n r e a l t r a n s l a t i o n , t h i s i s

r a r e .

T h e e x t r a t e r r e s t r i a l s e n t e n c e s w e r e m u c h s h o r t e r t h a n t y p i c a l n a t u r a l l a n g u a g e s e n t e n c e s .

W o r d s a r e t r a n s l a t e d d i e r e n t l y d e p e n d i n g o n c o n t e x t . O u r t r a n s l a t i o n m e t h o d o n l y u s e d

C e n t a u r i w o r d - p a i r c o u n t s f o r c o n t e x t , p r e f e r r i n g " w i w o k r a r o k . . . " o v e r " e r o k r a r o k . . . " B u t

r e s o l v i n g l e x i c a l a m b i g u i t y i n g e n e r a l r e q u i r e s a m u c h w i d e r c o n t e x t , a n d o f t e n s o p h i s t i c a t e d

r e a s o n i n g a s w e l l .

O u t p u t w o r d o r d e r s h o u l d b e s e n s i t i v e t o i n p u t w o r d o r d e r . O u r m e t h o d c o u l d n o t d e c i d e

b e t w e e n o u t p u t s " J o h n l o v e s M a r y " a n d " M a r y l o v e s J o h n , " e v e n t h o u g h o n e o f t h e t w o i s

l i k e l y t o b e a t e r r i b l e t r a n s l a t i o n .

T h e d a t a s e e m e d t o b e c o o k e d | d r o p o u t s e n t e n c e p a i r s ( 8 ) a n d ( 9 ) , f o r e x a m p l e , a n d w e

w o u l d n o t b e a b l e t o s e t t l e o n a l i g n m e n t s f o r t h e r e m a i n i n g s e n t e n c e s . M a n y s u c h a l i g n m e n t s

w o u l d b e p o s s i b l e , c o m p l i c a t i n g o u r t r a n s l a t i o n d i c t i o n a r y .

O u r m e t h o d d o e s n o t a l l o w f o r a n y p h r a s a l d i c t i o n a r y e n t r i e s ( e . g . , " a n o k p l o k " = " p i p p a t

r r a t " ) , a l t h o u g h h u m a n t r a n s l a t o r s m a k e e x t e n s i v e u s e o f s u c h d i c t i o n a r i e s .

A n d t h e l i s t g o e s o n : W h a t a b o u t p r o n o u n s ? W h a t a b o u t i n e c t i o n a l m o r p h o l o g y ? W h a t

a b o u t s t r u c t u r a l a m b i g u i t y ? W h a t a b o u t d o m a i n k n o w l e d g e ? W h a t a b o u t t h e s c o p e o f n e g a t i o n ?

O n t h e o t h e r h a n d , o u r e x t r a t e r r e s t r i a l e x a m p l e w a s r e a l i s t i c i n o n e r e s p e c t : i t w a s a c t u a l l y a n

e x e r c i s e i n S p a n i s h / E n g l i s h t r a n s l a t i o n ! C e n t a u r i i s m e r e l y E n g l i s h i n l i g h t d i s g u i s e | f o r " e r o k , "

r e a d " h i s " ; f o r " s p r o k , " r e a d " a s s o c i a t e s " ; e t c e t e r a . S p a n i s h a n d A r c t u r a n a r e a l s o t h e s a m e . H e r e

i s t h e r e a l b i l i n g u a l t r a i n i n g c o r p u s :

1 a . G a r c i a a n d a s s o c i a t e s .

1 b . G a r c i a y a s o c i a d o s .

2 a . C a r l o s G a r c i a h a s t h r e e a s s o c i a t e s .

2 b . C a r l o s G a r c i a t i e n e t r e s a s o c i a d o s .

3 a . h i s a s s o c i a t e s a r e n o t s t r o n g .

3 b . s u s a s o c i a d o s n o s o n f u e r t e s .

9

8/14/2019 aimag97

10/24

4 a . G a r c i a h a s a c o m p a n y a l s o .

4 b . G a r c i a t a m b i e n t i e n e u n a e m p r e s a .

5 a . i t s c l i e n t s a r e a n g r y .

5 b . s u s c l i e n t e s e s t a n e n f a d a d o s .

6 a . t h e a s s o c i a t e s a r e a l s o a n g r y .

6 b . l o s a s o c i a d o s t a m b i e n e s t a n e n f a d a d o s .

7 a . t h e c l i e n t s a n d t h e a s s o c i a t e s a r e e n e m i e s .

7 b . l o s c l i e n t e s y l o s a s o c i a d o s s o n e n e m i g o s .

8 a . t h e c o m p a n y h a s t h r e e g r o u p s .

8 b . l a e m p r e s a t i e n e t r e s g r u p o s .

9 a . i t s g r o u p s a r e i n E u r o p e .

9 b . s u s g r u p o s e s t a n e n E u r o p a .

1 0 a . t h e m o d e r n g r o u p s s e l l s t r o n g p h a r m a c e u t i c a l s .

1 0 b . l o s g r u p o s m o d e r n o s v e n d e n m e d i c i n a s f u e r t e s .

1 1 a . t h e g r o u p s d o n o t s e l l z a n z a n i n e .

1 1 b . l o s g r u p o s n o v e n d e n z a n z a n i n a .

1 2 a . t h e s m a l l g r o u p s a r e n o t m o d e r n .

1 2 b . l o s g r u p o s p e q u e ~ n o s n o s o n m o d e r n o s .

I f y o u d o n ' t k n o w S p a n i s h ( e v e n i f y o u d o ) , y o u c a n c o n g r a t u l a t e y o u r s e l f o n h a v i n g t r a n s l a t e d

t h e n o v e l s e n t e n c e " l a e m p r e s a t i e n e e n e m i g o s f u e r t e s e n E u r o p a " ( 1 3 b ) a s " t h e c o m p a n y h a s

s t r o n g e n e m i e s i n E u r o p e " ( 1 3 a ) . H a d y o u n o t i p p e d t h e o r d e r o f " g h i r o k " a n d " e n e m o k , " y o u r

t r a n s l a t i o n w o u l d h a v e b e e n w o r s e : " t h e c o m p a n y h a s e n e m i e s s t r o n g i n E u r o p e . " L i k e w i s e , y o u

t r a n s l a t e d " s u s g r u p o s p e q u e ~ n o s n o v e n d e n m e d i c i n a s " ( 1 4 b ) a s " i t s s m a l l g r o u p s d o n o t s e l l

p h a r m a c e u t i c a l s " ( 1 4 a ) . T h e c u r i o u s l y u n t r a n s l a t a b l e C e n t a u r i w o r d " c r r r o k " w a s a c t u a l l y t h e

E n g l i s h w o r d " d o , " a s i n " d o n o t s e l l " = " n o v e n d e n . "

W i t h o u t r e l y i n g o n l i n g u i s t i c p h r a s e s t r u c t u r e a n d r e a l - w o r l d k n o w l e d g e , y o u w e r e a b l e t o l e a r n

e n o u g h a b o u t E n g l i s h a n d S p a n i s h t o t r a n s l a t e a f e w s e n t e n c e s c o r r e c t l y . I f y o u h a d m o r e t r a i n i n g

t e x t , y o u m i g h t h a v e l e a r n e d m o r e . C o u l d s u c h a m e t h o d b e s c a l e d t o g e n e r a l - p u r p o s e M T ? S e v e r a l

q u e s t i o n s a r i s e :

I s t h e r e a l a r g e b i l i n g u a l c o r p u s f o r s o m e p a i r o f n a t u r a l l a n g u a g e s ?

C a n t h e c o r p u s b e e a s i l y c o n v e r t e d t o s e n t e n c e - p a i r f o r m a t ?

C a n t h e d e c i p h e r m e n t m e t h o d b e a u t o m a t e d ? W h a t d o e s t h e a l g o r i t h m l o o k l i k e ?

C a n t h e t r a n s l a t i o n m e t h o d b e a u t o m a t e d ?

a n d p e r h a p s m o s t i m p o r t a n t l y :

A r e t h e t r a n s l a t i o n s g o o d ?

1 0

8/14/2019 aimag97

11/24

2 . 1 B i l i n g u a l T e x t A l i g n m e n t

T h e s e q u e s t i o n s w e r e r s t p o s e d a n d s t u d i e d b y a r e s e a r c h t e a m a t I B M B r o w n e t a l . , 1 9 9 0 ] . T h i s

g r o u p p i o n e e r e d t h e u s e o f t e x t c o r p o r a i n M T . I B M u s e d t h e H a n s a r d c o r p u s , a p r o c e e d i n g s o f

t h e C a n a d i a n P a r l i a m e n t w r i t t e n i n F r e n c h a n d E n g l i s h ( e a c h l a n g u a g e o n a s e p a r a t e t a p e ) . T h i s

c o r p u s c o n t a i n s m i l l i o n s o f s e n t e n c e s . O f c o u r s e , c o r r e s p o n d i n g s e n t e n c e p a i r s a r e n o t m a r k e d i n

t h e t e x t , a n d w o r s e , w h o l e p a r a g r a p h s o n o n e t a p e a r e s o m e t i m e s m i s s i n g f r o m t h e o t h e r . ( A s e v e r e

c a s e o f i n f o r m a t i o n g e t t i n g l o s t i n t r a n s l a t i o n ! ) . A l s o , o n e F r e n c h s e n t e n c e m a y g e t t r a n s l a t e d a s

t w o E n g l i s h o n e s , o r v i c e v e r s a . S o i t t a k e s w o r k t o p r o d u c e a d a t a b a s e l i k e F i g u r e 1 . H e r e i s a

s m a l l v e r s i o n o f t h e p r o b l e m C h u r c h , 1 9 9 3 ] :

E n g l i s h :

T h e h i g h e r t u r n o v e r w a s l a r g e l y d u e t o a n i n c r e a s e i n t h e s a l e s v o l u m e .

E m p l o y m e n t a n d i n v e s t m e n t l e v e l s a l s o c l i m b e d .

F o l l o w i n g a t w o - y e a r t r a n s i t i o n a l p e r i o d , t h e n e w F o o d s t u s O r d i n a n c e f o r M i n e r a l W a t e r c a m e

i n t o e e c t o n A p r i l 1 , 1 9 8 8 .

S p e c i c a l l y , i t c o n t a i n s m o r e s t r i n g e n t r e q u i r e m e n t s r e g a r d i n g q u a l i t y c o n s i s t e n c y a n d p u r i t y

g u a r a n t e e s .

F r e n c h :

L a p r o g r e s s i o n d e s c h i r e s d ' a a i r e s r e s u l t e e n g r a n d e p a r t i e d e l ' a c c r o i s s e m e n t d u v o l u m e d e s

v e n t e s .

L ' e m p l o i e t l e s i n v e s t i s s e m e n t s o n t e g a l e m e n t a u g m e n t e .

L a n o u v e l l e o r d o n n a n c e f e d e r a l e s u r l e s d e n r e e s a l i m e n t a i r e s c o n c e r n a n t e n t r e a u t r e s l e s e a u x

m i n e r a l e s , e n t r e e e n v i g u e u r l e l e r a v r i l 1 9 8 8 a p r e s u n e p e r i o d e t r a n s i t o i r e d e d e u x a n s , e x i g e s u r t o u t

u n e p l u s g r a n d e c o n s t a n c e d a n s l a q u a l i t e e t u n e g a r a n t i e d e l a p u r e t e .

T h e r e a r e m u l t i p l e w a y s o f m a t c h i n g u p t h e f o u r E n g l i s h s e n t e n c e s w i t h t h e t h r e e F r e n c h s e n -

t e n c e s , t o s a y n o t h i n g o f t h e m i l l i o n - s e n t e n c e p r o b l e m . M a n u a l l y e d i t i n g i s o u t o f t h e q u e s t i o n ,

s o w e m u s t s e e k a u t o m a t i c s o l u t i o n s . Y o u m a y i m a g i n e a n a l g o r i t h m a l o n g t h e l i n e s o f t h e " d e -

c i p h e r m e n t m e t h o d " i t s e l f : i f I k n o w t h a t " h o u s e / m a i s o n " f o r m a w o r d p a i r , t h e n I c o u l d g u e s s

t h a t c o r p u s s e n t e n c e s " t h e h o u s e i s b l u e " a n d " l a m a i s o n e s t b l e u e " m a y f o r m a p a i r , i n w h i c h

c a s e " b l u e / b l e u e " m a y f o r m a n o t h e r w o r d p a i r , i n w h i c h c a s e . . . t h i s w o u l d w o r k , a l t h o u g h s u c h

d e c i p h e r m e n t i s c o m p u t a t i o n a l l y v e r y e x p e n s i v e . M o r e p r a c t i c a l m e t h o d s r e l y o n r o u g h e r c l u e s

l i k e :

F r e n c h s e n t e n c e s a r e u s u a l l y i n t h e s a m e o r d e r a s t h e E n g l i s h s e n t e n c e s ( e v e n t h o u g h w i t h i n -

s e n t e n c e w o r d o r d e r c a n b e q u i t e d i e r e n t ) .

S h o r t F r e n c h s e n t e n c e s u s u a l l y c o r r e s p o n d t o s h o r t E n g l i s h s e n t e n c e s , a n d l o n g t o l o n g .

1 1

8/14/2019 aimag97

12/24

C o r r e s p o n d i n g F r e n c h a n d E n g l i s h s e n t e n c e s o f t e n c o n t a i n m a n y o f t h e s a m e c h a r a c t e r s e -

q u e n c e s , d u e t o p r o p e r n a m e s , n u m b e r s , a n d c o g n a t e s .

F o r e x a m p l e , w e c a n t r a n s f o r m t h e a b o v e s e n t e n c e - a l i g n m e n t p r o b l e m i n t o o n e w h e r e s e n t e n c e s

a r e r e p l a c e d b y t h e i r w o r d c o u n t s :

E n g l i s h : . . . 1 3 6 1 9 1 2 . . .

F r e n c h : . . . 1 5 7 4 3 . . .

C l e a r l y , t h e 4 3 - w o r d F r e n c h s e n t e n c e i s a g o o d c a n d i d a t e t o m a t c h t h e t w o E n g l i s h s e n t e n c e s o f 1 9

a n d 1 2 w o r d s e a c h . O t h e r a l i g n m e n t s , s u c h a s o n e m a t c h i n g t h e 7 w i t h b o t h t h e 6 a n d 1 9 , s e e m s

l e s s l i k e l y .

B y n o w , m a n y r e s e a r c h e r s h a v e w o r k e d w i t h m a n y s o r t s o f b i l i n g u a l t e x t s , a n d a l l h a v e f a c e d t h e

p r o b l e m o f c r e a t i n g a s e n t e n c e - a l i g n e d c o r p u s . W h e n e v e r m a n y r e s e a r c h e r s f a c e t h e s a m e p r o b l e m ,

c o m p e t i t i o n e n s u e s | i n t h i s c a s e , f o r t h e m o s t a c c u r a t e , s p e e d y , n o i s e - r o b u s t , l a n g u a g e - i n d e p e n d e n t

a l g o r i t h m s . T h e s e m e t h o d s a r e q u i t e s u c c e s s f u l , a n d ( s u r p r i s i n g l y ) y o u c a n n d m o r e r e c e n t p a p e r s

o n b i l i n g u a l t e x t a l i g n m e n t t h a n o n m a c h i n e t r a n s l a t i o n i t s e l f . S e e C a t i z o n e e t a l . , 1 9 8 9 ; B r o w n e t

a l , 1 9 9 1 ; G a l e a n d C h u r c h , 1 9 9 1 ; K a y a n d R o s c h e i s e n , 1 9 9 3 ; C h e n , 1 9 9 3 ; S i m a r d a n d P l a m o n d o n ,

1 9 9 6 ; M a c k l o v i t c h a n d H a n n a n , 1 9 9 6 ] . A l i g n m e n t p r o b l e m s b e c o m e m o r e s e v e r e w h e n s e n t e n c e

b o u n d a r i e s a r e h a r d t o n d , a s i s t h e c a s e w i t h w e b d o c u m e n t s , i m p e r f e c t l y s c a n n e d d o c u m e n t s ,

a n d d i s t a n t l a n g u a g e p a i r s ( e . g . , C h i n e s e / E n g l i s h ) . T h e s e p r o b l e m s h a v e l e d t o m e t h o d s s u c h a s

C h u r c h , 1 9 9 3 ; F u n g a n d M c K e o w n , 1 9 9 4 ; M e l a m e d , 1 9 9 7 ] .

U s i n g t h e H a n s a r d c o r p u s , B r o w n e t a l . , 1 9 9 0 ; B r o w n e t a l . , 1 9 9 3 b ] p r e s e n t a n M T s y s t e m

t h a t w o r k s s o m e w h a t l i k e t h e o n e w e u s e d f o r C e n t a u r i | t r a n s l a t e t h e w o r d s , a n d g e t t h e m i n t h e

r i g h t o r d e r . H o w e v e r , i t d e a l s e x p l i c i t l y w i t h u n c e r t a i n t y a n d a m b i g u i t y : H o w t o t r a n s l a t e w o r d

x ? S h o u l d w o r d y g o b e f o r e o r a f t e r w o r d z ? I n a g i v e n s e n t e n c e , s o m e d e c i s i o n s w i l l g o w e l l

t o g e t h e r , a n d o t h e r s w i l l n o t . P r o b a b i l i t y t h e o r y h e l p s t h e m a c h i n e m a k e t h e b e s t o v e r a l l s e q u e n c e

o f d e c i s i o n s i t c a n , g i v e n w h a t i t k n o w s .

2 . 2 L a n g u a g e M o d e l

F i r s t l e t ' s l o o k a t w o r d o r d e r . I n o u r C e n t a u r i t r a n s l a t i o n , w e h a d a b a g o f w o r d s a n d w e w a n t e d t o

g e t t h e m i n t h e r i g h t o r d e r . B u t s u p p o s e w e h a d s e v e r a l d i e r e n t b a g s , c o r r e s p o n d i n g t o d i e r e n t

p o s s i b l e c o l l e c t i o n s o f w o r d t r a n s l a t i o n s . W e c o u l d n d t h e b e s t w o r d o r d e r f o r e a c h b a g , b u t h o w

c o u l d w e c h o o s e b e t w e e n t h e r e s u l t i n g s e n t e n c e s ? T h e a n s w e r i s t o a s s i g n a p r o b a b i l i t y t o a n y

c o n c e i v a b l e s e q u e n c e o f w o r d s . W e t h e n p i c k t h e m o s t p r o b a b l e s e q u e n c e ( f r o m a n y b a g ) .

S e q u e n c e s l i k e " J o h n s a w M a r y " a n d " t h a t ' s e n o u g h a l r e a d y " s h o u l d b e p r o b a b l e , w h i l e " J o h n

M a r y s a w " a n d " r a d i a t e g r o u p e r e n g i n e s " s h o u l d b e i m p r o b a b l e . L i n g u i s t i c s h a s t r a d i t i o n a l l y

d i v i d e d s e q u e n c e s i n t o g r a m m a t i c a l a n d u n g r a m m a t i c a l , b u t i n M T w e a r e c o n s t a n t l y f o r c e d t o

c h o o s e b e t w e e n t w o g r a m m a t i c a l s e n t e n c e s . F o r e x a m p l e , w h i c h i s a b e t t e r t r a n s l a t i o n , ( A ) o r ( B ) ?

( A ) J o h n v i e w e d M a r y i n t h e t e l e v i s i o n .

( B ) J o h n s a w M a r y o n T V .

O n t h e o t h e r h a n d , t h e s p e e c h r e c o g n i t i o n c o m m u n i t y h a s p l e n t y o f e x p e r i e n c e a s s i g n i n g p r o b -

a b i l i t i e s t o w o r d s e q u e n c e s | e . g . , p r e f e r r i n g " b e a r s h i b e r n a t e " o v e r " b a r e c y b e r N a t e . " T y p i c a l

m e t h o d s u s e w o r d - p a i r o r w o r d - t r i p l e c o u n t s , w h i c h a r e c o n v e r t e d i n t o p r o b a b i l i s t i c q u a n t i t i e s ,

e . g . ,

P ( o i l | A r a b i a n )

1 2

8/14/2019 aimag97

13/24

w h i c h i s t h e c h a n c e t h a t , g i v e n t h e w o r d " A r a b i a n , " t h e n e x t w o r d w i l l b e " o i l . " T h e n i c e t h i n g

a b o u t t h e s e q u a n t i t i e s i s t h a t t h e y c a n b e d i r e c t l y a n d a u t o m a t i c a l l y e s t i m a t e d f r o m a l a r g e E n g l i s h

c o r p u s . I n m y c o r p u s , " A r a b i a n " o c c u r r e d 4 7 1 t i m e s a n d w a s f o l l o w e d b y " o i l " 6 2 t i m e s , s o P ( o i l

A r a b i a n ) = 6 2 / 4 7 1 , o r 1 3 % . T h i s i s c a l l e d a c o n d i t i o n a l b i g r a m p r o b a b i l i t y . A c o n d i t i o n a l t r i g r a m

p r o b a b i l i t y l o o k s l i k e t h i s :

P ( m i n i s t e r | A r a b i a n o i l )

T h a t i s , g i v e n t h e w o r d s " A r a b i a n o i l , " w h a t i s t h e c h a n c e t h a t t h e n e x t w o r d i s " m i n i s t e r " ? M y

c o r p u s g i v e s 8 / 2 5 , o r 3 2 % .

T o a s s i g n a p r o b a b i l i t y t o a w h o l e s e n t e n c e , w e m u l t i p l y t h e c o n d i t i o n a l p r o b a b i l i t i e s o f t h e

n - g r a m s i t c o n t a i n s . S o , a g o o d s e n t e n c e w i l l b e o n e w i t h a l o t o f c o m m o n s u b s e q u e n c e s . I n t h e

b i g r a m c a s e :

P ( I f o u n d r i c h e s i n m y b a c k y a r d ) ~

P ( I | s t a r t - o f - s e n t e n c e ) x

P ( f o u n d | I ) x

P ( r i c h e s | f o u n d ) x

P ( i n | r i c h e s ) x

P ( m y | i n ) x

P ( b a c k y a r d | m y ) x

P ( e n d - o f - s e n t e n c e | b a c k y a r d )

I t ' s e a s y t o s e e h o w t h i s i s u s e f u l f o r w o r d o r d e r i n g | t h e r e i s a s t r o n g p r e f e r e n c e f o r " I f o u n d

r i c h e s i n m y b a c k y a r d " o v e r " M y I i n r i c h e s b a c k y a r d f o u n d . " I n f a c t , B r o w n e t a l . , 1 9 9 0 ] d e s c r i b e

a s m a l l e x p e r i m e n t i n r e s t o r i n g o r d e r t o s c r a m b l e d E n g l i s h s e n t e n c e s ( " b a g g e n e r a t i o n " ) . F o r

s e n t e n c e s o f f e w e r t h a n t e n w o r d s , a p r o b a b i l i s t i c p r o g r a m w a s a b l e t o r e s t o r e t h e o r i g i n a l w o r d

o r d e r 6 3 % o f t h e t i m e . U n d e r a l o o s e r m e a n i n g - p r e s e r v i n g m e t r i c , t h e p r o g r a m s c o r e d 8 4 % . L o n g e r

s e n t e n c e s w e r e s i g n i c a n t l y t o u g h e r t o r e c o n s t r u c t , h o w e v e r .

A t e c h n i c a l p o i n t a r i s e s w h e n P ( y x ) i s z e r o , i . e , w h e n t h e w o r d - p a i r " x y " h a s n e v e r b e e n

o b s e r v e d i n t r a i n i n g . A n y z e r o - p r o b a b i l i t y s u b s e q u e n c e w i l l m a k e t h e w h o l e s e n t e n c e ' s p r o d u c t g o

t o z e r o . T h i s p r o b l e m i s p a r t i c u l a r l y a c u t e f o r w o r d - t r i p l e s | a p h r a s e l i k e " f o u n d r i c h e s i n " m a y

n e v e r a p p e a r i n a t r a i n i n g c o r p u s , b u t t h a t d o e s n ' t m e a n i t ' s n o t a d e c e n t t r i g r a m . T h e r e i s n o w

a l a r g e l i t e r a t u r e o n h o w t o b e s t a s s i g n n o n - z e r o p r o b a b i l i t i e s t o p r e v i o u s l y u n s e e n n - g r a m s . T h i s

i s c a l l e d s m o o t h i n g . S e e C h e n , 1 9 9 6 ] f o r a c o m p a r i s o n o f s e v e r a l m e t h o d s . T h e o v e r a l l t o p i c o f

a s s i g n i n g p r o b a b i l i t i e s t o s e n t e n c e s i s c a l l e d l a n g u a g e m o d e l i n g

L a n g u a g e m o d e l i n g i s u s e f u l n o t o n l y f o r w o r d o r d e r i n g , b u t a l s o f o r c h o o s i n g b e t w e e n a l t e r n a -

t i v e t r a n s l a t i o n s l i k e

( A ) I f o u n d r i c h e s i n m y b a c k y a r d .

( B ) I f o u n d r i c h e s o n m y b a c k y a r d .

T h i s d e c i s i o n c o m e s u p i n S p a n i s h - E n g l i s h M T , w h e r e b o t h " i n " a n d " o n " c o r r e s p o n d t o " e n . "

I n m y c o r p u s , t h e t r i g r a m " i n m y b a c k y a r d " a p p e a r s s e v e n t i m e s , w h i l e " o n m y b a c k y a r d " n e v e r

o c c u r s | s o ( A ) i s p r e f e r r e d . T h a t s h o w s y o u c a n a t t a c k s o m e d i s a m b i g u a t i o n p r o b l e m s b y l o o k i n g

o n l y a t t h e t a r g e t l a n g u a g e . B u t n o t a l l ! C o n s i d e r t w o p o s s i b l e t r a n s l a t i o n s :

( A ) U n d e r l i n e i t .

( B ) E m p h a s i z e i t .

1 3

8/14/2019 aimag97

14/24

E n g l i s h b i g r a m f r e q u e n c i e s m a y s l i g h t l y p r e f e r ( B ) , b u t t h e o n l y w a y t o r e a l l y d e c i d e c o r r e c t l y

i s t o l o o k a t t h e o r i g i n a l S p a n i s h s e n t e n c e . T h e S p a n i s h v e r b " s u b r a y a r " t r a n s l a t e s e i t h e r a s

" u n d e r l i n e " o r a s " e m p h a s i z e , " b u t m o s t l y a s " u n d e r l i n e . " I n f a c t , t o s a y " e m p h a s i z e " i n S p a n i s h ,

y o u u s u a l l y s a y " a c e n t u a r . " N o w w e a r e t a l k i n g a b o u t p r o b a b i l i s t i c q u a n t i t i e s t h a t c o n n e c t S p a n i s h

w o r d s t o E n g l i s h w o r d s , r a t h e r t h a n E n g l i s h w o r d s t o e a c h o t h e r . T h e s e c r o s s - l a n g u a g e q u a n t i t i e s

m a k e u p a t r a n s l a t i o n m o d e l t h a t c o m p l e m e n t s t h e l a n g u a g e m o d e l . W e c a n c o m b i n e t h e t w o

m o d e l s b y m u l t i p l y i n g t h e i r s c o r e s .

2 . 3 T r a n s l a t i o n M o d e l

I n o u r e x t r a t e r r e s t r i a l e x a m p l e , t h e t r a n s l a t i o n m o d e l w a s s i m p l y a b i l i n g u a l d i c t i o n a r y t h a t s u p -

p l i e d p o s s i b l e w o r d t r a n s l a t i o n s f o r t h e l a n g u a g e m o d e l s . A s t h e " e m p h a s i z e / u n d e r l i n e " e x a m p l e

s h o w s , w e m u s t a l s o b u i l d p r o b a b i l i t i e s i n t o t h a t d i c t i o n a r y . T h e r e i s o n e t r i c k y d e c i s i o n t o m a k e .

S h o u l d t h e t r a n s l a t i o n m o d e l c o n t a i n q u a n t i t i e s l i k e P ( e m p h a s i z e s u b r a y a r ) , o r P ( s u b r a y a r e m -

p h a s i z e ) ? U s i n g P ( e n g l i s h s p a n i s h ) s e e m s m o r e i n t u i t i v e , b e c a u s e w e a r e t r a n s l a t i n g S p a n i s h t o

E n g l i s h . F o r a g i v e n S p a n i s h s e n t e n c e S , w e w o u l d n d t h e E n g l i s h s e n t e n c e E t h a t m a x i m i z e s

P ( E ) P ( E S ) . M a t h e m a t i c a l l y , h o w e v e r , i t i s m o r e a c c u r a t e t o m a x i m i z e P ( E ) P ( S E ) . T h i s i s

b e c a u s e o f B a y e s ' R u l e :

P ( E S ) =

P ( E ) P ( S E )

P ( S )

B e c a u s e P ( S ) i s x e d f o r a g i v e n S p a n i s h s e n t e n c e , w e c a n i g n o r e i t w h i l e t r y i n g t o m a x i m i z e

P ( E S ) :

P ( E S ) P ( E ) P ( S E )

W e t h e r e f o r e d i v i d e t h e r e s p o n s i b i l i t y b e t w e e n E n g l i s h p r o b a b i l i t i e s a n d S p a n i s h - g i v e n - E n g l i s h

p r o b a b i l i t i e s . H e r e a r e s c o r e s f o r ( A ) a n d ( B ) a b o v e ( g i v e n " s u b r a y a r " a s i n p u t ) :

( A ) U n d e r l i n e i t .

P ( u n d e r l i n e ) x

P ( i t | u n d e r l i n e ) x

P ( s u b r a y a r | u n d e r l i n e )

( B ) E m p h a s i z e i t .

P ( e m p h a s i z e ) x

P ( i t | e m p h a s i z e ) x

P ( s u b r a y a r | e m p h a s i z e )

O p t i o n ( A ) i s g o o d b e c a u s e " u n d e r l i n e " i s a c o m m o n w o r d a n d i t u s u a l l y t r a n s l a t e s a s " s u b -

r a y a r . " O p t i o n ( B ) i s w o r s e b e c a u s e w h e n y o u t r a n s l a t e " e m p h a s i z e " t o S p a n i s h , i t u s u a l l y c o m e s

o u t a s " a c e n t u a r , " l e a v i n g v e r y l i t t l e p r o b a b i l i t y i n P ( s u b r a y a r e m p h a s i z e ) .

I f i t s e e m s b a c k w a r d s , i t i s . Y o u h a v e t o i m a g i n e y o u a r e b u i l d i n g a n E n g l i s h - t o - S p a n i s h

t r a n s l a t o r , b u t w h e n y o u a c t u a l l y g o t o r u n i t , y o u f e e d i n S p a n i s h a n d a s k , " W h a t E n g l i s h i n p u t

w o u l d h a v e c a u s e d t h i s S p a n i s h s e n t e n c e t o p o p o u t ? " T h e r i g h t a n s w e r w i l l b e a u e n t E n g l i s h

s e n t e n c e ( l a n g u a g e m o d e l ) t h a t m e a n s w h a t y o u t h i n k i t m e a n s ( t r a n s l a t i o n m o d e l ) .

Y o u m a y w o n d e r w h y s o l v i n g P ( S E ) i n s t e a d o f P ( E S ) m a k e s l i f e a n y e a s i e r . T h e a n s w e r i s

t h a t P ( S E ) d o e s n ' t h a v e t o g i v e g o o d S p a n i s h t r a n s l a t i o n s . I n f a c t , P ( S E ) c a n a s s i g n l o t s o f

p r o b a b i l i t y t o b a d S p a n i s h s e n t e n c e s , a s l o n g a s t h e y c o n t a i n t h e r i g h t w o r d s . A n y o f t h e f o l l o w i n g

m i g h t b e r e a s o n a b l y p r o b a b l e u n d e r t h e t y p e o f P ( S E ) w e a r e c o n s i d e r i n g :

1 4

8/14/2019 aimag97

15/24

P ( Y o n o c o m p r e n d o | I d o n ' t u n d e r s t a n d )

P ( C o m p r e n d o y o n o | D o n ' t u n d e r s t a n d I )

P ( N o y o c o m p r e n d o | I d o n ' t u n d e r s t a n d )

P ( C o m p r e n d o y o n o | I d o n ' t u n d e r s t a n d )

P ( Y o n o c o m p r e n d o | I u n d e r s t a n d d o n ' t )

P ( Y o n o c o m p r e n d o | U n d e r s t a n d I d o n ' t )

P ( S E ) c a n b e s l o p p y b e c a u s e P ( E ) w i l l w o r r y a b o u t w o r d o r d e r . T h i s s l o p p i n e s s a c t u a l l y

g i v e s s o m e m e a s u r e o f r o b u s t n e s s i n t r a n s l a t i n g u n g r a m m a t i c a l S p a n i s h i n p u t . I t i s a l s o n i c e f o r

e s t i m a t i n g t h e t r a n s l a t i o n m o d e l p r o b a b i l i t i e s . S u p p o s e w e a s s u m e t h a t f o r a g i v e n s e n t e n c e p a i r

S / E , P ( S E ) i s s i m p l y t h e p r o d u c t o f w o r d t r a n s l a t i o n p r o b a b i l i t i e s b e t w e e n t h e m , i r r e s p e c t i v e o f

w o r d o r d e r :

P ( Y o n o c o m p r e n d o | I d o n ' t u n d e r s t a n d ) ~

P ( Y o | I ) x

P ( Y o | d o n ' t ) x

P ( Y o | u n d e r s t a n d )

P ( n o | I ) x

P ( n o | d o n ' t ) x

P ( n o | u n d e r s t a n d )

P ( c o m p r e n d o | I ) x

P ( c o m p r e n d o | d o n ' t ) x

P ( c o m p r e n d o | u n d e r s t a n d )

W e c o u l d t h e n e s t i m a t e w o r d t r a n s l a t i o n p r o b a b i l i t i e s f r o m a b i l i n g u a l c o r p u s . T o e s t i m a t e

P ( c o m p r e n d o u n d e r s t a n d ) , w e c o u l d r e t r i e v e a l l s e n t e n c e p a i r s c o n t a i n i n g t h e E n g l i s h w o r d " u n -

d e r s t a n d , " c o u n t h o w m a n y t i m e s " c o m p r e n d o " c o - o c c u r r e d , a n d d i v i d e b y t h e t o t a l n u m b e r o f

w o r d s i n t h e S p a n i s h h a l f o f t h i s s u b - c o r p u s .

T h i s i s a r e a s o n a b l e r s t c u t , b u t i t h a s p r o b l e m s . F o r o n e , P ( c o m p r e n d o u n d e r s t a n d ) w i l l c o m e

o u t t o o l o w i n a b s o l u t e t e r m s . E v e n i f " c o m p r e n d o " a p p e a r s e v e r y t i m e " u n d e r s t a n d " a p p e a r s ,

P ( c o m p r e n d o u n d e r s t a n d ) m a y s t i l l b e o n l y 0 . 0 5 . W o r s e , o t h e r p r o b a b i l i t i e s l i k e P ( l a u n d e r s t a n d )

w i l l c o m e o u t t o o h i g h : w h e n y o u s e e " u n d e r s t a n d " i n E n g l i s h , y o u v e r y o f t e n s e e " l a " i n S p a n i s h .

B u t t h a t ' s o n l y b e c a u s e " l a " i s a n e x t r e m e l y f r e q u e n t w o r d .

T h e r i g h t i d e a i s t o u s e a d e c i p h e r m e n t m e t h o d , l i k e t h e o n e w e u s e d f o r C e n t a u r i a n d A r c t u r a n .

" U n d e r s t a n d " m i g h t c o - o c c u r w i t h b o t h " l a " a n d " c o m p r e n d o , " b u t i f w e ' v e p r e v i o u s l y e s t a b l i s h e d

a s t r o n g l i n k b e t w e e n " t h e " a n d " l a , " t h e n w e s h o u l d l e a n s t r o n g l y t o w a r d " c o m p r e n d o . " D o i n g

t h a t s h o u l d r e d u c e t h e c h a n c e t h a t t h e E n g l i s h w o r d " d o n ' t " t r a n s l a t e s a s " c o m p r e n d o , " b e c a u s e

" d o n ' t / c o m p r e n d o " o n l y c o - o c c u r w h e n " u n d e r s t a n d " i s a l r e a d y i n t h e n e i g h b o r h o o d . A f t e r s u c h

d e c i p h e r m e n t , P ( c o m p r e n d o u n d e r s t a n d ) s h o u l d b e c l o s e t o o n e . P ( l a t h e ) m i g h t b e 0 . 4 , w i t h

t h e r e s t g o i n g t o P ( e l t h e ) , e t c .

T h i s w h o l e m e t h o d n e e d s t o b e b o o t s t r a p p e d | w e c a n ' t k e e p a s s u m i n g p r e v i o u s l y e s t a b l i s h e d

l i n k s . F o r t u n a t e l y , t h e r e i s a n a u t o m a t i c b o o t s t r a p p i n g a l g o r i t h m , c a l l e d e s t i m a t i o n - m a x i m i z a t i o n

( E M ) B a u m , 1 9 7 2 ] . T h e k e y t o a p p l y i n g E M i s t h e i d e a o f w o r d a l i g n m e n t s . A w o r d a l i g n m e n t

c o n n e c t s w o r d s i n a s e n t e n c e p a i r s u c h t h a t e a c h E n g l i s h w o r d p r o d u c e s z e r o o r m o r e S p a n i s h

w o r d s , a n d e a c h S p a n i s h w o r d i s c o n n e c t e d t o e x a c t l y o n e E n g l i s h w o r d . T h e l o n g e r a s e n t e n c e

p a i r i s , t h e m o r e a l i g n m e n t s a r e p o s s i b l e . F o r a g i v e n s e n t e n c e p a i r , s o m e a l i g n m e n t s a r e m o r e

r e a s o n a b l e t h a n o t h e r s , b e c a u s e t h e y c o n t a i n m o r e r e a s o n a b l e w o r d t r a n s l a t i o n s . N o w w e c a n

r e v i s e o u r a p p r o x i m a t i o n o f P ( S E ) :

1 5

8/14/2019 aimag97

16/24

P ( Y o n o c o m p r e n d o | I d o n ' t u n d e r s t a n d ) ~

P ( A l i g n m e n t 1 ) x P ( Y o | I ) x

P ( n o | d o n ' t ) x


+ P ( A l i g n m e n t 2 ) x P ( Y o | d o n ' t ) x

P ( n o | I ) x


+ P ( A l i g n m e n t 3 ) x P ( Y o | u n d e r s t a n d ) x

P ( n o | I ) x

P ( c o m p r e n d o | d o n ' t )

+ P ( A l i g n m e n t 4 ) x P ( Y o | I ) x

P ( n o | u n d e r s t a n d ) x

P ( c o m p r e n d o | d o n ' t )

+ P ( A l i g n m e n t 5 ) x P ( Y o | d o n ' t ) x

P ( n o | u n d e r s t a n d ) x

P ( c o m p r e n d o | I )

+ P ( A l i g n m e n t 6 ) x P ( Y o | u n d e r s t a n d ) x

P ( n o | d o n ' t ) x

P ( c o m p r e n d o | I )

( I h a v e l e f t o u t a l i g n m e n t s w h e r e E n g l i s h w o r d s p r o d u c e m u l t i p l e o r z e r o S p a n i s h w o r d s . )

E M t r a i n i n g i s q u i t e p o w e r f u l , b u t d i c u l t t o m a s t e r . A t a n a b s t r a c t l e v e l , i t i s s i m p l y a w a y t o

m e c h a n i z e t h e t r i a l - a n d - e r r o r d e c i p h e r m e n t w e u s e d f o r C e n t a u r i / A r c t u r a n . A t a d e e p e r l e v e l , E M

t r a i n i n g t r i e s t o n d t h e w o r d t r a n s l a t i o n p r o b a b i l i t i e s w h i c h m a x i m i z e t h e p r o b a b i l i t y o f o n e h a l f

t h e c o r p u s ( s a y , S p a n i s h ) g i v e n t h e o t h e r h a l f ( s a y , E n g l i s h ) . U n d e r s t a n d i n g h o w i t r e a l l y w o r k s

r e q u i r e s a b i t o f c a l c u l u s . N e u r a l n e t w o r k s r e q u i r e a s i m i l a r b i t o f c a l c u l u s . O f c o u r s e , i t i s p o s s i b l e

t o i m p l e m e n t b o t h E M a n d n e u r a l n e t w o r k s w i t h o u t p r e c i s e l y u n d e r s t a n d i n g t h e i r c o n v e r g e n c e

p r o o f s . I ' l l g i v e a b r i e f d e s c r i p t i o n o f E M t r a i n i n g h e r e .

W e r s t a s s u m e a l l a l i g n m e n t s f o r a g i v e n s e n t e n c e p a i r a r e e q u a l l y l i k e l y . O n e s e n t e n c e p a i r

m i g h t h a v e 2 5 6 a l i g n m e n t s , e a c h w i t h p = 1 / 2 5 6 , w h i l e a n o t h e r s e n t e n c e p a i r m i g h t h a v e 1 0

3 1

a l i g n m e n t s , e a c h w i t h v e r y s m a l l p . N e x t w e c o u n t u p t h e w o r d p a i r c o n n e c t i o n s i n a l l a l i g n m e n t s

o f a l l s e n t e n c e p a i r s . E a c h c o n n e c t i o n i n s t a n c e i s w e i g h t e d b y t h e p o f t h e a l i g n m e n t i n w h i c h

i t o c c u r s . T h a t w a y , s h o r t ( l e s s a m b i g u o u s ) s e n t e n c e s h a v e m o r e w e i g h t t o t h r o w a r o u n d . N o w

w e c o n s i d e r e a c h E n g l i s h w o r d i n t u r n ( e . g . , " u n d e r s t a n d " ) . I t h a s w e i g h t e d c o n n e c t i o n s t o m a n y

S p a n i s h w o r d s , w h i c h w e n o r m a l i z e t o s u m t o o n e . T h i s g i v e s t h e r s t c u t a t w o r d t r a n s l a t i o n

p r o b a b i l i t i e s . W e t h e n n o t i c e t h a t t h e s e n e w p r o b a b i l i t i e s m a k e s o m e a l i g n m e n t s l o o k b e t t e r t h a n

o t h e r s . S o w e u s e t h e m t o r e - s c o r e a l i g n m e n t s s o t h a t t h e y a r e n o l o n g e r e q u a l l y l i k e l y . E a c h

a l i g n m e n t i s s c o r e d a s t h e p r o d u c t o f i t s w o r d t r a n s l a t i o n p r o b a b i l i t i e s , t h e n n o r m a l i z e d s o t h a t

a l i g n m e n t s ' p r o b a b i l i t i e s f o r a g i v e n s e n t e n c e p a i r s t i l l s u m t o o n e .

T h e n w e r e p e a t . N e w e r a l i g n m e n t p r o b a b i l i t i e s w i l l y i e l d n e w e r , m o r e a c c u r a t e w o r d t r a n s l a t i o n

p r o b a b i l i t i e s , w h i c h w i l l i n t u r n l e a d t o b e t t e r a l i g n m e n t s . U s u a l l y o n e a l i g n m e n t w i l l b e a t o u t

a l l o f t h e o t h e r s i n e a c h s e n t e n c e p a i r . A t t h a t p o i n t w e s t o p , a n d w e h a v e o u r w o r d t r a n s l a t i o n

p r o b a b i l i t i e s . G i v e n a n e w s e n t e n c e p a i r S / E , w e c a n e s t i m a t e P ( S E ) b y u s i n g t h o s e p r o b a b i l i t i e s .

( S e e D a g a n a n d C h u r c h , 1 9 9 4 ; S m a d j a e t a l . , 1 9 9 6 ; K e r a n d C h a n g , 1 9 9 7 ] f o r f u r t h e r d i s c u s s i o n o f

t h i s a n d o t h e r m e t h o d s f o r w o r d - a n d p h r a s e - a l i g n m e n t . )

1 6

8/14/2019 aimag97

17/24

2 . 4 T r a n s l a t i o n M e t h o d

S o m u c h f o r d e c i p h e r m e n t . T h e l a s t t h i n g w e n e e d i s a t r a n s l a t i o n a l g o r i t h m . I m e n t i o n e d B a y e s '

R u l e e a r l i e r | g i v e n a S p a n i s h s e n t e n c e S , w e w a n t t o n d t h e E n g l i s h s e n t e n c e E t h a t m a x i m i z e s

P ( E ) P ( S E ) . W e c o u l d t r y a l l c o n c e i v a b l e E ' s , b u t t h a t w o u l d t a k e t o o l o n g . T h e r e a r e

t e c h n i q u e s w i t h w h i c h t o d i r e c t s u c h a s e a r c h , s a c r i c i n g o p t i m a l i t y f o r e c i e n c y . B r o w n e t a l . ,

1 9 9 0 ] b r i e y s k e t c h e s a n A * - b a s e d s t a c k s e a r c h , w h i l e m o r e d e t a i l e d d i s c u s s i o n s c a n b e f o u n d i n

W a n g a n d W a i b e l , 1 9 9 7 ; W u , 1 9 9 6 ; T i l l m a n n e t a l . , 1 9 9 7 ] . A t r a n s l a t i o n m e t h o d m u s t a l s o d e a l

w i t h u n k n o w n w o r d s , e . g . , n a m e s a n d t e c h n i c a l t e r m s . W h e n l a n g u a g e s u s e d i e r e n t a l p h a b e t s a n d

s o u n d p a t t e r n s , t h e s e t e r m s m u s t o f t e n b e t r a n s l a t e d p h o n e t i c a l l y K n i g h t a n d G r a e h l , 1 9 9 7 ] .

2 . 5 R e s u l t s

I n i t i a l r e s u l t s i n s t a t i s t i c a l w o r d - f o r - w o r d M T w e r e m i x e d . C o m p u t a t i o n a l l i m i t a t i o n s r e s t r i c t e d

e x p e r i m e n t s t o s h o r t s e n t e n c e s a n d a 3 0 0 0 - w o r d v o c a b u l a r y . W h i l e g o o d w i t h i n d i v i d u a l w o r d s ,

t h i s s y s t e m d i d n o t c o p e w e l l w i t h s i m p l e l i n g u i s t i c / s t r u c t u r a l i s s u e s , p r e f e r r i n g , f o r e x a m p l e , " p e o -

p l e w i t h l u g g a g e i s h e r e " o v e r " p e o p l e w i t h l u g g a g e a r e h e r e . " I t u s e d v e r y l i t t l e c o n t e x t f o r s e n s e

d i s a m b i g u a t i o n , a n d i t f a i l e d t o t a k e s o u r c e l a n g u a g e w o r d o r d e r i n t o a c c o u n t . Y o u m i g h t i m a g i n e

t h a t t h e s e s h o r t c o m i n g s w o u l d l e a d n a t u r a l l y t o p a r s i n g a n d s e m a n t i c a n a l y s i s , b u t B r o w n e t a l . ,

1 9 9 3 b ] i c o n o c l a s t i c a l l y c o n t i n u e d t o p u s h t h e w o r d - f o r - w o r d p a r a d i g m , a d d i n g " d i s t o r t i o n " p r o b a -

b i l i t i e s ( f o r k e e p i n g F r e n c h a n d E n g l i s h w o r d s i n r o u g h l y t h e s a m e o r d e r ) , c o n t e x t - s e n s i t i v e w o r d

t r a n s l a t i o n p r o b a b i l i t i e s , a n d l o n g - d i s t a n c e l a n g u a g e m o d e l i n g . B i l i n g u a l d i c t i o n a r i e s w e r e u s e d

t o s u p p l e m e n t c o r p u s k n o w l e d g e B r o w n e t a l . , 1 9 9 3 a ] . T h e s e i m p r o v e m e n t s , c o m b i n e d w i t h m o r e

e c i e n t d e c i p h e r m e n t a n d t r a n s l a t i o n a l g o r i t h m s , l e d t o a f u l l - s c a l e F r e n c h - E n g l i s h M T s y s t e m

c a l l e d C A N D I D E . T h i s s y s t e m p e r f o r m s a s w e l l a s t h e b e s t c o m m e r c i a l s y s t e m s , w i t h n o h a n d -

b u i l t k n o w l e d g e b a s e s ! T h a t ' s t h e g o o d n e w s . W h e r e t o g o f r o m h e r e ? I t i s u n c l e a r w h e t h e r t h e

o u t s t a n d i n g p r o b l e m s c a n b e a d d r e s s e d w i t h i n t h e w o r d - f o r - w o r d f r a m e w o r k , v i a b e t t e r s t a t i s t i c a l

m o d e l i n g o r m o r e t r a i n i n g d a t a . I t i s a l s o u n c l e a r h o w t h i s m e t h o d w o u l d p e r f o r m o n l a n g u a g e

p a i r s l i k e V i e t n a m e s e / E n g l i s h , w i t h r a d i c a l l y d i e r e n t l i n g u i s t i c s t r u c t u r e a n d l e s s b i l i n g u a l d a t a

o n l i n e .

I t i s i n t e r e s t i n g t o n o t e t h a t t h e s t a t i s t i c a l m e t h o d w i l l a l w a y s w o r k h a r d t o n d a t r a n s l a t i o n ,

e v e n i f t h e i n p u t s e n t e n c e h a p p e n s t o a p p e a r v e r b a t i m i n t h e t r a i n i n g c o r p u s . I n t h i s c a s e , a

g o o d t r a n s l a t i o n c a n b e r e t r i e v e d b y s i m p l e l o o k u p . T h i s i d e a i s t h e b a s i s o f a n o t h e r c o r p u s - b a s e d

M T a p p r o a c h , c a l l e d e x a m p l e - b a s e d M T N a g a o , 1 9 8 4 ; S a t o , 1 9 9 2 ] . W h e n e x a c t l o o k u p f a i l s , a n

e x a m p l e - b a s e d s y s t e m w i l l l o o k f o r a c l o s e m a t c h a n d a t t e m p t t o m o d i f y t h e c o r p u s t r a n s l a t i o n

t o t t h e n e w s e n t e n c e . T h i s t y p e o f \ r e t r i e v e - a n d - t w e a k " s t r a t e g y h a s s t r e n g t h s a n d w e a k n e s s e s

s i m i l a r t o t h o s e o f c a s e - b a s e d r e a s o n i n g i n A I .

3 S y n t a x - B a s e d T r a n s l a t i o n

K n o w i n g t h e s y n t a c t i c s t r u c t u r e o f a s o u r c e t e x t | w h e r e p h r a s e b o u n d a r i e s a r e , a n d w h i c h p h r a s e s

m o d i f y w h i c h | c a n b e v e r y u s e f u l i n t r a n s l a t i o n . M o s t h a n d - c r a f t e d c o m m e r c i a l s y s t e m s d o a

s y n t a c t i c a n a l y s i s f o l l o w e d b y t r a n s f e r , i n w h i c h p h r a s e s a r e t r a n s l a t e d a n d r e - o r d e r e d . T h e r e a r e

m a n y o p p o r t u n i t i e s f o r e m p i r i c a l m e t h o d s i n s u c h a f r a m e w o r k . T h e m o s t o b v i o u s i s t r a i n a b l e

p a r s i n g M a g e r m a n , 1 9 9 5 ; B o d , 1 9 9 6 ; C h a r n i a k , 1 9 9 6 ; C o l l i n s , 1 9 9 7 ] . U n f o r t u n a t e l y , s u c h p a r s e r s

o f t e n r e q u i r e a l a r g e t r e e b a n k ( c o l l e c t i o n o f m a n u a l l y p a r s e d s e n t e n c e s ) , a n d t r e e b a n k s a r e n o t y e t

a v a i l a b l e i n m o s t l a n g u a g e s . A n y a d v a n c e s i n g r a m m a r i n d u c t i o n f r o m r a w t e x t w i l l t h e r e f o r e h a v e

a b i g i m p a c t o n M T . S o m e M T s y s t e m s u s e h a n d - c r a f t e d g r a m m a r s w i t h a w o r d - s k i p p i n g p a r s e r

1 7

8/14/2019 aimag97

18/24

L a v i e , 1 9 9 4 ; Y a m a d a , 1 9 9 6 ] t h a t t r i e s t o n d a m a x i m a l p a r s a b l e s e t o f w o r d s .

G i v e n r e a s o n a b l y a c c u r a t e p a r s i n g s y s t e m s ( t r a i n e d o r h a n d c r a f t e d ) i t i s p o s s i b l e t o w r i t e

t r a n s f e r r u l e s b y h a n d a n d u s e a l a n g u a g e m o d e l t o d o l e x i c a l a n d s t r u c t u r a l d i s a m b i g u a t i o n

Y a m r o n e t a l . , 1 9 9 4 ; H a t z i v a s s i l o g l o u a n d K n i g h t , 1 9 9 5 ] . I t i s a l s o p o s s i b l e t o l e a r n t r a n s f e r r u l e s

f r o m b i l i n g u a l c o r p o r a a u t o m a t i c a l l y : b o t h h a l v e s o f t h e c o r p u s a r e p a r s e d , a n d l e a r n i n g o p e r a t e s

o v e r t r e e p a i r s r a t h e r t h a n s e n t e n c e p a i r s .

A m o r e a m b i t i o u s , p o t e n t i a l l y p o w e r f u l i d e a i s t o t r a i n d i r e c t l y o n s e n t e n c e p a i r s , l e a r n i n g b o t h

p h r a s e s t r u c t u r e a n d t r a n s l a t i o n r u l e s a t t h e s a m e t i m e . W h i l e a t r e e b a n k t e l l s y o u a l o t a b o u t

p h r a s e s t r u c t u r e i n a g i v e n l a n g u a g e , t r a n s l a t i o n s m a y a l s o t e l l y o u s o m e t h i n g | s e r v i n g a s a s o r t

o f p o o r m a n ' s t r e e b a n k . R e s e a r c h i n t h i s v e i n i n c l u d e s W u , 1 9 9 5 ] a n d A l s h a w i e t a l . , 1 9 9 7 ] . T h e

b a s i c i d e a i s t o r e p l a c e t h e w o r d - f o r - w o r d s c h e m e , i n w h i c h w o r d s y a r o u n d w i l l y - n i l l y , w i t h a

t i g h t e r s y n t a x - b a s e d M T m o d e l ; p r o b a b i l i t i e s a r e t h e n s t i l l s e l e c t e d t o b e s t t t h e s e n t e n c e - p a i r

c o r p u s . W h i l e i t i s c l e a r t h a t f a i r l y g o o d w o r d - f o r - w o r d a l i g n m e n t s a r e r e c o v e r a b l e f r o m b i l i n g u a l

t e x t , i t r e m a i n s t o b e s e e n w h e t h e r a c c u r a t e s y n t a c t i c a l i g n m e n t s a r e s i m i l a r l y r e c o v e r a b l e , a n d

w h e t h e r t h o s e a l i g n m e n t s y i e l d r e a s o n a b l e t r a n s l a t i o n s .

Y e t a n o t h e r p o s s i b i l i t y i s t o b r i n g a h u m a n l i n g u i s t b a c k i n t o t h e l o o p H e r m j a k o b a n d M o o n e y ,

1 9 9 7 ] a s a s o u r c e o f c o r r e c t p a r s e a n d t r a n s f e r d e c i s i o n s . T h e l i n g u i s t a l s o s u p p l i e s g e n e r a l f e a t u r e s

t h a t a r e u s e f u l f o r l e a r n i n g t o m a k e g o o d d e c i s i o n s i n n e w c o n t e x t s .

4 S e m a n t i c s - B a s e d T r a n s l a t i o n

S e m a n t i c s - b a s e d M T h a s a l r e a d y p r o d u c e d h i g h - q u a l i t y t r a n s l a t i o n s i n c i r c u m s c r i b e d d o m a i n s . I t s

o u t p u t i s u e n t b e c a u s e i t e m p l o y s m e a n i n g - t o - t e x t l a n g u a g e g e n e r a t i o n i n s t e a d o f g l u i n g p h r a s e s

t o g e t h e r a n d h o p i n g t h e r e s u l t i s g r a m m a t i c a l . I t s o u t p u t i s a c c u r a t e b e c a u s e i t r e a s o n s w i t h a

w o r l d m o d e l . H o w e v e r , t h i s s t r a t e g y h a s n o t y e t s c a l e d u p t o g e n e r a l - p u r p o s e t r a n s l a t i o n .

S e m a n t i c s - b a s e d M T n e e d s p a r s i n g p l u s a w h o l e l o t m o r e . F u e l f o r t h e a n a l y s i s s i d e i n c l u d e s

a s e m a n t i c l e x i c o n ( f o r m a p p i n g w o r d s o n t o c o n c e p t a n d r o l e s ) , s e m a n t i c r u l e s ( f o r c o m b i n g w o r d

m e a n i n g s i n t o s e n t e n c e m e a n i n g s ) , a n d w o r l d k n o w l e d g e ( f o r p r e f e r r i n g o n e r e a d i n g o v e r a n o t h e r ) .

T h e l a n g u a g e g e n e r a t i o n p h a s e a l s o n e e d s a l e x i c o n a n d r u l e s , a n d s o m e w a y o f p r e f e r r i n g o n e

r e n d e r i n g o v e r a n o t h e r . T h e r e a r e m a n y o p p o r t u n i t i e s f o r e m p i r i c a l t e c h n i q u e s . A l a n g u a g e m o d e l

m a y b e u s e d t o r e s o l v e a n y a m b i g u i t i e s p e r c o l a t e d f r o m m o r p h o l o g y , p a r s i n g , s e m a n t i c s , a n d g e n -

e r a t i o n . I n g e n e r a l , s t a t i s t i c a l k n o w l e d g e c a n u s e f u l l y p l u g g a p s i n a l l i n c o m p l e t e k n o w l e d g e b a s e s

K n i g h t e t a l . , 1 9 9 5 ] , l e t t i n g d e s i g n e r s a n d l i n g u i s t s f o c u s o n d e e p e r p r o b l e m s t h a t e l u d e a u t o m a t i c

t r a i n i n g . S e m i - a u t o m a t e d k n o w l e d g e a c q u i s i t i o n p l a y s a n i m p o r t a n t r o l e i n c r e a t i n g l a r g e - s c a l e

r e s o u r c e s l i k e c o n c e p t u a l m o d e l s a n d l e x i c o n s K n i g h t a n d L u k , 1 9 9 4 ; V i e g a s e t a l . , 1 9 9 6 ] .

F o r t h e s t a t i s t i c a l l y o r i e n t e d , B a y e s ' r u l e i s s t i l l u s e f u l l y a p p l i e d | l e t E b e a n E n g l i s h s e n t e n c e ,

S b e S p a n i s h , a n d M b e a r e p r e s e n t a t i o n o f a s e n t e n c e m e a n i n g . T h i s M m a y b e a d e e p I n t e r l i n g u a

o r a s h a l l o w c a s e f r a m e . T h e n w e c a n b r e a k t r a n s l a t i o n d o w n i n t o t w o p h a s e s :

P ( M S ) P ( M ) P ( S M ) a n a l y s i s

P ( E M ) P ( E ) P ( M E ) g e n e r a t i o n

P ( M ) i s e s s e n t i a l l y a w o r l d m o d e l . I t s h o u l d , f o r i n s t a n c e , a s s i g n l o w p r o b a b i l i t y t o F L Y ( C A N Y O N ) .

P ( S M ) a n d P ( M E ) a r e l i k e t r a n s l a t i o n m o d e l s f r o m S e c t i o n 2 . P ( E ) i s o u r o l d f r i e n d t h e l a n -

g u a g e m o d e l . T h e r e a r e m a n y o p e n p r o b l e m s : C a n t h e s e d i s t r i b u t i o n s b e e s t i m a t e d f r o m e x i s t i n g

r e s o u r c e s ? C a n a s y s t e m l e a r n t o d i s t i n g u i s h s e n s i b l e m e a n i n g s f r o m n o n s e n s e o n e s b y b o o t -

s t r a p p i n g o i t s o w n ( a m b i g u o u s ) a n a l y s e s ? C a n t r a n s l a t i o n m o d e l s b e l e a r n e d , o r c a n t h e y b e

s u p p l a n t e d w i t h e a s y - t o - b u i l d h a n d c r a f t e d s y s t e m s ?

1 8

8/14/2019 aimag97

19/24

T h e l a n g u a g e g e n e r a t i o n p h a s e p r o v i d e s a g o o d c a s e s t u d y . A l t h o u g h t h e r e a r e m a n y a p p l i -

c a t i o n s f o r l a n g u a g e g e n e r a t i o n t e c h n o l o g y , M T i s a p a r t i c u l a r l y i n t e r e s t i n g o n e , b e c a u s e i t f o r c e s

i s s u e s o f s c a l e a n d r o b u s t n e s s . K n i g h t a n d H a t z i v a s s i l o g l o u , 1 9 9 5 ] d e s c r i b e a h y b r i d g e n e r a t o r

c a l l e d N I T R O G E N , w h i c h u s e s a l a r g e b u t s i m p l e d i c t i o n a r y o f n o u n s , v e r b s , a d j e c t i v e s , a n d a d -

v e r b s , p l u s a h a n d - b u i l t g r a m m a r . T h i s g r a m m a r p r o d u c e s a l t e r n a t i v e r e n d e r i n g s , w h i c h a r e t h e n

r a n k e d b y a s t a t i s t i c a l l a n g u a g e m o d e l . C o n s i d e r a m e a n i n g l i k e t h i s o n e , c o m p u t e d f r o m a J a p a n e s e

s e n t e n c e :

( A / A C C U S A T I O N

: a g e n t S H E

: p a t i e n t ( T / T H E F T

: a g e n t H E

: p a t i e n t ( M / M O T O R C A R ) ) )

( R o u g h l y : t h e r e i s a n a c c u s a t i o n o f t h e f t , t h e a c c u s e r i s " s h e " , t h e t h i e v e r i s " h e " , a n d t h e t h i e v e d -

o b j e c t i s a m o t o r c a r ) .

T h i s i s a b a r e - b o n e s r e p r e s e n t a t i o n . T h e r e a r e e v e n t s a n d o b j e c t s , b u t n o f e a t u r e s f o r s i n g u -

l a r / p l u r a l , d e n i t e n e s s , o r t i m e | b e c a u s e m a n y o f t h e s e a r e n o t o v e r t l y m a r k e d i n t h e J a p a n e s e

s o u r c e . N I T R O G E N ' s g r a m m a r o e r s 3 8 1 , 4 4 0 E n g l i s h r e n d e r i n g s , i n c l u d i n g :

H e r i n c r i m i n a t e s f o r h i m t o t h i e v e a n a u t o m o b i l e s .

T h e r e i s t h e a c c u s a t i o n o f t h e f t o f t h e c a r b y h i m b y h e r .

S h e i m p e a c h e s t h a t h e t h i e v e t h a t t h e r e w a s t h e a u t o .

I t i s e x t r e m e l y t i m e - c o n s u m i n g t o a d d f o r m a l r u l e s d e s c r i b i n g w h y e a c h o f t h e s e t h o u s a n d s

o f s e n t e n c e s i s s u b o p t i m a l , b u t a s t a t i s t i c a l l a n g u a g e m o d e l l l s i n n i c e l y

Documents

aimag97