90
!""# $ %& !""# HLT/NAACL 2006 2 ! ! " # ! $ % && $ # % % ( # )$ % * % * +% ’ *% *

Graph-based Algorithms for Information Retrieval and Natural

  • Upload
    vokhanh

  • View
    223

  • Download
    0

Embed Size (px)

Citation preview

����������� �������������

������������������ ����

������ ������������������

���� �������

��� ���������� �������

�������������

� ����� �����

��� ����������������

������������

������� ����������� ��!""#$���%&�!""#

HLT/NAACL 2006 2

��� ��������������

� ����������

– ��� ����������������������������������

– ����������������������������������������������������������� �� ��!������� ����!�

– "������������������������������������������������

� ������������������#������������������������������������������������������������!������������� ��� $������� ������%��& &

– ��� $������� ������#� �����������%���� ������ ������%����������'�

– (���������#�)�$������%���*������������� %���*��������+�����%�'�������*�������%���*����������

HLT/NAACL 2006 3

'�� ��

� ��� $������� ������

– ,������%���� ���-��* ����%�������� �� ������

– .��������-��'�� %��������� %������� ��� �/� ��

� ���������������������������������

– )�$�������������*����������������� �/� ��

0�1(2

� ���������� �� ��!������� �������������

– ���������%���$3����������������� ������

– !���� %�������+����� �/� ��

HLT/NAACL 2006 4

������

��������������������������� ��������

������� &�����������(�� �)&���������

HLT/NAACL 2006 5

'�� ��

� �������������������������������

� �� ���������� ���������������������������

� ��������������� �����

� ��� ���-��* ������� ������

� ��� ������� ��� ������

HLT/NAACL 2006 6

*��������������+

� (� �����4��5%1�������������������������������#

5#���������������

1#������� �� �� ��������� ������������ ���5

� (���� � ��4���%����������������������

� 1*�����#

a b

c

d e

V= {a,b,c,d,e}

E= {(a,b),(a,c),(a,d),(b,e),(c,d),(c,e),(d,e)}

HLT/NAACL 2006 7

������ ��,-���.����&�������&�/��

� �����6%��7���������� ������������������ ���%�

– �6 �����7 �����3�����

– ,����� ����6%��7��������������������������6 �����7

� ���8�6%��79��������� ��������������� ���

– �6 �����3�������� �7%������7 �����3��������� �6

– ,����� ��8�6%��79�����������������6 �����7

� ,����� �� ���������*�����������$������� ������������������������*

� :���������� �����– ������ �� �� ���������*�� ����������$������� ��

����������� �����������

– ������� �� �� ���������*�� ����������$������� ������������� �����������

HLT/NAACL 2006 8

0

1 2

3 4 5 6

G2

3 2

3 3

1 1 1 1

directed graphin-degreeout-degree

0

1

2

G3

in:1, out: 1

in: 1, out: 2

in: 1, out: 0

0

1 2

3

33

3

0(��� �

HLT/NAACL 2006 9

������ ��,-�����

� ����#�����;������������������7%�<%&�&�&�' �������������������������������� ������=7 �����3�����&�

3

3 3

3

2

a b

c

d e

a b

c

d ea b e d c b e d c

HLT/NAACL 2006 10

������ ��,-�1��� �����&� ,�

� �����������#��������������������

� �����#��������������%��*�����������������������*�����������������������������*

a b

c

d e

b e c

a b

c

d e

a c d a

HLT/NAACL 2006 11

������ ��,-� ������������&�1��������

� ��$ ���#���$��������������������� �������� ��� ���

� �������������������#���*�����������������$ ���&�1& &%����� ����$���������>���������������������&

connected not connected

• connected graph: any two vertices are connected by some path

HLT/NAACL 2006 12

/��������2������������

� (������������ ��� ������������������������������������������ ������������%���6%��7��4���7%�6��

� (��������� ��� ����������������������� �����������������������������%�8�6%��79�?4�8�7%�69

tail head

HLT/NAACL 2006 13

*��������2�)���� ������

� 1� ��������-������������������ �����������������������

weighted unweighted

48 13

5

HLT/NAACL 2006 14

������������������345-��.����,�6����(

� ����4�5%1��$���� ������������������&

� ,�����3�����������* ������������ ��������������$�������%�������3@���

� ��������� �����%��3��������1��%���3@���A�BA3B47

� ��������������������� �����1��%���3@���A�BA3B46

� ,�����3�����������*����������������� ���������������C�������3�����������*�������� �������������$�����������

� !��#�:����������������3�����������%����������������������� ������� �� ��

� .���#������������������

HLT/NAACL 2006 15

0

1

1

1

1

0

1

1

1

1

0

1

1

1

1

0

����

����

0

1

0

1

0

0

0

1

0

���

���

0

1

1

0

0

0

0

0

1

0

0

1

0

0

0

0

1

0

0

1

0

0

0

0

0

1

1

0

0

0

0

0

0

0

0

0

0

1

0

0

0

0

0

0

1

0

1

0

0

0

0

0

0

1

0

1

0

0

0

0

0

0

1

0

�����������

�����������

G1

G2

G3

0

1 2

3

0

1

2

1

0

2

3

4

5

6

7

symmetric

undirected: n2/2directed: n2

Examples of Adjacency Matrices

HLT/NAACL 2006 16

�������������������3!5-��.����,������

� 1���������������3�����������*�����������������������

• (������������ ���������� ������������� �� ����49�����������������<� ����������

� !��#�������������������������

– ���������������

� .���#������������������������������������������� ����� �� ���

HLT/NAACL 2006 17

0123

012

01234567

1 2 30 2 30 1 30 1 2

G1

10 2

G3

1 20 30 31 254 65 76G4

0

1 2

3

0

1

2

1

0

23

4

56

7

0(��� ������.����,������

HLT/NAACL 2006 18

'�� ��

� �������������������������������

� �� ���������� ���������������������������

� ��������������� �����

� ��� ���-��* ������� ������

� ��� ������� ��� ������

HLT/NAACL 2006 19

�������������

� ,��������������������������� ����������������������������

� /�����:���������

– "�����������$����������������%���������������������������������������������

� 0������:���������

– ���������������������������%���������������������������������������

HLT/NAACL 2006 20

M N O P

I J K L

E F G H

A B C D

/����7�����1����

HLT/NAACL 2006 21

/����7�����1����

� ��������/713���

������������������� �� ���

'���������� �������������������� ������������ ������ ����� ��������

��� � ��������� ������������� �

�� ������ ��������������� ����� ����������������������� �

�� ���������������������� � ��� � �� ��������������

����������� ���/713)5

� � ����� �� �� ������

HLT/NAACL 2006 22

8�����7�����1����

M N O P

I J K L

E F G H

A B C D

0

M N O P

I J K L

E F G H

A B C D

0 1

M N O P

I J K L

E F G H

A C DB

0 1 2

M N O P

I J K L

E F G H

A B C D

0 1 2 3

d)c)

b)a)

HLT/NAACL 2006 23

� ��������8713�5-

�����-������(�������������

'�����-��� �� ����������������9������,: ������9��������:

������ �;�����������" ��������������(��

��←←←← "

)�� ��� ����������,��

����������������<4 ��������� ,������,

�����������(�� ����� �

����� ����������� �

��) ��������������������

�� ���(�)������(� �� ���

�� ������������,��

������) �������<4 � �� ��������������

��←←←← ��<�4

8�����7�����1����

HLT/NAACL 2006 24

�����7�����

� :�����������������������*����������������������*��

� D��� ���������������� ������������������� ���������������������

– ������������$���� ����������

� D���������E �����������

� D���$�����E ����������

HLT/NAACL 2006 25

�����7������)����/����7�����1����

EF

G

B

CD

A start

destination

A DFS on A ADFS on BB

A

DFS on CBC

AB Return to call on B

D Call DFS on D

AB

D

Call DFS on GG found destination - donepath is implicitly stored in DFS recursionpath is: A, B, D, G

HLT/NAACL 2006 26

EF

G

B

CD

A start

destination

A

Initial call to BFS on AAdd A to queue

B

Dequeue AAdd B

frontrear frontrear

C

Dequeue BAdd C, D

frontrear

D D

Dequeue CNothing to add

frontrear

G

Dequeue DAdd G

frontrear

found destination - donepath must be stored separately

�����7������)����8�����7�����1����

HLT/NAACL 2006 27

'�� ��

� �������������������������������

� �� ���������� ���������������������������

� ��������������� �����

� ��� ���-��* ������� ������

� ��� ������� ��� ������

HLT/NAACL 2006 28

6�������1����������

� (������������ ��������������%����������� ����4�5%1�

– ����$ ��� ������������

– ������������������������������

– �������������������&

� �������� ����� ����4�5%1%)�%�������� ����������$ ���

– ������������������ ������������� ������������$ ���

� (������ ������������� �������� ����� �����

– ��������� ������������������������� ��&

HLT/NAACL 2006 29

����=� 6�������1������������ �������

� �����������$����������� �����*����������

� 0��������������������������������������$�

– ������� ������ ������������������

– ������������� ������������

� ������ ���������������������� ������� ������� ������������$����������

– �����������������������*����������������������� �

� 5�������������������������������3��������� ����#

– ,����������#����������������������������%

– :�� ���������#���������������%�$�����3������������������*��� �������%

– D�������������#����������

HLT/NAACL 2006 30

����=� � �������

(� ����� !������������ ,����

��������+��������������� �����

������ ����$���������*������������������

���������� ��������

���������� ��������������3�������������������

)���� ����������� ���������

������ ����� ���������������� ���$�����������������*������������ ������*��

���������� �������C������� ���� ���������

���������� ���������������������3�������������������

HLT/NAACL 2006 31

����=� � �������

v1 v2

v3 v4 v5

v6 v7

2

14

1

4

10

6

72

5 8

3

v1 v2

v3 v4 v5

v6 v7

2

14

1

4

10

6

72

5 8

3

v1 v2

v3 v4 v5

v6 v7

2

14

1

4

10

6

72

5 8

3

v1 v2

v3 v4 v5

v6 v7

2

14

1

4

10

6

72

5 8

3

HLT/NAACL 2006 32

����=� � �������

v1 v2

v3 v4 v5

v6 v7

2

14

1

4

10

6

72

5 8

3

v1 v2

v3 v4 v5

v6 v7

2

14

1

4

10

6

72

5 8

3

v1 v2

v3 v4 v5

v6 v7

2

14

1

4

10

6

72

5 8

3

HLT/NAACL 2006 33

������������6�������1�����������

� /���������#���������������� �����������

– �����$�������������%���� ����� ����4�5%1%)�%���������,�$������������� ��������&������������������������ ���� �������������������,#�

� ����� ������������,%������������������������

� �� �������*���� ��� ����� ���������������

– ,�������,�������������������������� �������������������

� (� ������������������������������������ �����

� �����#���������������%���� ����� �����4��5%�1%�)�%����,7�����,<��������������� ����������������������,�������%����������������������������������� ��

� ,������$������� ����������������������� ��������F5F 7

HLT/NAACL 2006 34

'�� ��

� �������������������������������

� �� ���������� ���������������������������

� ��������������� �����

� ��� ���-��* ������� ������

� ��� ������� ��� ������

HLT/NAACL 2006 35

7 �)���)��>�

)���������� ��������� ���������*���������������������������������������G

1*������#– !���������'��������������������& &%�����%�����

� 1� ���E �����%���������E 3�����������������

– /�����������������������'�� 1� ���E �����'���������������������������������%���������E������������������������������������3������������

.�������������������#– �� �� ����*�� �������������������������

– ���� ����*� ��������������������������

– :�������������������E ����� ������������ �����

– ����������� �������������������������� ���������

HLT/NAACL 2006 36

7���� �;�����

:���������'�E �������

– /������%�������� ����������������� ����≥ 6

– ,������������������#��� �� �����������

– :���������������*��������������������→�→�→�→

:����E ��#���× ��→ �

– ���������������#∀ �� ∈ �# �� ����≤ �� ���– �����������# ∀ �� ∈∈∈∈ �# �� ����4�E���� �

– ��������������� ∀ ∈∈∈∈ � E H���I#∈

�v V

v V

, of(u,v)= f(u,V)= 0

f(v,u)= f(V

r

,u)= 0

HLT/NAACL 2006 37

��� ���������� �)�

/��������������������������������� ��� ����$��������������$������������������G

��?������������������ ����$���������������������&

13

11

54

15

10

14

19

3

s t9

a b

c d

2 5

3

3

6

6

13

11

54

15

10

14

19

3

s t9

a b

c d

3

3

3

6

6

HLT/NAACL 2006 38

6�(������ �)

)���������*���+�����������

��� � �������������#�∈�v V

f = f(s,v)= f(s,V)= f(V,t)

Find a flow of maximum value.

13

11

54

15

10

14

19

3

s t9

a b

c d

5

13

3

8

6

108

2

HLT/NAACL 2006 39

��������������

�������������� �����#– ��������������������%���������������������������� ����

�� ����������!���������������������� 9�6%��������������� ��� �����������������������������������#��� ����=�� ≤≤≤≤ �� ���

– �������'���������������%���� �����$���������

(� ������ �������������� ���G

13

11

54

15

10

14

19

3

s t9

a b

c d

5

13

3

8

6

108

2

HLT/NAACL 2006 40

7���7� >���������

Ford-Fulkerson(G,s,t)

1 initialize flow f to 0 everywhere

2 while there is an augmenting path p do

3 augment flow f along p

4 return f

� ��������������� ��� ������

� ������������������������������������� ������������

HLT/NAACL 2006 41

����� ���)��>

J���������������� ������ �����G

���������������������" �� �����#

– �������������������#���� ����4��� ����E �� ���

– ��������������'#���4������%�������� 4�H� ����∈∈∈∈ ��×××× ��#���� ����9�6I

Compute residual network:

13

11

54

15

10

14

19

3

s t9

a b

c d

5

13

3

8

6

108

2

HLT/NAACL 2006 42

����� ��������,����������

J���������������������������������������� ������� ������ �����G

� ����" ���������� �����������������#

������4����H��� ���#�� ����∈ �I

� /��� ��� ���������#

– ∀ � ��������%���������������� �����������$������������� ��

– �������� ������������������������������� �������&�

13

11

54

15

10

14

19

3

s t9

a b

c d

5

13

3

8

6

108

2What is the residual capacity of the

path (s,a,b,t)?

HLT/NAACL 2006 43

7���7� >���������&�)������� �

Ford-Fulkerson(G,s,t)

1 for each edge (u,v)∈G.E do 2 f(u,v) = f(v,u) = 0

3 while ∃ path p from s to t in residual network Gf do

4 cf = min{cf(u,v): (u,v)∈p}5 for each edge (u,v) in p do

6 f(u,v) = f(u,v) + cf7 f(v,u) = -f(u,v)

8 return f

,����� �������$���������������������������������������������� ��������>&

HLT/NAACL 2006 44

7���7� >���������&�(���

13

11

54

15

10

14

19

3

s t

a b

c d

33

3

13

11

54

15

10

14

19

3

s t

a b

c d

13

33

3

1313

13

11

54

15

10

14

19

3

s t

a b

c d

18

38

8

1313

5

HLT/NAACL 2006 45

� (��� ����������������������%�,��������������∈ �%�� ∈ ,&

– ,����������� ������� ��������%�,����#

� ����� �����#����������� �������������������������&

���

��������

∈∈∈∈∈∈∈∈∈∈∈∈

====

TwSvEwvSe

wvueu

,),( ofout

).,(:)(

s

2

3

4

5

6

7

t

15

5

30

15

10

8

15

9

6 10

10

10154

4

Capacity = 30

HLT/NAACL 2006 46

���

s

2

3

4

5

6

7

t

15

5

30

15

10

8

15

9

6 10

10

10154

4

Capacity = 62

s

2

3

4

5

6

7

t

15

5

30

15

10

8

15

9

6 10

10

10154

4

Capacity = 28

HLT/NAACL 2006 47

7 �)����� ���

10

6

6

10

10

0 10

4 8 8

04 0

00

s

2

3

4

5

6

7

t

15

5

30

15

10

8

15

9

6 10

10

10154

4

Value = 24

� �7& ������$��������%�����������%�,��$�������&��,���%�������������������������������������;������������������������ ��&

fefefefseSeSe

========−−−− ������������ ofout to in ofout

)()()(

HLT/NAACL 2006 48

6�(�7 �)����6��� ��

� .������& ������$��������%�����������%�,��$�������&�����F�F�4�����%�,�%���������������*������������%�,��������������&

� ��* �����-���� ���������� �:�� :��'�����#��������������'%��������������������*����������;�������������������������������&

s

2

3

4

5

6

7

t

15

5

30

15

10

8

15

9

6 10

10

10154

4

10

9

9

15

15

4 10

4 8 9

10 0

Flow value = 28

00

Cut capacity = 28

HLT/NAACL 2006 49

'�� ��

� �������������������������������

� �� ���������� ���������������������������

� ��������������� �����

� ��� ���-��* ������� ������

� ��� ������� ��� ������

HLT/NAACL 2006 50

�����������������

� ,��� �����4�5%1������J4�)%:�������������� �������������$�3������ ����������#�5�→ )�������������������%�� ���5#

– H���I�∈1�⇔ H����%����I�∈ :�

� �������������������� ��!�� ����������"����#���!�� � �$���→ ����� → �%

� ����������������������!����� �������������������!&���"� �������$���→ ������������

– �������"������$�'���(�∈ ��⇔'���������(�∈ �

– �������"���$���"������������%

HLT/NAACL 2006 51

1������� �����������

� (� ����4�5%1����������������������$ ��� ���J4�)%:�����������������$ ��� J7����J����������������J7�������������

HLT/NAACL 2006 52

��������?��(�������������������

� ���F5F�≠ F)F%���F1F�≠ F:F%�������#���&�/���&

� "�������%���������������������������������J�������������%����������

– 1������������������������������ ����������J

– ������������������������������J%�����������$���� ��������������%����������� ������������������&

� :������#���������$���� ������������������%��������������������������� ��&

– ���������������������%������������ ������������;����������� ������

� ������������*��&

HLT/NAACL 2006 53

1���

� ������������;��������4��(7�������$��������������(745%�������;�������J�4��07�������$��������J������074)&

� �������

– ��������(� �����$��(�7%K%(� �����������0� ����J�$��0�7%K%0�&

� (�7%K%(� ���������������(�

� 0�7%K%0� ���������������0�

� :����������������� �#�� ���(�# �����������������������0�#

� ����������

– .�����������������*����(� ����0� ������������ �$����������������(# ����0# ���������%�#&

– ����(��4�H� ���(� F�� ����� ��� �$������(#I

– ����0��4�H� ���0� F�� ����� ��� �$������0#I

– ��������F(�F�≠ F0�F%����������#��������������

HLT/NAACL 2006 54

�������

����������� ��������

���� ��,����>���&� �������&��������

HLT/NAACL 2006 55

'�� ��

� .����������������

� J����������������

� 1� �������� ������ ��������

� ����������'�

� �������������������

HLT/NAACL 2006 56

��������������� ��,�������

� .������������������������������������*��������� ���&��������$�������������$�������������������������� ����

� ,�������������������������������.�5�#

– /� ������������#����$�����5L����� �$��

– /�����������������#����� ��������������5������������������

– 0��������������������#������������������������5

– 1� �����������������#�������'������������������'�������� �������������5

HLT/NAACL 2006 57

������>����� ��������

� ,����������������������'�� ��� ���������!� ����' ����������������!� ������� ���&

� ������$���������� �����������������&

� (�����L������������������������������ �� ��� ��������� ������������������������������� �$��&

� (��������������������������M����������N�����#�������������%��������������������������� �#

– 1���������'���������'�������� �

– "�3����������������������������� �

HLT/NAACL 2006 58

������)� >�����������������������

� /��'��L�����'#– �����������������6����������

� )�������������$&���������� �O�$����������� �6G�

� J����������������#– !�6��4�6

– !����4�7

– !�*��4�PQ��* 7�=�PQ��*=7�%����68*8�

– ���� �����%��������P ���������$��������������'�

0 1 2 3 4 5

HLT/NAACL 2006 59

���������� �/����� � ���� �

� /����$��������������������������������������&

� "����������������������������������46%�������������#�47&

� �������L� �������������;������#

� ,������������������������ ������������������������������������;�������#

� ��� �����%������������������������;����������������������������������&

02 =+=∇ yyxx uuu

tuuk =∇2

(**)

HLT/NAACL 2006 60

��������������������������

� ,����������������*������

– /�����������*�������&

– (��� ����*�����������������$�������������&

– (��� ���$������������������������������&

– (�3�������������������$���������� ������������� �$��&

– ������������������ ����&

� ������.����������

– !����������������'����������������������������&

– .������������������$�$��������������������'������ �����������������*��������&

� 1� ���������������

– ���'�����������������������$��������������������'

HLT/NAACL 2006 61

0������������������ ��

� (���� �����������������������M��������N ���������*�

���������� �������� ������ +��%����� ��$��� �������������$������������*����$�������������

� .������� ��� ��������#

0)det( =− IA λ

vvA�� λ=

HLT/NAACL 2006 62

0������������������ ��

� 1*�����#

� /�� �( λ���4�� 7 λ�Q� λ� >Q<46� ,���#�λ=λ< R46C���λ74<C���λ<4 >

� :��λ1=2:

� ���������#�*74*<

��

���

−=

02

31A ��

���

−−−

=−λ

λλ

2

31IA

022

33

2

1 =��

���

��

���

−−

x

x

HLT/NAACL 2006 63

1�����������������

� ������������������#�������������������������������7���������������������������6&�1*�����#

� ,����� ������ ������� ��������������������*�� ������#�$7 4�7&�

� :��$7%����������������������� ������������%������ ����� ��������4��

� ������������%��,� 4��&

��

��

=

43

41

85

83

A

HLT/NAACL 2006 64

0 ������ ���)��>�����������)� >�

�=y

xyx CC

� 1 ���� ��������������'����������������������������*�%

1 1

1 0.5

0.5 a b

c

d

xyxy R

C1=

x

xyxy C

CP =

���������

���������

05

2

5

2

5

12

10

4

1

4

13

2

3

100

2

1

2

100

dcba

a

b

c

d

w=Pw T

���������

���������

14

514

414

314

2

From Doyle and Snell 2000

HLT/NAACL 2006 65

0 ������ ���)��>�����������)� >�

xyyxxy

yxxy Cvv

R

vvi )( −=

−=

yy

xyyy x

xyx vPv

c

cv �� ==1 1

1 0.5

0.5 a

c

d

1 V

b

� =y

xyi 0

0

1

==

b

a

v

v

� �� ���������$�$����������������������'������� ����� ����������� $����������� �&&�

� ,������������'�������������������������������������.��������������������������������������&

8

3

5

2

5

116

7

2

1

4

1

=+=

=+=

cd

dc

vv

vv

HLT/NAACL 2006 66

0���,�����������������

� ,������ ������������������ �������������

� "�������������������%

� ,������������*���������������������������#

� .����������������� �

yxxy ff −=

xyxyRi 2

�=yx

xyxyRiE,

2

2

1

ba,yfor ,0 ≠=�y

xyf

� −=−yx

xyyxaba jwwjww,

)(2

1)(

(**)

HLT/NAACL 2006 67

�������=���������

� "����������������#

� ,������ �������������$���������������������������$46����������47���������&�,������������������������������ ����������$�����������������������$��,������L��!��������

�=yx

xyxyeffxy RiRi,

22

2

1

(**)

HLT/NAACL 2006 68

6��>���������

1

2

34

5

7

6 8

S

T

77R

7777O

7U

77>

7<

777

STROU><7

Transition matrixGraph G (V,E)

HLT/NAACL 2006 69

6��>���������

� (����� ���������'��������������������$������������������$������� ��������'�����������������*��&

� !����4���;��������'%��(%�K%����&)� 4���*(Q�

� ,�����$�$��������������������$����������������������������$�$����������������������&

� ����������'�4������)# ������'%�%�����#&

HLT/NAACL 2006 70

1��������,��� ������

� ,���������������1 ���� ,�����������'����������A������ �������+�'� 7VSVB�����������������'�������������������������������$������� ��������������������#

– ���������������

– �����������$���

– �������������

� ,����'����������������������#

– (����������������������7�������������������� ������

– ��'�������������������� ������������

– ��'��������������������$�������

� 1*�����#�!� ����' A0�� ����!� ��7VVSB#�����M������������N

HLT/NAACL 2006 71

1

2

34

5

7

6 8

This graph G has a second graph G’(not drawn) superimposed on it:G’ is a uniform transition graph.

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 2 3 4 5 6 7 8

Pag

eRan

k

t=0

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 2 3 4 5 6 7 8

Pag

eRan

k

t=1

���(���

HLT/NAACL 2006 72

���������������������,������������

0)( =−=

pGI

pGpT

T

function PowerStatDist(G):begin

p(0) = u; (or p(0) = [1,0,…0])i=1;repeat

p(i) = ETp(i-1)

L = ||p(i)-p(i-1)||1;i = i + 1;

until L < εreturn p(i)

end

Solution for thestationary distribution

HLT/NAACL 2006 73

1

2

34

5

7

6 8 0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 2 3 4 5 6 7 8

Pag

eRan

k

t=0

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 2 3 4 5 6 7 8

Pag

eRan

k

t=1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 2 3 4 5 6 7 8

Pag

eRan

k

t=10

0(���

HLT/NAACL 2006 74

��������

������������������ ���� ��������

*��1���������(�� ������������

HLT/NAACL 2006 75

'�� ��

� !� ����'

� J�,�

� ������������������

HLT/NAACL 2006 76

������������������

� �������������������������������������;���%���'���������������$�������������������;���&

� "������)�$%�;������������������������4�<������&

� W��������E ������������+�����������'����������������)�$G

HLT/NAACL 2006 77

������>

� /���������������������������� �����������$��� ����������� ��&

� ����;��� ��������%������� ��;��� �������������������*���&

� ��� �����%�������� ���������*������� ������������������*���������� ������&

� (��� ������� ���������������������L��;���%��� ����������������������������� ����!� ����'&

HLT/NAACL 2006 78

HLT/NAACL 2006 79

HLT/NAACL 2006 80

6������������>

� !�$����

– !� ����' ����������� ���&�

– (����'������������������� �����������������������������������&

– (�����������M��$N �� ������������������������������������� ��������������&�����*���� �%����������� ��������������������� �������������������������M��$N&

– ,��������������� �� ���������'������������������������������������$&�

– ���'��������������������������������������������� �������$�������������*������������'��������$��������������������������&

� �������������

– !�������+���!� ����' �$���������������'�

– ,���� $������J��������� <66<�#�����������������������������/�"X�������������!� ����' �����������������������&

HLT/NAACL 2006 81

���1

� J�����*� ����������*�����������&

� /���������$��Y���2����$� ����������� ��������0��(������ ��������������.�151���� ���&

� J�,�����;��� ��������&

� J�$����������������%��& &����������������$��'��'���$����������&���������������$�������&

Honda

Ford

VW

Car and Driver

HLT/NAACL 2006 82

���1

� 1���������������� ���������'������! &���� ��������� !���������� ���&

� ���������������������� �����������$���&

� 1*������������������������;����M3���N#

– ���& ������&���

– 3���&���&���

– �� ���������&���-�� ���������-K �,���Y�������������

– �� �����&����&����&���-Z��-3���-3���$��'�&����

– �������&���&���-3�����;-3�����;&����

HLT/NAACL 2006 83

���1

� J�,���� �����#

– �$������������������ ����������� ��������������������������;���

– �*�����������������$������������������������������������������+��7666 O666�

– ����������������������$���������������������� ����

– �������� ��'�� ������������������$�

� 1� ��������������������#

hGa T='Gah ='

)( GGa Tω= )( TGGh ω= )(Gp ω=

HLT/NAACL 2006 84

���1

� J�,��������������$��(�'&��� ����,����&��� &

� ������������$���������������������������������& &%�$�����������������������������������������������&

� 1*���������M3� ��N– !���������� �������� ������� ����$��������������

– ,����������������������������������������� �� �������� ������� ����$������������$��������

– ,��������������������������������������� �� �������� ������� ����$����������&

� 1*���������M�$�����N– ,����������������������������������������� �� �������� �����

�� ������M�����������������N ����M������������ ���N

– ,����� ������������������������ �����������������M�� ����N�����&�

HLT/NAACL 2006 85

1����� �� ��������

� ,��������������������*���������������������� ������������������*&

� ,����� ���������������������������������$�������$������������������������������� ��� ��������&

� ������������������%��� ������������$��������������������� ��������� ���������*&

HLT/NAACL 2006 86

��� ����� �����(

� ,������������ �����������*�������������������*&

� ��4�/�E %������/���������� �������*����������� ����&

� 1*�����#

A

B

C

G

F

E

D �6666 7 7

6�66 76 7!

66� 7 766"

66 7# 7 76�

6 7 7 7#66$

766 76# 7%

7 7666 7#&

!"�$%&

HLT/NAACL 2006 87

7� �������

� ,���:��������������������� ������������������������������������������ �������&

A

B

C

G

F

E

D 6&O>UU

6&6666

6&O>UU

6&<S6S

6&>RS<

6&<S6S

6&>RS<

.7

G!

.<"

.<�

.<$

.7%

.7&

HLT/NAACL 2006 88

1����� ����������� �������

� .�������λ<� .��������������������� ��<

� :�����������������

– ����<����8�6

�(��� ��������������.7

– 1��������<����9�6

�(��� ��������������.<

– 1��������<����4�6

�(��� ��������������.7���.<���������

HLT/NAACL 2006 89

������?

������ ���������������������� ���������1�������

HLT/NAACL 2006 90

'�� ��

� ���������������$� ������

� ������������$� ������

� ���������������������-�����������������

� ��*���������������

� ������������������������

HLT/NAACL 2006 91

*���1���/�������������

� ,�����$��������������� ����������������������������������������������$�������&�

– �������������������������������������������������������&

– 2������ �������������������%����������������� %�����������������$���������� �����������

� )����������� ����������������������������

� /������� ���������������������������������������������������

–Ex: “chair” – furniture or person–Ex: “child” – young person or human offspring

“Sit on a chair” “Take a seat on this chair”“The chair of the Math Department” “The chair of the meeting”

HLT/NAACL 2006 92

����������1� �����������*1/

� D�������������������������������������-���������������'������������� ����

� 0����� ��������� ������������M���������N

– ��������������������$�����������������������%���$����������������������������� ������*�

� /����$������������������+,���(---.�+,���(---.

� /�������� $���������������+��"� (-/-.carnivore

wild dogwolf

bearfeline, felidcanine, canidfissiped mamal, fissiped

dachshund

hunting doghyena dogdingo

hyenadog

terrier

HLT/NAACL 2006 93

1�������1��� ����,�6�����

� �����#��������������������������������������

� "�����#������������������ 1& &�+,������ ��"��!�"��� (--/.

– 1& &���������������%�� ��4�6&R6�����������������%$����4�6&U<

� "����������#– �������������� ��������������������+������ (--0.�+,���(--/.

– �������������� � ���� $������������������������������������+1�!��������"�1��"�����(---.

– .�������������������������$����������������������������������������������*� +2��� ��"����� (--0.

��

−=D

CCPathCCSimilarity

2

),(log),( 21

21

where D is the taxonomy depth

HLT/NAACL 2006 94

�(��� � ����������*1/

� (���������������������������������������� ��$��������*�

� ��*������������+3�� ��"��*4��� (-//.��+3���"�� ��"�3����� (-56.

� M2����������!�����������7 ������������������������"���"����!��!�����������������"�����& �����!������� ����������������"�!����!�����������"���� ��N

(� ����� ��������� ���*�����������#

7& ������������������������������������*�&�,������������������������������������������������������%��������������������������������������������������������������&

<& :�������������������������%������������������� ������������%�����������������������������������������������%�$������������������������������������$����������������������������������������� �����%����������������������������� &

>& ������������������������%����������������������������C���������%������������������&

HLT/NAACL 2006 95

�(��� � �����

A very long train traveling along the rails with a constant velocity v in a certain direction …

train #1: public transport

#2: order set of things

#3: piece of cloth

travel

#1 change location

#2: undergo transportation

rail #1: a barrier

# 2: a bar of steel for trains

#3: a small bird

HLT/NAACL 2006 96

�(��� � ����������*1/

� �����������*�������������������*�

– D��������� ������������������������������

� ������������������� ���������$����������������$�������������*����������

� 1���������#

– +���������"�1�8���� 9'':. ��*���������������TU����.����*��� ����R<&6V[

– +1�!��������"�1��"�����9'''.������������.����*��� ����V6[������R6[������

���*������������M�������N ������������� ����

HLT/NAACL 2006 97

�������������>�������1���������)��>�

� ���#�$���������������� ���������������������������� ����������*�

� �����#�(����������*�

� "�����#�������������� �����������– M���������N �����������������������������

– ��������������������������

� ���������*����������– +3����"�� ��"�3���� (-5-.

– :����� ������������%��������M���'�N �������������������������������

� ��� $�������'�� ����������������������������������������

HLT/NAACL 2006 98

Two U.S. soldiers and an unknown number of civilian

contractors are unaccounted for after a fuel convoy was

attacked near the Baghdad International Airport today,

a senior Pentagon official said. One U.S. soldier and an

Iraqi driver were killed in the incident.…

HLT/NAACL 2006 99

Two U.S. soldiers and an unknown number of civilian

contractors are unaccounted for after a fuel convoy was

attacked near the Baghdad International Airport today,

a senior Pentagon official said. One U.S. soldier and an

Iraqi driver were killed in the incident.…

HLT/NAACL 2006 100

Two U.S. soldiers and an unknown number of civilian

contractors are unaccounted for after a fuel convoy was

attacked near the Baghdad International Airport today,

a senior Pentagon official said. One U.S. soldier and an

Iraqi driver were killed in the incident.…

HLT/NAACL 2006 101

Two U.S. soldiers and an unknown number of civilian

contractors are unaccounted for after a fuel convoy was

attacked near the Baghdad International Airport today,

a senior Pentagon official said. One U.S. soldier and an

Iraqi driver were killed in the incident.…

HLT/NAACL 2006 102

6����1���

� ����(#�!���������

– ��������� %���*����'���+�����%����������������� �� %��������+�����

� �����<#�(���������������$��������� �����������������*����������������������

– �������������������� ������������������ ���

� ����:#�/������������������ ����$��������������

� ����;#�(��������� ��� $�������'�� ��� �����

– !� ����'%�J�,�%�!��������������

HLT/NAACL 2006 103

1�������� �������

� ����������������������$��)�����– ��(���������-��������

– !(�, ":��������-��������

– ���������

– ����$���

– ��������+������

– ����������'�

� 1� ����������������– ��������-����������

– $�������������������������� ����

� "�����#�����������������������������������������������*�– M���������N �����������������������������

– ��������������������������

HLT/NAACL 2006 104

*���1���/�������������

� ���'������������-������ ����������������������

� D��������������������������������$� �������������������������������������������*��+1�!����������<�9'';.�+1�!������9''0.

� ���������� ������#– ���'

– 0����������������;�����������-�������

� J�$��#– ��� $�������'�� �=����'

– ��� $�������'�� �=��������;�����������

� 1���������– M�������N ����������������� �

– MD��������N ��������������� �

� /����– �������� <�����������������������*��%����� ����+��R66�

– ���.� ��$������������*��#����%������%���$����%����������%��������������

HLT/NAACL 2006 105

0�� ������

Size(words) Random Lesk TextRank TextRank+LeskSemCorlaw 825 37.12% 39.62% 46.42% 49.36%sports 808 29.95% 33.00% 40.59% 46.18%education 898 37.63% 41.33% 46.88% 52.00%debates 799 40.17% 42.38% 47.80% 50.52%entertainment 802 39.27% 43.05% 43.89% 49.31%Avg. 826 36.82% 39.87% 45.11% 49.47%Senseval-2d00 471 28.97% 43.94% 43.94% 47.77%d01 784 45.47% 52.65% 54.46% 57.39%d02 514 39.24% 49.61% 54.28% 56.42%Avg. 590 37.89% 48.73% 50.89% 53.86%Average (all) 740 37.22% 43.19% 47.27% 51.16%

“uninformed” (no sense order)

HLT/NAACL 2006 106

0�� ������

Size(words) MFS Lesk TextRank TextRank+LeskSemCorlaw 825 69.09% 72.65% 73.21% 73.97%sports 808 57.30% 64.21% 68.31% 68.31%education 898 64.03% 69.33% 71.65% 71.53%debates 799 66.33% 70.07% 71.14% 71.67%entertainment 802 59.72% 64.98% 66.02% 66.16%Avg. 826 63.24% 68.24% 70.06% 70.32%Senseval-2d00 471 51.70% 53.07% 58.17% 57.74%d01 784 60.80% 64.28% 67.85% 68.11%d02 514 55.97% 62.84% 63.81% 64.39%Avg. 590 56.15% 60.06% 63.27% 63.41%Average (all) 740 60.58% 65.17% 67.51% 67.72%

“informed” (sense order integrated)

HLT/NAACL 2006 107

'�� ��

� ���������������$� ������

� ������������$� ������

� ���������������������-�����������������

� ��*���������������

� ������������������������

HLT/NAACL 2006 108

����������0�������

� �������$� ��������������������#

– /������&�Y������%�/�����Y������%�/&�Y������

– /�����Y�������������%�/�����Y��������(,�\�,�

� ���������$������������������#

– )����� �����������%�)����� �����������%�)����� ����������

� ���$����$� ����������*��#

– ;�������#��& &�766������

– ����#��& &�766�����

– �����#��& &�766����

– ����&#�������� �����

� .���$����������������������� ���$���

HLT/NAACL 2006 109

����/�������������

� 1*���������$�������������������E �& &����������������#

– .� ������

– !����������

– 5�����������

� 1���������������������$�����������������������$�����������

� (���������� ���� �������#

– 1& &�������+���,:%�,:-�/:

� .�������������������������������������������������� +3�������<��9''0.

HLT/NAACL 2006 110

1����� � �������

� (�����' �������������������� ������������������

� ,������������#

– /0�!#�����������U66%666����������������E ��������7U���$� ����������

– )�$ $�������������#�77��������������MY&������N ����7O��������������MY&�(������N%���������������ORT����������

� .������� ��������������� �������������������

– /����$� ���������������4����������� ��������������(A�%�B���������$�������������������������������������*

HLT/NAACL 2006 111

����/��������������@ ��� ��

� /0�!���������#

� )�$ $�������������– 77�MY&�����N#�SU&T[��' ������TO&U[�

– 7O�MY&(������N#�T7&<[��' ������RT&<[�

HLT/NAACL 2006 112

'�� ��

� ���������������$� ������

� ������������$� ������

� ���������������������-�����������������

� ��*���������������

� ������������������������

HLT/NAACL 2006 113

���������������������������

� ����#�D��������������������������������������� ��������� �����������%����������������������������� ��'������������������������������ ���������

– +=������ ��"�>��"�!��"��(---.�

� :����������#

– ?�� #�����7V7<�)�$���L��/���������

– 4 � #�������������������'��������������$�����������

� ,���������������������$����������������������������������)���������������������������$������������������������������� +@���������<�(--:.

HLT/NAACL 2006 114

� �������

7& 1*��������������� ���������������������

�& &����������$����������� �������������������������������������

<& "$���������������������������������������

>& ���'��������������(����'

� ��� $������� ����������� ����'�� �

HLT/NAACL 2006 115

� ��������3����A5

/���������� � "����������������������������������������������������&

� !�����������$�������#������$����������������'���������������%���������������������%��������%�����������������%������ �� ������%���������$$������������������������%�������� %������ �������������%��������������������������������*��%��������������������������&

� ����������#������������������������������

� ���'�����#���������������

Transport. To carry or bear from one place to another;…

head word

Transport

to

carry

or

bear

7&�1*��������������� ������������/��������

HLT/NAACL 2006 116

� ��������3����A5

<&�"$���������������������������������������

Transport

carry

|as| outgoing arcs

e edge

s source node

t target node

re =ps / |as|

pt� )���#

� ���������'���������� �

��� ���������'������������������

��� ���������'���������� �������

F��F�����������$�������� ��� ��� ��

rs,t =ps / |as|

pt

�e=1

mFor more than 1 edge (m) between s and t

HLT/NAACL 2006 117

� ��������3����A5

& ����'

�����#����������������%��� ����%�������������%��

7& ������������������� ����������

<& ����%�������%�3 ������'���������%��3 �

>& ����%��������%� ������'����������%��

U& ��������(����'#�����������%��%�����%���

O& ���'�(��������#�������������������

� H6&V%�6&TO%�6&TO%�6&TO%�6&R%�6&O%�K&�%�6&7I��������������

� H7%�<%�<%�<%�KI��;�������������'���������'

� H7%�<%�<%�<%�>%�KI����$����'���������������

3. ���'������������� �(����'• ���'������������������������������������������������� ��������� �����������������������������������$�������������

HLT/NAACL 2006 118

��� ��

()��

VR%S66�����

77<%SVT��������������

� � ���*

87[������ ����������

86&6O[������������

�������������

86&6O[�������������

�������� �

6[���������������

(����������������$�������������������� ������)�$���

(� ���

VV%RU<�����

7T>%VU7�����������

� � ���*

Z6&7[����������������������������

Z7 76[�����������\�������������

������

7OV%666����������

T7>%666��������������$���������������

+���� &������������&��.

HLT/NAACL 2006 119

��� ������ ,���

,���)�$���L����������

+�,-

� ������������� �������������

� ���������������������������

� �����������������������������)�����

� ������������������������������$��������������������������������*��������� ���

� ����������M������N#��������������������������������������������������� �*������������������������������ ��+������

$,�-

� ,���������������������������������������������

� ,�������������������������������������������%������������%�����������������������������������������

� �������������� ��������������$����������� �%����� ����

� �����������������������������������������& &�)������

HLT/NAACL 2006 120

���������������������������-�1������� ����

� (�����������������������*�������;���������

– 1& &���������������������������������������������

� D����������������������$��������������� ��������� �� ����%������� ��������������

– ����������������������������$�� �����������!"���� �������

�5�$�����

��������"�����

�(�3�����������

�K

– �����������$� ������������������� �� ������������

– ����������������� $������ ��� �����

– +>�""��� A�@�����9''9.

HLT/NAACL 2006 121

������������(��� ���B��������

� (�����������;���������������������.������– 1& &�A:�D�,B������%�$�����%���� �%�K

� (� �����– !�����������������*������������� �������������'���$�����

���-�������������

�1& &�M����������$�����N

– ����������������%�$����� �������������������

�1& &�M����������$�����N%�M������������� �N%�M�������������N%�M��������$�����N%�M��������������$��N%�M$��������������$��N

– (��������������������������

– ������

apple

strawberrybanana

pear

orange

HLT/NAACL 2006 122

0(��� �����0�� ������

� 1����������� ������<6�)����������������������

– 1& &�����������%������%���������%�K

� !�������������������S<[

– (����������� �������$��������������������������������� ���������������������������*��������������$���������� �

HLT/NAACL 2006 123

'�� ��

� ���������������$� ������

� ������������$� ������

� ���������������������-�����������������

� ��*���������������

� ������������������������

HLT/NAACL 2006 124

�(��� �0���� ���

� M,�*������������������� �����������������'����������� %� �����������*���� �����%������������������ ����������*�������������������$�����������������������*�&N +@���� ����<��9''0.

Eyeing the huge market potential, currently led by Google, Yahoo took over search company Overture Services Inc last year

Yahoo acquired Overture�

Applications to:Information Retrieval (IR) Comparable Documents (CD)Reading Comprehension (RC)

Question Answering (QA)Information Extraction (IE)Machine Translation (MT) Paraphrase Acquisition (PP)

HLT/NAACL 2006 125

�(��� �0���� ���

� 2������ ���;����

– ���������#

� ��������+�����%���$����������������%�� ��������������-����������

� BC�!���&� �!�4�� �D��E�3��B4�� ������&� �!�&��C�!��D

– ��������#�

� ���������� �������������������%���������%����������

� BC�!���& ��D��E�3��BC�!�������D

– )����'������ �

� �������������������

� BF!��������%�����������������D��E�3��BF!�������� ����������������((�''D

� �,1�������� �#�

– ORT������� %�S66�����

– $��������O6[

HLT/NAACL 2006 126

������������������

� ,�*������������������ ����������� ���$���

� ������������*������� ���%���������� ���

– ������������������

– ���������������������������������

� ���'���������������������%�������� ������������������������������

– ���⇔ �������

Yahoo

bought

Overture Overture

was sold to

Yahoo

HLT/NAACL 2006 127

�(��� �0���� ���

� (������– ������#�O<&U[�

– ����������'�#�TR&O[��������$�������������%�>V&O[��;��������������� �

– +%�G���G� ����<�9''0.

� ��������������– ������ �����%��������� ����'%����������������

– ������ �� ��'�����������������������

– ����������� ���������������������������������� ����� ��� �������

– ��������OR&S[– +3��!��!� ����<�9''0.

HLT/NAACL 2006 128

'�� ��

� ���������������$� ������

� ������������$� ������

� ���������������������-�����������������

� ��*���������������

� ������������������������

HLT/NAACL 2006 129

1��.������,���� ,��������1������� ������������

� ,����$3����������������������$3��������*��������������*������������� ������������

� D��������������������������������������������������������������������&��� ������

– 1& &�������������������#����&�������������&����

� �����������������������$�������������������������������������������$���%�������� ������������������ �������������������������%���������������� $��������� ����

– ���������������������� ����������������������;��������$���������

HLT/NAACL 2006 130

1��.������,�0(��������

HLT/NAACL 2006 131

1��.������,�/�������0(��������

� /������� �������$3������������������������*������$������������������� ����������$3����������������������� �����$3��������*����

� ��$3��������*�����������������������������������������������*��������������������������������������+��

� ��$3������������������������������������������*������������#

– �����#�������������������������������������������������� ����������������������� �������;������5�%���]���0����%�������������������������������������

– .����*����#�����������*������������%����������& &����������������� ���������������������������������������$3��������������������������

� +%������"�,����9'';.

HLT/NAACL 2006 132

�������1��.������,� ������������

� �����������������������������;�����������������������������������������������������������������������������&�

� .�� $����������������������'����������������$������������������������*�����������������������

� ����������������� �������(����� ������������������������#��( �����9 &�

� ����������������#���"#+��. ��� �� ����������������������� ��$��� ��� �# $���������������������� �� �����

� (����������������# �����+�����.�� ��� �� ������������������������������������������ �� ��� �� $��������������������

HLT/NAACL 2006 133

������� ������������

� ��*���+�����������L������ ��������������������������������������������������� ������%���������������������������������������������%�������������+���������� ������������������������������� ���������������������

� :���������������������+��������$���#����� ������xi�����������������C1 ����C2 ���������������+�������������������#

( ) ( ) ( )���∈∈∈∈

++

2

121

,12

CxCx

kiCxCx

k

i

xxassocxindxind

HLT/NAACL 2006 134

�������� �������

� ,�������2n �����$���$����������������������n��������%������������������������ �������������������������+��������$���

� 0������������������ ����G�������������{v1,…vn,s,t}������ ��#– (s,vi) �������� ����ind1(xi)– (vi,t) �������� ����ind2(xi)– (vi,vk) �������� ����assoc(xi,xk)

HLT/NAACL 2006 135

�������� ��������3����A5

� .��#���������������������������������������#

� ,����������������������������� ������������� ��������� �����S���T

� (�������������������������������������������

� (�����������������$������������ ���*���� ������� ������%��������������������������������� ������

� D���������� ����-���* ������� �����

',' where

'}{ and '}{

TtSs

TtTSsS

∉∉∪=∪=

HLT/NAACL 2006 136

�������� ��������3����A5

�����������������������������������������������������$�������������$������������ ��������������1��

HLT/NAACL 2006 137

1��.������,�0(��������

� (��� �������������������������������$3��������������– �& &�������$�$��������������������$��� ���$3������%�������� ��� $��

����]���0���� ���������%����

� (��� ������������������������*����������������������– �& &������������*������4����������������������$��������������

$�����������������������

� D���������� ������ ��������������������������������������$3������-��$3������

HLT/NAACL 2006 138

1��.������,�0(���������)����6��� ��

HLT/NAACL 2006 139

��� ��

� <666���������������7666����������-�7666��� ������

� ,������������$3��������*�������������������������������������������������������������������������� ������������������+�

HLT/NAACL 2006 140

������

• Dolan, William B., L. Vanderwende, and S. Richardson. 1993. Automatically Deriving Structured Knowledge Base from On-line Dictionaries. In Proceedings of the Pacific Association for Computational Linguistics, April 21-24, 1993, Vancouver, British Columbia.

• Erkan, G. and Radev, D.. "LexRank: Graph-based Lexical Centrality as Salience in Text Summarization", Journal of Artificial Intelligence Research , 2004

• Galley, M. and McKeown, K.: Improving Word Sense Disambiguation in Lexical Chaining. IJCAI 2003.

• Hirst, G. and St-Onge, D. Lexical chains as representations of context in the detection and correction of malaproprisms. WordNet: An electronic lexical database, MIT Press, 1998

• Haghighi, A. and A. Ng and C. Manning, Robust Textual Inference via Graph Matching, EMNLP 2005.

• Halliday, M. and Hasan, R. Cohesion in English. Longman, 1976.• Hobbs, J. A model for natural language semantics, Tech. Report, Yale

University, 1974.• Jannink, J. and G. Wiederhold. Thesaurus entry extraction from an on-line

dictionary. Fusion 1999. • Lee, L. Measures of distributional similarity, ACL 1999.

HLT/NAACL 2006 141

������

• Lesk, M. Automatic sense disambiguation using machine readable dictionaries: How to tell a pine cone from an ice cream cone. SIGDOC 1986.

• Lin, D. An Information-Theoretic Definition of Similarity, ICML 1998.• Mihalcea, R. and Moldovan, D. An iterative approach to word sense

disambiguation. FLAIRS 2000.• Mihalcea, R. and Tarau, P and Figa, E. PageRank on Semantic Networks

with Application to Word Sense Disambiguation, COLING 2004• Mihalcea, R. and Tarau, P. TextRank: Bringing Order Into Texts, EMNLP

2004• Mihalcea, R. Graph-based ranking algorithms for large vocabulary word

sense disambiguation, HTL-EMNLP 2005.• Han, H and Zha, H. and Giles, C.L. Name disambiguation in author citations

using a K-way spectral clustering method, ACM/IEEE – IJCDL 2005• Jannink, J. and Wiederhold, G., Thesaurus Entry Extraction from an On-line

Dictionary, Fusion 1999, Sunnyvale CA, 1999. • Pang, B. and Lee, L., A Sentimental Education: Sentiment Analysis Using

Subjectivity Summarization Based on Minimum Cuts, ACL2004. • Widdows, D. and Dorow, B., A Graph Model for Unsupervised Lexical

Acquisition, COLING 2002

HLT/NAACL 2006 142

�����?

������ ���������������������� ��������1������;���������1,���(

HLT/NAACL 2006 143

'�� ��

� ,�*��������+�����

� !���� ���������

� !����������������������������

� /���������������

� 2�������*�������

HLT/NAACL 2006 144

���� ��,�����������;�����

� 1*��������������+����������'�'��������������������������������������������������������������������&

� ����������#���������������������������������������������������&

� ,��������������$�����'�� ��������������������������������������& &%������������������������������������������$����������&

� ,���������� �������A�����������&�<666B&

� (����������������������������� ����������G

HLT/NAACL 2006 145

1��� ��� �������� � ����

1 (d1s1) Iraqi Vice President Taha Yassin Ramadan announced today, Sunday, that Iraq refuses to back down from its decision to stop cooperating with disarmament inspectors before its demands are met.

2 (d2s1) Iraqi Vice president Taha Yassin Ramadan announced today, Thursday, that Iraq rejects cooperating with the United Nations except on the issue of lifting the blockade imposed upon it since the year 1990.

3 (d2s2) Ramadan told reporters in Baghdad that "Iraq cannot deal positively with whoever represents the Security Council unless there was a clear stance on the issue of lifting the blockade off of it.

4 (d2s3) Baghdad had decided late last October to completely cease cooperating with the inspectors of the United Nations SpecialCommission (UNSCOM), in charge of disarming Iraq's weapons, and whose work became very limited since the fifth of August, and announced it will not resume its cooperation with the Commission even if it were subjected to a military operation.

5 (d3s1) The Russian Foreign Minister, Igor Ivanov, warned today, Wednesday against using force against Iraq, which will destroy, according to him, seven years of difficult diplomatic work and will complicate the regional situation in the area.

6 (d3s2) Ivanov contended that carrying out air strikes against Iraq, who refuses to cooperate with the United Nations inspectors, ``will end the tremendous work achieved by the international group during the past seven years and will complicate the situation in the region.''

7 (d3s3) Nevertheless, Ivanov stressed that Baghdad must resume working with the Special Commission in charge of disarming the Iraqi weapons of mass destruction (UNSCOM).

8 (d4s1) The Special Representative of the United Nations Secretary-General in Baghdad, Prakash Shah, announced today, Wednesday, after meeting with the Iraqi Deputy Prime Minister Tariq Aziz, that Iraq refuses to back down from its decision to cut off cooperation with the disarmament inspectors.

9 (d5s1) British Prime Minister Tony Blair said today, Sunday, that the crisis between the international community and Iraq ``did not end'' and that Britain is still ``ready, prepared, and able to strike Iraq.''

10 (d5s2) In a gathering with the press held at the Prime Minister's office, Blair contended that the crisis with Iraq ``will not end until Iraq has absolutely and unconditionally respected its commitments'' towards the United Nations.

11 (d5s3) A spokesman for Tony Blair had indicated that the British Prime Minister gave permission to British Air Force Tornado planes stationed in Kuwait to join the aerial bombardment against Iraq.

(DUC cluster d1003t)

HLT/NAACL 2006 146

�������)��������

� �����7 �����< $���������������&

� ����� ����� $���������������������������� �����������������������

� ,����������$������������������������$����������������������������������&

yx

yx

yx niii�

== ,1),cos(

� ,������������ �������6����7&

HLT/NAACL 2006 147

�(��� ������ ��,�C0�>�� �������!""%D

7&666&7<6&>S6&7T6&676&6>6&7S6&676&666&666&6677

6&7<7&666&<R6&<66&666&<66&6U6&6V6&676&7O6&6R76

6&>S6&<R7&666&<O6&666&6U6&<66&666&666&6>6&6RV

6&7T6&<66&<O7&666&6R6&<V6&7O6&7T6&6U6&<76&<SS

6&676&666&666&6R7&666&6O6&6O6&<S6&6>6&6>6&6>T

6&6>6&<66&6U6&<V6&6O7&666&<V6&7R6&676&7V6&<<R

6&7S6&6U6&<66&7O6&6O6&<V7&666&676&666&6>6&6>O

6&676&6V6&666&7T6&<S6&7R6&677&666&6>6&<T6&7TU

6&666&676&666&6U6&6>6&676&666&6>7&666&7R6&6<>

6&666&7O6&6>6&<76&6>6&7V6&6>6&<T6&7R7&666&UO<

6&666&6R6&6R6&<S6&6>6&<<6&6>6&7T6&6<6&UO7&667

7776VSTROU><7

HLT/NAACL 2006 148

d4s1

d1s1

d3s2

d3s1

d2s3

d2s1

d2s2

d5s2d5s3

d5s1

d3s3

�(��� ������ ��,�3�E"AF5

HLT/NAACL 2006 149

d4s1

d1s1

d3s2

d3s1

d2s3

d2s1

d2s2

d5s2d5s3

d5s1

d3s3

�(��� ������ ��,�3�E"A!5

HLT/NAACL 2006 150

d4s1

d1s1

d3s2

d3s1

d2s3d3s3

d2s1

d2s2

d5s2d5s3

d5s1

�(��� ������ ��,�3�E"A45

Sentences vote for the most central sentence!Need to worry about diversity reranking.

d4s1

d3s2

d2s1

HLT/NAACL 2006 151

N

dTiTETp

Tc

dTiTETp

Tc

dTip nn

n

−+++= 1)()(

)(...)()(

)()( ,,11

1

� F(KF� ����� �����������'����2���+F�.������������� �� ����� �F�����"�H�����������������$������� ��&

� " �������M������ ������N%���������$�$��������������M3���N ������� �������������� ��������������'&�������������������������������������������������� ����&

� )����"�4�6%�����������������������������$�����&)����" 4�7%������������������� ����������������� ����������;�����������&

� ,����������������"����$�������A6&7%6&<B��0�� ����!� �%�7VVS�&

�(���>

HLT/NAACL 2006 152

HLT/NAACL 2006 153

HLT/NAACL 2006 154

0(������������(���>

� :�������������'�� ��2����� ��������<66O�#���������������������������������� �����������$�$��������/3F/��&�(�����2����� ��������<66R�#�������������J�,�����������������'�&

� /���������������� ����� ����������'���1'��<66R�#����'�������������7 >���� �$�������������������&

HLT/NAACL 2006 155

�����������������

� 1*�����#

Example fromZhu et al. 2003

HLT/NAACL 2006 156

�����������������

� ������������������������������������

� ����*������������

� ������.����������

� ������������&����� ���������

Example fromZhu et al. 2003

HLT/NAACL 2006 157

������������

� J� ����&���������������

V x02_join x01_board x0_as x11_director N x02_is x01_chairman x0_of x11_entitynam N x02_name x01_director x0_of x11_conglomer N x02_caus x01_percentag x0_of x11_death V x02_us x01_crocidolit x0_in x11_filter V x02_bring x01_attent x0_to x11_problem

Pierre Vinken , 61 years old , will join the board as a nonexecutive director Nov. 29. Mr. Vinken is chairman of Elsevier N.V. , the Dutch publishing group. Rudolph Agnew , 55 years old and former chairman of Consolidated Gold Fields PLC , was named a nonexecutive director of this British industrial conglomerate.

A form of asbestos once used to make Kent cigarette filters has caused a high percentage of cancer deathsamong a group of workers exposed to it more than 30 years ago , researchers reported . The asbestos fiber , crocidolite , is unusually resilient once it enters the lungs , with even brief exposures to it causing symptoms that show up decades later , researchers said . Lorillard Inc. , the unit of New York-based Loews Corp. that makes Kent cigarettes , stopped using crocidolite in its Micronite cigarette filters in 1956 . Although preliminary findings were reported more than a year ago , the latest results appear in today 's New England Journal of Medicine , a forum likely to bring new attention to the problem .

HLT/NAACL 2006 158

������������

� ,����������'����� � ���������������!!���������������������$��,�������� �����&�<66U&

� 1*�����#������� �����#�M��� �����������N E�*��������M����������������N&

� ��������������������������������������������&

� ���'������#�5��%�5�5����$�������������������������%�������� �%�)������������%���5�������������������������%�1*�������������0���!�&

� 1*�����������������#�ST&OU[���������������������SR&O[�$��X������������<66U�&

HLT/NAACL 2006 159

0(���

reported earnings for quarter

reported loss for quarter

posted loss for quarter

posted loss of quarter

posted loss of million

5

G

G

G

�*

HLT/NAACL 2006 160

V

N

n1

p

v

reported earnings for quarter

posted loss of million

posted earnings for quarter

n2

�,����� (**)

HLT/NAACL 2006 161

�268� (**)

HLT/NAACL 2006 162

This example is slightly modified from the original.

HLT/NAACL 2006 163

HLT/NAACL 2006 164

HLT/NAACL 2006 165

HLT/NAACL 2006 166

HLT/NAACL 2006 167

1������������������������

� "���$����������&�<66O&

� ��� $��������� ���������������� &

� ,������������������ ���������������������$������������������$��������������� ����� ����������������&

� (������ ������$��������������������$��������������������� ���������$��������������������%�������$����&

HLT/NAACL 2006 168

HLT/NAACL 2006 169

HLT/NAACL 2006 170

/����,��������

� ��/�����������&�<66O&

� 1*�������������������������#

� 1� ���������������������������������3������������$�������������������� ��������������&"������� �� ���������&

� ����#����������������� �����;������������������������*������������ ����������������� ���&

� .�� ���������7VRO������1��������7VRT�� ������������������� ��������������� ���,������������ ����&

hit

John ball with

the bat

the

root

HLT/NAACL 2006 171

/����,��������

� .��������������������MY�����������N ������&

� ,���.�� ��� 1��������� ������ �����������,��������� ��������������� ���&�,���������� ������������ ��3����������&

9

10

30

20

30 0

11

3

9

root

John

saw

Mary

10

30

30

11

root

John

saw

Mary

HLT/NAACL 2006 172

G,)���0(��������

� ������������������������������*�

A�������� \�,��� <66UB

� 2����������������

– (�������������*��

– ,������� ���*�������

– )�����������������������#��������������������%�,�*��������+�����%�)���������/����$� ������

� !���������'

– �����������������������

– ��������� �������A,�����7VVVB%���]���0�����A:��'�7VVVB%���������������AJ�����<66>B

HLT/NAACL 2006 173

�(����>�����G,)���0(���������

� ���������������������

� D����� ������������������ ���

� ���'� ������������������������������*�

� !��'����������'�������

� 5��������#

– ��'��������������������

– ��'�����������

– ��'������������=���3�������

HLT/NAACL 2006 174

���0(���

Compatibility of systems of linear constraints over the set of natural numbersCriteria of compatibility of a system of linear Diophantine equations, strict inequations, and nonstrict inequations are considered. Upper bounds forcomponents of a minimal set of solutions and algorithms of construction of minimal generating sets of solutions for all types of systems are given. These criteria and the corresponding algorithms for constructing a minimal supporting set of solutions can be used in solving all the considered types of systems and systems of mixed types.

Keywords by TextRank: linear constraints, linear diophantine equations,natural numbers, non-strict inequations, strict inequations, upper boundsKeywords by human annotators: linear constraints, linear diophantine equations, non-strict inequations, set of natural numbers, strict inequations,upper bounds

types

equationssolutions

sets

bounds

numbersnatural

criteriacompatibility

minimal

algorithms

construction components

upper

constraints diophantine

systemlinear

strictinequations

non-strict

systems

TextRanknumbers (1.46) inequat ions (1.45) linear (1.29) diophant ine (1.28) upper (0.99) bounds (0.99) strict (0.77)

Frequencysystems (4) types (4) solut ions (3) minimal (3) linear (2) inequat ions (2) algorithms (2)

HLT/NAACL 2006 175

0�� ������

• Evaluation:– 500 INSPEC abstracts– collection previously used in keyphrase extraction

[Hulth 2003]

• Various settings. Here:– nouns and adjectives– select top N/3

• Evaluation in previous work– mostly supervised learning– training/development/test : 1000/500/500 abstracts

HLT/NAACL 2006 176

��� ��

Assigned Correct Method Total Mean Total Mean Precision Recall F-measure

Ngram with tag 7,815 15.6 1,973 3.9 25.2 51.7 33.9NP-chunks with tag 4,788 9.6 1,421 2.8 29.7 37.2 33Pattern with tag 7,012 14.0 1,523 3.1 21.7 39.9 28.1TextRank 6,784 13.7 2,116 4.2 31.2 43.1 36.2

(Hulth, 2003)

HLT/NAACL 2006 177

��������

0��������.����� <667�E ������ �������$���������D���$�����/�������� ������������%��.��

/������ <667�E .� �������� ������������������������ �0��������������������!��������� %���2//

/���������������E ���������'�������������������'�

1'�� ����������<66U�E ��*!� ����'#�!���� ���������� /��������,�*��������+�����^%�1���!�

1'�� <66R�E ��� �� ������� 0�����/��������.������� �D��� ��������)��'�%�J�, �((.�

Y������� <66>�E ,���������� ������ �����������������!��������� %��.��

2����%�2����%����������� �<66>�E �������������� %��Y.(�

2����� ��������<66O�E !� ����' ��������J������'�#������������ ��'�� ����� ����'����������$����� �� ��������%�����

2����� ��������<66R�E �������������������?�J�,�����������������'�%������+�� ������� $�������� �� ��������%�����

�������� ����,��� <66U�E ,�*����'#�0�� �� �"��������,�*��%�1���!

HLT/NAACL 2006 178

��������

�������� ����0������ <66>�E (���������/������������������)���

�+���� ����Y��''��� <667�E !����������$�����.���������������������'����������)��'�%���!�

X�� �����&�<667�E 0������������!��������� �����/����.������� %�.�2�

X�� <66<�E ������������+����������2������� 1*��������D��� ���������������������!���������������������.������� %�����

X��%���������%�������������<66>�E ���� ���������������� �D��� ���������:����������J�������:��������%��.��

)������J�$���� <66U&�:����� ��������������������������#������������������&�,���1�������!�������Y������0%�>S#>>7_>>S

�� ��$�$��� ����#����#--��� �&��&�����&���-Z����-��$ ���-$�$��� ����&���

HLT/NAACL 2006 179

��� ������

HLT/NAACL 2006 180

����������� �����������������H���

� ����#��������������������$�����������������������$������������

� ��� $������� ������������������������ �� ��� �����������������������������!���$����

� ��� $�������!-��#

– "�������� ��$������� ��� ������������!�-���

– �����������������������������������������������������$�����