Upload
vokhanh
View
223
Download
0
Embed Size (px)
Citation preview
����������� �������������
������������������ ����
������ ������������������
���� �������
��� ���������� �������
�������������
� ����� �����
��� ����������������
������������
������� ����������� ��!""#$���%&�!""#
HLT/NAACL 2006 2
��� ��������������
� ����������
– ��� ����������������������������������
– ����������������������������������������������������������� �� ��!������� ����!�
– "������������������������������������������������
� ������������������#������������������������������������������������������������!������������� ��� $������� ������%��& &
– ��� $������� ������#� �����������%���� ������ ������%����������'�
– (���������#�)�$������%���*������������� %���*��������+�����%�'�������*�������%���*����������
HLT/NAACL 2006 3
'�� ��
� ��� $������� ������
– ,������%���� ���-��* ����%�������� �� ������
– .��������-��'�� %��������� %������� ��� �/� ��
� ���������������������������������
– )�$�������������*����������������� �/� ��
0�1(2
� ���������� �� ��!������� �������������
– ���������%���$3����������������� ������
– !���� %�������+����� �/� ��
HLT/NAACL 2006 4
������
��������������������������� ��������
������� &�����������(�� �)&���������
HLT/NAACL 2006 5
'�� ��
� �������������������������������
� �� ���������� ���������������������������
� ��������������� �����
� ��� ���-��* ������� ������
� ��� ������� ��� ������
HLT/NAACL 2006 6
*��������������+
� (� �����4��5%1�������������������������������#
5#���������������
1#������� �� �� ��������� ������������ ���5
� (���� � ��4���%����������������������
� 1*�����#
a b
c
d e
V= {a,b,c,d,e}
E= {(a,b),(a,c),(a,d),(b,e),(c,d),(c,e),(d,e)}
HLT/NAACL 2006 7
������ ��,-���.����&�������&�/��
� �����6%��7���������� ������������������ ���%�
– �6 �����7 �����3�����
– ,����� ����6%��7��������������������������6 �����7
� ���8�6%��79��������� ��������������� ���
– �6 �����3�������� �7%������7 �����3��������� �6
– ,����� ��8�6%��79�����������������6 �����7
� ,����� �� ���������*�����������$������� ������������������������*
� :���������� �����– ������ �� �� ���������*�� ����������$������� ��
����������� �����������
– ������� �� �� ���������*�� ����������$������� ������������� �����������
HLT/NAACL 2006 8
0
1 2
3 4 5 6
G2
3 2
3 3
1 1 1 1
directed graphin-degreeout-degree
0
1
2
G3
in:1, out: 1
in: 1, out: 2
in: 1, out: 0
0
1 2
3
33
3
0(��� �
HLT/NAACL 2006 9
������ ��,-�����
� ����#�����;������������������7%�<%&�&�&�' �������������������������������� ������=7 �����3�����&�
3
3 3
3
2
a b
c
d e
a b
c
d ea b e d c b e d c
HLT/NAACL 2006 10
������ ��,-�1��� �����&� ,�
� �����������#��������������������
� �����#��������������%��*�����������������������*�����������������������������*
a b
c
d e
b e c
a b
c
d e
a c d a
HLT/NAACL 2006 11
������ ��,-� ������������&�1��������
� ��$ ���#���$��������������������� �������� ��� ���
� �������������������#���*�����������������$ ���&�1& &%����� ����$���������>���������������������&
connected not connected
• connected graph: any two vertices are connected by some path
HLT/NAACL 2006 12
/��������2������������
� (������������ ��� ������������������������������������������ ������������%���6%��7��4���7%�6��
� (��������� ��� ����������������������� �����������������������������%�8�6%��79�?4�8�7%�69
tail head
HLT/NAACL 2006 13
*��������2�)���� ������
� 1� ��������-������������������ �����������������������
weighted unweighted
48 13
5
HLT/NAACL 2006 14
������������������345-��.����,�6����(
� ����4�5%1��$���� ������������������&
� ,�����3�����������* ������������ ��������������$�������%�������3@���
� ��������� �����%��3��������1��%���3@���A�BA3B47
� ��������������������� �����1��%���3@���A�BA3B46
� ,�����3�����������*����������������� ���������������C�������3�����������*�������� �������������$�����������
� !��#�:����������������3�����������%����������������������� ������� �� ��
� .���#������������������
HLT/NAACL 2006 15
0
1
1
1
1
0
1
1
1
1
0
1
1
1
1
0
�
�
����
�
�
����
0
1
0
1
0
0
0
1
0
�
�
���
�
�
���
0
1
1
0
0
0
0
0
1
0
0
1
0
0
0
0
1
0
0
1
0
0
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
0
1
0
�
�
�����������
�
�
�����������
G1
G2
G3
0
1 2
3
0
1
2
1
0
2
3
4
5
6
7
symmetric
undirected: n2/2directed: n2
Examples of Adjacency Matrices
HLT/NAACL 2006 16
�������������������3!5-��.����,������
� 1���������������3�����������*�����������������������
• (������������ ���������� ������������� �� ����49�����������������<� ����������
� !��#�������������������������
– ���������������
� .���#������������������������������������������� ����� �� ���
HLT/NAACL 2006 17
0123
012
01234567
1 2 30 2 30 1 30 1 2
G1
10 2
G3
1 20 30 31 254 65 76G4
0
1 2
3
0
1
2
1
0
23
4
56
7
0(��� ������.����,������
HLT/NAACL 2006 18
'�� ��
� �������������������������������
� �� ���������� ���������������������������
� ��������������� �����
� ��� ���-��* ������� ������
� ��� ������� ��� ������
HLT/NAACL 2006 19
�������������
� ,��������������������������� ����������������������������
� /�����:���������
– "�����������$����������������%���������������������������������������������
� 0������:���������
– ���������������������������%���������������������������������������
HLT/NAACL 2006 20
M N O P
I J K L
E F G H
A B C D
/����7�����1����
HLT/NAACL 2006 21
/����7�����1����
� ��������/713���
������������������� �� ���
'���������� �������������������� ������������ ������ ����� ��������
��� � ��������� ������������� �
�� ������ ��������������� ����� ����������������������� �
�� ���������������������� � ��� � �� ��������������
����������� ���/713)5
� � ����� �� �� ������
HLT/NAACL 2006 22
8�����7�����1����
M N O P
I J K L
E F G H
A B C D
0
M N O P
I J K L
E F G H
A B C D
0 1
M N O P
I J K L
E F G H
A C DB
0 1 2
M N O P
I J K L
E F G H
A B C D
0 1 2 3
d)c)
b)a)
HLT/NAACL 2006 23
� ��������8713�5-
�����-������(�������������
'�����-��� �� ����������������9������,: ������9��������:
������ �;�����������" ��������������(��
��←←←← "
)�� ��� ����������,��
����������������<4 ��������� ,������,
�����������(�� ����� �
����� ����������� �
��) ��������������������
�� ���(�)������(� �� ���
�� ������������,��
������) �������<4 � �� ��������������
��←←←← ��<�4
8�����7�����1����
HLT/NAACL 2006 24
�����7�����
� :�����������������������*����������������������*��
� D��� ���������������� ������������������� ���������������������
– ������������$���� ����������
� D���������E �����������
� D���$�����E ����������
HLT/NAACL 2006 25
�����7������)����/����7�����1����
EF
G
B
CD
A start
destination
A DFS on A ADFS on BB
A
DFS on CBC
AB Return to call on B
D Call DFS on D
AB
D
Call DFS on GG found destination - donepath is implicitly stored in DFS recursionpath is: A, B, D, G
HLT/NAACL 2006 26
EF
G
B
CD
A start
destination
A
Initial call to BFS on AAdd A to queue
B
Dequeue AAdd B
frontrear frontrear
C
Dequeue BAdd C, D
frontrear
D D
Dequeue CNothing to add
frontrear
G
Dequeue DAdd G
frontrear
found destination - donepath must be stored separately
�����7������)����8�����7�����1����
HLT/NAACL 2006 27
'�� ��
� �������������������������������
� �� ���������� ���������������������������
� ��������������� �����
� ��� ���-��* ������� ������
� ��� ������� ��� ������
HLT/NAACL 2006 28
6�������1����������
� (������������ ��������������%����������� ����4�5%1�
– ����$ ��� ������������
– ������������������������������
– �������������������&
� �������� ����� ����4�5%1%)�%�������� ����������$ ���
– ������������������ ������������� ������������$ ���
� (������ ������������� �������� ����� �����
– ��������� ������������������������� ��&
HLT/NAACL 2006 29
����=� 6�������1������������ �������
� �����������$����������� �����*����������
� 0��������������������������������������$�
– ������� ������ ������������������
– ������������� ������������
� ������ ���������������������� ������� ������� ������������$����������
– �����������������������*����������������������� �
� 5�������������������������������3��������� ����#
– ,����������#����������������������������%
– :�� ���������#���������������%�$�����3������������������*��� �������%
– D�������������#����������
HLT/NAACL 2006 30
����=� � �������
(� ����� !������������ ,����
��������+��������������� �����
������ ����$���������*������������������
���������� ��������
���������� ��������������3�������������������
)���� ����������� ���������
������ ����� ���������������� ���$�����������������*������������ ������*��
���������� �������C������� ���� ���������
���������� ���������������������3�������������������
HLT/NAACL 2006 31
����=� � �������
v1 v2
v3 v4 v5
v6 v7
2
14
1
4
10
6
72
5 8
3
v1 v2
v3 v4 v5
v6 v7
2
14
1
4
10
6
72
5 8
3
v1 v2
v3 v4 v5
v6 v7
2
14
1
4
10
6
72
5 8
3
v1 v2
v3 v4 v5
v6 v7
2
14
1
4
10
6
72
5 8
3
HLT/NAACL 2006 32
����=� � �������
v1 v2
v3 v4 v5
v6 v7
2
14
1
4
10
6
72
5 8
3
v1 v2
v3 v4 v5
v6 v7
2
14
1
4
10
6
72
5 8
3
v1 v2
v3 v4 v5
v6 v7
2
14
1
4
10
6
72
5 8
3
HLT/NAACL 2006 33
������������6�������1�����������
� /���������#���������������� �����������
– �����$�������������%���� ����� ����4�5%1%)�%���������,�$������������� ��������&������������������������ ���� �������������������,#�
� ����� ������������,%������������������������
� �� �������*���� ��� ����� ���������������
– ,�������,�������������������������� �������������������
� (� ������������������������������������ �����
� �����#���������������%���� ����� �����4��5%�1%�)�%����,7�����,<��������������� ����������������������,�������%����������������������������������� ��
� ,������$������� ����������������������� ��������F5F 7
HLT/NAACL 2006 34
'�� ��
� �������������������������������
� �� ���������� ���������������������������
� ��������������� �����
� ��� ���-��* ������� ������
� ��� ������� ��� ������
HLT/NAACL 2006 35
7 �)���)��>�
)���������� ��������� ���������*���������������������������������������G
1*������#– !���������'��������������������& &%�����%�����
� 1� ���E �����%���������E 3�����������������
– /�����������������������'�� 1� ���E �����'���������������������������������%���������E������������������������������������3������������
.�������������������#– �� �� ����*�� �������������������������
– ���� ����*� ��������������������������
– :�������������������E ����� ������������ �����
– ����������� �������������������������� ���������
HLT/NAACL 2006 36
7���� �;�����
:���������'�E �������
– /������%�������� ����������������� ����≥ 6
– ,������������������#��� �� �����������
– :���������������*��������������������→�→�→�→
:����E ��#���× ��→ �
– ���������������#∀ �� ∈ �# �� ����≤ �� ���– �����������# ∀ �� ∈∈∈∈ �# �� ����4�E���� �
– ��������������� ∀ ∈∈∈∈ � E H���I#∈
∈
�
�v V
v V
, of(u,v)= f(u,V)= 0
f(v,u)= f(V
r
,u)= 0
HLT/NAACL 2006 37
��� ���������� �)�
/��������������������������������� ��� ����$��������������$������������������G
��?������������������ ����$���������������������&
13
11
54
15
10
14
19
3
s t9
a b
c d
2 5
3
3
6
6
13
11
54
15
10
14
19
3
s t9
a b
c d
3
3
3
6
6
HLT/NAACL 2006 38
6�(������ �)
)���������*���+�����������
��� � �������������#�∈�v V
f = f(s,v)= f(s,V)= f(V,t)
Find a flow of maximum value.
13
11
54
15
10
14
19
3
s t9
a b
c d
5
13
3
8
6
108
2
HLT/NAACL 2006 39
��������������
�������������� �����#– ��������������������%���������������������������� ����
�� ����������!���������������������� 9�6%��������������� ��� �����������������������������������#��� ����=�� ≤≤≤≤ �� ���
– �������'���������������%���� �����$���������
(� ������ �������������� ���G
13
11
54
15
10
14
19
3
s t9
a b
c d
5
13
3
8
6
108
2
HLT/NAACL 2006 40
7���7� >���������
Ford-Fulkerson(G,s,t)
1 initialize flow f to 0 everywhere
2 while there is an augmenting path p do
3 augment flow f along p
4 return f
� ��������������� ��� ������
� ������������������������������������� ������������
HLT/NAACL 2006 41
����� ���)��>
J���������������� ������ �����G
���������������������" �� �����#
– �������������������#���� ����4��� ����E �� ���
– ��������������'#���4������%�������� 4�H� ����∈∈∈∈ ��×××× ��#���� ����9�6I
Compute residual network:
13
11
54
15
10
14
19
3
s t9
a b
c d
5
13
3
8
6
108
2
HLT/NAACL 2006 42
����� ��������,����������
J���������������������������������������� ������� ������ �����G
� ����" ���������� �����������������#
������4����H��� ���#�� ����∈ �I
� /��� ��� ���������#
– ∀ � ��������%���������������� �����������$������������� ��
– �������� ������������������������������� �������&�
13
11
54
15
10
14
19
3
s t9
a b
c d
5
13
3
8
6
108
2What is the residual capacity of the
path (s,a,b,t)?
HLT/NAACL 2006 43
7���7� >���������&�)������� �
Ford-Fulkerson(G,s,t)
1 for each edge (u,v)∈G.E do 2 f(u,v) = f(v,u) = 0
3 while ∃ path p from s to t in residual network Gf do
4 cf = min{cf(u,v): (u,v)∈p}5 for each edge (u,v) in p do
6 f(u,v) = f(u,v) + cf7 f(v,u) = -f(u,v)
8 return f
,����� �������$���������������������������������������������� ��������>&
HLT/NAACL 2006 44
7���7� >���������&�(���
13
11
54
15
10
14
19
3
s t
a b
c d
33
3
13
11
54
15
10
14
19
3
s t
a b
c d
13
33
3
1313
13
11
54
15
10
14
19
3
s t
a b
c d
18
38
8
1313
5
HLT/NAACL 2006 45
� (��� ����������������������%�,��������������∈ �%�� ∈ ,&
– ,����������� ������� ��������%�,����#
� ����� �����#����������� �������������������������&
���
��������
∈∈∈∈∈∈∈∈∈∈∈∈
====
TwSvEwvSe
wvueu
,),( ofout
).,(:)(
s
2
3
4
5
6
7
t
15
5
30
15
10
8
15
9
6 10
10
10154
4
Capacity = 30
HLT/NAACL 2006 46
���
s
2
3
4
5
6
7
t
15
5
30
15
10
8
15
9
6 10
10
10154
4
Capacity = 62
s
2
3
4
5
6
7
t
15
5
30
15
10
8
15
9
6 10
10
10154
4
Capacity = 28
HLT/NAACL 2006 47
7 �)����� ���
10
6
6
10
10
0 10
4 8 8
04 0
00
s
2
3
4
5
6
7
t
15
5
30
15
10
8
15
9
6 10
10
10154
4
Value = 24
� �7& ������$��������%�����������%�,��$�������&��,���%�������������������������������������;������������������������ ��&
fefefefseSeSe
========−−−− ������������ ofout to in ofout
)()()(
HLT/NAACL 2006 48
6�(�7 �)����6��� ��
� .������& ������$��������%�����������%�,��$�������&�����F�F�4�����%�,�%���������������*������������%�,��������������&
� ��* �����-���� ���������� �:�� :��'�����#��������������'%��������������������*����������;�������������������������������&
s
2
3
4
5
6
7
t
15
5
30
15
10
8
15
9
6 10
10
10154
4
10
9
9
15
15
4 10
4 8 9
10 0
Flow value = 28
00
Cut capacity = 28
HLT/NAACL 2006 49
'�� ��
� �������������������������������
� �� ���������� ���������������������������
� ��������������� �����
� ��� ���-��* ������� ������
� ��� ������� ��� ������
HLT/NAACL 2006 50
�����������������
� ,��� �����4�5%1������J4�)%:�������������� �������������$�3������ ����������#�5�→ )�������������������%�� ���5#
– H���I�∈1�⇔ H����%����I�∈ :�
� �������������������� ��!�� ����������"����#���!�� � �$���→ ����� → �%
� ����������������������!����� �������������������!&���"� �������$���→ ������������
– �������"������$�'���(�∈ ��⇔'���������(�∈ �
– �������"���$���"������������%
HLT/NAACL 2006 51
1������� �����������
� (� ����4�5%1����������������������$ ��� ���J4�)%:�����������������$ ��� J7����J����������������J7�������������
HLT/NAACL 2006 52
��������?��(�������������������
� ���F5F�≠ F)F%���F1F�≠ F:F%�������#���&�/���&
� "�������%���������������������������������J�������������%����������
– 1������������������������������ ����������J
– ������������������������������J%�����������$���� ��������������%����������� ������������������&
� :������#���������$���� ������������������%��������������������������� ��&
– ���������������������%������������ ������������;����������� ������
� ������������*��&
HLT/NAACL 2006 53
1���
� ������������;��������4��(7�������$��������������(745%�������;�������J�4��07�������$��������J������074)&
� �������
– ��������(� �����$��(�7%K%(� �����������0� ����J�$��0�7%K%0�&
� (�7%K%(� ���������������(�
� 0�7%K%0� ���������������0�
� :����������������� �#�� ���(�# �����������������������0�#
� ����������
– .�����������������*����(� ����0� ������������ �$����������������(# ����0# ���������%�#&
– ����(��4�H� ���(� F�� ����� ��� �$������(#I
– ����0��4�H� ���0� F�� ����� ��� �$������0#I
– ��������F(�F�≠ F0�F%����������#��������������
HLT/NAACL 2006 54
�������
����������� ��������
���� ��,����>���&� �������&��������
HLT/NAACL 2006 55
'�� ��
� .����������������
� J����������������
� 1� �������� ������ ��������
� ����������'�
� �������������������
HLT/NAACL 2006 56
��������������� ��,�������
� .������������������������������������*��������� ���&��������$�������������$�������������������������� ����
� ,�������������������������������.�5�#
– /� ������������#����$�����5L����� �$��
– /�����������������#����� ��������������5������������������
– 0��������������������#������������������������5
– 1� �����������������#�������'������������������'�������� �������������5
HLT/NAACL 2006 57
������>����� ��������
� ,����������������������'�� ��� ���������!� ����' ����������������!� ������� ���&
� ������$���������� �����������������&
� (�����L������������������������������ �� ��� ��������� ������������������������������� �$��&
� (��������������������������M����������N�����#�������������%��������������������������� �#
– 1���������'���������'�������� �
– "�3����������������������������� �
HLT/NAACL 2006 58
������)� >�����������������������
� /��'��L�����'#– �����������������6����������
� )�������������$&���������� �O�$����������� �6G�
� J����������������#– !�6��4�6
– !����4�7
– !�*��4�PQ��* 7�=�PQ��*=7�%����68*8�
– ���� �����%��������P ���������$��������������'�
0 1 2 3 4 5
HLT/NAACL 2006 59
���������� �/����� � ���� �
� /����$��������������������������������������&
� "����������������������������������46%�������������#�47&
� �������L� �������������;������#
� ,������������������������ ������������������������������������;�������#
� ��� �����%������������������������;����������������������������������&
02 =+=∇ yyxx uuu
tuuk =∇2
(**)
HLT/NAACL 2006 60
��������������������������
� ,����������������*������
– /�����������*�������&
– (��� ����*�����������������$�������������&
– (��� ���$������������������������������&
– (�3�������������������$���������� ������������� �$��&
– ������������������ ����&
� ������.����������
– !����������������'����������������������������&
– .������������������$�$��������������������'������ �����������������*��������&
� 1� ���������������
– ���'�����������������������$��������������������'
HLT/NAACL 2006 61
0������������������ ��
� (���� �����������������������M��������N ���������*�
���������� �������� ������ +��%����� ��$��� �������������$������������*����$�������������
� .������� ��� ��������#
0)det( =− IA λ
vvA�� λ=
HLT/NAACL 2006 62
0������������������ ��
� 1*�����#
� /�� �( λ���4�� 7 λ�Q� λ� >Q<46� ,���#�λ=λ< R46C���λ74<C���λ<4 >
� :��λ1=2:
� ���������#�*74*<
��
���
−=
02
31A ��
���
−−−
=−λ
λλ
2
31IA
022
33
2
1 =��
���
��
���
−−
x
x
HLT/NAACL 2006 63
1�����������������
� ������������������#�������������������������������7���������������������������6&�1*�����#
� ,����� ������ ������� ��������������������*�� ������#�$7 4�7&�
� :��$7%����������������������� ������������%������ ����� ��������4��
� ������������%��,� 4��&
��
��
�
=
43
41
85
83
A
HLT/NAACL 2006 64
0 ������ ���)��>�����������)� >�
�=y
xyx CC
� 1 ���� ��������������'����������������������������*�%
1 1
1 0.5
0.5 a b
c
d
xyxy R
C1=
x
xyxy C
CP =
���������
���������
�
05
2
5
2
5
12
10
4
1
4
13
2
3
100
2
1
2
100
dcba
a
b
c
d
w=Pw T
���������
���������
�
14
514
414
314
2
From Doyle and Snell 2000
HLT/NAACL 2006 65
0 ������ ���)��>�����������)� >�
xyyxxy
yxxy Cvv
R
vvi )( −=
−=
yy
xyyy x
xyx vPv
c
cv �� ==1 1
1 0.5
0.5 a
c
d
1 V
b
� =y
xyi 0
0
1
==
b
a
v
v
� �� ���������$�$����������������������'������� ����� ����������� $����������� �&&�
� ,������������'�������������������������������������.��������������������������������������&
8
3
5
2
5
116
7
2
1
4
1
=+=
=+=
cd
dc
vv
vv
HLT/NAACL 2006 66
0���,�����������������
� ,������ ������������������ �������������
� "�������������������%
� ,������������*���������������������������#
� .����������������� �
yxxy ff −=
xyxyRi 2
�=yx
xyxyRiE,
2
2
1
ba,yfor ,0 ≠=�y
xyf
� −=−yx
xyyxaba jwwjww,
)(2
1)(
(**)
HLT/NAACL 2006 67
�������=���������
� "����������������#
� ,������ �������������$���������������������������$46����������47���������&�,������������������������������ ����������$�����������������������$��,������L��!��������
�=yx
xyxyeffxy RiRi,
22
2
1
(**)
HLT/NAACL 2006 68
6��>���������
1
2
34
5
7
6 8
S
T
77R
7777O
7U
77>
7<
777
STROU><7
Transition matrixGraph G (V,E)
HLT/NAACL 2006 69
6��>���������
� (����� ���������'��������������������$������������������$������� ��������'�����������������*��&
� !����4���;��������'%��(%�K%����&)� 4���*(Q�
� ,�����$�$��������������������$����������������������������$�$����������������������&
� ����������'�4������)# ������'%�%�����#&
HLT/NAACL 2006 70
1��������,��� ������
� ,���������������1 ���� ,�����������'����������A������ �������+�'� 7VSVB�����������������'�������������������������������$������� ��������������������#
– ���������������
– �����������$���
– �������������
� ,����'����������������������#
– (����������������������7�������������������� ������
– ��'�������������������� ������������
– ��'��������������������$�������
� 1*�����#�!� ����' A0�� ����!� ��7VVSB#�����M������������N
HLT/NAACL 2006 71
1
2
34
5
7
6 8
This graph G has a second graph G’(not drawn) superimposed on it:G’ is a uniform transition graph.
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1 2 3 4 5 6 7 8
Pag
eRan
k
t=0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1 2 3 4 5 6 7 8
Pag
eRan
k
t=1
���(���
HLT/NAACL 2006 72
���������������������,������������
0)( =−=
pGI
pGpT
T
function PowerStatDist(G):begin
p(0) = u; (or p(0) = [1,0,…0])i=1;repeat
p(i) = ETp(i-1)
L = ||p(i)-p(i-1)||1;i = i + 1;
until L < εreturn p(i)
end
Solution for thestationary distribution
HLT/NAACL 2006 73
1
2
34
5
7
6 8 0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1 2 3 4 5 6 7 8
Pag
eRan
k
t=0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1 2 3 4 5 6 7 8
Pag
eRan
k
t=1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1 2 3 4 5 6 7 8
Pag
eRan
k
t=10
0(���
HLT/NAACL 2006 74
��������
������������������ ���� ��������
*��1���������(�� ������������
HLT/NAACL 2006 75
'�� ��
� !� ����'
� J�,�
� ������������������
HLT/NAACL 2006 76
������������������
� �������������������������������������;���%���'���������������$�������������������;���&
� "������)�$%�;������������������������4�<������&
� W��������E ������������+�����������'����������������)�$G
HLT/NAACL 2006 77
������>
� /���������������������������� �����������$��� ����������� ��&
� ����;��� ��������%������� ��;��� �������������������*���&
� ��� �����%�������� ���������*������� ������������������*���������� ������&
� (��� ������� ���������������������L��;���%��� ����������������������������� ����!� ����'&
HLT/NAACL 2006 78
HLT/NAACL 2006 79
HLT/NAACL 2006 80
6������������>
� !�$����
– !� ����' ����������� ���&�
– (����'������������������� �����������������������������������&
– (�����������M��$N �� ������������������������������������� ��������������&�����*���� �%����������� ��������������������� �������������������������M��$N&
– ,��������������� �� ���������'������������������������������������$&�
– ���'��������������������������������������������� �������$�������������*������������'��������$��������������������������&
� �������������
– !�������+���!� ����' �$���������������'�
– ,���� $������J��������� <66<�#�����������������������������/�"X�������������!� ����' �����������������������&
HLT/NAACL 2006 81
���1
� J�����*� ����������*�����������&
� /���������$��Y���2����$� ����������� ��������0��(������ ��������������.�151���� ���&
� J�,�����;��� ��������&
� J�$����������������%��& &����������������$��'��'���$����������&���������������$�������&
Honda
Ford
VW
Car and Driver
HLT/NAACL 2006 82
���1
� 1���������������� ���������'������! &���� ��������� !���������� ���&
� ���������������������� �����������$���&
� 1*������������������������;����M3���N#
– ���& ������&���
– 3���&���&���
– �� ���������&���-�� ���������-K �,���Y�������������
– �� �����&����&����&���-Z��-3���-3���$��'�&����
– �������&���&���-3�����;-3�����;&����
HLT/NAACL 2006 83
���1
� J�,���� �����#
– �$������������������ ����������� ��������������������������;���
– �*�����������������$������������������������������������������+��7666 O666�
– ����������������������$���������������������� ����
– �������� ��'�� ������������������$�
� 1� ��������������������#
hGa T='Gah ='
)( GGa Tω= )( TGGh ω= )(Gp ω=
HLT/NAACL 2006 84
���1
� J�,��������������$��(�'&��� ����,����&��� &
� ������������$���������������������������������& &%�$�����������������������������������������������&
� 1*���������M3� ��N– !���������� �������� ������� ����$��������������
– ,����������������������������������������� �� �������� ������� ����$������������$��������
– ,��������������������������������������� �� �������� ������� ����$����������&
� 1*���������M�$�����N– ,����������������������������������������� �� �������� �����
�� ������M�����������������N ����M������������ ���N
– ,����� ������������������������ �����������������M�� ����N�����&�
HLT/NAACL 2006 85
1����� �� ��������
� ,��������������������*���������������������� ������������������*&
� ,����� ���������������������������������$�������$������������������������������� ��� ��������&
� ������������������%��� ������������$��������������������� ��������� ���������*&
HLT/NAACL 2006 86
��� ����� �����(
� ,������������ �����������*�������������������*&
� ��4�/�E %������/���������� �������*����������� ����&
� 1*�����#
A
B
C
G
F
E
D �6666 7 7
6�66 76 7!
66� 7 766"
66 7# 7 76�
6 7 7 7#66$
766 76# 7%
7 7666 7#&
!"�$%&
HLT/NAACL 2006 87
7� �������
� ,���:��������������������� ������������������������������������������ �������&
A
B
C
G
F
E
D 6&O>UU
6&6666
6&O>UU
6&<S6S
6&>RS<
6&<S6S
6&>RS<
.7
G!
.<"
.<�
.<$
.7%
.7&
HLT/NAACL 2006 88
1����� ����������� �������
� .�������λ<� .��������������������� ��<
� :�����������������
– ����<����8�6
�(��� ��������������.7
– 1��������<����9�6
�(��� ��������������.<
– 1��������<����4�6
�(��� ��������������.7���.<���������
HLT/NAACL 2006 89
������?
������ ���������������������� ���������1�������
HLT/NAACL 2006 90
'�� ��
� ���������������$� ������
� ������������$� ������
� ���������������������-�����������������
� ��*���������������
� ������������������������
HLT/NAACL 2006 91
*���1���/�������������
� ,�����$��������������� ����������������������������������������������$�������&�
– �������������������������������������������������������&
– 2������ �������������������%����������������� %�����������������$���������� �����������
� )����������� ����������������������������
� /������� ���������������������������������������������������
–Ex: “chair” – furniture or person–Ex: “child” – young person or human offspring
“Sit on a chair” “Take a seat on this chair”“The chair of the Math Department” “The chair of the meeting”
HLT/NAACL 2006 92
����������1� �����������*1/
� D�������������������������������������-���������������'������������� ����
� 0����� ��������� ������������M���������N
– ��������������������$�����������������������%���$����������������������������� ������*�
� /����$������������������+,���(---.�+,���(---.
� /�������� $���������������+��"� (-/-.carnivore
wild dogwolf
bearfeline, felidcanine, canidfissiped mamal, fissiped
dachshund
hunting doghyena dogdingo
hyenadog
terrier
HLT/NAACL 2006 93
1�������1��� ����,�6�����
� �����#��������������������������������������
� "�����#������������������ 1& &�+,������ ��"��!�"��� (--/.
– 1& &���������������%�� ��4�6&R6�����������������%$����4�6&U<
� "����������#– �������������� ��������������������+������ (--0.�+,���(--/.
– �������������� � ���� $������������������������������������+1�!��������"�1��"�����(---.
– .�������������������������$����������������������������������������������*� +2��� ��"����� (--0.
�
��
−=D
CCPathCCSimilarity
2
),(log),( 21
21
where D is the taxonomy depth
HLT/NAACL 2006 94
�(��� � ����������*1/
� (���������������������������������������� ��$��������*�
� ��*������������+3�� ��"��*4��� (-//.��+3���"�� ��"�3����� (-56.
� M2����������!�����������7 ������������������������"���"����!��!�����������������"�����& �����!������� ����������������"�!����!�����������"���� ��N
(� ����� ��������� ���*�����������#
7& ������������������������������������*�&�,������������������������������������������������������%��������������������������������������������������������������&
<& :�������������������������%������������������� ������������%�����������������������������������������������%�$������������������������������������$����������������������������������������� �����%����������������������������� &
>& ������������������������%����������������������������C���������%������������������&
HLT/NAACL 2006 95
�(��� � �����
A very long train traveling along the rails with a constant velocity v in a certain direction …
train #1: public transport
#2: order set of things
#3: piece of cloth
travel
#1 change location
#2: undergo transportation
rail #1: a barrier
# 2: a bar of steel for trains
#3: a small bird
HLT/NAACL 2006 96
�(��� � ����������*1/
� �����������*�������������������*�
– D��������� ������������������������������
� ������������������� ���������$����������������$�������������*����������
� 1���������#
– +���������"�1�8���� 9'':. ��*���������������TU����.����*��� ����R<&6V[
– +1�!��������"�1��"�����9'''.������������.����*��� ����V6[������R6[������
���*������������M�������N ������������� ����
HLT/NAACL 2006 97
�������������>�������1���������)��>�
� ���#�$���������������� ���������������������������� ����������*�
� �����#�(����������*�
� "�����#�������������� �����������– M���������N �����������������������������
– ��������������������������
� ���������*����������– +3����"�� ��"�3���� (-5-.
– :����� ������������%��������M���'�N �������������������������������
� ��� $�������'�� ����������������������������������������
HLT/NAACL 2006 98
Two U.S. soldiers and an unknown number of civilian
contractors are unaccounted for after a fuel convoy was
attacked near the Baghdad International Airport today,
a senior Pentagon official said. One U.S. soldier and an
Iraqi driver were killed in the incident.…
…
…
HLT/NAACL 2006 99
Two U.S. soldiers and an unknown number of civilian
contractors are unaccounted for after a fuel convoy was
attacked near the Baghdad International Airport today,
a senior Pentagon official said. One U.S. soldier and an
Iraqi driver were killed in the incident.…
…
…
HLT/NAACL 2006 100
Two U.S. soldiers and an unknown number of civilian
contractors are unaccounted for after a fuel convoy was
attacked near the Baghdad International Airport today,
a senior Pentagon official said. One U.S. soldier and an
Iraqi driver were killed in the incident.…
…
…
HLT/NAACL 2006 101
Two U.S. soldiers and an unknown number of civilian
contractors are unaccounted for after a fuel convoy was
attacked near the Baghdad International Airport today,
a senior Pentagon official said. One U.S. soldier and an
Iraqi driver were killed in the incident.…
…
…
HLT/NAACL 2006 102
6����1���
� ����(#�!���������
– ��������� %���*����'���+�����%����������������� �� %��������+�����
� �����<#�(���������������$��������� �����������������*����������������������
– �������������������� ������������������ ���
� ����:#�/������������������ ����$��������������
� ����;#�(��������� ��� $�������'�� ��� �����
– !� ����'%�J�,�%�!��������������
HLT/NAACL 2006 103
1�������� �������
� ����������������������$��)�����– ��(���������-��������
– !(�, ":��������-��������
– ���������
– ����$���
– ��������+������
– ����������'�
� 1� ����������������– ��������-����������
– $�������������������������� ����
� "�����#�����������������������������������������������*�– M���������N �����������������������������
– ��������������������������
HLT/NAACL 2006 104
*���1���/�������������
� ���'������������-������ ����������������������
� D��������������������������������$� �������������������������������������������*��+1�!����������<�9'';.�+1�!������9''0.
� ���������� ������#– ���'
– 0����������������;�����������-�������
� J�$��#– ��� $�������'�� �=����'
– ��� $�������'�� �=��������;�����������
� 1���������– M�������N ����������������� �
– MD��������N ��������������� �
� /����– �������� <�����������������������*��%����� ����+��R66�
– ���.� ��$������������*��#����%������%���$����%����������%��������������
HLT/NAACL 2006 105
0�� ������
Size(words) Random Lesk TextRank TextRank+LeskSemCorlaw 825 37.12% 39.62% 46.42% 49.36%sports 808 29.95% 33.00% 40.59% 46.18%education 898 37.63% 41.33% 46.88% 52.00%debates 799 40.17% 42.38% 47.80% 50.52%entertainment 802 39.27% 43.05% 43.89% 49.31%Avg. 826 36.82% 39.87% 45.11% 49.47%Senseval-2d00 471 28.97% 43.94% 43.94% 47.77%d01 784 45.47% 52.65% 54.46% 57.39%d02 514 39.24% 49.61% 54.28% 56.42%Avg. 590 37.89% 48.73% 50.89% 53.86%Average (all) 740 37.22% 43.19% 47.27% 51.16%
“uninformed” (no sense order)
HLT/NAACL 2006 106
0�� ������
Size(words) MFS Lesk TextRank TextRank+LeskSemCorlaw 825 69.09% 72.65% 73.21% 73.97%sports 808 57.30% 64.21% 68.31% 68.31%education 898 64.03% 69.33% 71.65% 71.53%debates 799 66.33% 70.07% 71.14% 71.67%entertainment 802 59.72% 64.98% 66.02% 66.16%Avg. 826 63.24% 68.24% 70.06% 70.32%Senseval-2d00 471 51.70% 53.07% 58.17% 57.74%d01 784 60.80% 64.28% 67.85% 68.11%d02 514 55.97% 62.84% 63.81% 64.39%Avg. 590 56.15% 60.06% 63.27% 63.41%Average (all) 740 60.58% 65.17% 67.51% 67.72%
“informed” (sense order integrated)
HLT/NAACL 2006 107
'�� ��
� ���������������$� ������
� ������������$� ������
� ���������������������-�����������������
� ��*���������������
� ������������������������
HLT/NAACL 2006 108
����������0�������
� �������$� ��������������������#
– /������&�Y������%�/�����Y������%�/&�Y������
– /�����Y�������������%�/�����Y��������(,�\�,�
� ���������$������������������#
– )����� �����������%�)����� �����������%�)����� ����������
� ���$����$� ����������*��#
– ;�������#��& &�766������
– ����#��& &�766�����
– �����#��& &�766����
– ����&#�������� �����
� .���$����������������������� ���$���
HLT/NAACL 2006 109
����/�������������
� 1*���������$�������������������E �& &����������������#
– .� ������
– !����������
– 5�����������
� 1���������������������$�����������������������$�����������
� (���������� ���� �������#
– 1& &�������+���,:%�,:-�/:
� .�������������������������������������������������� +3�������<��9''0.
HLT/NAACL 2006 110
1����� � �������
� (�����' �������������������� ������������������
� ,������������#
– /0�!#�����������U66%666����������������E ��������7U���$� ����������
– )�$ $�������������#�77��������������MY&������N ����7O��������������MY&�(������N%���������������ORT����������
� .������� ��������������� �������������������
– /����$� ���������������4����������� ��������������(A�%�B���������$�������������������������������������*
HLT/NAACL 2006 111
����/��������������@ ��� ��
� /0�!���������#
� )�$ $�������������– 77�MY&�����N#�SU&T[��' ������TO&U[�
– 7O�MY&(������N#�T7&<[��' ������RT&<[�
HLT/NAACL 2006 112
'�� ��
� ���������������$� ������
� ������������$� ������
� ���������������������-�����������������
� ��*���������������
� ������������������������
HLT/NAACL 2006 113
���������������������������
� ����#�D��������������������������������������� ��������� �����������%����������������������������� ��'������������������������������ ���������
– +=������ ��"�>��"�!��"��(---.�
� :����������#
– ?�� #�����7V7<�)�$���L��/���������
– 4 � #�������������������'��������������$�����������
� ,���������������������$����������������������������������)���������������������������$������������������������������� +@���������<�(--:.
HLT/NAACL 2006 114
� �������
7& 1*��������������� ���������������������
�& &����������$����������� �������������������������������������
<& "$���������������������������������������
>& ���'��������������(����'
� ��� $������� ����������� ����'�� �
HLT/NAACL 2006 115
� ��������3����A5
/���������� � "����������������������������������������������������&
� !�����������$�������#������$����������������'���������������%���������������������%��������%�����������������%������ �� ������%���������$$������������������������%�������� %������ �������������%��������������������������������*��%��������������������������&
� ����������#������������������������������
� ���'�����#���������������
Transport. To carry or bear from one place to another;…
head word
Transport
to
carry
or
bear
…
7&�1*��������������� ������������/��������
HLT/NAACL 2006 116
� ��������3����A5
<&�"$���������������������������������������
Transport
carry
|as| outgoing arcs
e edge
s source node
t target node
re =ps / |as|
pt� )���#
� ���������'���������� �
��� ���������'������������������
��� ���������'���������� �������
F��F�����������$�������� ��� ��� ��
rs,t =ps / |as|
pt
�e=1
mFor more than 1 edge (m) between s and t
HLT/NAACL 2006 117
� ��������3����A5
& ����'
�����#����������������%��� ����%�������������%��
7& ������������������� ����������
<& ����%�������%�3 ������'���������%��3 �
>& ����%��������%� ������'����������%��
U& ��������(����'#�����������%��%�����%���
O& ���'�(��������#�������������������
� H6&V%�6&TO%�6&TO%�6&TO%�6&R%�6&O%�K&�%�6&7I��������������
� H7%�<%�<%�<%�KI��;�������������'���������'
� H7%�<%�<%�<%�>%�KI����$����'���������������
3. ���'������������� �(����'• ���'������������������������������������������������� ��������� �����������������������������������$�������������
HLT/NAACL 2006 118
��� ��
()��
VR%S66�����
77<%SVT��������������
� � ���*
87[������ ����������
86&6O[������������
�������������
86&6O[�������������
�������� �
6[���������������
(����������������$�������������������� ������)�$���
(� ���
VV%RU<�����
7T>%VU7�����������
� � ���*
Z6&7[����������������������������
Z7 76[�����������\�������������
������
7OV%666����������
T7>%666��������������$���������������
+���� &������������&��.
HLT/NAACL 2006 119
��� ������ ,���
,���)�$���L����������
+�,-
� ������������� �������������
� ���������������������������
� �����������������������������)�����
� ������������������������������$��������������������������������*��������� ���
� ����������M������N#��������������������������������������������������� �*������������������������������ ��+������
$,�-
� ,���������������������������������������������
� ,�������������������������������������������%������������%�����������������������������������������
� �������������� ��������������$����������� �%����� ����
� �����������������������������������������& &�)������
HLT/NAACL 2006 120
���������������������������-�1������� ����
� (�����������������������*�������;���������
– 1& &���������������������������������������������
� D����������������������$��������������� ��������� �� ����%������� ��������������
– ����������������������������$�� �����������!"���� �������
�5�$�����
��������"�����
�(�3�����������
�K
– �����������$� ������������������� �� ������������
– ����������������� $������ ��� �����
– +>�""��� A�@�����9''9.
HLT/NAACL 2006 121
������������(��� ���B��������
� (�����������;���������������������.������– 1& &�A:�D�,B������%�$�����%���� �%�K
� (� �����– !�����������������*������������� �������������'���$�����
���-�������������
�1& &�M����������$�����N
– ����������������%�$����� �������������������
�1& &�M����������$�����N%�M������������� �N%�M�������������N%�M��������$�����N%�M��������������$��N%�M$��������������$��N
– (��������������������������
– ������
apple
strawberrybanana
pear
orange
HLT/NAACL 2006 122
0(��� �����0�� ������
� 1����������� ������<6�)����������������������
– 1& &�����������%������%���������%�K
� !�������������������S<[
– (����������� �������$��������������������������������� ���������������������������*��������������$���������� �
HLT/NAACL 2006 123
'�� ��
� ���������������$� ������
� ������������$� ������
� ���������������������-�����������������
� ��*���������������
� ������������������������
HLT/NAACL 2006 124
�(��� �0���� ���
� M,�*������������������� �����������������'����������� %� �����������*���� �����%������������������ ����������*�������������������$�����������������������*�&N +@���� ����<��9''0.
Eyeing the huge market potential, currently led by Google, Yahoo took over search company Overture Services Inc last year
Yahoo acquired Overture�
Applications to:Information Retrieval (IR) Comparable Documents (CD)Reading Comprehension (RC)
Question Answering (QA)Information Extraction (IE)Machine Translation (MT) Paraphrase Acquisition (PP)
HLT/NAACL 2006 125
�(��� �0���� ���
� 2������ ���;����
– ���������#
� ��������+�����%���$����������������%�� ��������������-����������
� BC�!���&� �!�4�� �D��E�3��B4�� ������&� �!�&��C�!��D
– ��������#�
� ���������� �������������������%���������%����������
� BC�!���& ��D��E�3��BC�!�������D
– )����'������ �
� �������������������
� BF!��������%�����������������D��E�3��BF!�������� ����������������((�''D
� �,1�������� �#�
– ORT������� %�S66�����
– $��������O6[
HLT/NAACL 2006 126
������������������
� ,�*������������������ ����������� ���$���
� ������������*������� ���%���������� ���
– ������������������
– ���������������������������������
� ���'���������������������%�������� ������������������������������
– ���⇔ �������
Yahoo
bought
Overture Overture
was sold to
Yahoo
HLT/NAACL 2006 127
�(��� �0���� ���
� (������– ������#�O<&U[�
– ����������'�#�TR&O[��������$�������������%�>V&O[��;��������������� �
– +%�G���G� ����<�9''0.
� ��������������– ������ �����%��������� ����'%����������������
– ������ �� ��'�����������������������
– ����������� ���������������������������������� ����� ��� �������
– ��������OR&S[– +3��!��!� ����<�9''0.
HLT/NAACL 2006 128
'�� ��
� ���������������$� ������
� ������������$� ������
� ���������������������-�����������������
� ��*���������������
� ������������������������
HLT/NAACL 2006 129
1��.������,���� ,��������1������� ������������
� ,����$3����������������������$3��������*��������������*������������� ������������
� D��������������������������������������������������������������������&��� ������
– 1& &�������������������#����&�������������&����
� �����������������������$�������������������������������������������$���%�������� ������������������ �������������������������%���������������� $��������� ����
– ���������������������� ����������������������;��������$���������
HLT/NAACL 2006 130
1��.������,�0(��������
HLT/NAACL 2006 131
1��.������,�/�������0(��������
� /������� �������$3������������������������*������$������������������� ����������$3����������������������� �����$3��������*����
� ��$3��������*�����������������������������������������������*��������������������������������������+��
� ��$3������������������������������������������*������������#
– �����#�������������������������������������������������� ����������������������� �������;������5�%���]���0����%�������������������������������������
– .����*����#�����������*������������%����������& &����������������� ���������������������������������������$3��������������������������
� +%������"�,����9'';.
HLT/NAACL 2006 132
�������1��.������,� ������������
� �����������������������������;�����������������������������������������������������������������������������&�
� .�� $����������������������'����������������$������������������������*�����������������������
� ����������������� �������(����� ������������������������#��( �����9 &�
� ����������������#���"#+��. ��� �� ����������������������� ��$��� ��� �# $���������������������� �� �����
� (����������������# �����+�����.�� ��� �� ������������������������������������������ �� ��� �� $��������������������
HLT/NAACL 2006 133
������� ������������
� ��*���+�����������L������ ��������������������������������������������������� ������%���������������������������������������������%�������������+���������� ������������������������������� ���������������������
� :���������������������+��������$���#����� ������xi�����������������C1 ����C2 ���������������+�������������������#
( ) ( ) ( )���∈∈∈∈
++
2
121
,12
CxCx
kiCxCx
k
i
xxassocxindxind
HLT/NAACL 2006 134
�������� �������
� ,�������2n �����$���$����������������������n��������%������������������������ �������������������������+��������$���
� 0������������������ ����G�������������{v1,…vn,s,t}������ ��#– (s,vi) �������� ����ind1(xi)– (vi,t) �������� ����ind2(xi)– (vi,vk) �������� ����assoc(xi,xk)
HLT/NAACL 2006 135
�������� ��������3����A5
� .��#���������������������������������������#
� ,����������������������������� ������������� ��������� �����S���T
� (�������������������������������������������
� (�����������������$������������ ���*���� ������� ������%��������������������������������� ������
� D���������� ����-���* ������� �����
',' where
'}{ and '}{
TtSs
TtTSsS
∉∉∪=∪=
HLT/NAACL 2006 136
�������� ��������3����A5
�����������������������������������������������������$�������������$������������ ��������������1��
HLT/NAACL 2006 137
1��.������,�0(��������
� (��� �������������������������������$3��������������– �& &�������$�$��������������������$��� ���$3������%�������� ��� $��
����]���0���� ���������%����
� (��� ������������������������*����������������������– �& &������������*������4����������������������$��������������
$�����������������������
� D���������� ������ ��������������������������������������$3������-��$3������
HLT/NAACL 2006 138
1��.������,�0(���������)����6��� ��
HLT/NAACL 2006 139
��� ��
� <666���������������7666����������-�7666��� ������
� ,������������$3��������*�������������������������������������������������������������������������� ������������������+�
HLT/NAACL 2006 140
������
• Dolan, William B., L. Vanderwende, and S. Richardson. 1993. Automatically Deriving Structured Knowledge Base from On-line Dictionaries. In Proceedings of the Pacific Association for Computational Linguistics, April 21-24, 1993, Vancouver, British Columbia.
• Erkan, G. and Radev, D.. "LexRank: Graph-based Lexical Centrality as Salience in Text Summarization", Journal of Artificial Intelligence Research , 2004
• Galley, M. and McKeown, K.: Improving Word Sense Disambiguation in Lexical Chaining. IJCAI 2003.
• Hirst, G. and St-Onge, D. Lexical chains as representations of context in the detection and correction of malaproprisms. WordNet: An electronic lexical database, MIT Press, 1998
• Haghighi, A. and A. Ng and C. Manning, Robust Textual Inference via Graph Matching, EMNLP 2005.
• Halliday, M. and Hasan, R. Cohesion in English. Longman, 1976.• Hobbs, J. A model for natural language semantics, Tech. Report, Yale
University, 1974.• Jannink, J. and G. Wiederhold. Thesaurus entry extraction from an on-line
dictionary. Fusion 1999. • Lee, L. Measures of distributional similarity, ACL 1999.
HLT/NAACL 2006 141
������
• Lesk, M. Automatic sense disambiguation using machine readable dictionaries: How to tell a pine cone from an ice cream cone. SIGDOC 1986.
• Lin, D. An Information-Theoretic Definition of Similarity, ICML 1998.• Mihalcea, R. and Moldovan, D. An iterative approach to word sense
disambiguation. FLAIRS 2000.• Mihalcea, R. and Tarau, P and Figa, E. PageRank on Semantic Networks
with Application to Word Sense Disambiguation, COLING 2004• Mihalcea, R. and Tarau, P. TextRank: Bringing Order Into Texts, EMNLP
2004• Mihalcea, R. Graph-based ranking algorithms for large vocabulary word
sense disambiguation, HTL-EMNLP 2005.• Han, H and Zha, H. and Giles, C.L. Name disambiguation in author citations
using a K-way spectral clustering method, ACM/IEEE – IJCDL 2005• Jannink, J. and Wiederhold, G., Thesaurus Entry Extraction from an On-line
Dictionary, Fusion 1999, Sunnyvale CA, 1999. • Pang, B. and Lee, L., A Sentimental Education: Sentiment Analysis Using
Subjectivity Summarization Based on Minimum Cuts, ACL2004. • Widdows, D. and Dorow, B., A Graph Model for Unsupervised Lexical
Acquisition, COLING 2002
HLT/NAACL 2006 142
�����?
������ ���������������������� ��������1������;���������1,���(
HLT/NAACL 2006 143
'�� ��
� ,�*��������+�����
� !���� ���������
� !����������������������������
� /���������������
� 2�������*�������
HLT/NAACL 2006 144
���� ��,�����������;�����
� 1*��������������+����������'�'��������������������������������������������������������������������&
� ����������#���������������������������������������������������&
� ,��������������$�����'�� ��������������������������������������& &%������������������������������������������$����������&
� ,���������� �������A�����������&�<666B&
� (����������������������������� ����������G
HLT/NAACL 2006 145
1��� ��� �������� � ����
1 (d1s1) Iraqi Vice President Taha Yassin Ramadan announced today, Sunday, that Iraq refuses to back down from its decision to stop cooperating with disarmament inspectors before its demands are met.
2 (d2s1) Iraqi Vice president Taha Yassin Ramadan announced today, Thursday, that Iraq rejects cooperating with the United Nations except on the issue of lifting the blockade imposed upon it since the year 1990.
3 (d2s2) Ramadan told reporters in Baghdad that "Iraq cannot deal positively with whoever represents the Security Council unless there was a clear stance on the issue of lifting the blockade off of it.
4 (d2s3) Baghdad had decided late last October to completely cease cooperating with the inspectors of the United Nations SpecialCommission (UNSCOM), in charge of disarming Iraq's weapons, and whose work became very limited since the fifth of August, and announced it will not resume its cooperation with the Commission even if it were subjected to a military operation.
5 (d3s1) The Russian Foreign Minister, Igor Ivanov, warned today, Wednesday against using force against Iraq, which will destroy, according to him, seven years of difficult diplomatic work and will complicate the regional situation in the area.
6 (d3s2) Ivanov contended that carrying out air strikes against Iraq, who refuses to cooperate with the United Nations inspectors, ``will end the tremendous work achieved by the international group during the past seven years and will complicate the situation in the region.''
7 (d3s3) Nevertheless, Ivanov stressed that Baghdad must resume working with the Special Commission in charge of disarming the Iraqi weapons of mass destruction (UNSCOM).
8 (d4s1) The Special Representative of the United Nations Secretary-General in Baghdad, Prakash Shah, announced today, Wednesday, after meeting with the Iraqi Deputy Prime Minister Tariq Aziz, that Iraq refuses to back down from its decision to cut off cooperation with the disarmament inspectors.
9 (d5s1) British Prime Minister Tony Blair said today, Sunday, that the crisis between the international community and Iraq ``did not end'' and that Britain is still ``ready, prepared, and able to strike Iraq.''
10 (d5s2) In a gathering with the press held at the Prime Minister's office, Blair contended that the crisis with Iraq ``will not end until Iraq has absolutely and unconditionally respected its commitments'' towards the United Nations.
11 (d5s3) A spokesman for Tony Blair had indicated that the British Prime Minister gave permission to British Air Force Tornado planes stationed in Kuwait to join the aerial bombardment against Iraq.
(DUC cluster d1003t)
HLT/NAACL 2006 146
�������)��������
� �����7 �����< $���������������&
� ����� ����� $���������������������������� �����������������������
� ,����������$������������������������$����������������������������������&
yx
yx
yx niii�
== ,1),cos(
� ,������������ �������6����7&
HLT/NAACL 2006 147
�(��� ������ ��,�C0�>�� �������!""%D
7&666&7<6&>S6&7T6&676&6>6&7S6&676&666&666&6677
6&7<7&666&<R6&<66&666&<66&6U6&6V6&676&7O6&6R76
6&>S6&<R7&666&<O6&666&6U6&<66&666&666&6>6&6RV
6&7T6&<66&<O7&666&6R6&<V6&7O6&7T6&6U6&<76&<SS
6&676&666&666&6R7&666&6O6&6O6&<S6&6>6&6>6&6>T
6&6>6&<66&6U6&<V6&6O7&666&<V6&7R6&676&7V6&<<R
6&7S6&6U6&<66&7O6&6O6&<V7&666&676&666&6>6&6>O
6&676&6V6&666&7T6&<S6&7R6&677&666&6>6&<T6&7TU
6&666&676&666&6U6&6>6&676&666&6>7&666&7R6&6<>
6&666&7O6&6>6&<76&6>6&7V6&6>6&<T6&7R7&666&UO<
6&666&6R6&6R6&<S6&6>6&<<6&6>6&7T6&6<6&UO7&667
7776VSTROU><7
HLT/NAACL 2006 148
d4s1
d1s1
d3s2
d3s1
d2s3
d2s1
d2s2
d5s2d5s3
d5s1
d3s3
�(��� ������ ��,�3�E"AF5
HLT/NAACL 2006 149
d4s1
d1s1
d3s2
d3s1
d2s3
d2s1
d2s2
d5s2d5s3
d5s1
d3s3
�(��� ������ ��,�3�E"A!5
HLT/NAACL 2006 150
d4s1
d1s1
d3s2
d3s1
d2s3d3s3
d2s1
d2s2
d5s2d5s3
d5s1
�(��� ������ ��,�3�E"A45
Sentences vote for the most central sentence!Need to worry about diversity reranking.
d4s1
d3s2
d2s1
HLT/NAACL 2006 151
N
dTiTETp
Tc
dTiTETp
Tc
dTip nn
n
−+++= 1)()(
)(...)()(
)()( ,,11
1
� F(KF� ����� �����������'����2���+F�.������������� �� ����� �F�����"�H�����������������$������� ��&
� " �������M������ ������N%���������$�$��������������M3���N ������� �������������� ��������������'&�������������������������������������������������� ����&
� )����"�4�6%�����������������������������$�����&)����" 4�7%������������������� ����������������� ����������;�����������&
� ,����������������"����$�������A6&7%6&<B��0�� ����!� �%�7VVS�&
�(���>
HLT/NAACL 2006 152
HLT/NAACL 2006 153
HLT/NAACL 2006 154
0(������������(���>
� :�������������'�� ��2����� ��������<66O�#���������������������������������� �����������$�$��������/3F/��&�(�����2����� ��������<66R�#�������������J�,�����������������'�&
� /���������������� ����� ����������'���1'��<66R�#����'�������������7 >���� �$�������������������&
HLT/NAACL 2006 155
�����������������
� 1*�����#
Example fromZhu et al. 2003
HLT/NAACL 2006 156
�����������������
� ������������������������������������
� ����*������������
� ������.����������
� ������������&����� ���������
Example fromZhu et al. 2003
HLT/NAACL 2006 157
������������
� J� ����&���������������
V x02_join x01_board x0_as x11_director N x02_is x01_chairman x0_of x11_entitynam N x02_name x01_director x0_of x11_conglomer N x02_caus x01_percentag x0_of x11_death V x02_us x01_crocidolit x0_in x11_filter V x02_bring x01_attent x0_to x11_problem
Pierre Vinken , 61 years old , will join the board as a nonexecutive director Nov. 29. Mr. Vinken is chairman of Elsevier N.V. , the Dutch publishing group. Rudolph Agnew , 55 years old and former chairman of Consolidated Gold Fields PLC , was named a nonexecutive director of this British industrial conglomerate.
A form of asbestos once used to make Kent cigarette filters has caused a high percentage of cancer deathsamong a group of workers exposed to it more than 30 years ago , researchers reported . The asbestos fiber , crocidolite , is unusually resilient once it enters the lungs , with even brief exposures to it causing symptoms that show up decades later , researchers said . Lorillard Inc. , the unit of New York-based Loews Corp. that makes Kent cigarettes , stopped using crocidolite in its Micronite cigarette filters in 1956 . Although preliminary findings were reported more than a year ago , the latest results appear in today 's New England Journal of Medicine , a forum likely to bring new attention to the problem .
HLT/NAACL 2006 158
������������
� ,����������'����� � ���������������!!���������������������$��,�������� �����&�<66U&
� 1*�����#������� �����#�M��� �����������N E�*��������M����������������N&
� ��������������������������������������������&
� ���'������#�5��%�5�5����$�������������������������%�������� �%�)������������%���5�������������������������%�1*�������������0���!�&
� 1*�����������������#�ST&OU[���������������������SR&O[�$��X������������<66U�&
HLT/NAACL 2006 159
0(���
reported earnings for quarter
reported loss for quarter
posted loss for quarter
posted loss of quarter
posted loss of million
5
G
G
G
�*
HLT/NAACL 2006 160
V
N
n1
p
v
reported earnings for quarter
posted loss of million
posted earnings for quarter
n2
�,����� (**)
HLT/NAACL 2006 161
�268� (**)
HLT/NAACL 2006 162
This example is slightly modified from the original.
HLT/NAACL 2006 167
1������������������������
� "���$����������&�<66O&
� ��� $��������� ���������������� &
� ,������������������ ���������������������$������������������$��������������� ����� ����������������&
� (������ ������$��������������������$��������������������� ���������$��������������������%�������$����&
HLT/NAACL 2006 168
HLT/NAACL 2006 169
HLT/NAACL 2006 170
/����,��������
� ��/�����������&�<66O&
� 1*�������������������������#
� 1� ���������������������������������3������������$�������������������� ��������������&"������� �� ���������&
� ����#����������������� �����;������������������������*������������ ����������������� ���&
� .�� ���������7VRO������1��������7VRT�� ������������������� ��������������� ���,������������ ����&
hit
John ball with
the bat
the
root
HLT/NAACL 2006 171
/����,��������
� .��������������������MY�����������N ������&
� ,���.�� ��� 1��������� ������ �����������,��������� ��������������� ���&�,���������� ������������ ��3����������&
9
10
30
20
30 0
11
3
9
root
John
saw
Mary
10
30
30
11
root
John
saw
Mary
HLT/NAACL 2006 172
G,)���0(��������
� ������������������������������*�
A�������� \�,��� <66UB
� 2����������������
– (�������������*��
– ,������� ���*�������
– )�����������������������#��������������������%�,�*��������+�����%�)���������/����$� ������
� !���������'
– �����������������������
– ��������� �������A,�����7VVVB%���]���0�����A:��'�7VVVB%���������������AJ�����<66>B
HLT/NAACL 2006 173
�(����>�����G,)���0(���������
� ���������������������
� D����� ������������������ ���
� ���'� ������������������������������*�
� !��'����������'�������
� 5��������#
– ��'��������������������
– ��'�����������
– ��'������������=���3�������
HLT/NAACL 2006 174
���0(���
Compatibility of systems of linear constraints over the set of natural numbersCriteria of compatibility of a system of linear Diophantine equations, strict inequations, and nonstrict inequations are considered. Upper bounds forcomponents of a minimal set of solutions and algorithms of construction of minimal generating sets of solutions for all types of systems are given. These criteria and the corresponding algorithms for constructing a minimal supporting set of solutions can be used in solving all the considered types of systems and systems of mixed types.
Keywords by TextRank: linear constraints, linear diophantine equations,natural numbers, non-strict inequations, strict inequations, upper boundsKeywords by human annotators: linear constraints, linear diophantine equations, non-strict inequations, set of natural numbers, strict inequations,upper bounds
types
equationssolutions
sets
bounds
numbersnatural
criteriacompatibility
minimal
algorithms
construction components
upper
constraints diophantine
systemlinear
strictinequations
non-strict
systems
TextRanknumbers (1.46) inequat ions (1.45) linear (1.29) diophant ine (1.28) upper (0.99) bounds (0.99) strict (0.77)
Frequencysystems (4) types (4) solut ions (3) minimal (3) linear (2) inequat ions (2) algorithms (2)
HLT/NAACL 2006 175
0�� ������
• Evaluation:– 500 INSPEC abstracts– collection previously used in keyphrase extraction
[Hulth 2003]
• Various settings. Here:– nouns and adjectives– select top N/3
• Evaluation in previous work– mostly supervised learning– training/development/test : 1000/500/500 abstracts
HLT/NAACL 2006 176
��� ��
Assigned Correct Method Total Mean Total Mean Precision Recall F-measure
Ngram with tag 7,815 15.6 1,973 3.9 25.2 51.7 33.9NP-chunks with tag 4,788 9.6 1,421 2.8 29.7 37.2 33Pattern with tag 7,012 14.0 1,523 3.1 21.7 39.9 28.1TextRank 6,784 13.7 2,116 4.2 31.2 43.1 36.2
(Hulth, 2003)
HLT/NAACL 2006 177
��������
0��������.����� <667�E ������ �������$���������D���$�����/�������� ������������%��.��
/������ <667�E .� �������� ������������������������ �0��������������������!��������� %���2//
/���������������E ���������'�������������������'�
1'�� ����������<66U�E ��*!� ����'#�!���� ���������� /��������,�*��������+�����^%�1���!�
1'�� <66R�E ��� �� ������� 0�����/��������.������� �D��� ��������)��'�%�J�, �((.�
Y������� <66>�E ,���������� ������ �����������������!��������� %��.��
2����%�2����%����������� �<66>�E �������������� %��Y.(�
2����� ��������<66O�E !� ����' ��������J������'�#������������ ��'�� ����� ����'����������$����� �� ��������%�����
2����� ��������<66R�E �������������������?�J�,�����������������'�%������+�� ������� $�������� �� ��������%�����
�������� ����,��� <66U�E ,�*����'#�0�� �� �"��������,�*��%�1���!
HLT/NAACL 2006 178
��������
�������� ����0������ <66>�E (���������/������������������)���
�+���� ����Y��''��� <667�E !����������$�����.���������������������'����������)��'�%���!�
X�� �����&�<667�E 0������������!��������� �����/����.������� %�.�2�
X�� <66<�E ������������+����������2������� 1*��������D��� ���������������������!���������������������.������� %�����
X��%���������%�������������<66>�E ���� ���������������� �D��� ���������:����������J�������:��������%��.��
)������J�$���� <66U&�:����� ��������������������������#������������������&�,���1�������!�������Y������0%�>S#>>7_>>S
�� ��$�$��� ����#����#--��� �&��&�����&���-Z����-��$ ���-$�$��� ����&���
HLT/NAACL 2006 179
��� ������
HLT/NAACL 2006 180
����������� �����������������H���
� ����#��������������������$�����������������������$������������
� ��� $������� ������������������������ �� ��� �����������������������������!���$����
� ��� $�������!-��#
– "�������� ��$������� ��� ������������!�-���
– �����������������������������������������������������$�����