Upload
khangminh22
View
0
Download
0
Embed Size (px)
Citation preview
ES
EA
RC
HR
EP
RO
RT
ID
IA
P
� � � � � � � � � � � � � � �
�� �� ����� � � � � � �
���������� � ������� ��� �
�� ��� ������ � ���� ����
� ��� ���� ��� ��� �� ��
��� ���� ��� ��� �� ��
�!"�� ������������������
�� �� ���� ���������
��������� ��
������������ �����
������ ������
������ ��� ���� ��� �
�� ���� � ���� � � ���� � ��� �
�������� ����
�� ��� ����
�� ������ ��
���� ���� ���������� ��������� �� ��������� ������� �� ������������� ���������� ��� � ���� �����
� ���� � � � � �� �������� �����������
����� ������ ����� �����
��������� �� ������������ ����� ������
������
������ �� ���� ���� ������ ��� ����� ���� ������
����� ����
�� ������ ��
���� ���� ���������� ��������� �� ��������� ������� �� ���� ��������� ������������� � ���� �����
��������� �� ���� ���� �� ������ � ���� � ��� �������� ��� �� ������ � ���� ����������
������ �� ��������� �� ��� � ����� ���� �� ��� ��� ������ ����� ����������� �� �� ������
������� ����� ������ �� �������� ����� ���� � �������� �������������� ���� ������ ��
����� ���� ����� ������� �� ������ ������� �� � ���� ������ ���� �� ������ �� �����
������� ���� ���� ����� ��� � ��� ���������� ������� ��� ���� ����������� �� ���� ���� ��
�� �������� ���� ������ ����� �������� �� ��������� � ������ ��� ��� ���� � ����� ���
���������� ���� �� � ������ ������ ���� ��� ������� � ������ �� ������ ����� �����
����� � ���� � ���� ������ �� ���� ���� ��� ������� �� ����� ����� �� �������� �� � �����
������� � ��� � � �� � ������� �� ����� ��� �� ��� !"#$�% �������� ����� �������� ���
�����&��&���&�� �����������
� � ����� �����
� ������������
��� ������� ��� ���
� ����� � ������� ��� �� ��� � ��� ������� � !�� " �� �� #��� �" ��� � �� �� � �������� ��$��! ����� ��# ��"� ���� ��� ��������� �� ��� �� � ����� �� �� �������� �������� !� �� ���# � ����������� ��� �� �����#� ���� �� %�"� �&������ �� ��� ���' ��� �" ������� �� �� ��( ��������&������ �� ��� %��)�' ��� �" %��)��#�� ������� � � ������ ���" &)�� ��� �' ��� �" � ����� � � ����� ��� *���� ��� � � ��� ������� ��� �� � ���������� ����� ������ �� �����#��� ��� +,������� � ����� � ������� ��� -������ �� ��� !� �� ���#$�������" ��# ��� �� ������ .������ ����#��� ��� � ����� �� ��� �� ���# � /01�
� ����� � #��� � � ��� �� �" ������� � ��� � ���� � � ����� � #�! ��� �� ������� ��� ����� � ������� � ����� � ��� �� ����� #� ����# -������ �� #�� �� # 2����� ��������� ������� �� �" ��! ����������� �� !�� �� � �" �!�� � �� ��# ������ �� �" ��� ������ �������� ��� *�� � ���� ��� �� �� ��� ������� ���� ��� � ����� � �"���� �������� ������� � ����� �$����# ����� �" �"����� �#�! ��� ����� �������� �������� �� �� ��!� ���� �� ����!����� ���� ������" � ��� � �������" ��������� �� !�� ����� �" ��! �������� ��# ������ � �" �� ��� ������ � �# ! #���� ��������� *�� ���� � �� � ���#" ��� ����!� ��� �"���� �������" �" # �����" � � � � �� ��� �� �� �" �� �� ���� ��� ! ����� �������)��� ���� ��� ���� ������� ��� ��� �!� ������
��� ���� �� ���� �� �� �� ��� ���
�� ��� � �������� �� ��� ���� � ��� %��)��#�� ��� ������� )��% �� ���� � ��� ��� �������# �" � ������� � /31� *�� ��#������� # 2������ � ���� ���" ������ ���� ���� ��� ������� ��� �!� ������ ������$� � � ���� �� )���� � ��� ���� � ������# ��# ����� ���# �!�� � ������ ��� �� � �� ���� � ������ ��� ��� ����� �� ���� ������ ��" ��� �� ��� ���� �� �� � ���� &! �����' ������� ����# �� ���#��������� ����� � �� �� � � � ����� �� � �� � ����� � � ���)� ���� �������" ��� �� �� �� �,��� ��#�" ��#�� �� !�� ���� � ��� ! ����� �������� 4����!�� �� � �������� ��� �� ��� �" ������� ��# ������� ������� ������ � �� ���������
�� �������� !� �������� �� ����� �� !�� �� ��� #�� �� ������� � ����� ����� �� � �� �"����� 5�! ����� ����� ��� �� �����, ����# ����$������ 5�# �6 ��#��� *� � �������� �������� ��"������ �2��� !� ���� ��� �������# �����# � ��� ���� #���# ���� #�� �� ��� ���� ��� ��������" � �����, ��� �� ��� ��#�� � ��� -��� ������ 7�� �������� #��� ��� ��8� �� ���� �� ��� ��� ��� *������ � �� � ����� � ����� ��# �� ����)�9 ���� �� � �,��� �� ��� ������� ��� ����#� � ��� �,�����#�� � ��� �� ��� �!���� �� ������: � #���� �� �� � ��� �,��� ���� ��� �� ���# � ���� �� �: �� � � ����)�# �" ������� ����
������� ��������� �� ���� ��
��� �������� ����� ���
;�� �� ������ ���� ��� �������# ����� ���� � ���)��� � ������ !����� �� ��# �� ����� ���# ����� ����� �� )� ���� ��9
�� < ���� = ��� �3
)���� ��� � ��� ���� ����� �� ��# �� � � ���#�� �## � !� �� �� ) �� 5��� ����� *�� ���� � � �!��� �� ��� #�����# �� >� �9
>� <3
�
�����
��� ��
? �� ������ ������� ��� �,�����# !���� � � #�����# �� �/�1 )� �� � ��� ����# �" ��� ���� � ������, ����� ��� &����' �������9
�/�1 < �/���1 =�/�1 ��
� ����� ����� �
< ���� �@
4����!�� ��� !�� ���� � � ��� �� )� ���� ��9
A��/�1 <3
�A��/�1 �0
*���� ��� � ��� �� ������#�# ���� )��� � ������ � � � ���� � ����� � ������ ��� �!�����# �� �� ���������� #�� �� ����� -��� �� ��� �� ��#���# �" � ����� � � � *�� �2��� � �!���� �� � +8��� �� � ������� �� �����!�# �� �� �"����� ����" ��������# #��� � B ���� 3� ������ ���� � ��� �� � ��� ���������� ���� �� ���� ������ ����) � ������ # ��� ��� �� � ���� 3�� ��# !�� ���� ��C #�����# �� � �3� ��C��# ���� ��� ������� ������ ����) � ������ # ��� ��� �� � � ��3� ��D ����� ������ ��� ������# ) ���=�� � �� ���� ������ ����� ���-#���� ������ ��� �!� ����� �����# �� �� +8��� �� 0 ��� !�� ���� � ��� ������ �� # ��� ��� �� ) �� �� ��#���# �" � ����� � ������ ���� ������ �� # ��� ��� ��� ��� ������#) �� ���� (��� ��� ���� )���� ���� ��� # ��� ��� ��� ����� �� ��� ��# � ���� *� � ���� ���������#� ����� 5��� )���� � � ��� ������ � � ���%�� ) �� �� ���� ���# � !�� ���� ��� ��������# � ��� ��� ��*�� #������� � �� � ���� ����� �� ����!����� � ��� ������ � �� ����� �� ������� ��� ���� �������
−3 −2 −1 0 1 2 30
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Scores
Genuine pdfGenuine averaged pdfImpostor pdfImpostor averaged pdf
B ���� 39 �!���� �� ������ # ��� ��� �� � � �)�$����� �������
��� ���# ��� ������� ������� ��# ) �� ������� �� �� �� ���� ��#� ���� ��� ��������� ��# ��� �� ���������� # ��� ��� ��� ������� *�� ������� ���" ��� ��� ��)�� ��� ���� )���� ����� �)� # ��� ��� ����!������ *�� ��)�� �� � ���� � ��� ��)�� ��� ������ � � ���%�� ���� ���#�
��� ����� ����� ���
*�� ���!� # ����� �� � ���" ���� )��� ������ ��� ��������# �" �� �� ) �� 5���$���� ��# �����������#��� ���� �" ��� %��)� ���� ������ ��� �� ��� ! ����� ������� ��� #����#��� �� ��� �� � ��� �����?��� )���# ���� �� ��� ����� ��# ��)�� ����#� � ���� � �� �E ���� )� �� �� �� ��� )��% � � ���� /� ����� C1 )�� ��� ���)� ���� �" �!���� �� ������ � � ����� -��� � ���� ���� ����#��� ��� ������ ���� � � ���� ����� -��� *�� ������� ��� )��� ���� ���� ����� -�� )�� ��� ���������#��# ���� ��� ����� � ���� ����� -�� ��# 5��� ����� �� ���)�# ����9
���� <3
��
�����
���� �D
<3
����������� �F
�������� �� ��� ���! !��!� ���� "�# ��� $%!� ��� "�# ��%&�&����� %' &%�� ����! %' ���%�! ��� �()��*
@ � ����� �����
)���� ���� � ��� ����� � ��� ���� ���� ��# ���� � ��� ����� ����� ���# �� ��� �$�� ����� -��� (������� ��� ��G�� # 2������ ���)��� � ������ �����,� ��# ���� � ���� ������ ��� #�� �� !�� �� �� � � ����� -���� �� ��� �����,� ������ ��� #�� �� !�� �� �� � ��� &! �����' ������� ���� ��# ��� �
������� � ����� ����� ���� *�� �#�, � � �� ����# �� � ������ ���� �� ����6�� �� ��� ���� ������� �� � ���������� �� � ������ ���� ��# ��� ! ����� ������� ��� �����
��#��� �� ���� ��# �� �� ��� ���� �������� ) �� ��� �� � �� ���)� � +8��� �� F ��� ����� *� ��8��� �� �����# �� � ����" )� ���� ��9
���� <3
��������� �H
3 � � � ��
)���� � ��� �� ��#������# �� � &�� �' � ����� ��#��� ��� �� ���)� ���� ��� ��, ��� �� � ��!���� �� ������ � � ) �� ������� �� ��� �!����� ��� ������� � ���� ! ����� ������� *� � � ������ �� ��� ���� ����� � ��� ��� ������ ��� ���������#� *�� � � ��� �� � �����# �� �� +8��� �� H � 3 )� �� ����� ���� ����� � �� �� � ��� ��� ���� ��� ����� � ��� ���� ��� �� �� ����� *� � ��� ����#������# �� ����)�9 � ��� ������ ��#� �" ���� ! ����� ����� ��� #����#��� ��� ���" ��%� �,����"��� ���� ����� � ��� �,����� ���� ���������� < ���� ���� �������� < ���� < ���� )� �� ��� ������ � < 3�
�� � ��� ���� � ���� ���� � ����� -��� �" �!���� �� � ������ ��� � ����� ����# ����� ����� � ����� � ����� � ����� ��#��� �� ) �� ������� �� � � ���� ���� ���� � � ��� ����� /3� � 1�*���� ��� ����� �!���� �� � � � ���� "�� �2��� !� )�" �� ������� �"���� �������"�
� ����������
��� � ����� ��� ��� �����
*�� I4�A*� ��� #������� � ���# �� �� � ������� ������� � � � ��������% #������� ) �� )���$#�-��# ��������� �����# ��� ;������� ��������� /�1� *�� I4�A*� #������� ����� �� �"������ 5�# ���� ��# ������ #��� �����#�# �� �C0 ���G���� #�� �� ��� ���� ��� ��%�� �� ��� ����� ����!����7� ���� ���� �� �)� �����# ��� )��� ��#� ���� ���� �� �� � � ������ ���� ��# � ���# ����� �� �����
*�� #������� )�� # ! #�# ��� ����� ����9 � ��� � �� ��� �� �!����� �� ��� ��# � ���� ���� *����� � �� ��� )�� ���# �� �� �# �� ��� ��#��� )� �� ��� �!����� �� ��� )�� ���# �� ������� ��� #�� � ����" ��� ��� �� ��������#� �� ������� �� ���������� � � �� �� ����� ���� B ����" ��� ���� ��� )�����# ���" �� ��� ���� ��� ��� ������� � ��� �"�����
*�� �C0 ���G���� )��� # ! #�# ��� � ��� � ��� �� ���� �0 �!����� �� �������� ��# F� ���� ��������� *)� # 2����� �!����� �� ���-����� ��� )��� #�-��#� *��" # 2�� � ��� # ��� ��� �� � �� ��� ��� � �� ��# �� ��� �!����� �� #���� ���� ��� ��� � �� �� ��� ��# �!����� �� �� ��� #��� )���#��)� ��� ��� ���� �����# �� ���� ��� �� ���-����� �� � �;�3 )� �� � ��� ���# �� � ���# ��� ��� ���� ��� �!����� �� ��� ��# ����� ���� ��� ������� �� ��� ���� ���� B�� ���-����� �� �� �;�� �� �������� ���# ��� �!����� �� �� ��� ��# ���� �� ��� ���� )��� #��)� ��� # 2����� �����# �� ���� ���)� �� � ��� ���# �� ���� ���� �� � �������� 4��� #��� �� ��� �� ���� ��# ��� /�1�
�� �� � #������� ���� ������ � ����������# �" ���" ��� ��� ����� ?� ��� ������� ��� ������ � ����� �" �� �� ������� � ����� ����� ���� �� �� � )�" )� ���� � ���� ��� &! �����' ������� ��� �� ���� ������� B�� ���� ! ����� ���� ������� ) �� �� �,������# � ��� ���� )�" �� � ���� ��� ��������� ������ �,����� �� ��# ������� � ����� ����� ��� ��� �,��� ��# � ���� ��� ����)�
��� ��� ����
�� ��� I4�A*� #������� � ����# �� ��, � �����# �� � ��� �����# �� �� �"�� ����# ����� ������#�������"� *� � ������� � ��� ��� ��� #����� ��� *�� ��� � ������# ��# ��� �,������# ���$ ���� �#�)�� 5�# �� � ��� @� ����� � ��� ����������� ��# ������ �� ��� ��� ���� ��� � ������ !������ # ���� �� 3����
� ����� ����� 0
�� �## � �� �� ����� ������ ��# ������� J.� �J�#$.����$���� � ������� ������� ��� ���#� *���������� �� � �## � ���� ������ ��� � �% � ������ ���%$�� ����� ���� -��� �� ����������# �� �� ������ ������ � ������ ����� )� �� ����� � ���" �% �� �� ��� �����# ���� ��� ����� ��� -�����#�����# �� �� �� � ���%$�� ������ K��!� #���" ���$�% � � ,��� ��� �������# �� )���� *� � �� �� ) �� ������ ���# �� � ����� -�� �� # ��� � ���� �� #����� � ����!����� B�� ���� ����� ������� � � ������� � �� �� �� �� �� # ������ � ��� ����� ��� � �������� � ����� �������� )��� �����������# ��� � ������ !����� � CD ��������� 4��� #��� �� ����� �� � �����# ����# �� �,��� ����� ��� �� ���� ��# ��� /@1�
��� ����� ��� ���������� ����
*�� �,���#�# ������ � �������� � �������# ���� ���� � !�� �� ������ ���� � ������� � �����$ ����� ��� ��� ��� ����#� *� � ������ � ���������# �� ����)�9 � < � � � )� �� ���)� ���� �����# ������ � �� ��# ��# �����# ��� ��������� < ������ � �� ���H=3 � ��� ����� ������� �� �� � H # ���� ��� ����# �� ��� �� � ��� ���� �� ���� ������ < ������ � ������� � = 3 ���� ����� ������ � ������ � � # ���� ��� �5��� ��$ � ��# 5��� ��$��� ����# �� ��� �� � ��� �������� ��� �,��� ���� @ �� �� ��# � ������ ��� ���#� *� � ���#���� ��� ! ����� ����� ��� �� � ��� �����
�� ��� ����) �� �,��� ����� )� �������# ��� �"���� ��� /@1 �#�����# &�� � ���' �� ��� �"�����#�����# &�!�����#'� �� ��� �� � ��� �"���� ������� � ����� ����� ��� )��� �##�# �� ��� ��� � ����� ���" )� �� � ��� �!�����# �"���� ���" )��� ���� �##�# �� ��� �!����� �� ��# ���� �����
*�� ��� � �� ��� � ���# �� ��� � �� 4;� �� ���� �� ��� ��# ��� �!����� �� ��� � ���# �� ���� ������ � �� �� �� �� ����"$����� �� �� ��� ��� �� ��� ��# � ��� � �� ��� ��� ��# 4;� ��#�� � ���� �# ����� �!����� �� ��� ��� � �� ��� ���� ��� ������ ��������# ���� ��� � ��� ��� +8��� +���� J��� �++J�7��� ��� ���������� ��� ��� ����# �� ��������# ��� ��� ��# 4;� ��#�� � ���� �# �� ��� ���� ����*��� ��� ���� ��# ��� *���� +���� J��� ��*+J �� ��� ���� ��� � �� # �� �� ���� )� �� �����������# )�� ��� � � �� ++J �� ��� ���� ��� � )���# �� �����# ��������� 7 ������ ��� ����������� ��� ���� ���� �� �� �� ��� �,��� ���� ��� ��� � ��# �� ��� #����#��� 4;�� ��# �� � ##���� �� �����
��� ����� �
*�� �,��� ����� ��� ���� �# ��� �� ;�3 ��# ;�� ���-����� ��� � I4�A*� #�������� *�� ���������� ���)� � *����� 3 ��# �� 7## � ��� � ����� ������ ���) ��� �*+J� � ��� �� � ��� �������� )� ���!�� � ��� ���) ��� �*+J� � ��� �!���� �� ! ����� ������� �� ��� ������ ���� ��� ����!������ �����! ���� *�� �*+J� � *���� 3 ��� �������� ��# ���� ��� ���� �� � ��� ��!��������� � !� �� ����� ��� �,�����# ����!������� *�� �*+J� � *���� � ��� ����� *�� ���������# �� 6+* ���!��� *���� � ��� ���)� � B ���� �� �� �,�����# ��� ��� ������� ���� ��# �" �!���� �� � ��)�"������ ��� 4����!�� �� ��� ���� � ��� %��)��#�� ��� ��)�" ���� ��# ���� ������� ������ �� ����� ���� ���� ���# ���� �� �� � ��������% #��������
*���� 39 ��� ������ � �!���� �� ������ !����� �� � ��� �������� ����# �� �������� �������# ������$��#�
6��� ���� 4�#��� B�/L1 BJ/L1 �*+J/L1;�3 +!�� 7� � ��� 3�DDF 3�DDF 3�DDF;�3 +!�� �!�����# 3���� 3���� 3����;�� +!�� 7� � ��� 3��0� 3��0� 3��0�;�� +!�� �!�����# 3�3�F 3���� 3��0@;�3 *��� 7� � ��� 3�H3F 3�F0� 3�FH�;�3 *��� �!�����# 3�DC� 3�F0� 3�F�3;�� *��� 7� � ��� 3�F�D 3�F0� 3�F�H;�� *��� �!�����# 3�03@ 3�0�� 3�0�F
D � ����� �����
*���� �9 ��� ������ � �!���� �� ������ !����� �� � ��� �������� ����# �� ���� �������# ��������#�6��� ���� 4�#��� B�/L1 BJ/L1 �*+J/L1;�3 *��� 7� � ��� 3���� ��F0� 3�CC�;�3 *��� �!�����# 3�@F@ 3�F0� 3�D3�;�� *��� 7� � ��� 3�@DC ���0� 3�HD�;�� *��� �!�����# 3��H0 3�F0� 3�03H
0.10.2
0.5
1
2
5
10
20
40
0.10.2 0.5 1 2 5 10 20 40
FR
[%]
FA [%]
DET curve
LP1 Test (Mean) LP1 Test (Original)
�� ;�3 ���-����� ��
0.10.2
0.5
1
2
5
10
20
40
0.10.2 0.5 1 2 5 10 20 40
FR
[%]
FA [%]
DET curve
LP2 Test (Mean) LP2 Test (Original)
�� ;�� ���-����� ��
B ���� �9 *��� ���� �� I4�A*� #�������
�� !���"��� �� #�� ��� ��� ���� ��� ������
7�� �� ��� �� �,�� �� ��� �2��� !����� � �� � �����# � �" ���% �� �� ��� ������ � �" #��� �" ���� �� ���� � ��� ��� ! ����� ������ ) �� ������� �� � ���� ��G��� �� ��# � ������� �����������*� � � ���)� � B ���� �� ?��� � !�� �� ��� ���$ ������ ���� � � �� ��� ) �� � � ����� � ����)�##����� � ����� ����� �� ��� ���� �� � ������" � �%�# ��� �) �� !��" ��) !�� ���� �����# ��� ����3� *�� 4;� ����� ���# ) �� �� ��� ��D � �� � ���� )�� ��� ��# �� � !� � �������� � 3 �� � ���� �������� ��# �3 �� �� ������� ������� ?��� ��� �� � ��� ���� � &���' � ��� ����)�# ����� ����� ������� ��� ��� � ! ����� ������ ��� � ����� !�� ���� ��# � ���� # ������# �)�" ��� 3� (��� ������� ����� ��� � ����� �� ��� ������ � �" � ���# � ��� ����� �� ���� " ��� ������� � # ��� ��� ��������� ��� ����� ����� /�3� 31�
?� �� � � ���� ���� �������" ���#���� ���" ��� ����� � ��� � ! ����� ����� ��� ��� �#!������� ���#�� �� ������� � ����� ��9 ��� ����� # ��� ��� ��� 7�� )�" �� ������� �� � # ��� ��� �� ��" �� !�� ����� B�� ������� �� ��� �,����� ���!� ��� !�� ���� �� ��� ������� ���������� ���� �3�0DF��$�0 )� �� ��� !�� ���� �� ��� ���� ��G��� �� ���� � ���3H3� ������" !�� ���� � ! ����� ��������� � !� ������������" � ����� �� ���� ��� �� � ��� �������� ������� �� ������� ��� ��� ���� G������ !�� ���� ����# �������" ���! #� ��� �� �� ���� �� ����!� �� � �����# �������
��$ �������� ��� ����� ����� ���
*� � ���� �� �� �� �� �,�� �� ��� ����� ���� � ���)��� ��� ��#��� �� � ���� !�� ���� ��# ������ *���"������ � ���� � ���� )��� � �� < ��� � ��� ���� ! ����� ������ ��� �!�����# +8��� �� 0 ��"� ������� ��#��� �� � �" � ����� � � ����� �� ���� ��� ������ ��� �#����#���� *��" ��� �� ���������"��� � ��� ����� *� ������� ��� #����� � �#����#���� )� ����#��� � ����� �������� ���#�-��# ��9
� <� �/��1
� �/�1�C
� ����� ����� F
�� B���� ��G��� ��
�� ������� ����������
−1 −0.5 0 0.5 1 1.510
−3
10−2
10−1
100
Scores
Pro
babi
ligy
in n
atur
al lo
g sc
ale
False rejection pdfCorrect acceptance pdf
�� ���������# �� � ��������
B ���� �9 +,������ � &��#' ��# &���#' ������ ��# ��� � ���������# �� # ��� ��� �� � ! ����� ������ �� �� ��� ��D
)���� � ��� � ���� �� ��� �� ������� ������ ��� ��� �� � ��� �����# ��# �� ��� � ���� �� ��� �� ������� ! ����� ������� *���� !����� ��� ���)� � *���� ��
*���� �9 *�� �� � ����� � ���)��� ��� ������ � ! ����� ������� ��# ���� � �� � ��� ��������6��� ���� ���� � .� � ����� �
������ �"�� ;�3 ;��+!�� �� ��� ��� 3��F3D 3��0D3+!�� �������� ��� 3��CD� 3��FDC*��� �� ��� ��� 3�3DHC 3��DF0*��� �������� ��� 3�3D@� 3��0�F
�� ��� ����� � � 3� K� ���������" � � !��" ����� �� 3 ��# !��" �� ��� � � *� � � �,�����# �������� ������ #�������" � ! ����� ������� �� ��� ����� !�� ����� � ���� #��� ��� ��� ��� ��# ��������������� ��� ��#���# �"������ ����"�
��) ����� ��� �� � ����� � �*+JE *���� !����� ��� ���# �" �!� ����� ��� *���� 3 �" # ! # ����� �## � ��� �*+J �" ��� ���������# �� �!�� � �� �*+J� *�� #�-� � �� � � ��� �� #�� !�# ���+8��� �� H� *�� ����� ��#��� �� �� ���� ��� � +!����� �� ��# *��� #��� � ���� ;�3 ��# ;�����-����� ��� ��� ���)� � *���� @�
*���� @9 *�� �� � ����� � ����� ��#��� �� �����# �� �� *���� 36��� ���� .� � �����;�3 +!�� 3��03;�� +!�� 3�3HD;�3 *��� 3��3�;�� *��� 3�30�
(��� ���� ��� !�� ���� ��#��� �� �*���� � ��# ����� ��#��� �� �*���� @ ��� ����)��� ������$� ����� �� ������� ����� � � ��#��� �� � !�� ���� � �� ��� �� ������� ��� ����� ) �� �� � ��#��� ��
H � ����� �����
� ����� -��� �� ����� ����� -����" �*+J � ��� ����� *� ��� �� � �� � � ��������" �� �!��� ������ � & ��� � ��' �������
�� ��� �� �����!�# ����� �� � ������ ��� !��" ����� �� ��� ��)�� ����# ��� 3 )� �� ����� ������� �� � � !��" � ����� *� � ��" �� #�� �� ��� � �� �������� �� ����� ! ����� ������� (�!������������ ��� ���� ����!����� � ���������# ��%�� ��� �������� �� �� !��" ������� !��
B ����" �� ������� ��� 8���� �� �� ��% �9 �" ��) ���� ��� ! ����� ������� �������� �����#) �� �!�� ��� �� � ��� ���� ������� ��������E *� ���)�� �� � 8���� �� )� � ������" �������# ��� ���������� ���� � ���� ���������� ��# ���� ��G��� �� ������ �� ���� �����#�� *�� # 2������ ���)�������� �)� ����� ��� ����� � ������ ��� ������# � B ���� ,�
� ����������
�" ����" �� � ������� � ����� ����� ��� �� � � !�� �� � ��� ��� ���� ������ � � ���)� ���� �������# ��#��� ��� !�� ���� � ��� �� � ��� ����� �" � ����� � � � B���������� �" ��% �� ��� ���������� ������� �� ���� ����� � ���� ������� ��� #����#��� �� ��� �� � ��� ���� ��� ����� -��� ������� ) �� ������� �� ��� �� � ��� �����# � ���)� �� ��#��� �" � ����� ���)��� 3 ��# � �
*� ��� � � ����� ����)��% ��� �������# �������� ��� �� ������ ��# ��9
� <3
�� �
����
�������� � �3�
�����# � � < ����� �� ��� ���� ��� )���� � � � � � ��� � ������� � ����� ����� �� �������������� �# �" � ���� ����� ����� �� ���� �� �� ��� ������ !����� � � � � ������ �,����� �� ���� ����# � � � ��� ��# ����� -�� �� ������ � �!�� � � � ) �� � ������# ��� � ��� � �� ���� +8��� �� 3��,��� �� )�" �� � �����# � ������ ��� ��� � ��� ������� � ����� ����� ���9 � � ��������# �!�� �������� � ����� ����� ����� ��� ��# ����� ��� �!�� �!�� ���� �!�� �� � ������
*� � �����# ��� ��� �#!������ � �� �� � ���� �� ��������� B���������� � #��� ��� ��8� ������ ��� ���� �,������� *� � ��%�� � ��� �" �,���#���� �� ���" ������� �����-��� �� ��# ������� ����������� *�� ���" �##�# ������, �" #�� �� ���� �� � ������� ���� �� ��� ������ � ��� -� ���"��������# ������� � !�� ���� � �� ����� ����� ����� �� �� � � !�� #��� ��� ��� �� #�-��#�
*�� ����� )��% ) �� ���� �� � ������ �� � ������� ��� ��#�� �� ��#������# ��� ��������" �� ��� ���# ���# � ��� �� �!���� �� ������� �� )��%� J ��� ��) ��� ����� ���� � ���)��� !�� ���� ��#��� ����# ����� ��#��� �� ��!� ��� ���������" ���� �!��� ����#� ���� ����"� � ) �� �!�������" ���) ����� ��� � � ������� �� � ���� � �� � �������� ��� )��� ��� ��� ������� #����#���
����������
/31 M� � ����� .� 4���� �� M������ ��# 4� K� J� ������5� ������ ������� � ������� ��������������� ������� ������� J����� � �� ;������ 3H�C9H@0NH0� ��������� 3CCF�
/�1 �� � ���� !��"��#� ��� ������ $�������� 7, ��# K� !��� �" ����� 3CCC�
/�1 M� ;O��� � ������� �������� ��� ��� %&�'() (���� *+����� ��������, �6��� J�������J����� �74$�0 3CCH�
/@1 �� 4����� ��# �� ���� � �������� '�� �������� ���� �#� ���� ��������� ������# ���� ��� 3D�� �������� ���� ��� ������ �� ������� J����� � �� �����
/01 ���� M� � ��# J� ����� ��# �� ���%��� )�������- ������ ���������� � !��"��#�� ���������)�� ���� ��� ��� 3CCC�
� ����� ����� C
��������
*� � ���� �� � � ����)$�� ����# �� ��� �����!�� �� �������# �� ���� �� #���� ��� ��!���� ���������� ���� �� ! ����� ������� *���� �����#� ����#�� �� �� ��# �� �������� ��# .44 �.���� ��4 ,���� 4�#�� ��# ������" �����#�� *�� ������ ����# �� ��� ���� �������� � ����"��# � #��� ������ ������" � ������� ��� ) �� ��� �� � ��� �������� ��� �� ���" ���� ��������
� �������� !��"#$% ������
�� ��� ���� ���)� ���� ��� �!���� �� ������ ��� ! ����� ������� ��� ������� ��� ��� ����������)�!�� � � ��� ����� ��) ��� # ��� ��� �� �� #��� �" � ������ ��� ! ����� ������� ��� �� ���#�*� � ���� �� �������� ��!���� �����#� �� #� ��9
4�# �� ��������� �� � ��� ������� �������� �� ��� ���� �������� ��# � %��)� �� �� ��������� ��� ���$� ����
+�����" �����# ����# �� ������ ��#���� *�� ��� � � ������ �� ��� ��# ������� ������ ��� -������ ����#� *���� ���� ��� ���� �������# �� ��� ��� � � � !�� ������� *�� ��� � � � !�� ��������� �� ���������# ��� ��� ��� ! ����� ������ ����� ���# �� �� ������ ��8����� *�� ������� ��� �����% ���� ������� ����� �� � �)� ���� �� �� ��� �������% # �������
+�����" �����# ����# �� ����� ��#���� *� � � � � ��� �� ��� ������ ��#��� �,���� ���� �������#��� ��� ���#� ;���� ��#��� ����� ��#��� ��� ����# ���" ��� �� ��� �� ������� ������������� ���# �� � � !�� ����$���� -� ����� -���
.���� �� 4 ,���� 4�#��� .44 � !��" ��� �� �� ����� �� ��8������ )� �� ��� ������# �� ��!����� #�� !�# ��� #��� ����" ��# �#����#����" # ��� ��� ��� A ����� ������ ��� �� �����#�# ����� �� ��� � ����� � ��� � # ��� ��� ��� *� � # ��� ��� �� ��� �� ��� ����# �� �� � � ,�����)� ����# ��� � .���� ���� 6�� �� �� ������ ��� � ! ����� ������ ���� � ���� ��# ��� �������#�# �� � ��8������ *� � ��8����� � ���� ������# �� ��� .44 �������# ���� ������ � ��� � %�� ���#� *)� .44 ��#��� ��� ���#�#9 .44� ����� ���# �� ��� �� ��� ��# �� ��� ��������
*�� ������" �����#� ��# .44 ��� �,��� ��# � ��� ����) �� ���� ����
�� �� ��%" �� ���
*�� ������" �����# ��8� ��� ���� ��� #��� �" � ��� #��� �� ��� ����#� *���� ��� ��!���� )�"� ����� ���� ��� #��� �" �����# �� �� /� ����� �19 � �������� ���5�� ) �#�) ��# .44� *���� �����#����� !� � ��� � #��� ��# ������ � #��� �" ���� ��� � ������� ��2��� ��� ��! �� ��� ���# �� #�-����� ������ � ���� � �� ;����� � �� ��" ���#��� �������� #��� �" ��� ���� ��� #��� ��� � !� ����������� ���� �� ��� #��� �" � � � !�� !���� �� *��� ���5�� ) �#�) ��# .44 ��� ���#� ���5�� ) �#�) � #���� ��# ����) ��# .44 � # ������# �������
����� ����� ������ � ����� ������ ���� �
. !�� � ��� � ������ ��� � < 3� � � � � � �� #��� �" ���� �� ��� �� ���������# �� ��9
P���� <3
�
�����
3
��
��� � ��
�
��33
)���� ��� � � %����� ���� �� ��% �� � ������ �� ?��� ��� � � .���� �� ���� �� +8��� �� 33�������9
P���� <3
�
�����
3
���������,�
��� � ��
�
��3�
3� � ����� �����
�� ����� �� �� � ������# ) �� � �)� ����#�# !������ B�� ��� ���� �� � ����#�# ) �� � /�3��� 3��1������� ��� 4;�� ���# ��� ��� ��# �� � !� ������ ���)��� �3 ��# 3� *���� ��� !����� ���� #� �������� ��� ��� !��" ��� ��� 3��� ������� � �� ) �� � ��� �� # ����� ��� ������# �� ���� �� ��� ��# ������� ��� �!�� ��� �!����� �� ���� � ;�3 ��# ;��� *�� ��������� � )� �� ���������#� �� ���!�� ���� � # ��� ��� �� �������� ��� ���������� � ��� ��������� ����
?� ��!� �������# �� ��� ����� !�� #�� �� �� ��� ���� �� ��� ��� � !����� �� ���� ��# � �����$!�� #�� �� ��� ���#$��� ��� � ���# �� ���� )� �� ��� ���� ��� ���# �� ��� � ��� *�� ��� � �� ��� �� � ���# �� ��� ����
�� P����� ) �� ��� �� ������ ��� ��� ���� ���� *�� ���� � �� ��� ��!���� � !�����
���� � � � ��� ��� ���#���� K� ���������" ���� �����$!�� #�� �� ������ �� ������ ���# )��� � ��%���� ������� ��# ������� !����� ��8� !����� �� � ���� ����� �" ������� � ��# �� ��� !��" � � ���� �� ��� ����� ������ �� ��# �� ��� �,������" �����������# �� =3 �� ��� �� ��� ��# �3 �� ��� �������������� �� � �����8����� � � -,�# ��� ���� �" �� ����
�� ������ ���������� �� ��� ����� !� ��� � ���� ���� � ���# �� �!������ ��� �������� �� ���$� � �� ������� ��� �
�� �� P������ *� � � ������� ��� ���#��� � ��!���� ����� !����� ) �� �!�������"
���# �� 5��� � -� �� ���� � ���*�� ������ � � ��� �������� ��� ��������� ���� (��� ���� �� � �����# � � � ��� �� � �������
�,���� ���� � � !�� � �������� ��� ��� �� � ���� B���������� ������� ��G�� # 2����� � ���� ������5�� ) �#�) �����# ��!� � �� �������# �����# ��� #��� �� �� �������" �� � ������� )� �� ��� �-,�# � �� *�� ��������� ���� ��� ���)� � B ���� @� (��� ���� � ���� �������� ���-����� ��� ���
−1.5 −1 −0.5 0 0.5 1 1.50
0.001
0.002
0.003
0.004
0.005
0.006
0.007
0.008
0.009
0.01
Scores
Pro
babi
lity
dens
ity
Original client pdfOriginal impostor pdfExtended client pdfExtended impostor pdf
�� ;�3
−1.5 −1 −0.5 0 0.5 1 1.50
0.001
0.002
0.003
0.004
0.005
0.006
0.007
0.008
0.009
0.01
Scores
Pro
babi
lity
dens
ity
Original client pdfOriginal impostor pdfExtended client pdfExtended impostor pdf
�� ;��
B ���� @9 *�� �� ��� ��# ������� ���� � ��� �!����� �� ���� � ;�3 ��# ;�� ���-����� ��
��� � ��� �� � ��� �� ��� ��# ���� � �� �,���� �� �) �� ! ����� �����# ��� ��� ���������� ���������� �,���#�# �����# ��� ��� � ��� ���� #��� ���� ��� �� � ���
����� ��� � ��� � ����� � �� ��� � ����
+�����" � ���# �� ������� �)� ���� ��� � ��� � ! ����� ������ � � �� ��� ���� ��� ��� ����� ���� ������ ��#�� ��� ��� �� ������� #�����# �� ��� ��# ��� ����� ��� ����� ��� ������� ��� � ! ����� ������ #�����# �� ��� � ���� ���� ��� ��� ����# �" ��� ���5�� ) �#�) �����# #���� ��#���� ��� ���� ���� ��� ������# �� ���� �$�� ����� �� � ��� ����� ������ *� � ��� �� #�����# �� ���*�� ������" � � � !�� ������ # ��� ��� �� ��� ��� ���� �� #�-��# ��9
���� � < ���
����������
����� �3�
+�����" ��� �� �����#�# �� � # ������ �� �� ��) ���� ��� � � � ��� �� ��� ��� ��� ��� �����)�" ����# ��� �� � # ������ � ��� �"���� �� *� � ����� #��� ��� � !� # ��� � ��� !� � ����� ��� *�
� ����� ����� 33
#� �� ������" � � �� ��� ��# ������� ��#�� �����# �� ���# ��������� ;�� ������ � �� ��� ������"� ��� ) �� ������� �� � �� ��� ��#�� ��# ������ � �� ���� � ��� ) �� ������� �� �� ������� ��#���*��� ��� # ������ ���)��� ����� �)� ������" ��� �� #�-��# ��9
< ������ �� ������ � �3@
� � ����� ���� ��� ������" � �� ������� ��#�� � ���� ���� ���� � � �� ���� *���� ��� � � ��Q���� ��) � %��" � ��� � ! ����� ������ ������ �� � �� ����
����� ��� � ��� � ����� � � ��� � ����
������# � �� �� �)� ������ ��#��� �� ��������� � �� ��� ��# ������� ����� ��� ��� ��� ���� ��������� ��� ��� ��# ������� ����� ��� � �� ���� �� ���� *� � ��� �� #��� �" ������ �� ��� ��# ��� � +8��� �� 3@�� �)� ����� ��#��� �� ����)�9
< ������ �� ������ �� �30
)���� � � �� �#�, �� 8�� �� � �� ����
7�� ���� ��� ������� ) �� �� � �������� � ���� ��� #��� ��� ��!� ������ #��� �� ��� ���� �����������" ������� �� ��� �������� ��� � � ��# �� ��� � ���
����� �������� ������ � ���
. !�� � ��� � �� ���� �� �� ��� ���� #��� �" ��# � ��� � � ! ����� ������ � < �������� ������� ����� ��� � ��� �!����� ��� � %�� ���# � ��� ��� ���� �� �� ��� ���� ��� ���� � ���������# �� ��9
�� ���� <3
�
�����
��� �������� �3D
)���� ��� �� <
����
�� � ��: � � !� �3F
��# � < ��� � � � !����� �3H
���� ��� � ��� ��#�� �� ������ ��� " � ��� ������ � � ,����� �� � ��� )� ��� �� � ,���� #
�) �� ������� ���
����� < 3 ��# � ��: � ! � � ���� $!�� ��� .���� �� ���� �� ) �� ���� ��#!�� ���� !9
� ��: $ � ! <3�
���!��,�
���� � �
�!�
�3C
*�� ������ � � ,���� � .���� �� ���������� ��� ��� ����# �� �� 0$ ��# �����$!�� #�� �� ���� � ! �� ��� � �� ����
*�� ������� ��#�� � ����������# � � � � ��� )�" ����� �� �� +8��� ��� 3D 3F ��# 3H ) �� �
�� ��� ������ ������ �� �� �������� ���
�� �� � �� �� ��� ��� � � ���# �� ��9
�� < �� ����� �� ���� ���
*�� �� � �� ��Q���� ��� � %�� ���# ���� � � !�� ��� ���� � ��� ���� ��� ���� � ��� � ��) �� � ���������� ���� ��� ��� ���� � �� ������� )� �� � � �� �� � �� �������� ���� ��� ��� ���� � ��� ������� �����
3� � ����� �����
*���� 09 6 2����� ���� ��� �� �����#� � ! ����� ������ �� ;�3�
4����# �*+J+!����� �� *��� �������� *��� ����
7� � ��� 3�DDF 3�FH� 3�HF04��� 3���� 3�F�3 3�D3�
4�# �� 3�DDF 3�F0� 3�DDF.44 3�03H 3�F@3 3�F�C
.����� +�����" 3���� 3�F�@ 3�D�D;���� +�����" � ��@CC ����� ��3HD
�R �# ����� � ���# ��� �����
*���� D9 6 2����� ���� ��� �� �����#� � ! ����� ������ �� ;���
4����# �*+J+!����� �� *��� �������� *��� ����
7� � ��� 3��0� 3�F�H 3�F�F4��� 3��0@ 3�0�F 3�03H
4�# �� 3���H 3�F0� 3�[email protected] 3���@ 3�0�� 3�@C�
.����� +�����" 3��3H 3�0�� 3�00C;���� +�����" � ���03 ��0�� ���@�
�R �# ����� � ���# ��� �����
�� �&%������ ����� �
K� �� ��� # ������# �����#� �,��� ����� ��� ����� �# ��� �� ;�3 ��# ;�� ���������� *�� ���������� ���)� � *���� 0
+,���� ��� ����� ������" �����# ��� ��� �����#� ����!� ��� �� � ��� ��������� .44 ����� ����� ��� ��� ���� � ;�� �������� ��� ����� ��� )���� � ��� ;�3 ��������� �� � ����� ��� # ���� ��G�#�� ��� ���� ���� ��� �� �����#� �� � ������ �� �� ��� ���� ��� ���� �������� )� �� � � � ���������# � ����� ��� ���� )�" �� ����� ��� ! ����� ������ � ���� ����������
& '$%� "�"$% ����� �$"� $�( �%$���)�$"��� ����� �$"� ��!���"�(
�� � ����� � ������� ��� �� �*+J � � ��� ���# �� �� �������� �� ��� �� �� �� � ���� �� )� ) �� ������ " ���)��� ����� �)� �"��� � ������ �� �!����� �� �� ��� ��
;�� �� #�-�� ���� ��G��� �� ) �� ������� �� � ��������# � �� ����)�9
%&�� < ����� � �� � � ' ���� ��3
)���� �� � �� ��� ����� ��# � � � ��� ���# ��� �" ������� � �������� � � � � ���"�" �������������� ) �� ������� �� � ��������# � ��� �� #�-��# ��9
%�� < ����� � �� � � � ���� ���
)���� �� � �� ������� �������� ����� )��#� � �� ��� ����� � ���� #���# � ���� ��G��� �� ���� )��� � � ����) � ��������#�
� � ����" �� ������� ����� � ���� #���# � ���� ���������� ���� )��� � � ���!� �� �8��� � � !����������#�
� ����� ����� 3�
?� ��) ��" �� ������ ����� �)� �8��� ��� �� �� ������ � �" #��� �" ����� �� ���� � � %��)� ������ ��� �� ��� ��# ������� �������� %&�� ��� �� )� ���� ��9
%&�� < ����
�
��
������(�� ���
� � ����" %�� ��� �� )� ���� ��9
%�� < ����
�
�
������(�� ��@
�����# �� �� ��"�� �� ���� ��� ������ � �" � ���� � �� ����� �#�����# �� +JJ ���� �� ��� �"��% �� ��� ������� � ����� �� �� ��� �� )� ���� ��9
�&&�� <
�
��
������(� � ) ��� =
�
�
������(� � ) ���� ��0
�� ��� � !� )�" �� ��#������# ��� ������ � �" � ����� � ���� ��� #��� �" � ���� ��G��� �� ��# ����� ���� ���������� ��� )� ����# �" ) ��� ��# ) ��� )���� ��� ����� �� ��� �)� ���� ��� �� ��� ��� ) ��� = ) ��� < 3�
�" ��% �� ��� � +8��� ��� �� ��# �@ )� ��� ��)� �� +8��� �� �0 ��9
�&&�� <%&��
����� ) ��� =
%��
����� ) ���� ��D
�� � ����� � ������� ��� �� ) ��� ��# ) ��� ��� � ��� ��%��)� �� ������# �� �� ��%��)� ����� � ��� ���� #�� �� ���� ��9 ) ��� ��� ) ��� ��� %��)� ��#�� ���������" ���# � �� ��� ��� #�� �������"������# �� �� ��%��)�� �� � ���� � ���� �� ) ��� < ) ��� < �
� � *���� ��� +8��� �� �0 ��� ��� ��� -�# ��9
�*�&�� <3
�
�%&��
����=%��
����
�� ��F
*� � ����� � �������" �����# ��� *���� +���� J��� ��*+J�*� ������� �*+J ��# ������ � �" � ����� -��� �� ����� �+JJ +JJ ��� �� ��)� ���� ��9
�&&�� <%&��
�������
������
������= ������=%��
�������
������
������= ������
<%&�� = %��
������= ������� ��H
�� �� ��� %��)��#�� ���� ) ��� < �������������������
��# ) ��� < �������������������
�
*� � !� �� #�� ��) ����� �)� ������ ����!� )� ��!� ��������# �� ��� ��# ������� ���� � ��������� -� ���"� *�� �� ��� ��� � #��� �" # ��� ��� �� � � �3� ��� ����� 3: !�� ���� ��� )� �� ��� ���������� � #��� �" � � ��3� ���� *���� �)� # ��� ��� �� ���� ��� ��� ���)� � B ���� 0���
B�� ��� -��� ���� ������# �������# ����� ���-����� �� ��� �� ��� ��# ������� ���� ��!� 3��������� ������ ������� !��"� B�� ��� �����# ���� ������# ���������# ����� ���-����� �� ��� �� ��� ������ 3��� ������ )� �� ��� ������� ��� ��� 3���� �������� ��� ���������# �" � ����� � 3�� *���*+J ��# +JJ ���!�� ��� � ���� �� � ��������# � � ����� �)� ����� ��� ���)� � B ���� 0�� ��#��� (��� ���� #�� �� ���������# ����� �� �� ��� +JJ � �2����# )� �� �*+J � ����
(��� ���� � ���� �" ������ ���� ���# � B� ��# BJ ��!� # 2����� ������ ;�� +� ��# +�� ����� ���� � B� ��# BJ ������� !��"� *��� +8��� ��� �F ��# �H ��� �� )� ���� � ����� � ���� ��9
+������ <3
�
�%&��
������� +�� =
%��
������� +�
���C
3@ � ����� �����
−3 −2 −1 0 1 2 30
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Scores
Pro
babi
lity
clientimpostor
"�# ���
−3 −2 −1 0 1 2 30
0.2
0.4
0.6
0.8
1
1.2
Scores
HT
ER
(θ)
HTER(θ) of balanced classHTER(θ) of unbalanced class
"&# +,-."�#
−3 −2 −1 0 1 2 30
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Scores
EE
R(θ
)
EER(θ) of balanced classEER(θ) of unbalanced class
"$# -.."�#
B ���� 09 ��� -� ���" ��������# ������ ��# ��� � �*+J�� ��# ++J�� ���!��
��#
+����� <%&��� +�� = %��� +�
������= ���������
������� !��"�*���� �)� �"��� � ����� ��� ���� ��!� �� �������� ����� �� ��� ������ �� �� #���� ��# � ���
��,� ���� ���
* ��$%+��� �� ���#%"� #��� ",� ��$� �-��$"��
�" �� �� ��� �*+J �� ��� � ��� +8��� �� �F )� �,�� � ��" ���������# ��� �*+J �� � ��� ��� � � �� ��� �!������ �� ��� � ;�3 �� �,��� ���� �� �� �� � ��� ������� ��# ! ����� ������� ���� ��#) �� ��� ���� ��������� *�� �*+J ���!�� � ���)� � B ���� D��� *� � ����� ��� � ��� � � ����� B ���� 0�� �� �,�����#� ��)�!�� � � !�� � ���� � ����� �� �� ��) ���� ��� �����# ) �� �!����� ����� �����#� *� ! ���� �� �� � � ����� �� )� ����#��� ��� # 2����� � �*+J ��9
�� < +����� � +� ����� ��3
)���� +��� � ��� ���� � �� �� �� � ��� ������� ��# +� �� � ��� ���� � �� �� ! ����� ��������B�� ���� ����� ��� ���� ����# �� �!������# �� �� �*+J �� ��� �� �+������ �� +JJ �� ��� ���+������ 6 �� ��� ��� ��� ��#� ���� ������� ���" � !� # 2����� ��������
'�� �(��� ��� �����% ���
�� ��� ����) �� ���� �� ��� ����� � B� ��# BJ ��� ������# �8��� ��� 3� 6 2����� !����� � ���������� ) �� �� ���# ������
*�� # 2������ �����# �� �� �*+J �� ��� � ������ � ���)� � B ���� D��� B ���� D�� ���)�� 5���$ � !��� �� � ��� *�� ���� � ����� ���) ��� ��� � �� )���� ������ � ��� � !� ��� )����+� �������� � ������� ���� +���
������ )� �� � #�� ������?��� �� �� ��� +JJ �� �� ��� � �����# �� �� +8��� �� �H ��� +JJ ���!�� �� ���� ��� �� � ���
��# ! ����� �����#� ��� ���)� � B ���� D�#� �� �,�����# � � � � ��� �� B ���� 0�� ) �� ��� � �� ����� ��� �" ����� !�# #�� ��� � ���" ���������# ����� �� ��� �� �� � ���� ����� #��� ��� �;�3 +!����� ����� ��� �� ��� ��� ��� D�� ������ ��# ��� ������� ��� ��� @���� �������
*�� ���� # 2������ � ���� ��� �� � ��� ��# ! ����� �����#� �� � ���� �� � ��������# � ��� ���)� � B ���� D��� *�� 5���$ � !��� �� � � � ���)� � B ���� D�#�
������ �� �*+J �B ���� D��$� ��# ++J �B ���� D�#$ �� ��� � ��� ��� �����!� ���� ���! ����� �����#� ) �� �!�� ��� �� � ��� �����# �� �� ��� +JJ �� ��� � ������� ��� ) �� �� ��� � ���
� ����� ����� 30
��� ������ ��)�"� ���� ����� ) �� � �)� ����#� / � ,1 )���� � �3 ��# , ' 3� *� � � �� ���������"��� ��� ���� �� �*+J �� ��� ��
−1.5 −1 −0.5 0 0.5 1 1.50
0.2
0.4
0.6
0.8
1
1.2
Scores
HT
ER
OringialVirtual
"�# +,-.
−1.5 −1 −0.5 0 0.5 1 1.5−0.5
−0.4
−0.3
−0.2
−0.1
0
0.1
Scores
HT
ER
HTER differencewinning positions
"&# ��/* %' +,-.
−1 −0.5 0 0.5 1−0.01
−0.008
−0.006
−0.004
−0.002
0
0.002
0.004
0.006
0.008
0.01
Scores
HT
ER
HTER differencewinning positions
"$# 0%%�1�� %' "&#
−1.5 −1 −0.5 0 0.5 1 1.50
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Scores
Cla
ssifi
catio
n er
ror
rate
OringialVirtual
"�# -..
−1.5 −1 −0.5 0 0.5 1 1.5−1800
−1600
−1400
−1200
−1000
−800
−600
−400
−200
0
200
Scores
Num
ber
of e
rror
s
ER differencewinning positions
"�# ��/* %' -..
−1 −0.5 0 0.5 1−50
−40
−30
−20
−10
0
10
20
30
Scores
Num
ber
of e
rror
s
ER differencewinning positions
"'# 0%%�1�� %' "�#
B ���� D9 ������� ��� � ��� �� � ��� ��# ! ����� �����#� �� �� ���� �������� �� �� �*+J ��#����� -��� �� ����� �+JJ �� ��� � ����# �� ��� �!����� �� #��� ��� � ;�3� *���� ��� @���� ��������������� ������ �� �� D�� �� ��� ���������
'�� �&%���� ��� ��� ������) ����� �� ��� ��� *���
?� ��� �!� ���� ����� ) �� �� ��� � ��� ����#�# � / � ,1 �� ++J �� ��� �� ��� ��� � ��� �� #�����*�� ���� � ���� �� ��� # ����� ���# ) �� �� ��� � ��� �� ��� �*+J �� ��� ���
*� ����"�� �� � ����! ��� � � #�� ����� �� %��) &��) ���� ����� ��� �� � B� ��# � BJ � �� ����!����� ����'� *� � 8���� �" � G��� ��� #�� !�� !� � ��� ����� B�� ���� ��� �*+J ��# +JJ �� ��� ���� � #�� !�� !�� ��� �� ���������# ��� +8��� �� �C ��# �� ��9
Æ+������
�<
+��
�������
Æ%&��
�=
+�
�������
Æ%��
����
��#Æ+�����
�<
+��
������= ������
Æ%&��
�=
+�
������= ������
Æ%��
����
������� !��"��� � ����� � ���� ��� �� ������ � ������� � �!��"�� �� ���� ��� #���# �8��� ��� +� < +�� < 3
��# � � ���� � � � ������ � �� ��� ���� � �*+J �� ��� �� ������� � ��� BJ ����� ����� ��������
�� ���
���� )� �� ������� � ��� B� ����� ����� ��������
� 7�! ����" ����� ��� �� � B� � #�)����"�# �" ���
����� ��������
������� ��������
� ��������
�
*� � � � ��� ���� ��� �� ���# �" ���� �� ��� #�� !�# ���� ���� �� �� 5���� ?� ) �� ���#"���" ��� �*+J �� ��� �� ������� � � ���� ����!��� � �� � ���� ��� ��� ���� �� +8��� �� �� �� 5����������� ) �� +8��� �� �� ��# �@ � !��9
� <+��
�������
Æ%&��
�=
+�
�������
Æ%��
�
3D � ����� �����
� <+��
�������
Æ
�
�����
�
��
������(�
�=
+�
�������
Æ
�
�����
�
��
������(�
�
� <+��
�������� =
+�
�������� ��@
��#��# ����� �, ��� ��� � ���� ��������# �� ���� ��� � ��� ��� ���� �� ��� �� *�� ) #�� ��� ���������� )���� ��� ! ����� �����# ) �� �!�� ��� �� � ��� �����# ���� ) �� �� ��� � ��� ��� � ���� ��������� � �" ���� ��� ! ����� �����# ) �� ) �� *� � � ������� �� ) �� ��!� � ���� ������ � �" � ��� �� ��� ��� � ����� ) �� �� ��� � ����
'�� +��(��� ��� �����% ���
?��� ��� ���� � B� ��# BJ ��� # 2�����E B��� +8��� �� �� ��� � !��" ��� ����# ���# �� ����
� �� +� ) �� ������� �!������" ��� ����� ��� �� � � ���� )� �� � #�)����"�# �" !��" ����� �������
��#��# �� � � � ��� ��� ���� ������� ���� ���������� � � ��� !��" ��� ��� � � �� ����� �" ���� ��� ��������# �� �� ��� (��* ����#��# +� < 3� )� �� +�� < 3�
K� �� ����� ���!��� �� )� ���������# ��� ���� �����# �� �� �*+J �� ��� ���� �+� < 3�+�� < 3 ��# �+� < 3� +�� < 3� �*+J �� ��� �� � ���# ������� � � � ���� ���� �� � ��#����!��� �� ��� �� � � ����� � ������� ��� �� ���� ��� +JJ �� ��� ��� *�� ���� ���!�� ��� ���)� �B ���� F�
�� ���� ���� ��� �� ��� ��������# � ��%�� �� � !���� ���� ��� � ��� ���� ��� ���� ���� ��� ?����������# ��� ��� ��� ��������# �� �������� ) �� �� ���������# �� � � ��� ���� � �*+J� *��������� ��� ���)� � *���� F�
*���� F9 6 2����� ���� ��� �� �����#� � ! ����� ������ �� ��� �!����� �� ��� � ;�3�
+�� +� 7� � ��� 4����# A ����� 4����#4 �� ���� �� 4 �� ���� ��
3 3 ����3� $��0C3� ����H� $��D0��3 3� ���D@3 ������ ���D�0 ���F0C
3� 3 ��3�@� $��CF0@ ��3�C0 $��C��3
7� ��� ����� # 2����� ������� �� � ����� � B� ��# BJ ��� ! ����� �����# ����� �� �� ��������������� ��� ! ����� �����# #��� ��� �������� �� ) � �!�� ��� �� � ��� �����# �� ��� ����� ����� � � �� ����� ������ )��� �� �� ��� ��� ��� ��������#�
�� � �#��# �,� � �� �� �����!� � B ���� F�� ��# �� ��) ��� ! ����� �����# ) �� �!�� ��� �� � ��������#� � �� ���� � B� � !�� �!������� ������ �� ��� ! ����� �����#� ��!�����" � �� ���� � BJ � !�� �!������� ������ �� ��� �� ���� �����#� ��)�!�� �!�� � �� � # ��#!������ � ���� �� B ���� F�#���)� ���� ��� ! ����� �����# �� �� ) �� �!�� ��� �� � ��� �����# ) �� � !��" �����) ����# � / � ,1!������
�� �����# �� ����� ��# ���� ���� ��� ��������# � #��� ��� ��%� �� ��" !����� �� ��%�� � ���� -�!���� ���� � � � ��� ��� ����� �� ���� �� �� � ��� ��� ��������# �� ���� ) �� � / � ,1 ���� ��� ! ����������# ) �� ��)�"� �� ����-� ���
7�� ���� ��� �,������ �� �� )�" ����� �, �� � ����# / � ,1 � ��� ���� ����� ��� ��� �������� �"�� )���� ��� ! ����� �����# ) �� ) � �!�� ��� �� � ��� �����# � #�� �� ��� ��#��� �� � !�� ���� ��� �� ���� ��� ! ����� ������� ������ �� �� ��� �� � ��� �����#� ?��� !�� ���� ��#���� �� ���� ����� ��� ��# ������� ���� ��� ���% � # ��� ��� �� ) �� ������ � ���� ���� ����� � ��� �� � ��� �����*�� �� �� �� ��� ����� ���# ) �� �� ������ ��# �� ��� ������ �� �� ��� �� � ��� ����� �� � ������ ����!����� �� ��� ��� )���� ������ ��� ��#� ��#����� ?��� ������ �� ��� # 2������ ���)��� ��� ���� ���� �� � ��� �� � ��� ��# ��� ! ����� �����# ��� ! ����� �����# ) �� �!�� ��� �� � ��� �����# ����� ���� ���� ) �� �� ��� � ��� )���� ���� ��� �� ��� ��# ������� �!������� *� � ���� !��" ���)�
� ����� ����� 3F
−1.5 −1 −0.5 0 0.5 1 1.50
2
4
6
8
10
12
Scores
CH
TE
R (
CF
R=
1, C
FA=
10
OringialVirtual
"�# �%!� "��� 2 � ��� 2 ��#
−1.5 −1 −0.5 0 0.5 1 1.5−0.5
−0.4
−0.3
−0.2
−0.1
0
0.1
Scores
Diff
eren
ce o
f cos
t of H
TE
R
Difference of cost of HTERwinning positions
"&# ��/* %' $%!� �� "�#
−1.5 −1 −0.5 0 0.5 1 1.50
1
2
3
4
5
6
7
8
Scores
CH
TE
R (
CF
R=
10, C
FA=
1
OringialVirtual
"$# �%!� "��� 2 �� ��� 2 �#
−1.5 −1 −0.5 0 0.5 1 1.5−4.5
−4
−3.5
−3
−2.5
−2
−1.5
−1
−0.5
0
0.5
Scores
Diff
eren
ce o
f cos
t of H
TE
R
Difference of cost of HTERwinning positions
"�# ��/* %' $%!� �� "$#
B ���� F9 ������� ��� � ��� �� � ��� ��# ! ����� �����#� �����# �� �� ���� �������� �����# �� ����� ���� � �*+J ����# �� ��� �!����� �� #��� ��� � ;�3
)�" ��� ! ����� �����# � ��� ��� �� ����� �� )� ���# ���� ���� ) �� �� ��� � ��� ��� ��� � ������� ����� #�� �� ��� # 2����� ����� �� �� ��# ���� � B� ��# BJ �����# �� �� ��� �*+J �� ��� ��
�� � )��� %��)� � ��� ������� � ������� �� ���� ��#��� �� � !�� ���� � !�� ���� �������� ������ ���� ��� �� ��� ������� � �)�$����� ����� -��� �� �� ���������" ���# �# ���� ��#��� �� � !�� �����" ����� � �!���� �� ! ����� ������� ���� ���#� �� ����!�# ����� -��� �� ��� ������� � ���� ++J��# �*+J �� ��� �� B���������� ��� �� � � ++J �� ��� � � ���� ���� ����� ������� ���� ����� � � �*+J� �� �## � �� �� �� � ��!����!� �� � �� ���� � B� � � ����� � ������� ��� �� �!������ � ! ����� �����#� �� � ������� �� ��� ! ����� �����# � �� �2��� !� )�" � ����! �� � �������� ����� � ������� ��� �� �"���� )��� ���" ��� ������ � �!� ������
��.��/%�( ����"
*�� ������� ) �� �� ����% ��� �) �� (�� ���� �� ���� B���#�� �� �� ������� �� �� � )��% ���������� (�� ���� ������ � ���������� � J������� �(��J �� &�������� !� 4��� ��#�� �� ����� ��4��������� ��4�'� ���� �� ����%� �� �� ��� �� �� 4����� )�� ���! #�# ��� ��� ��# 4;� ��#����