11
On Bayesian consistency Stephen Walker University of Bath, UK and Nils Lid Hjort University of Oslo, Norway [Received April 2000. Revised May 2001] Summary. We consider a sequence of posterior distributions based on a data-dependent prior which we shall refer to as a pseudoposterior distribution) and establish simple conditions under which the sequence is Hellinger consistent. It is shown how investigations into these pseudo- posteriors assist with the understanding of some true posterior distributions, including Po  lya trees, the in®nite dimensional exponential family and mixture models. Keywords: Asymptotics; Bayesian sieve; Bayes nonparametrics; Consistency 1. Introduction Asymptotics play an important role in statistics. In classical density estimation this role is crucial, providing justi®cations for a wide range of nonparametric estimators such as kernel- based estimators and sieve maximum likelihood estimators Shen and Wong, 1994; Wong and Shen, 1995) and other nonparametric estimators see, for example, van de Geer 1993)). Establishing consistency and rates of convergence with respect to a suitable metric, typically the Hellinger distance, is the key point to this area of research. However, Bayesian nonparametric methods have only recently started to undergo asymp- totic studies. Early work was done by Schwartz 1965) who established that a prior which puts positive mass on all Kullback±Leibler neighbourhoods of the true density is weakly consistent. Previously, Freedman 1963), and later Diaconis and Freedman 1986) in a more natural setting, had demonstrated that priors which put positive mass on all weak neigh- bourhoods of the true distribution function are not necessarily weakly consistent. Recent attention has switched to studying and ®nding suf®cient conditions for strong Hellinger) consistency. Suppose that is a prior distribution on the set of all probability densities over an interval or region of interest. As data x 1 , x 2 , ... accumulate from some unknown underlying density f 0 , will the Bayesian posterior distribution n . . jx 1 , . . ., x n concentrate around this f 0 ? Barron et al. 1999) presented one such Bayesian nonparametric consistency theorem; the corresponding theorem of Ghosal et al. 1999a) is of a similar nature. Barron et al. 1999) made two assumptions to prove consistency in the Hellinger metric, i.e. n f f : H f >g! 0 almost surely Address for correspondence: Stephen Walker, Department of Mathematical Sciences, University of Bath, Claverton Down, Bath, BA2 7AY, UK. E-mail: [email protected] & 2001 Royal Statistical Society 1369±7412/01/63811 J. R. Statist. Soc. B 2001) 63, Part 4, pp. 811±821

On Bayesian consistency

Embed Size (px)

Citation preview

Page 1: On Bayesian consistency

�� �������� ��������

������� ����

��������� � � ��� ��

��� �� ��� �����

��������� � ���� ���

��������� ���� ����� ������� ��� �����

� ������ �� �������� � �� !���� �" ��������� ������#!����� #���� �� � ����$��������� �����%&���� &� ��� ��"�� �� �� � ���!����������� ������#!����' ��� ����#��� ��(�� ���������� !����&���� ��� �� !���� �� ����)�� ����������� *� �� ���&� ��& �������)������ ���� ����� ���!��$���������� ������ &��� ��� !�����������) �" ��(� ��!� ��������� ������#!�����+ ���!���) ,�- �� �����+��� ��.���� ��(������� �/�������� "�(�� ��� (�/�!�� (�����

������0 ���(�������1 2������� �����1 2���� �������(������1 3����������

�� ����� ���

���������� ��� �� ���� ���� �� �� ���������� �� ����� ������� ���������� ���� �� �� ���� � ������� ������������ �� � ���� ���� �� ����� ���� � �������� � ��� �� �� �������� �������� � ��� ����� ������� �������� �������� � � ��� ��� !���� "##$% !������ ���� "##&' ��� ���� ����� ���� � �������� � ����� �� ������� ��� �� (�� �"##)''�*���������� ��������� ��� ���� �� ���� ���� ���� ����� �� � ������� ��� �� ��������� +����� �������� �� ��� ��� ����� �� ���� � �� �� ���� ��+����� � ,������� ����� ���� � ������� ���� ��� ����� ��� ��� �� ���� �� ������

���� �������� *� � �� � ��� ���� �� ��� �- �"#.&' ��� ���������� ���� � � �� �������� �������� ���� �� � /����01���� �������� ����� �� ��� � �� ������� �� ��������������� 2 �������� 3 ������ �"#.)'� ��� ��� 4������ ��� 3 ������ �"#5.' �� � �� ����� � �������� ��� ������� ���� ���� � �� � ���� ��� �������� ���� �� � ���� ��������� ����� �� ��� � �� ���� ������� ������� � � ��� ������ �� ����� ���������� 6������������� ��� ������� �� �������� ��� ������ �������� ��������� �� �� ��� �+����� '���������� ������ ���� � �� � � �� ���� ������� �� ��� ��� �� � � �������� ��������� ��� �� ���� ��

� ����� �� ���� ���� �� ���� �"� �7� � � � ������� � �� ���� ������� ���� ���� ��������8� �� ��� ,������� ����� �� ���� ������� ����� � �����"� � � �� ��� ����� ��� � ���� �����89 ,� �� �� ��� �"###' � ������� ��� ��� ,������� ����� ���� � ��������� ���� ��% ���� ��������� ���� �� �� (���� �� ��� �"###�' �� �� � ����� ���� �� ,� �� �� ��� �"###'���� ��� ����������� �� � ��� ��������� �� ��� +����� ��� �� ����

��� � : � � � � �� � 8 ����� �� ��

���� ��� ����� ��������: ������ !��� � 4��� ����� �� ;��������� ������ <���� ���� �� ,���� =��� ���4���� ,���� ,�7 >�?� </�4$(��0 (���)&5(�����#�������!

� ���� ���� ���������� ������� �6789:;��<��<76=��

�� �� �� ����� ��� 2 %����'��+ � �� ;+ ��� =��9=��

Page 2: On Bayesian consistency

��� �

� � � ���

� �� �

�8�7

�"�7

��7

�"

����8 � �

��"�7

�� ��� +����� �������� @�� � �� �� ���� ��� � �� ���� �������� ���� �� � /����01���� �������� ����� �� ��� � �� ������� ��� ��� ����� �� � ������� ���������� ��� ��� ��������� �������� � ���� ��� � ��� �� ����� ������� �3� �� �� ������ �� ��� �������� �� � ����� �� � ��A���� ���� �� ���� �� ��������� ����

� � �� �������� �� ��� ����� ���� ���� � � ��� ��� B�����C� @��� �� �� ���� �� � �� ����� � ��� �� ���� � ������ ���� �� ��� � � � ���� ��� � �� �� � �� � �� ��� ��� � � �" � � � �� � ���

���� ����

�� �� � "� � ��� �� � �� ����� ���� � ����'� @�� ����������� �� ����� ��

+����� ��������� �A�� �� �� ,� �� �� ��� �"###' � � ���� ��� ����� �� �� � ����� �� ���� ���� ��� �� ���� �� � ��� � ���� ���� ������� �� � ��� ������ ���� �� �� ����� � 8� ��� ���� ��� � �� ���� �� ��� �������� ���

���� �� ����������� ���� @�� ��� � ���� �� ��� �� � �� ���� �� ��� ����� ��������� ��

����� ���� �� �������� �� ��� �� ����� 7� �� ��� (���� ��� +���� �"#57' �� ��� ��� �� ������ �� ����� ���� �������� �������� ���������� � ������!���� ��� �"##5' ��� � ������ � ����� �� +����� ���������� ��� ��� !���� ���

�788"' ��� (���� �� ��� �7888' � ����� ���� �� ���� �����=����A������ ����� � ����� ���� � � �� �� ���� ������ ��� ������ ���� �� �������� ���

���� �� �� �A�� ������ �� ��� ,� �� �� ��� �"###' ����� �� �� ���� ��� ���� ������� ������� ��A���� ��� ���� � �������� "� +����� ���������� ������ ����� ���� ��� ���� � �� ���� �� ������� �� ���� ��� ������ ��A���� �� � �������� ���� ��������� ��� ����� ���� �� ���+����� ���������� ;� ���� � ������� ���� ��� ��������� �� � �� ��� ���� ��A���� �� ����������� � � ���������� ��� ��� ����� ���� ����� ������ �� � �� ��� ���� ��A���� �� ������������ �� ��� ��� � ��������� ������ �� ��� ���� ��A���� �� �� ��������� � � �������� �� ��� � ��� ����������� ���� �� ��� �� � ��� ��� �� ��� ���� �� ���� ���� @��� �� �� ����� � ��� �� ���� �� ��� ����� ���� � ������ ��� � � �� ������ ������ �� ���� ����� ��� �� ��� �� A��������� ���� ������� +��� �� �������� � ���� � �� � ��� ��� ����� ���������� ���� ���� � �� �� ����� ���� �� � ���� �������� ���� �� � /����01���� �������� �

����� �� �8 ���� ��� � ������ � +����� ��������� ��A���� �� ��� ����������� �� ���� �������� �����1�� �� � ��"� � � �� ��� ������ ��� ���� �� ����� ��-� �� ���� �"� �7� � � � ���4 �8� ��� � �8 ��

��� � �� �������� ���� � ��������� � �������� ���� ������� �8� ���� � ���

�� � � ���8 ��� �8�� �

�� ��� /����01���� ���� ���� � �� �8 �� �� ��� ��

� � � � : � � � � ����� � � � : �� � �� ��

���

��� � � �����"

������ �8�����

=�� �� � ���� �� �� �� !��

Page 3: On Bayesian consistency

!� ���� ����� �� �� �� ���� ����� �� ��� 1������� ����� � ��� ��� ���� �� �� ���� ������������ � � ������� �� �� �������� ������� ���� ��-������ � � ����� ��� ����� ����� 7 �� ��� ���� � ��A���� �� ����������� �� � ���� ���� ��� �� � +�����

��������� ��A���� �� �������� � �� �� ����� ) ������ � ���� ���� ������ ��� � ��� ��� ���� ���� ��� ��� ����������� �� � ������ ���� ��� ���� �������� �� ��������� �� ��� � ������� �� �� @�� ���� �� ,� �� �� ��� �"###' �� ���� �� ������� �� � � �� �� ��� ��������� �� ���� � ����� ����� �� � �� �� �A�� ��� �� � ���� �� ����� ������ � �� ����������

�� � �������� ��� ��� � ������� ����

(���� � � �� � �� � ���� �� � �������� ���������� ��� � �� ,������� ����� �� ���� ������� ������� ��

���� � � � ��� � ���� � ���

��� � ���� � ��

=��������� �� ��� ��A���� ���� �� ��� ��� ������ ���� ��� ��������� ���� �� ��� ��� �� �� �������� ��'� ���� � ���� �������� ���� �� � /����01���� �������� ����� �� �8�,� �� �� ��� �"###' � ������� � ����� ��������4���� ��� ����������� �� ���� ������� ����� �� � ��

���� � � � �"�7� � � ���� � �

���"�7

� � � ���� � ��

!� �� ���� ���� �� ��� �� ��� ����: �� � � ����� ��� �������������� �������

��� � � �����"

� "�7�����

���� �� ��� ���� �������� �A�� � �����% ��� ������� ��� � ��� �� ���� � �������'� ��� � ����� ��� �������������� � ��

���� � � � ��� � ����

��"� "�7�����

!���� ��� �7888' ���� � ����� ��� �������������� �������0�������������� � �� ���������� ��� ��������� � ��� ���� �� ����� � ������ �� ���� ��� �������������� � �� ��!���� ��� �7888'� �� �� ��� ��������� � ��� ���� �� ��� ����� �� � ���� ������� ��� ������ �� �� ����� ���� �� �� � ��� � ����

��"�7

� � � ���� � � ���

��� � ���� � ��"�7

���

� ����A���� �� ���� " �� ,� �� �� ��� �"###' ���� �� ��� �� ���� �� ���� ������"�7

� � � � ��� � � �� 8�!� ��� � ��� ����� �� � �������� �������� ��'� ���� ���� ��� ���� � �������� "� +�����

���������� @�� ����� ��� ��� � �� �� �� � �� �� ��������� ����� �� ���� �� ���� �� �� � ���

���� � � � ����"7� ��� � ����� � ��

� ��� � "�������� =�6

Page 4: On Bayesian consistency

��� � ��� � � � �" ����" ��� �8������ ������ @�� � ����� �� ��������� ���� �� �� �� � ���

�� ��������� �� ���� ��� � � � 8 ���� ��� ��� ������� �� ��������� � � ����� �������� ������ ��������� ��� ������ �� ��� �������������� � �� ���� ���� �� ��� ���� � � ���� ����� ����� �� � �� ���� ������ ��� � �� �� �� ������ �� � ,������� ����� ���� ��������������������� ���� ���� ������ �������� �� �� � ����� ������� �������� �������� � ���� �������� ��������� ���� ���� ��� � � ��� � ��� ��� ������ ���� � � ���� ��������� ��� ���� ������ ���� � �� ��� ���� ��� ����� D� ��� ��� �� �� ��� ��� ���� �� ������������� � �� � ,� �� �� ��� �"###' ������� �� ���� ��� ������ �� � �� ������ ��� ���� ������

������� � <��� ���������� ��'� ���� �8 � �������� "� ����� � 8 ���� ���������� ���� �� � � � �� � ���� � ���� � � 8�

!����� !� �� � ��� ����� ��

����� ���

�"�7� � � ���� � �

���"�7

� � � ���� � ��

@�� ���������� �� �� � ����� ��

"� ������"

7� ��� � ����� � ��

@���� �� ��� � � 8�

�������"� �

��7�

���� "7��7� ��� � ������ � ��

� ������� ��� ��� �� ,� �� �� ��� �"###' ������ ) ��� $'� ����� �� 3����C� ���� ����������� ��'� �������� ���� "� � ������� ����� �� �� �� � �� � �� � � � 8�3� ��� ���� ��� � �� �

��

�"�7� � � ���� � ��

� ��

���

�"�7� � � ���� � � � �������

�� �������

��

������8�

��

��� � �

� ���������

�" "7� � �7�� ��� � �

� ������ "7��7��

@���� ������� � � "7�7� ��� ,� �0=����� ���� �� ����� ���� �� � ������� ����� �� ��

�� � �� � �� ��� � � "7�7� =����A������ �� �� ����� � � � ��� ���� ����� � �������

����� �� �� �� � �� � �� ��� � � "7�7� �������� ��� � ����

@�� �������,���� �������� ����� �� ��� ��A���� ���� �� ����� ��

� ���� ���������� � ��

+� � �� �������� ���� � � � �8 ����� �� �� ���� ����� �� ��� +����� ��������

������� #� � � �� � � ����� �� �� �� � �� � �� ��� � � 8 ��� ���� � � �� � 8 ������� ���

!����� <���� � �� � " � �� ,� �� �� ��� �"###'�

=�; �� � ���� �� �� �� !��

Page 5: On Bayesian consistency

7� � ���� 7� � ����� � � �

��

7� � ����� � � ����

7� � ����� � ��

E�� 7���� 7 ��

7� � ��� 7����� � �7�

�������� ��� � ����

=���� ���� ���� �� � � �� �� �� ���������� �� ����� ����� � �� ��� ��� !���� ����788"'� 1�� �� �� �� �� ���� 7 ��� ���� �� 7 �� ��� ��� !���� ��� �788"'� ������ ������� � �� � ��A���� �� ��� ���� ��� � �� �� � 8 ��� �� � ".��� @���

7� � ��� 7 ����"7���� � �7�

����� �� �� �� � �� �� �� � ��A����� ���� ��� ����

������ "7�7� ���� ���

@��� ���� �� ����� �����

�"�7� � � ���� � � � �������� ����� �� �� �� � �� �� @�� ���

��� ��� � ������� �� ��� ������ ��-�� �� �� ��� ���

�� ��� ��������

�� ���� ������ �� ��� ��� �� ���� � � �� � ��� ��� ��� ��������� �� �� �� ��� �� ���������� ����� �� ��� @�� ���� �� ,� �� �� ��� �"###' �� � �������� �������� �� +����� ��������� �� ��� � �� � �� �� ��� � ������ � �������� ��� �� ��� ����������������� ��� �� �� � ���� �� �A�� �� �� ���� ����� ����� +� � �� ������ ������ �� �� ������� ����� ������ �� �� ,� �� �� ��� �"###' ��� (���� �� ��� �"###�'� ��� ������� �������� ������� �������� ��������� �� ��� +����� ��������� �� ���

#�$� �%� �����!� ������ 2�F �� � ��� �� G8� "H ���� �� ������ �� ��� � ��� ����� ���� ���� @��� ��� �������� ������ �� �� ,� �� �� ��� �"###'� 2�F �� � ��� ���� ��-� ��� �������� ��� ��������� 4� ���� � ���� ��� ���� ���� ���������� �� 1����� �"##7' ��� !��� ��� ;����"##>' ����� ���� ��3� ��� ���� �� �� ��� ����� ������ �� ����� � ����� �� ���� 8 � $%� � "�

� � "� 7� � � � ��� % � "� � � �� 7�� �� % �� ��� ���� $%�"� � " $%� ��� ��� �$%�� �� % ��� � ������� ������������ 4���� ��� ����� � �������� ����� � � ��

��&%�� �����"

$�� %��

��� &%� �� ��� %�� ����� ���� �� �� �� ��� �� ����' �� ��� �� +� � &�� %��� �� � � "� � � �� �� � ���� ���A�� ��A���� �� ����� ���� ��� ���� ���� �� &%���� ��� ,� �� �� ��� �"###'� �� ������ ���� $%� � ������ ��� �� � ��� %� / ��� �"#.$'

���������� ���� �� �� �"� �� ���� � �� � ����� � �������� ����� � ���� ��� � �������

���� ����� �� ��� 1������� ����� � �� G8� "H� �� ��� /����01���� ���� ���� ������� �8��� ��� � �� � ������� �� ����� ��� �� �

"�7� ��� ������� ����� �� �������� �,'� ����

� ��� � "�������� =�>

Page 6: On Bayesian consistency

��� 2�F �� � �� � �� ���� �������� ���� �� � /����01���� �������� ����� �� �8� ��(���� �� ��� �"###�'� ������ ���� �������� �,' �����<��� �� �������������� � �� � �� ���� �� ��� ��� � ���� � ��� �� ��� ����� �� ��

��� $�%� � � ������ �� ��� %� ��

$�%� � ����� � �%��7� �� � �%�"��7��

+����

'�$�%�� �

�� � �%��7

7�� � �%��7� �%�"��7� 7�� � �%�$�� � �%� � �%�"�

���� �� �� � �A�� �� '�$�%��� ��� � $�

%� � � �������� �� ��� � �� ����� �� ����� �� � 2�F ��� �� � �� ���� �� ����� � 7���=����A������ ��� ������� ������� �������

� ���� � �����

�7�

����"

'�$�������

��

����

� ���� � �����

7�

����"

7�� � ������$�� � ��"����"

��

����� �� ��� �������������� 2�F �� � �� � �� ���� �� ����� � �� �� �A������� �� ��� � ��� ������� ������� ����� �� � 2�F �� � �� � �� ���� �� ����� � 7��� @��� �������� ���� ���������� ����� �� ���� ������� �� � 2�F �� � �� � �� ��� ��� �� ��������� ���� �������� �,'�,� �� �� ��� �"###' ���������� �� � 5� �� ����� �������� �� ����' ��� � ������� ������� ����������� ���� �������� �,'� E��� ���� ���� �A�� �� ��� ��� ���� ��� �� � 5� ���������

#�&� '�(���� ��)����� � �*������ � � )��+� � �� ������ �� ��������� �������� ��� ������� ���������� ���������� ����� �� G8� "H�,� �� �� ��� �"###' ��� ������ �� ���� ������ �� ������ )�) �� ���� ���� � D ����� �� ��� ����� ������� ��� ���� �� 1���� � �"#>5' ��� 1��� �"#55� "##"' ��� ������� ���� ���� ��������� ��� ���������� 1�� � � ��%��%�" �� � ��� �� ����������� �� �� ����� �� ��������� -� � ����� ��� �� ����� � 7% � ��� �%��%�" � ��� �� � ������� ��������� �� G8� "H� @���� ����� ������� ����� � �� ��� � �� ���� �� ����� ��

���� � ���

��%�"�% %��� ����

��� �

��������� �����

��%�"�% %���

����

,� �� �� ��� �"###' ���������� ��� ��������� �% �%% �� ��� �% �%% ��� ��� � �% ����� �%���� ��� �% � ���� �

%����� �� ����� �������� �� ��� ��������� �� ������+� � �� ������ ��� �� � ���� � �� ���� �� ��� � �� ������ �� �� 1��� �"#55� "##"'�

1�� � � 1E ��� �� �� �� ���� � ( ��� ��� � ( ��� �� � ���� ��-�� ����� �� � ���� �������� ������� � �� ��� �-�� ��

=�7 �� � ���� �� �� �� !��

Page 7: On Bayesian consistency

� �� ��

��(��� ��

���( �

��� � �� ������ � ����� �� � ����� ���� �� ( � � ���� (��� � ����)����� )��� �� �(������� � ���� ���� ���� ����� ��� ���� *� �� ��� ��� ���� �� )��� ��� )�*�� �� 1����"#55' �� �� ��� ������� @��� ��� � �� ����� �� �� � �� ����� �� 1E ���� ��� �' ��� ������ � ���� ��� ���� ���� �� � � ��� � � �� @�� ����� �� �� �� ������� �� ��

�� ���� ��� �-�� ���

����� �

��

(����"�7��

(��� ��� ��7

���(��

��� ���� �� �� ���� ���� ��� �� ��� � �� ����� �� ����� �� ��� ��������-����������� � ��

� � 1E ��� ��7� � ��7�� @��� ���� ����� � �� ���� ��� " ��� 7 �� 1��� �"#55'� ,�������� � ��7 �� ������ ��� � �� �� ,� �� �� ��� �"###'� ���� � � 1E ��� ��7� 8�� ��1��� �"##"' �� ���� ��������� =����A������ � ������ ���� 1E ��� ��7� 8' ���������������� ��'� ��� ��A���� �� ����� �� ���� �������� �� +����� ����������

#�#� � � )����� � )�����1�� � � ���% ��% � � �� �� � ����� �� ��������� ���� ����� �� 1������� ����� � ���������� ���� �"� � � �� �� � � ����������� ��� �������� ���� ������ � �� ���% �8� ���� �8 � ��!� ������ ���� �� � � ��� ��� ������� �������� �������� � ������� 1��� �� � � �� � ���������� � ��� �����

"���� �����"

����% ������% �8�

������� +� �� ����� � 8 �� � � � 8 ����

������ ������� ""�7� � ���

����� �� �� �� � �� � �� ��� � � 8 ��� � � "7�7�

!����� !� ����� ����� � ""�7� ������� ��� � �� ����� ���������� �� ����� 7 �� ����

���� ����� � ������� ����� �� �� �� � �� � �� � � "7�7� �� �� ���� �� ��� ���� ����� �

""�7� �������� ���� �� � � ������

����� � ""�7� ��������

�""�7

� ���������"���������

E�� �""�7

� ���������"���������

�"�

"���������

� �

���

"�7

��� ��� ���������� �� ������� ���� ����� �� �� �� � �� � �� ������� �� ��� � � 8�@���� ����� ��� ��������� ���� �� ��� �� ����

� ��� � "�������� =�:

Page 8: On Bayesian consistency

����� � ���� "7��� ������� ""�7

� � �� ���� ���� ��� �����

=����A������ ��� ��������� �� �� �� ��� ������ �� ��� "�� ��� �� �� �������� =������������ ����� ���� �� ���� �� � ������� �� ��� �� (�� �"##)'� ��

,��� � �����% ������% �8�� "

���

����

�,��� ���� ��8 �� � 8 ����� �� ��

��� � �� �� ��� ���� �� ���� ������� �������� ����

�� ����

�"

����""�7

� � ������ 8 ����� �� ��

��� ��� ����� �� ��������� ���� ����� ��� ��(�� �"##)'� ���� �� 7�$� � ������ �� ��� ����������� �� ����� �������� �� ��� ����� ����� � �� �� � �� ����� � ���� �� �� � ���

#�+� ,�*�-�� )����� ���� ������ �� ������ ��� ��� ���� ���� � �

��� �� �!���� ��� � � �� � �� ��������� ���� ��������� � ��� ! �� � ����� � �������� ���� �������� @��� �� ��� ���������� �� �� (���� �� ��� �"###�' ��� ������ �� � 4� ���� � �� �� ! ��� ���� � �� ����� �� �� ������� ���� ������ � ��������� �� � � �� �� �8� �' �� ��� �������� �� �� @��� �� ��� ���� �� ��� ��� ���� ����� � �� 4� ���� � ���� ����� ���� ��� ���� ����� ���� ��,������� ����� ���� � � ������ ��� �� ������� *���� ��� !��� �"##&'�!� �� � ������ ��� � �� �� ! ��� �� ��� � �� �� �� ������ ��� ���� �� �� ����� ��-�

���������� 3������ (���� �� ��� �"###�' �� � ��� ���! �� ������ � ����� ������� ���� ����� �� �!���� !� ��� ��� ��� ��� �� �� ������� �� � !� �����

,��!��� ���

"�7� �� �� �!���

�7

��� ���� ���� ,��! � ���!� E�� �� �� ������ � �� ��� ��� �

������ �

��� ���!� ����� �����!����� ���!� ����� �����!�

@�� ���� ��� �� �� � ����� ��

�� ��

���

�8����"��

����� �� �!���

������ �����!��

��� ����� ��� ��� ���� ��-� � "�7

�� 7� �-��"�7�� ��� � �" � �"�$ 7

�� �� ����

�� � �� ��

�8����"�7�

�"�7� � ��� 7

��!����7 ����� �����!��

=�= �� � ���� �� �� �� !��

Page 9: On Bayesian consistency

@�� ���������� �� �� � ����� ��

"� � �� ��

�8����"�7��"�7

� �,�� 7�

�!����7 ����� �����!��

!� ��� ��� ��������-����������� � �� ����� � ���7����� ��� � ���� �� � � ��� � ��������������� �� �� ��� ���� �� ���� � ���� ����� �� � ������� �� �A�� � �����

� ���� �� �� �� � � 8�

=����A������

�������

�"�7� � ��� 7

��!� ���� �����!��

�"�7� �,�� 7

��!� ���� �����!�

�� � � ���� !�: � ��� 7�

�!� � �� ���� �� ���� � �� � ������ ����� ���� ��� ��� ���� ��� �� � ������� ����� �� �� �� � �� � �� ��� � � "

7�7� @� ���� � ������ ����� �� ���

���������� � ���� �� ���� � ���� ��� ��� ���������� "� � ������� ����� �� �� �� � �� ��� � ��� � � � � 8� �� �A�� � ����

�I���,�� 7�

�!� � �� � 8

�� � � � 8� ��� � �I��� �!� � �������!�� =�� � ���� ��������� ������� ���� ���������� � � ��� ������� �� � �� ����

����� � �� �� �� � � 8� �� � �������� �������� ��

��� +����� ��������� �� ����� �� � ����� �� ��� ��������-����������� � �� ����� �!� ���������!��

�� ��� ����

�� ��� �������� ����� � � �� ������� ��� ������� �������� �������� � ����� ���� �������� �� ���� �������� � � ���������� ��� ��������� �A�� ����� �� ��� ,������� ������������� ��'� @�� � ���� ���� ����� �� ���� ������� �������� �������� � ����� ������ �������� ��' �� ��� �� �� ���� �� � ��� ���� ��� �� �8� ���� �8��� � � ��� % ��% � � ���+���� ���������� �������� ��' ��� ��� ������������ �� � ������� �������� �������� ����� �� ������� � � ����� ������� �� ��� ����� ������� �������� �������� � ,� �� ����� �"###' � ������� � ,������� ������� ���� ���� ��� � ��������� �� �� ��� ��� ����� ����� �� � �� ���� �� ��������� ���� �� � �� ��� ���� ��� ����� @�� ������� � �������� ���� ���� ���� ��� ���� ��������� �� ���������� ����� � �������� ��������� �� ��� � �� ��� ��� ����� ���� ,������� ��������� �� ���� ����� �� ���� �� ������ ��� � ��

�� ������ ����� �� ���� � �� ���� �������� ���� �� �� ���� ���� ��� �� ������ 3� +����� ���������� ��� � ��� �������� ��������� �� ��� ,� �� �� ��� �"###' ���� ����� A���� ������ �� �� ���� !� ���� ����� ��� �� ���� �� � +����� ��������� ��A���� ������������� �� ���� �������� ����� �� � ���� ��� ���� ��� �������� ���� ������ ������� �� � ������ ;� ���� � �� �� �� �� �� ���� ������� ���� �� ����� )� ����� ���� ����� �������� ��� ��������� �� +����� ��������� �� ������ � ����� ���� � � �� ����� �� ����� ������ �� �� ,� �� �� ��� �"###' ��� (���� �� ��� �"###�'��� �� ���� ��� ���� � ������� �� �� ����������� �� � �� � ������ � ������������������

� ��� � "�������� =�8

Page 10: On Bayesian consistency

� �� ������� ���� � �A�� �� ����� ��������� ���� �� �� ���� ����� ��� �������� �� ��

�� ����� ������� A�� �� ������ ��� ��� ����A���� �� J�������� ��� ��������� ���������������������� ��� ��J���� �� ��� ���� �� ��� ����� �� � 3 �� ���� �� ������� ��� �� �� ��������� �� � ���� ���*��, ����� �� ���� ��������� !��� �� ��� ����� �� ���� �������� �� ����� �� ���� ������� ������ �� ���� ��� ��������� �� ���������� ���� ��� �� ������� ����� � ��� ����� �� � ���� � ������������ � �� �� �� � ���� ���� ���� ��� �� �

���� ����

��"� ������

��� � 8 � � � "% ���� ���� ��� � ������ �� � ��������������

��� � � �����"

� "������

D� ���� � � "7�� ��� ���� ���� ��� +����� ������� ��� ����� ��������� � ������

+����� � ������� ������� � ������� ��� �� ����� �� � ��������� �� ��� ����� �� ���� ����� �� � ����� ��� �� ��� �� ��� ����� � �� ��������� �� ��� �������,������������

� ���� ��������

���� ��

���� ������� � ������� ���� ������� ����� ��� ������� ������� 7�� � � � " �

� �8 �"��

!��� �� � ��� �� 8 ���� ������� �� � � �� ��� ����� �� �� ��� �� ������ ���� ��� �������

������� ������

!� ����� ��� ��� ��� �� ���� ������� �� �� �� �� � ��� �� ��� ���� �

!��������

,� ��� ��� �� ����� ;� K� ��� !���� ���� 1� �"###' @�� ��������� �� ���� �������� �� ����� ���� � � ������

��� .���� ��� ��� &).0&."�4������� 2� ��� 3 ������� 4� �"#5.' D� ��� ��������� �� ,���� ���������� ��� .���� ��� ��� "07.�*���� � ;� 4� ��� !���� ;� �"##&' ,������� ������� ���������� ��� ���� ��� ����� ����� ��� /� �� .���� �� ��

��� &>>0&55�3 ������� 4� �"#.)' D� ��� ��������� �������� �� ,���� ��������� �� ��� ��� ��� ���� ��� 0���� .���� ��� ���

")5.0"$8)���� �� (�� � � �"##)' +����� ��������� �� � ���� ����� ���� � ������� �������� �������� �� ��� .���� ���

��� "$0$$�(����� � ��� +����� =��6� �"#57' E���� ���� � ������� �������� ���������� �� ��� ������ �� ������� ���

.���� ��� ��� $8"0$"$�(����� �� (����� K� /� ��� 6������ ���� 6� L� �"###�' 2���� �� ��������� �� 4� ���� ����� �� �� �������

����������� ��� .���� ��� ��� "$)0"&5�M�"###�' =��������� ������ ���� � ,������� ���� ��� ����� � ������ �� ����� � /� .���� �� !����, 1���� ���

"5"0"#)�(����� �� (����� K� /� ��� ��� �� L�� �� �� !� �7888' =���� ���� ���� �� ����� �� ���� ��������� ��� .���� ���

��� &880&)"�/ ���� =� +� �"#.$' � ��� �� ���� ������� ������� � ������ ���� ���� �� ��������� /� ���� !������� �� )5&0)55�1������ ;� �"##7' ��� ������ �� 2�F �� � �� ���� �������� �� ��������� �������� ��� .���� ��� ��� "7770"7)&�

=�� �� � ���� �� �� �� !��

Page 11: On Bayesian consistency

1���� 2� K� �"#55' @�� ������ �� �� ���� ������� �� ,������� ����� ���� � � ������� ���������� /� �� .���� �� �� ��� &8#0&".�M�"##"' @��� �� � � ������ ,������� ����� ���� � ������� �������� � &���������� ��� &)"0&$)�1���� �� @� �"#>5' 4������ ����������� �������� � ������ ��� � �� ���� ������ ����� ���������'� /� �� .���� ��

.��� ,� ��� "")0"$.� ��� �-� 1� �"#.&' D� ,���� � ���� ��� )� (��� ��� $��� 2���� �� "807.� ���� N� ��� !���� ���� 1� �788"' 6���� �� ���� ���� �� ����� �� ���� ��������� ��� .���� ��� ��� �� ��� � ���� ���� N� ��� !���� !� +� �"##$' =���� ���� ���� �� ����� �������� �� ��� .���� ��� ��� &580."&�!��� � � (� ��� ;���� ,� /� �"##>' +�� � ��� ���� ��-�� ���� ����� ��� � ���� ����� ���� ,�������

����� ���� � ������� /� �� .���� �� .��� ,� �� 5$&05.8�!���� ���� 1� �"##5' ��������� � ��� ���� �� ����� ���� � ,������� � ���� ��� "���� ���� .���� ��� 7#)0)8$�M�7888' ��������� ���� ��� �� ����� � ����� ����� �������������� � �� �� /� �� .���� �� .��� ,� �� "&#0

"58�!���� !� +� ��� ���� N� �"##&' 2 �������� ���A������� �� �������� ����� ��� ���� ���� ���� �� ����� ;1* �

��� .���� ��� ��� ))#0).7�

� ��� � "�������� =��