Upload
anasrachid
View
277
Download
0
Embed Size (px)
Citation preview
7/21/2019 Structures Statistiques Et Estimation
1/107
Dpartement de Mathmatiques et Informatique
A b d e l h am i d El M o ss ad e q
Professeur l HTP
7/21/2019 Structures Statistiques Et Estimation
2/107
A. El MossadeqMai 2008
7/21/2019 Structures Statistiques Et Estimation
3/107
TABLE DES MATIRES
1.Statistiqueetstructurestatistique 1
2.Fonctiondevraisemblance 3
2.1.Structurestatistiquediscrte 3
2.2.Structurestatistiquecontinue 3
3.Statistiquesexhaustives 5
4.Information
concernant
un
paramtre
11
4.1.Matricedinformation 12
4.2.IngalitdeCramerRao 18
5.Estimateurs 20
6.Lestimationparlamthodedelavraisemblance 27
7.Lestimationponctuelle 31
7.1.Estimationponctuelleduneproportion 31
7.2.Estimation
ponctuelle
dune
moyenne
32
7.3.Estimationponctuelledunevariance 32
8.Lestimationparintervalledeconfiance 33
8.1.Intervalledepari 33
8.2.Lessondages 36
8.3.Intervalledeconfiancedunevariance 37
8.4.Intervalledeconfiancedunemoyenne 39
8.4.1.n30 39
8.4.2.n
7/21/2019 Structures Statistiques Et Estimation
4/107
7/21/2019 Structures Statistiques Et Estimation
5/107
Structures Statistiques et Estimation A. El Mossadeq
1. Statistiques et Structures Statistiques
Dnition 1
SoitXun ala dni sur un espace probabilis(; T;P) valeurs dans un espaceprobabilisable(E;B) :(X1;:::;Xn) est un chantillon de taille n de variable parente X; ou plus sim-plement unn-chantillon issu deX, siX1;:::;Xn sontn alas indpendants quisuivent la mme loi queX:
Dnition 2
Soit(X1;:::;Xn) unn-chantillon issu dun ala Xdni sur un espace proba-bilis(; T;P) valeurs dans un espace probabilisable(E;B) et soitg un aladni sur(E;B)n :Lalag (X1;:::;Xn) est appel une statistique.La loi deg (X1;:::;Xn) est appel une distribution dchantillonnage.
Exemple 1
Soit(X1;:::;Xn) unn-chantillon issu dune variables alatoire X:Les variables alatoires :8>>>>>>>>>>>:
M = 1
n
nXi=1
Xi
S2 = 1
n
n
Xi=1
(Xi
M)2
sont des statistiques.
Mest la moyenne empiriqueetS2 est la variance empirique.
Dnition 3
SoitPune famille de lois de probabilit sur un espace probabilisable(;T).Le triplet(; T;P) est appel une structure statistique.
1
7/21/2019 Structures Statistiques Et Estimation
6/107
A. El Mossadeq Structures Statistiques et Estimation
Remarque 1
Le plus souvent, la famille de lois de probabilit
P est dcrite laide dun
paramtre appartenant un sous ensemble de Rp,p 1: On crit alors :P= fPj 2 g
et la structure statistique scrit :
(; T; fPj 2 g)
Exemple 2
SoitXune variable alatoire de P oisson de paramtre, >0 :
p(!) =!
!!e
o!2 N.La structure statistique associe est(N; fpj >0g) :
Exemple 3
SoitXune variable alatoire exponentielle de paramtre , >0 :
f(x) =
80La structure statistique associe est(R;BR; ffj >0g) :
Dnition 4On appelle un r-chantillon dune structure statistique(;T; fPj 2 g), lastructure produit :
(;T; fPj 2 g)r = (r;rT; frPj 2 g)
2
7/21/2019 Structures Statistiques Et Estimation
7/107
Structures Statistiques et Estimation A. El Mossadeq
2. Fonction de Vraisemblance
2.1. Structure Statistique Discrte
Dnition 5
Soit(; fpj >0g) une structure statistique discrte.On appelle fonction de vraisemblance, de cette structure, la fonction numrique
Ldnie pour tout(; x)
2
par :
L (; !) =p(!)La fonction de vraisemblance dun r-chantillon de cette structure est dnie
pour tout(; x1;:::;xr)2 r par :
L (; !1;:::;!r) =rY
i=1
p(!i)
Exemple 4
Si(X1;:::;Xr) est unr-chantillon issu dune variable alatoire dePoisson deparamtre , >0, sa fonction de vraisemlance est :
L (; !1;:::;!r) =rY
i=1
p(!i) =
rPi=1
!i
!1!:::!r!er
2.2. Structure Statistique Continue
Dnition 6
Soit(Rn;BRn; fPj >0g) une structure statistique dans laquelle les proba-bilitsP sont dnies partir de densitsf.
3
7/21/2019 Structures Statistiques Et Estimation
8/107
A. El Mossadeq Structures Statistiques et Estimation
On appelle fonction de vraisemblance, de cette structure, la fonction numrique
Ldnie pour tout(; x)
2R
n par :
L (; x) =f(x)La fonction de vraisemblance dun r-chantillon de cette structure est dnie
pour tout(; x1;:::;xr)2 (Rn)r par :
L (; x1;:::;xr) =rY
i=1
f(xi)
Exemple 5
Si (X1;:::;Xr) est un r-chantillon issu dune variables alatoire exponentiellede paramtre, >0, sa fonction de vraisemlance est :
L (; x1;:::;xr) =rY
i=1
f(xi)
= r exp
r
Xi=1
xi! ; xi>0 ; 1i
r
Exemple 6
Si (X1;:::;Xr) est un r-chantillon issu dune variables alatoire qui suit la loiuniforme sur lintervalle[0; ], >0, sa fonction de vraisemlance est :
L (; x1;:::;xr) =r
Yi=1 f(xi)=
1
r; xi2 [0; ] ; 1 i r
4
7/21/2019 Structures Statistiques Et Estimation
9/107
Structures Statistiques et Estimation A. El Mossadeq
3. Statistiques Exhaustives
Soit(; T;P) un espace probabilis etT une sous-tribu deT.Si A est un vnement deT et A la fonction caractristique de A,lesprence conditionnelle E[Aj T], que lon note P[A j T], sappellela probabilit conditionnelle de Arelativement la sous-tribuT:P[A j T]est une variable alatoire dnie sur(; T)dune faon unique(P-p.p) par : Z
B
P[A j T] dP =ZB
AdP
= P[AB]
pour toutB2 T:SiT est la sous-tribu engendre par une partition A1;:::;Ar de, alors :
P[A j T] =P[A j Ai] sur Aicest dire :
P[A j T] =rX
i=1
P[A j Ai] Ai
Si Test un ala dni sur un espace probabilis (;T;P) valeurs dansun espace probabilisable(E;B), on dnitla probabilit conditionnellede A relativement Tpar :
P[A j T] =P A j T1 (B)et comme :
P[A j T] =u T =u (T)alors :
P[A j T =t] =u (t)
5
7/21/2019 Structures Statistiques Et Estimation
10/107
A. El Mossadeq Structures Statistiques et Estimation
Dnition 7
Soit(;
T;
fPj
2
g) une structure statistique.
Une sous-tribuT deTest dite exhaustive pour la famillefPj 2 gsi pourtoutA dansT, la probabilit conditionnelleP[A j T] est indpendante de:
Dnition 8
On dit que la statistiqueT dnie sur(;T; fPj 2 g) valeurs dans unespace probabilisable (E;B) est exhaustive pour la famillefPj 2g si lasous tribuT1 (B) est exhaustive pour cette famille.Une statistique exhaustive est appele aussi un rsum exhaustif.
Proposition 1
Soit(; fpj 2 g) une structure statistique discrte.Une statistique T dnie sur (; T; fPj 2g) valeurs dans un espaceprobabilisable(E;B)est exhaustive pour la famillefPj 2 g si et seulementsi il existe une fonction positiveg dnie sur
et une fonctionh dnie sur
telle que pour tout(; !)2 on ait :L (; !) =g (; T(!)) h (!)
Preuve 1
SupposonsT exhaustif.
Si :
P[T =T(!)] = 0
il sut de prendre :
g (; T(!)) = 0
et :
h (!) = 0
6
7/21/2019 Structures Statistiques Et Estimation
11/107
Structures Statistiques et Estimation A. El Mossadeq
Si :
P[T =T(!)] 6= 0alors :
L (; !) = P[f!g \ fT =T(!)g]= P[T =T(!)] P[!j T =T(!)]
On peut poser donc :
g (; T(!)) =P[T =T(!)]
et :
h (!) =P[!j T =T(!)]puisque daprs lexhaustuvit, cette probabilit conditionnelle ne dpend
pas de.
Inversement, supposons que pour tout(; !)
2
on a :
L (; !) =g (; T(!)) h (!)Il sut de prouver que pour tout (!; t)2 E, la probabilitP[!j T =t]ne dpend pas de:
En eet, supposons :
P[T =t] 6= 0
si :T(!)6=t
alors :
P[!j T =t] = P[f!g \ fT =tg]P[T =t]
= 0
7
7/21/2019 Structures Statistiques Et Estimation
12/107
A. El Mossadeq Structures Statistiques et Estimation
si :
T(!) =t
alors :
P[!j T =t] = P[f!g \ fT =tg]P[T =t]
= g (; T(!)) h (!)Pf!2jT(!)=tg
g (; T(!)) h (!)
=
h (!)Pf!2jT(!)=tg
h (!)
Exemple 7
Soit(; fpj 2 g) une structure statistique discrte.Les familles de lois exponentielles :
L (; !) = exp" kXi=1
i() ai(!) +() +b (!)#
admettent des rsums exhaustifs.
Exemple 8
SoitXune variable alatoire de Bernouillide paramtre,0<
7/21/2019 Structures Statistiques Et Estimation
13/107
Structures Statistiques et Estimation A. El Mossadeq
alors :
L (; !1;:::;!r) = exprX
i=1
[(1 !i)ln(1 ) +!iln ]
= exp r [(1 T(!1;:::;!r))ln(1 ) +T(!1;:::;!r) ln ]= g [; T(!1;:::;!r)]
T est alors un rsum exhaustif pour la famille des lois de Bernouilli deparamtre ,0 < 0g) une structure statistique dans laquelle les proba-bilitsP sont dnies partir de densitf.Une statistiqueT dnie sur(Rn;BRn; fPj >0g) valeurs dans(Rs;BRs)est exhaustive pour la famillefPj 2 g si et seulement si il existe une fonctionpositiveg dnie surRs mesurable pour tout x dans et une fonctionpositive et mesurableh dnie surRn telle que pour tout(; x)2 Rn onait :
L (; x) =g (; T(x)) h (x)
Preuve 2
Admis
Exemple 9
Soit (Rn;BRn;f
Pj
>0g
) une structure statistique dans laquelle les proba-bilitsP sont dnies partir de densit f.Les familles de lois exponentielles :
L (; x) = exp"
kXi=1
i() ai(x) +() +b (x)
#
admettent des rsums exhaustifs.
9
7/21/2019 Structures Statistiques Et Estimation
14/107
A. El Mossadeq Structures Statistiques et Estimation
Exemple 10
SoitXune variable alatoire exponentielle de paramtre , >0 :
L (; x) =80Si(X1;:::;Xr) est unr-chantillon de cette structure alors :
L (; x1;:::;xr) =
8>>>:
r exp
rPi=1
xi
si xi>0 ; 1 i r
0 ailleurs
Posons :
T(x1;:::;xr) =1
r
rXi=1
xi
alors :
L (; x1;:::;xr) = r expr
Xi=1
xi!= r exp[rT(x1;:::;xr)]= g [; T(x1;:::;xr)]
Test alors un rsum exhaustif pour la famille des lois exponentielles de paramtres, >0:
Exemple 11
SoitXune variable alatoire normale de paramtres2 Ret2, >0 :
L (; ; x) = 1p
2exp
1
22(x )2
Si(X1;:::;Xr) est unr-chantillon de cette structure alors :
L (; ; x1;:::;xr) = 1
p
2rexp
" 1
22
rXi=1
(xi )2#
10
7/21/2019 Structures Statistiques Et Estimation
15/107
Structures Statistiques et Estimation A. El Mossadeq
Posons :
M(x1;:::;xr) = 1r
rXi=1
xi
S2 (x1;:::;xr) = 1
r
rXi=1
[xi M(x1;:::;xr)]2
On a :
L (; ; x1;:::;xr) = 1
p
2rexp r22
hS2 (x1;:::;xr) + (M(x1;:::;xr) )2
i
= g
; ; M(x1;:::;xr) ; S2 (x1;:::;xr)
puisque :rX
i=1
(xi )2 =rh
S2 (x1;:::;xr) + (M(x1;:::;xr) )2i
M; S2
est alors un rsum exhaustif pour la famille des lois normales de
paramtres 2 R et2, >0:
4. Information Concernant un Paramtre
Dans tout ce paragraphe, on suppose donn un vecteur alatoire n di-
mensions dni sur une structure statistique (;
T;
fP
j
2
g), ce qui
permet de trasporter la structure statistique sur Rn.
Par abus, on note P, la loi (P)Xdu vecteur alatoire X, et on suppose
queP possde une densit f.
On dsigne parD le domaine :
D = fx 2 Rn j f(; x)> 0g
11
7/21/2019 Structures Statistiques Et Estimation
16/107
A. El Mossadeq Structures Statistiques et Estimation
4.1. Matrice dInformation
Proposition 3
Soit(Rn;BRn; fPj 2 g), Rk, une structure statistique dans laquelleles probabilitsP sont dnies partir des densitsf.Sous rserve de lgitimit de drivations sous le signe intgrale et en supposant
le domaine :
D = fx 2 Rn j f(; x)> 0gindpendant de; pour tout
2, le vecteur alatoire :
@
@jln f(; X)
1jk
est centr.
Preuve 3
Puisque :
ZRn
f(; x) dx= 1
alors, en supposant lgitimes les drivations sous le signe dintgration et le
domaineD indpendant de ; pour tout 2 , on obtient :ZRn
@
@jf(; x) dx=
ZRn
@
@jln f(; x)
f(; x) dx= 0
pour toutj,1 j k.
Dnition 9
La matrice des variances et covariances du vecteur alatoire : @
@jln f(; X)
1jk
est appele, lorsquelle existe, la matrice dinformation concernant le paramtre
fourni par la structure statistique(Rn;BRn; fPj 2 g).
12
7/21/2019 Structures Statistiques Et Estimation
17/107
Structures Statistiques et Estimation A. El Mossadeq
On la noteI[X; ] :Lorsquen= 1,I[X; ] na quun seul lment appel la quantit dinformationde Fisher.
Pour calculer les lments de la matrice I[X; ] = [Iij], partons de la
relation : ZRn
f(; x) dx= 1
donc, pour toutj,1
j
n, on a :
@
@j
ZRn
f(; x) dx= 0
Sous reserve de validit des drivations sous le signe intgrale et en sup-
posant le domaine :
D = fx 2 Rn j f(; x)> 0gindpendant de, on obtient :Z
Rn
@@j
f(; x) dx =ZRn
@@j
ln f(; x)
f(; x) dx
= 0
Sous les mmes conditions on a :ZRn
@2
@i@jln f(; x)
f(; x) dx +
ZRn @
@iln f(; x) @
@jln f(; x) f(; x) dx= 0
do :
Iij = E
@
@iln f(; X)
@
@jln f(; X)
= E
@2
@i@jln f(; X)
13
7/21/2019 Structures Statistiques Et Estimation
18/107
A. El Mossadeq Structures Statistiques et Estimation
Remarque 2
En tant que matrice des variances et covariances, I[X; ] est symtrique et
positive.
Exemple 12
SoitXune variable alatoire normale de paramtres2 Ret2, >0:La matrice dinformation concernant les paramtreset est donne par :
I[X; ; ] =264
1
2 0
0 2
2
375
Remarque 3
Lorsquen= 1, la quantit dinformation de Fisher est :
I[X; ] = E"@
@ln f(; X)2#
= E
@2
@2ln f(; X)
Proposition 4
SoitI[X; ]la matrice dinformation de la structure statistique(Rn;BRn; fPj 2 g),
oR
k
et les probabilitsP sont dnies partir des densitsf, et soitI[X1;:::;Xr; ] unr-chantillon de cette structure. Sous reserve de lgtimitde drivations sous le signe intgrale et en supposant le domaine :
D = fx 2 Rn j f(; x)> 0gindpendant de; pour tout2 , alors :
I[X1;:::;Xr; ] =rI[X; ]
14
7/21/2019 Structures Statistiques Et Estimation
19/107
Structures Statistiques et Estimation A. El Mossadeq
Preuve 4
Puisque :
L (; x1;:::;xr) =rY
i=1
f(; xi)
alors :
Iij[X1;:::;Xr; ] = E
@2
@i@jlnL (; X1;:::;Xr)
= E" @2
@i@
j
lnr
Yi=1
f(; Xi)#=
rXi=1
E
@2
@i@jln f(; Xi)
= rE
@2
@i@jln f(; X)
= rIij[X; ]
Exemple 13
Soit Xune variable alatoire normale de paramtres 2 R et 2, > 0: Onsuppose que est connu.
I[X; ] = E
"@
@ln f(; X)
2#
= E1
4(X )2
= 1
2
SiX1;:::;Xr est unr-chantillon de cette structure, alors :
I[X1;:::;Xr; ] = rI[X; ]
= r
2
15
7/21/2019 Structures Statistiques Et Estimation
20/107
A. El Mossadeq Structures Statistiques et Estimation
Proposition 5
SoitT1;:::;Ts un systme des statistiques dnies sur un r-chantillon de la
structure statistique(Rn;BRn; fPj 2 g),s r:On suppose quil existe des statistiquesTs+1;:::;Tr telles que les quations :
ti=Ti(x1;:::;xr) ; 1 i rdnissent un changement de variables continument direntiable.
Sous rserve de lgtimit de drivations sous le signe intgrale et en supposant
le domaine :
D =
fx
2R
n
jf(; x)> 0
gindpendant de; pour tout2 , la matrice :I[X1;:::;Xr; ] I[T1;:::;Ts; ]
est positive.
Elle est nulle si et seulement siT1;:::;Ts est un rsum exhaustif.
Preuve 5
Le changement de variables :ti=Ti(x1;:::;xr) ; 1 i r
permet dcrire :
L (; x1;:::;xr) =g (; t1;:::;ts) g (; ts+1;:::;trj t1;:::;ts) D (t1;:::;tr)D (x1;:::;xr)
do :
@2
@i@j lnL (; x1;:::;xr) = @2
@i@j ln g (; t1;:::;ts)@2
@i@jln g (; ts+1;:::;trj t1;:::;ts)
Il en dcoule que :
I[X1;:::;Xr; ] =I[T1;:::;Ts; ] +J
16
7/21/2019 Structures Statistiques Et Estimation
21/107
Structures Statistiques et Estimation A. El Mossadeq
La matriceJest positive puisquelle sobtient comme moyenne des matrices desvariances et covariances associes :
@
@iln g (; ts+1;:::;trj t1;:::;ts)
Elle est nulle si et seulement si la fonction :
g (; ts+1;:::;trj t1;:::;ts)est indpendant de, donc si et seulement si(T1;:::;Ts)est un rsum exaustif.
Remarque 4
Dans ces conditions, il est quivalent de travailler avec le r-chantillon ou lersum exhaustif.
Remarque 5
Lorsque est un paramtre rel, la quantit dinformation fournie par un r-sum T dni sur un r-chantillon est majore par celle qui est fournie par ler-chantillon :
I[T; ] I[X1;:::;Xr; ]Lgalit a lieu si et seulement si Test un rsum exhaustif.
Exemple 14
SoitXune variable alatoire normale de paramtres2 Ret2, >0:On suppose que est connu.Considrons la moyenne empirique M dun un r-chantillon X
1;:::;X
r issu de
X.
Puisque Mest une variable alatoire normale de paramtres et2
r, alors :
I[M; ] = r
2
Mest alors un rsum exhaustif pour concernant la structure statistique con-sidre.
17
7/21/2019 Structures Statistiques Et Estimation
22/107
A. El Mossadeq Structures Statistiques et Estimation
4.2. Ingalit de Cramer-Rao
Proposition 6
Soit(Rn;BRn; fPj 2 g), Rk, une structure statistique dans laquelleles probabilitsP sont dnies partir des densitsf:
Considrons un r-chantillon de cette structure et notonsL sa fonction devraisemblance.
Soit :
T = (X1;:::;Xr)
un rsum exhaustif de cette structure.
On suppose que :
(1) la variance2 [T] =V [T] existe,
(2) @
@L (; x1;:::;xr) et (x1;:::;xr) @
@L (; x1;:::;xr) existent et sont int-
grables,
(3) la quantit dinformation de Fisher existe,
(4) le domaineD est indpendant de; pour tout2 .Alors sous reserve de lgtimit de drivations sous le signe dintgration on a :
V [T]
@
@E[T]
2I[X1;:::;Xr; ]
de plus, lgalit a lieu si et seulement si :
@
@lnL (; X1;:::;Xr) =() [T E[T]]
Cest lingalit de Cramer-Rao.
Preuve 6
Daprs ce qui prcde, la variable alatoire @
@lnL (; X1;:::;Xr) est centre,
cest dire :
E
@
@lnL (; X1;:::;Xr)
= 0
18
7/21/2019 Structures Statistiques Et Estimation
23/107
Structures Statistiques et Estimation A. El Mossadeq
et donc :
E
E[T] @
@lnL (; X1;:::;Xr)
= 0
Par dnition :
E[T] =
ZRnr
(x1;:::;xr)L (; x1;:::;xr) dx1:::dxrLes hypothses permettent dcrire :
@
@ E[T] =ZRnr
(x1;:::;xr) @
@L (; x1;:::;xr) dx1:::dxr
= E
T
@
@lnL (; X1;:::;Xr)
= E
(T E[T]) @
@lnL (; X1;:::;Xr)
Il sen suit par application de lingalit de Schwarz :
@
@E[T]
2 E
h(T E[T])2
iE
"@
@lnL (; X1;:::;Xr)
2#
V [T] I[X1;:::;Xr; ]do :
V [T]
@
@E[T]
2
I[X1;:::;Xr; ]
De plus lgalit a lieu si et seulement si :
@
@lnL (; X1;:::;Xr) =() [T E[T]]
19
7/21/2019 Structures Statistiques Et Estimation
24/107
A. El Mossadeq Structures Statistiques et Estimation
5. Estimateurs
Dnition 10
Soit(; T; fPj 2g) une structure statistique et considrons un ala :h: (;W)! (E;B)
oWest une tribu deP() :On appelle estimateur deh (),2 , toute statistique valeurs dans(E;B).
Dnition 11
SoitTun estimateur deh (),2 , bas sur unr-chantillon(X1;:::;Xr)devariable parenteX:
1. On appelle biais de lestimateurT lcart entreE[T] eth () :
b (T; ) =E[T] h ()
2.Test dit sans biais si :
E[T] =h ()
3.Test dit asymptoquement sans biais si :
limr!1E[T] =h ()
4.Test dit convergent siTconverge en probabilit versh () :
8 >0 : limr!1P[jT h ()j ] = 0
Proposition 7
SoitTun estimateur sans biais deh () telle que :
limr!1V [T] = 0
alorsTest un estimateur convergent.
20
7/21/2019 Structures Statistiques Et Estimation
25/107
Structures Statistiques et Estimation A. El Mossadeq
Preuve 7
SiTest un estimateur sans biais de h (), et si :
limr!1V [T] = limr!1E
h(T h ())2
i= 0
alorsTconverge en moyenne quadratique versh (), et par consquent, T con-verge en probabilit versh () :
Exemple 15
Soit(X1;:::;Xr)unr-chantillon issu dune variable alatoireXde moyenneet de variance 2:
1. La statistique :
M=1
r
rXi=1
Xi
est un estimateur sans biais et convergent de la moyenne :
E[M] = E"
1r
rXi=1
Xi#
= 1
r
rXi=1
E[Xi]
=
2. La statistique :
S21 =
1
r
rXi=1
(Xi )2
est un estimateur sans biais de la variance 2:
21
7/21/2019 Structures Statistiques Et Estimation
26/107
A. El Mossadeq Structures Statistiques et Estimation
En eet :
E
S21
= E"
1r
rXi=1
(Xi )2#
= 1
r
rXi=1
Eh
(Xi )2i
= 1
r
rXi=1
V [Xi]
= 2
DoncS21 est un estimateur sans biais de 2.
3. La statistique :
S22 =1
r
rXi=1
(Xi M)2
est un estimateur biais de la variance 2: En eet :r
Xi=1
(Xi
M)2 =r
Xi=1
[(Xi
)
(M
)]2
=rX
i=1
(Xi )2 2rX
i=1
(Xi ) (M ) +rX
i=1
(M )2
=rX
i=1
(Xi )2 r (M )2
do :
E" rX
i=1
(Xi M)2# = E" rXi=1
(Xi )2# rEh(M )2i= (r 1) 2
On en dduit :
E
S22
=r 1
r 2
do S22 est bias.
22
7/21/2019 Structures Statistiques Et Estimation
27/107
Structures Statistiques et Estimation A. El Mossadeq
4. La statistique :
S2 = 1r 1
rXi=1
(Xi M)2
est un estimateur sans biais de la variance 2:
En eet, puisque :
S2 = r
r 1S22
On en dduit :
E
S2
= 2
Dnition 12
SoitTun estimateur deh (),2 , bas sur unr-chantillon(X1;:::;Xr)devariable parenteX:
1. On appelle risque quadratique deT la quantit :
R (T; ) =Eh
(T h ())2i
2. SiT1 etT2 sont deux estimateurs deh (), on dit queT1 est prfrable T2
si :
R (T1; ) R (T2; )
Remarque 6
On a :
R (T; ) =V [T] +b (T; )2
SiTun estimateur sans biais de h (), alors :
R (T; ) =V [T]
23
7/21/2019 Structures Statistiques Et Estimation
28/107
A. El Mossadeq Structures Statistiques et Estimation
Exemple 16
Soit X une variable alatoire de Bernouilli de paramtre p et (X1;:::;Xr) un
r-chantillon issu dune variable alatoire X:Considrons la frquence empirique :
F =1
r
rXi=1
Xi
alors, Fest prfrable X1 pour lestimation de p.En eet :
R (X1; p) =V [X1] =p (1
p)
alors que :
R (F; p) =V [F] =p (1p)
r
Remarque 7
SiTun estimateur sans biais deh (), alors en vertu de lingalit de Cramer-Rao
on a :V [T] [h
0()]2
I[X1;:::;Xr; ]
Si de plush () =, alors :
V [T] 1I[X1;:::;Xr; ]
Remarque 8
Soit T lensemble des estimateurs sans biais de h (), vriant lingalit deCramer-Rao.
On a :
infT2T
V [T] [h0()]2
I[X1;:::;Xr; ]
24
7/21/2019 Structures Statistiques Et Estimation
29/107
Structures Statistiques et Estimation A. El Mossadeq
Dnition 13
Un estimateurT0 deTest dit de variance minimale si :
V [T0] = infT2T
V [T]
Dnition 14
Si:
infT
2T
V [T] = [h0()]2
I[X1;:::;Xr; ]
1. On appelle ecacit dun estimateurT0 deT, le rapport :
e [T0] = [h0()]2
I[X1;:::;Xr; ] V [T0]
2.T0 est dit ecace lorsque son ecacit est gale 1 :
e [T0] = 1
3. SiT1 etT2 sont deux estimateurs deT.On dit queT1 est plus ecace queT2 si :
e [T1] e [T2]
Proposition 8
SoitT = (X1;:::;Xr) un estimateur deT.Les trois conditions suivantes sont quivalentes :
(i)Test ecace
(ii) @
@lnL (; x1;:::;xr) =() [ (x1;:::;xr) h ()]
(iii)Test un rsum exhaustif dont la densit de probabilitg (; t) est telle
que :
@
@ln g (; x) =() [t h ()]
25
7/21/2019 Structures Statistiques Et Estimation
30/107
A. El Mossadeq Structures Statistiques et Estimation
Preuve 8
(1)
()(2)
Daprs la dnition de lecacit, Test ecace si et seulement si lingalit
de Cramer-Rao est une galit, donc si et seulement si :
@
@lnL (; X1;:::;Xr) =() [T h ()]
(1) =) (3)Test ecace donc :
V [T] =
[h0()]2
I[X1;:::;Xr; ]
= [h0()]2
I[T; ]
do :
I[X1;:::;Xr; ] =I[T; ]
et par consquent Test un rsum exhaustif concernant et on a :
@
@ln g (; x) =() [t h ()]
par application de lingalit de Cramer-Rao (qui est une galit dans ce cas)
T.
(3) =) (2)SiTest un rsum exhaustif concernant , alors daprs le thorme de fac-
torisation :
L (; X1;:::;Xr) =g (; T) s (X1;:::;Xr)Do :
@
@lnL (; X1;:::;Xr) = @
@ln g (; T) =() [T h ()]
26
7/21/2019 Structures Statistiques Et Estimation
31/107
Structures Statistiques et Estimation A. El Mossadeq
6. LEstimation par la Mthode du
Maximum de Vraisemblance
La mthode du maximum de vraisemblance a pour but de fournir un moyen
ecace pour choisir un estimateur dun paramtre.
Dnition 15
Soit
L(; X1;:::;Xr) la fonction de vraisemlance dunr-chantillonX1;:::;Xr.
Si pour(x1;:::;xr) donn :
= (x1;:::;xr)
ralise le maximum strict de la fonction :
7! L (; X1;:::;Xr)on dit que :
= (X1;:::;Xr)
est lestimateur du maximum de vraisemlance de:
Exemple 17
Soit X1;:::;Xrun r-chantillon dune variable alatoire de Poisson de paramtre, >0. Sa fonction de vraisemlance est :
L(; !1;:::;!r) =
r
Yi=1 L
(; !i)
=
rPi=1
!i
!1!:::!r!er
Cette fonction atteint son maximum strict pour :
=1
r
rXi=1
!i
27
7/21/2019 Structures Statistiques Et Estimation
32/107
A. El Mossadeq Structures Statistiques et Estimation
Donc, lestimateur du maximum de vraisemlance de est :
= 1r
rXi=1
Xi
est un estimateur sans biais et convergent du paramtrede la loi deP oisson. reprsente la moyenne empirique du r-chantillon.
Exemple 18
Soit(X1;:::;Xr)unr-chantillon dune variable alatoire qui suit une loi normalede paramtres2 Ret2, >0.On suppose connu.La fonction de vraisemlance de ce r-chantillon est :
L (; x1;:::;xr) = 1p
2rexp 122
rXi=1
(xi )2
Cette fonction atteint son maximum strict pour :
=1
r
rXi=1
xi
Donc, lestimateur du maximum de vraisemlance de est :
=1
r
rXi=1
Xi
Et comme :
V [] = 2
ret :
I[X1;:::;Xr; ] =rI[X; ] = r
2
donc :
e [] = 1
est alors un estimateur ecace de :
28
7/21/2019 Structures Statistiques Et Estimation
33/107
Structures Statistiques et Estimation A. El Mossadeq
Exemple 19
Soit(X1;:::;Xr)unr-chantillon dune variable alatoire qui suit une loi normale
de paramtres2 Ret2, >0.On suppose connu.Lestimateur du maximum de vraisemlance de 2 est :
2 =1
r
rXi=1
(Xi )2
2 est un estimateur sans biais de 2.
Exemple 20
Soit(X1;:::;Xr)unr-chantillon dune variable alatoire qui suit une loi normalede paramtres2 Ret2, >0.Les estimateurs du maximum de vraisemlance de et2 sont :8>>
>>>>>: =
1
r
rXi=1
Xi
2 = 1
r
rXi=1
(Xi )2
2 est un estimateur biais de 2.
Proposition 9
Sil existe un rsum exhaustifT1;:::;Ts alors tout estimateur de par le maxi-mum de vraisemlance est fonction deT1;:::;Ts:
Preuve 9
Si(T1;:::;Ts) est un rsum exhaustif alors :
L (; x1;:::;xr) =g (; t1;:::;ts) h (x1;:::;xr)Donc, maximiserLrevient maximiser g.
29
7/21/2019 Structures Statistiques Et Estimation
34/107
A. El Mossadeq Structures Statistiques et Estimation
Proposition 10
Supposons les hypothses de lingalit de Cramer-Rao vries.
Sil existe un estimateur sans biais et ecaceT deh (), alors toute fonction (x1;:::;xr) telle que :
T(x1;:::;xr) =hh
(x1;:::;xr)i
est solution de lquation de vraisemlance et ralise le maximum strict de la
vraisemlance.
Preuve 10
SiTest un estimateur sans biais et ecace de h () alors :
@
@lnL (; x1;:::;xr) =() [t h ()]
Donc, pour(x1;:::;xr) donn, toute fonction telle que :
T(x1;:::;xr) =hh
(x1;:::;xr)i
est solution de lquation de vraisemblance.Dautre part :
@2
@2lnL (; x1;:::;xr) =0() [t h ()] () h0()
et :
I[X1;:::;Xr; ] = E
@2
@2ln L (; X1;:::;Xr)
= () h0()
Or :
I[X1;:::;Xr; ] = E
"@
@lnL (; X1;:::;Xr)
2#
= [()]2 V [T]
donc :
() h0()> 0
30
7/21/2019 Structures Statistiques Et Estimation
35/107
Structures Statistiques et Estimation A. El Mossadeq
do, pour= :
@2
@2lnL; x1;:::;xr= h0
est strictement ngatif, ce qui assure que ralise le maximum strict.
7. LEstimation Ponctuelle
Soit(X1;:::;Xr)un r-chantillon issu dune variable alatoireX, et soitT
un estimateur dun paramtre , bas sur le r-chantillon(X1;:::;Xr) :
Dnition 16
Si(x1;:::;xr)est une ralisation dur-chantillon(X1;:::;Xr) ; alorsT(x1;:::;xr)constitue une estimation ponctuelle de:
7.1. Estimation Ponctuelle dune Proportion
SoitA un vnement alatoire de probabilit inconnue p:
Soit X la variable alatoire de Bernouilli associe A, et (X1;:::;Xr) un
r-chantillon issuX.
Puisque la frquence empirique :
F =1r
rXi=1
Xi
est un estimateurs sans biais et convergent de p, alors toute ralisation :
f=F(x1;:::;xr)
constitue une estimation ponctuelle de p.
31
7/21/2019 Structures Statistiques Et Estimation
36/107
A. El Mossadeq Structures Statistiques et Estimation
7.2. Estimation Ponctuelle dune Moyenne
SoitXune variable alatoire de moyenne, et(X1;:::;Xr)un r-chantillon
issuX:
Puisque la moyenne empirique :
M=1
r
rXi=1
Xi
est un estimateurs sans biais et convergent de , alors toute ralisation :
m= M(x1;:::;xr) =1
r
rXi=1
xi
constitue une estimation ponctuelle de .
7.3. Estimation Ponctuelle dune Variance
Soit Xune variable alatoire de moyenne et de variance 2, et(X1;:::;Xr)
unr-chantillon issuX:
(1) Si est connue, alors :
S21 =1
r
rXi=1
(Xi )2
est un estimateur sans biais et convergent de 2. Toute ralisation :
s2
=
1
r
rXi=1
(xi )2
constitue une estimation ponctuelle de 2:
(2) La statistique :
S2 = 1
r 1rX
i=1
(Xi M)2
32
7/21/2019 Structures Statistiques Et Estimation
37/107
Structures Statistiques et Estimation A. El Mossadeq
est un estimateur sans biais et convergent de 2. Toute ralisation :
s2 = 1r 1
rXi=1
(xi m)2
constitue une estimation ponctuelle de 2:
8. LEstimation par Intervalle de
Conance
Soit~ une estimation ponctuelle du paramtre estimer :
Dnition 17
Lestimation par intervalle de conance consiste dterminer un intervalleh
~ ; ~+i
;
>0, centr en~ contenant avec un probabilit1 xe a priori :Ph~ < >>:
Kn1
2n1;=2
=
2
Kn1
2n1;1=2
= 12
Kn1 tant la fonction de rpartition de 2n1.
37
7/21/2019 Structures Statistiques Et Estimation
42/107
A. El Mossadeq Structures Statistiques et Estimation
Il en rsulte que :
P"
(n 1) s22n1;1=2
< 2 < (n 1) s22n1;=2
#= 1
Lintervalle : "(n 1) s22n1;1=2
;(n 1) s2
2n1;=2
#
est appel lintervalle de conance de la variance 2 1ou au seuil.Lintervalle de conance de lcart-type 1 est alors donn par :"s
(n 1)2n1;1=2
s;
s(n 1)2n1;=2
s
#
Exemple 23
La force de rupture dun certain type de cable peut tre assimile une variable
alatoire normale.
Des essais portant sur dix cables ont donn une variance empirique s2 de1560 N2.Construire un intervalle de conance, 95%, de lcart-type de cette force derupture.
Au seuil, lintervalle de conace de lcart-type est dni par :"s (n 1)2n1;1=2
s;
s(n 1)2n1;=2
s
#
Pour = 5% : 8>>>>:
E[X] =1
p
V [X] =1p
p
2
Considrons unr-chantillon de cette structure.
Sa fonction de vraisemblance est dnie pour toutp 2 [0; 1]et tout(x1;:::;xr)2(N)r par :
L (p; x1;:::;xr) =rY
i=1
p (xi) =pr (1p)
rPi=1
xir
do :
lnL (p; x1;:::;xr) =r lnp+
rXi=1
xi!
r ln(1p)
Il en rsulte que :
@
@plnL (p; x1;:::;xr) = r
p
rPi=1
xi r1p
=
r
prP
i=1
xi
p (1p)do :
@
@plnL (p; x1;:::;xr) = 0 =) p= rrP
i=1xi
44
7/21/2019 Structures Statistiques Et Estimation
49/107
Structures Statistiques et Estimation A. El Mossadeq
et comme :
@2
@p2lnL (p; x1;:::;xr)< 0donc lestimateur du maximum de vraisemblance dun r-chantillon dune
structure gomtrique est :
^p= rrP
i=1Xi
Cest linverse de la moyenne empirique du r-chantillon.
3. SoitXune variable alatoire binomiale dordre n et de paramtrep.
pour toutx 2 f0; 1;:::;ng, la probabilit lmentairep (x) dex est :p (x) =C(n; x)px (1p)nx
de plus :
8
7/21/2019 Structures Statistiques Et Estimation
50/107
A. El Mossadeq Structures Statistiques et Estimation
Il en rsulte que :
@
@plnL (p; x1;:::;xr) =
rPi=1
xi
p
rn rP
i=1xi
1p
=
rPi=1
xi rnpp (1p)
do :
@
@plnL (p; x1;:::;xr) = 0 =) p= 1
rn
rXi=1 x
i
et comme :
@2
@p2lnL (p; x1;:::;xr)< 0
donc lestimateur du maximum de vraisemblance dunr-chantillon dune
structure de binomiale est :
^p=
1
rn
r
Xi=1 Xi
(b)Etude des proprits de ^p :
Puisque :
E[^p] = 1
nE[X]
= p
et :
V [^p] = V [X]
rn2
= p (1p)
rn
on en dduit que ^p est un estimateur sans biais et convergent de p.
46
7/21/2019 Structures Statistiques Et Estimation
51/107
Structures Statistiques et Estimation A. El Mossadeq
4. SoitXune variable alatoire de Poisson de paramtre .
Pour toutx 2N
, la probabilit lmentairep (x) dex est :
p (x) =x
x!exp
de plus : 8 0, et tout
(x1;:::;xr)2 Nr par :
L (; x1;:::;xr) =rY
i=1
p (xi) =
rPi=1
xi
x1!:::xr!expr
do :
lnL (; x1;:::;xr) = ln (x1!:::xr!) +rX
i=1
xiln r
Il en rsulte que :
@
@lnL (; x1;:::;xr) =
rPi=1
xi
r
do :
@
@lnL (; x1;:::;xr) = 0 =) p= 1
r
rXi=1
xi
et comme :
@2
@2lnL (; x1;:::;xr)< 0
47
7/21/2019 Structures Statistiques Et Estimation
52/107
A. El Mossadeq Structures Statistiques et Estimation
donc lestimateur du maximum de vraisemblance dunr-chantillon dune
structure de Poisson est :
=1
r
rXi=1
Xi
Cest la moyenne empirique du r-chantillon.
(b)Etude des proprits de :
Puisque :
E[] =E[X] =
et :
V [] =V [X]
r =
rOn en dduit que est un estimateur sans biais et convergent de .
5. SoitXune variable alatoire exponentielle de paramtre .
Sa densit de probabilit fest dnie par :
f(x) =
80de plus : 8
>>>>>:E[X] =
1
V [X] = 12
Considrons unr-chantillon de cette structure.Sa fonction de vraisemblance
est dnie pour tout , >0, et tout (x1;:::;xr) dans Rr; tous strictement
positifs, par :
L (; x1;:::;xr) =rY
i=1
f(xi) =r exp
rXi=1
xi
48
7/21/2019 Structures Statistiques Et Estimation
53/107
Structures Statistiques et Estimation A. El Mossadeq
do :
lnL (; x1;:::;xr) =r ln rX
i=1
xi
Il en rsulte que :
@
@lnL (; x1;:::;xr) = r
rXi=1
xi
do :
@
@lnL
(; x1;:::;xr) = 0 =)
= r
rPi=1
xi
et comme :
@2
@2lnL (; x1;:::;xr)< 0
donc lestimateur du maximum de vraisemblance dun r-chantillon dune
structure exponentielle est :
^=
r
rPi=1
Xi
Cest linverse de la moyenne empirique du r-chantillon.
6. SoitXune variable alatoire normale de paramtres et2.
Sa densit de probabilit fest dnie pour tout x 2 Rpar :
f(x) = 1p
2exp 1
22(x )2
de plus : 80 ettout(x1;:::;xr)2 Rr par :
L (; ; x1;:::;xr) =rY
i=1
f(xi)
=
1p2rexp 122
rXi=1
(xi )2
do :
lnL (; ; x1;:::;xr) = r lnp
2 r ln 122
rXi=1
(xi )2
Il en rsulte que :
8>>>>>>>>>>>:
@
@L(; ; x1;:::;xr) =
1
2
r
Xi=1
(xi
)
@
@L (; ; x1;:::;xr) = r
+
1
3
rXi=1
(xi )2
do :
8>>>>>:
@
@L (; ; x1;:::;xr) = 0
@
@L (; ; x1;:::;xr) = 0
=)8>>>>>>>>>>>:
=1
r
r
Xi=1
xi
2 =1
r
rXi=1
(xi )2
Donc les estimateurs du maximum de vraisemblance dun r-chantillon
dune structure normale est :
50
7/21/2019 Structures Statistiques Et Estimation
55/107
Structures Statistiques et Estimation A. El Mossadeq
8>>>>>>>>>>>:
=1r
rXi=1
Xi
2 =1
r
rXi=1
(Xi )2
(b)Etude des proprits de et :
On a :
E[] = E[X]
=
et :
E
2
= r 1
r V [X]
= r 1
r 2
On en dduit que est un estimateur sans biais et convergent de , mais est un estimateur biais de.
7. SoitXune variable alatoire uniforme sur lintervalle[0; ].
Sa densit de probabilit fest dnie pour tout x 2 [0; ] par :
f(x) =
8>:
1
si x2 [0; ]
0 si x =2 [0; ]de plus : 8>>>>>:E[X] =
2
V [X] = 2
12Considrons unr-chantillon de cette structure.
51
7/21/2019 Structures Statistiques Et Estimation
56/107
A. El Mossadeq Structures Statistiques et Estimation
Sa fonction de vraisemblance est dnie pour tout, >0, et tout(x1;:::;xr)
dans[0; ]
r
:
L (; x1;:::;xr) =rY
i=1
f(xi) = 1
r
La fonction :
! L (; x1;:::;xr)est strictement dcroissante, donc elle atteint son maximum lorsque est
minimum.
Et comme :
8i 2 f1;:::;rg : xidonc est minimum lorsque :
= max (x1;:::;xr)
Donc lestimateur du maximum de vraisemblance dun r-chantillon dune
structure uniforme est :
= max (X1;:::;Xr)
Exercice 2
SoitXune variable alatoire dont la densit de probabilit fest dnie par :
f(x) =8>:
1
exp
x
si x >0
0 si x 0o est un paramtre rel strictement positif.
1. Dterminer lestimateur du maximum de vraisemlancededun r-chantillon
de variable parenteX.
2. est-il un rsum exhaustif ?
52
7/21/2019 Structures Statistiques Et Estimation
57/107
Structures Statistiques et Estimation A. El Mossadeq
3. Calculer lesprance mathmatique et la variance de :
Que peut-on conclure ?4. Calculer la quantit dinformation de Fisher.
En dduire que est ecace.
Solution 2
Soit Xune variable alatoire exponentielle dont la densit de probabilit f estdnie pour toutx,x >0, par :
f(x) =
8>:
1
expx
si x >0
0 si x 0o est un paramtre rel strictement positif.On a :
80, et tout(x1;:::;xr)2R
r; tous strictement positifs, par :
L (; x1;:::;xr) =r
Yi=1
f(xi)
= 1
rexp
rPi=1
xi
do :
lnL (; x1;:::;xr) = r ln
rPi=1
xi
53
7/21/2019 Structures Statistiques Et Estimation
58/107
A. El Mossadeq Structures Statistiques et Estimation
Il en rsulte que :
@
@lnL (; x1;:::;xr) = r
+
rPi=1
xi
2
do :
@
@lnL (; x1;:::;xr) = 0 =) = 1
r
rXi=1
xi
et comme :
@2
@2lnL (; x1;:::;xr)< 0donc lestimateur du maximum de vraisemblance dun r-chantillon dune
structure exponentielle est :
=1
r
rXi=1
Xi
Cest la moyenne empirique du r-chantillon.
2. Pour tout , >0, et tout(x1;:::;xr)2 Rr;tous strictement positifs, on a :
L (; x1;:::;xr) = 1r
exp
rPi=1
xi
= 1
rexpr (x1;:::;xr)
Daprs le thorme de factorisation, est un rsum exhaustif puisque :
L (; x1;:::;xr) =g
; (x1;:::;xr)
h (x1;:::;xr)
o :
g
; (x1;:::;xr)
= 1
rexpr (x1;:::;xr)
et :
h (x1;:::;xr) = 1
54
7/21/2019 Structures Statistiques Et Estimation
59/107
Structures Statistiques et Estimation A. El Mossadeq
3. Comme :
= 1r
rXi=1
Xi
alors :
Eh
i
= E[X] =
et :
V
h
i=
V [X]
r =
2
r
On en dduit que est un estimateur sans biais et convergent de .
4. Calculons la quantit dinformation de Fisher,I[X; ], concernant.
On a :
I[X; ] = E
@2
@2ln f(; X)
= E
@2
@2
ln X
= E 1
2+2X
3
= 1
2
Donc la quantit dinformation de Fisher, I[X1;:::;Xr; ], concernant
fournie par le r-chantillon est :
I[X1;:::;Xr; ] =rI[X; ] = r
2
Calculons lecaciteh
i
de.
On a :
eh
i
= 1
I[X1;:::;Xr; ] Vh
i = 1
donc, est ecace.
55
7/21/2019 Structures Statistiques Et Estimation
60/107
A. El Mossadeq Structures Statistiques et Estimation
Exercice 3
SoitXune variable alatoire dont la densit de probabilit fest dnie par :
f(x) =
80
o est un paramtre rel strictement positif , k un entier naturel non nul et une constante rel.
1. Dterminer la constante :
2. Dterminer lestimateur du maximum de vraisemlancededun r-chantillon
de variable parenteX.
3. est-il un rsum exhaustif ?
4. Calculer lesprance mathmatique et la variance de :
Que peut-on conclure ?
5. Calculer la quantit dinformation de Fisher.
En dduire que est ecace.
Solution 3
Rappelons que pour toutk2 N:Z +10
uk expudu= k!
1. Ainsi :
Z +11 f(x) dx =
Z +10
kxk
1
expx
dx
=
Z +10
uk1 expudu= (k 1)!
do
= 1
(k 1)!
56
7/21/2019 Structures Statistiques Et Estimation
61/107
Structures Statistiques et Estimation A. El Mossadeq
puisque :
Z +11
f(x) dx= 1
De plus :
E[X] =
Z +11
xf(x) dx
=
Z +10
1
(k 1)!k xk expx
dx
= k
et :
E
X2
=
Z +11
x2f(x) dx
=
Z +10
1
(k 1)!k xk+1 expx
dx
= k (k+ 1) 2
do :
V [X] = E
X2 E[X]2
= k2
2. Considrons unr-chantillon de cette structure.
Sa fonction de vraisemblance est dnie pour tout , >0, et tout(x1;:::;xr)Rr;
tous strictement positifs, par :
L (; x1;:::;xr) =rY
i=1
f(xi)
= 1
[(k 1)!]r rk (x1:::xr)k1 exp
rPi=1
xi
57
7/21/2019 Structures Statistiques Et Estimation
62/107
A. El Mossadeq Structures Statistiques et Estimation
do :
lnL (; x1;:::;xr) = r ln (k 1)! ln (x1:::xr)k1 rk ln
rPi=1
xi
Il en rsulte que :
@
@lnL (; x1;:::;xr) = rk
+
rPi=1
xi
2
do :
@@
lnL (; x1;:::;xr) = 0 =) = 1rk
rXi=1
xi
et comme :
@2
@2lnL (; x1;:::;xr)< 0
donc lestimateur du maximum de vraisemblance dun r-chantillon de cette
structure est :
= 1rk
rXi=1
Xi
3. Pour tout , >0, et tout(x1;:::;xr)2 Rr;tous strictement positifs, on a :
L (; x1;:::;xr) = 1[(k 1)!]r rk (x1:::xr)
k1 exp
rPi=1
xi
= 1[(k 1)!]r rk (x1:::xr)
k1 exprk (x1;:::;xr)
Daprs le thorme de factorisation, est un rsum exhaustif puisque :
L (; x1;:::;xr) =g
; (x1;:::;xr)
h (x1;:::;xr)
58
7/21/2019 Structures Statistiques Et Estimation
63/107
Structures Statistiques et Estimation A. El Mossadeq
o :
g
; (x1;:::;xr)
= 1rk
exprk^ (x1;:::;xr)
et :
h (x1;:::;xr) = 1
[(k 1)!]r(x1:::xr)k1
4. Puisque :
= 1
rk
r
Xi=1Xi
alors :
Eh
i
= 1
kE[X]
=
et :
V
h
i =
V [X]
rk2
= 2
rk
On en dduit que est un estimateur sans biais et convergent de .
5. Calculons la quantit dinformation de Fisher,I[X; ], concernant.
On a :
I[X; ] = E
@2
@2ln f(; X)
= E
@2
@2
ln (k 1)! + (k 1)ln X k ln X
= E
k
2+
2X
3
= k
2
59
7/21/2019 Structures Statistiques Et Estimation
64/107
A. El Mossadeq Structures Statistiques et Estimation
Donc la quantit dinformation de Fisher, I[X1;:::;Xr; ], concernant
fournie par le r-chantillon est :
I[X1;:::;Xr; ] =rI[X; ] =rk
2
Calculons lecaciteh
i
de.
On a :
eh
i
= 1
I[X1;:::;Xr; ] V hi= 1
donc, est ecace.
Exercice 4
SoitXune variable alatoire dont la densit de probabilit fest dnie par :
f(x) =8>:
0 si x =2
[0; ]
1
si x2 [0; ]
o est un paramtre rel.
1. Dterminer la fonction de rpartition de X:
2. Calculer la quantit dinformation de Fisher:
3. Dterminer lestimateur du maximum de vraisemlancededun r-chantillonde variable parenteX.
4. Calculer lesprance mathmatique et la variance de :
Que peut-on conclure ?
5. Dans le cas o est bias, proposer un estimateur sans biais de .
60
7/21/2019 Structures Statistiques Et Estimation
65/107
Structures Statistiques et Estimation A. El Mossadeq
Solution 4
1. La fonction de rpartitionF deXest dnie pour tout x
2Rpar :
F(x) =
Z x1
f(t) dt
do :
F(x) =
8>>>>>>>>>:
0 si x 0x
si 0 x
1 si x de plus : 8>>>>>:E[X] =
2
V [X] = 2
122. Puisque le domaine D :
D = fx 2 R jf(x)> 0g= [0; ]
dpend de, donc la quantit dinformation de Fisher nexiste pas.
3. Considrons unr-chantillon de cette structure.
Sa fonction de vraisemblance est dnie pour tout , >0, et tout(x1;:::;xr)
2[0; ]r :
L (; x1;:::;xr) =rY
i=1
f(xi) = 1
r
La fonction :
! L (; x1;:::;xr)
61
7/21/2019 Structures Statistiques Et Estimation
66/107
A. El Mossadeq Structures Statistiques et Estimation
est strictement dcroissante, donc elle atteint son maximum lorsque est
minimum.Et comme :
8i 2 f1;:::;rg : xiIl en rsulte que est minimum lorsque :
= max (x1;:::;xr)
Donc lestimateur du maximum de vraisemblance dun r-chantillon dune
structure uniforme est :
= max (X1;:::;Xr)
4. Pour dterminer la densit de probabilit de , commenons dabord par cal-
culer sa fonction de rpartition.
(a)Fonction de rpartition de :
Pour toutu
2R on a :
F(u) = Ph
< ui
= P[max (X1;:::;Xr)< u]
= P[X1< u;:::;Xr < u]
=rY
k=1
P[Xk < u]
= [F(u)]r
=
8>>>>>>>>>:
0 si u 0u
rsi 0 u
1 si u
62
7/21/2019 Structures Statistiques Et Estimation
67/107
Structures Statistiques et Estimation A. El Mossadeq
(b)Densit de probabilit de :
Pour toutu 2 Rf0; g on a :
f(u) = d
duF(u)
=
8>>>:
0 si u =2 ]0; [
rur1
r si u2 ]0; [
(c)Esprance mathmatique de :
Eh
i
=
ZR
uf(u) du
=
Z 0
rur
rdu
= r
r+ 1
(d)Esprance mathmatique de^
2
:
Eh
2i
=
ZR
u2f(u) du
=
Z 0
rur+1
r du
= r
r+ 22
(e)Variance de :
Vh
i
= Eh
2i Eh
i2
= r
(r+ 1)2 (r+ 2)2
Lestimateur de est biais, mais il est asymptotiquement sans biais.
63
7/21/2019 Structures Statistiques Et Estimation
68/107
A. El Mossadeq Structures Statistiques et Estimation
5. Considrons lestimateur :
T =r+ 1
r
Alors :
E[T] = r+ 1
r Eh
i
=
et :
V [T] =r+ 1
r2
Vh^
i
= 1
r (r+ 2)2
Test donc un estimateur sans biais et convergent de .
Exercice 5
SoitXune variable alatoire dont la densit de probabilit fest dnie par :
f(x) =
8:
a
x+1 si x a
0 si x < a
oXreprsente le revenu par habitant, a le revenu minimum et , > 2, uncoecient dpendant du type du pays o lon se place.
1. Vrier quefest bien une densit de probabilit.
2. Calculer lesprance mathmatique et la variance de X.
3. Calculer la fonction de rpartition deX:
4. Dterminer lestimateur du maximum de vraisemlancea de a dun r-chantillon
issuX.
5. Dans le cas o aest bias, proposer un estimateur sans biais de a:
74
7/21/2019 Structures Statistiques Et Estimation
79/107
Structures Statistiques et Estimation A. El Mossadeq
Solution 8
1. La densit de probabilit de la loi de Pareto est dnie par :
f(x) =
8>:
a
x+1 si x a
0 si x < a
fest bien une densit de probabilit.
En eet :
ZR
f(x) dx = Z +1
a
a
x+1
dx
= 1
2. On a :
E[X] =
ZR
xf(x) dx
=
Z +1a
a
x dx
=
1aet :
E
X2
=
ZR
x2f(x) dx
=
Z +1a
a
x1dx
=
2
a2
do :
V [X] = E
X2 E[X]2
=
( 2) ( 1)2a2
75
7/21/2019 Structures Statistiques Et Estimation
80/107
A. El Mossadeq Structures Statistiques et Estimation
3. La fonction de rpartitionF deXest dnie pour tout x 2 Rpar :
F(x) =Z x1
f(t) dt
=
8>>>:
0 si x aZ xa
a
t+1dt si x a
=
8>:
0 si x a
1a
x si x a4. Considrons unr-chantillon de cette structure.
Sa fonction de vraisemblance est dnie pour tout a 2 R et tout(x1;:::;xr)2(]a; +1[)r, par :
L (a; x1;:::;xr) =rY
i=1
f(xi) = rar
(x1:::xr)+1
La fonction :
a ! L (a; x1;:::;xr)est strictement croissante, donc elle atteint son maximum lorsque a est maxi-
mum.
Et comme :
8i 2 f1;:::;rg :a xiIl en rsulte que est maximum lorsque :
a= min (x1;:::;xr)
Donc lestimateur du maximum de vraisemblance dun r-chantillon de cette
structure est :
a= min (X1;:::;Xr)
76
7/21/2019 Structures Statistiques Et Estimation
81/107
Structures Statistiques et Estimation A. El Mossadeq
5. Pour dterminer la densit de probabilit de , commenons dabord par cal-
culer sa fonction de rpartition.
(a)Fonction de rpartition de a :
Pour toutx 2 Ron a :Fa(x) = P[a < x]
= P[min(X1;:::;Xr)< x]
= 1 P[min(X1;:::;Xr) x]= 1 P[X1 v;:::;Xr x]= 1
rYk=1
P[Xk x]
= 1rY
k=1
(1 P[Xk < x])
= 1 [1 F(x)]r
Ainsi :
Fa(x) =
8:
0 si x < a
rar
xr+1 si x > a
77
7/21/2019 Structures Statistiques Et Estimation
82/107
A. El Mossadeq Structures Statistiques et Estimation
(c)Esprance mathmatique de a :
E[a] =ZR
vfa(v) dv
=
Z +1a
rar
vr dv
= r
r 1a
(d)Esprance mathmatique de a2 :
Ea2 = ZR
v2fa(v) dv
=
Z +1a
rar
vr1dv
= r
r 2a2
(e)Variance de a :
V [a] = E
a2
E[a]2
=
r
(r 2) (r 1)2a2
Lestimateuradeaest biais, mais il est asymptotiquement sans biais.
(f) Considrons lestimateur :
T =r 1
r a
Alors :
E[T] =aet :
V [T] =
r 1
r
2V [a] =
1
r (r 2)a2
Test donc un estimateur sans biais et convergent de a.
78
7/21/2019 Structures Statistiques Et Estimation
83/107
Structures Statistiques et Estimation A. El Mossadeq
Exercice 9
SoitXune variable alatoire dont la densit de probabilit fest dnie par :
f(x) =
8>>>:
0 si x
1
exp
( x)
si x >
o est un paramtre rel et un paramtre rel strictement positif.
1. Vrier quefest bien une densit de probabilit.
2. Calculer lesprance mathmatique et la variance de X.3. Calculer la fonction de rpartition deX:
4. On suppose connu et inconnu.
(a) Dterminer lestimateur du maximum de vraisemlance de dun r-
chantillon issuX.
(b) Etudier les proprits de :
(c) Dans le cas o est bias, proposer un estimateur sans biais de :
5. On suppose connu et inconnu.
(a) Dterminer lestimateur du maximum de vraisemlance de dun r-
chantillon issu deX.
(b) Etudier les proprits de
(c) Dans le cas o est bias, proposer un estimateur sans biais de :
6. On suppose que etsont tous les deux inconnus.
(a) Dterminer lestimateur du maximum de vraisemlance
;
de (; )
dun r-chantillon issu de X.
(b) Etudier les proprits de
;
(c) Proposer un estimateur sans biais de (; ) :
79
7/21/2019 Structures Statistiques Et Estimation
84/107
A. El Mossadeq Structures Statistiques et Estimation
Solution 9
1.fest bien une densit de probabilit.
En eet : ZR
f(x) dx =
Z +1
1
exp
( x)
dx
=
Z +10
exptdt= 1
2. On a :
E[X] =ZR
xf(x) dx
=
Z +1
x
exp
( x)
dx
=
Z +10
(t +)exptdt= +
et :
E
X2
=
ZR
x2f(x) dx
=
Z +1
x2
exp
( x)
dx
=
Z +10
(t +)2 exptdt= 22 + 2+2
= (+)2 +2
do :
V [X] = E
X2 E[X]2
= 2
80
7/21/2019 Structures Statistiques Et Estimation
85/107
Structures Statistiques et Estimation A. El Mossadeq
3. La fonction de rpartitionF deXest dnie pour tout x 2 Rpar :
F(x) =Z x1
f(t) dt
=
8>>>:
0 si x Z x
1
exp
( t)
dt si x
=
8>>>:
0 si x
1 exp( x) si x 4. On suppose connu et inconnu.
(a) Considrons unr-chantillon de cette structure.
Sa fonction de vraisemblance est dnie pour tout , > 0, 2 R ettout(x1;:::;xr)2 (]; +1[)r par :
L (; x1;:::;xr) =rY
i=1 f(xi)
= 1
rexp
rXi=1
( xi)
do :
lnL (; x1;:::;xr) = r ln + 1
rXi=1
( xi)
Il en rsulte que :@
@lnL (; x1;:::;xr) = r
1
2
rXi=1
( xi)
= 1
"r 1
rXi=1
( xi)#
81
7/21/2019 Structures Statistiques Et Estimation
86/107
A. El Mossadeq Structures Statistiques et Estimation
do :
@@
lnL (; x1;:::;xr) = 0 =) = 1r
rXi=1
(xi )
=) ="
1
r
rXi=1
xi
#
et comme :
@2
@2lnL (; x1;:::;xr)< 0
donc lestimateur du maximum de vraisemblance dun r-chantillon de
cette structure est :
=
"1
r
rXi=1
Xi
#
(b) On a :
E[] =E"1r
r
Xi=1
Xi! #= et :
V [] = V
"1
r
rXi=1
Xi
! #
= V [X]
r
= 2
r5. On suppose connu et inconnu.
(a) Considrons unr-chantillon de cette structure.
Sa fonction de vraisemblance est dnie pour tout , > 0, 2 R ettout(x1;:::;xr)2 (]; +1[)r, tous strictement positifs, par :
82
7/21/2019 Structures Statistiques Et Estimation
87/107
Structures Statistiques et Estimation A. El Mossadeq
L (; x1;:::;xr) =rY
i=1
f(xi)
= 1
rexp
rXi=1
( xi)
La fonction :
! L (; x1;:::;xr)
est strictement croissante, donc elle atteint son maximum lorsque estmaximum.Et comme :
8i 2 f1;:::;rg : xiIl en rsulte que est maximum lorsque :
= min (x1;:::;xr)
Donc lestimateur du maximum de vraisemblance dun r-chantillon de
cette structure est :
= min (X1;:::;Xr)
(b) Pour dterminer la densit de probabilit de , commenons dabord par
calculer sa fonction de rpartition.
(i)Fonction de rpartition de :
Pour toutv2
Ron a :
F(v) = Ph
< vi
= P[min (X1;:::;Xr)< v]
= 1 P[min(X1;:::;Xr) v]= 1 P[X1 v;:::;Xr v]
83
7/21/2019 Structures Statistiques Et Estimation
88/107
A. El Mossadeq Structures Statistiques et Estimation
F(v) = 1rY
k=1
P[Xk v]
= 1rY
k=1
(1 P[Xk< v])
= 1 [1 F(v)]r
=
8>>>:
0 si v
1 exp r v si v (ii) Densit de probabilit de :
Pour toutv2 Rfg on a :
f(v) = d
dvF(v)
=8>>>:
0 si v <
r
exp r
v
si v >
(iii) Esprance mathmatique de :
Eh
i
=
ZR
vf(v) dv
=Z +1
r
v exp r v dv
=
Z +10
r
t +
exptdt
=
r +
84
7/21/2019 Structures Statistiques Et Estimation
89/107
Structures Statistiques et Estimation A. El Mossadeq
(iv)Esprance mathmatique de 2
:
Eh
2i
=ZR
v2f(v) dv
=
Z +1
r
v2 exp r ( v) dv
=
r +2
+
r
2(v)Variance de :
Vh
i
= Eh
2i Eh
i2
=
r
2Lestimateurdeest biais, mais il est asymptotiquement sans biais.
(c) Considrons lestimateur :
T =
r
Alors :
E[T] = Eh
i
r=
et :
V [T] = V hi=
r2
Test donc un estimateur sans biais et convergent de .
6. On suppose que etsont tous les deux inconnus.
(a) Considrons unr-chantillon de cette structure.
Sa fonction de vraisemblance est dnie pour tout , > 0, 2 R et
85
7/21/2019 Structures Statistiques Et Estimation
90/107
A. El Mossadeq Structures Statistiques et Estimation
tout(x1;:::;xr)2 (]; +1[)r, tous strictement positifs, par :
L (; ; x1;:::;xr) =rY
i=1
f(xi)
= 1
rexp
rXi=1
( xi)
Compte tenu des questions prcedentes, la fonction :
(; )7! L (; ; x1;:::;xr)
atteint son maximum pour :
8>>>>>:
= min (x1;:::;xr)
=
"1
r
rXi=1
xi
#
do, les estimateurs du maximum de vraisemblance ; de(; )sontdonns par :
8>>>>>:
= min (X1;:::;Xr)
=
"1
r
rXi=1
Xi
#
(b) On a :
Eh
i
= r
+
et :
E[] =E[X] Eh
i
=r 1
r
Donc les estimateurs et sont biaiss.
86
7/21/2019 Structures Statistiques Et Estimation
91/107
Structures Statistiques et Estimation A. El Mossadeq
(c) Considrons les estimateursT etSde et respectivement dnis par :
8>>>>>:
T = rr 1
S= 1r 1
alors : 8
7/21/2019 Structures Statistiques Et Estimation
92/107
A. El Mossadeq Structures Statistiques et Estimation
Exercice 11
On sait que le taux de mortalit dune certaine maladie est de 30%.
Sur200 malades tests, combien peut-on envisager de dcs ?
Solution 11
Construisons dobord lintervalle de pari, pour un chantillon de taille n= 200,correspondant la probabilit de dcs p= 0:3.Au seuil, cet intervalle est dni par :
"p t1=2
rp (1p)
n ; p+t1=2
rp (1p)
n
#Pour = 5%, on a :
t:975= 1:96
on obtient alors lintervalle :
[0:24; 0:36]
Il en rsulte que sur les 200 malades, le nombre de dcs envisager seraitcompris, 95%, entre48 et72 dcs.
Exercice 12
Dans une pr-enqute, on selectionne, par tirage au sort cent dossiers.
Quinze dentre eux sont incomplets.
Combien de dossiers incomplets trouvera-t-on sur dix milles dossiers ?
Solution 12
Construisons lintervalle de conance correspondant la frquence f= 0:15 dedossiers incomplets observe sur un chantillon de taille n = 100.Au seuil, cet intervalle est dni par :
"f t1=2
rf(1 f)
n ; f+t1=2
rf(1 f)
n
#
88
7/21/2019 Structures Statistiques Et Estimation
93/107
Structures Statistiques et Estimation A. El Mossadeq
Pour = 5%, on a :
t:975= 1:96on obtient alors lintervalle :
[0:08; 0:22]
Il en rsulte que sur les 10000 dossiers, le nombre de dossiers incomplets seraitcompris, 95%, entre800 et2200 dossiers.
Exercice 13
Dans une maternit, on fait le point de la proportion de lles toutes les cent
naissances.
Comment peut varier cette proportion dune fois lautre si lon admet quil nait
en moyenne51%de lles ?
Solution 13
Construisons lintervalle de pari, pour un chantillon de taille n = 100, corre-
spondant la probabilit dobtenir une lle p= 0:51.Au seuil, cet intervalle est dni par :
"p t1=2
rp (1p)
n ; p+t1=2
rp (1p)
n
#
Pour = 5%, on a :
t:975= 1:96
on obtient alors lintervalle :
[:41; :61]
Il en rsulte, qu 95%, la proportion de lles varie dune fois lautre, entre41% et61%.
89
7/21/2019 Structures Statistiques Et Estimation
94/107
A. El Mossadeq Structures Statistiques et Estimation
Exercice 14
Sur un chantillon de 600 sujets atteints du cancer des poumons, on a trouv
550 fumeurs.Que peut-on dire du pourcentage de fumeurs parmi les cancreux ?
Solution 14
Construisons lintervalle de conance correspondant la frquence f = 11
12 des
cancreux parmi les fumeurs observe sur un chantillon de taille n= 600.Au seuil, cet intervalle est dni par :
"f t1=2
rf(1 f)
n ; f+t1=2
rf(1 f)
n
#
Pour = 5%, on a :
t:975= 1:96
on obtient alors lintervalle :
[0:9; 0:94]
Il en rsulte que parmi, les fumeurs, la proportion des atteints par le cancer des
poumons est comprise, 95%, entre90%et94%.
Exercice 15
Une srie de cent mesures a donn comme rsultat :
8>>>>>>>>>>>:
100Xi=1 x
i= 5200
100Xi=1
"xi 1
100
100Pj=1
xj
#2= 396
90
7/21/2019 Structures Statistiques Et Estimation
95/107
Structures Statistiques et Estimation A. El Mossadeq
1. Estimer la moyenne et la variance.
2. Quel est, 95%, lintervalle de conance de la moyenne ?
3. En supposant la variable mesure gaussienne, dterminer, 95%, lintervalle
de conance de la variance.
Solution 15
1. Soitm lestimation de la moyenne et s2 celle de la variance.
On a :
m = 1
100
100Xi=1
xi
= 52
et :
s2 = 1
99
100
Xi=1(xi m)2
= 4
2. Au seuil , lintervalle de conace de la moyenne est dni par :m t1=2 p
n; m+t1=2
pn
Pour= 5%, on a :
t:975= 1:96
do lintervalle de conance 95%:
[51:608; 52:392]
3. Au seuil , lintervalle de conace de la variance est dni par :" (n 1)2n1;1=2
s2;(n 1)2n1;=2
s2
#
91
7/21/2019 Structures Statistiques Et Estimation
96/107
A. El Mossadeq Structures Statistiques et Estimation
Pour= 5%:
8