MAS SOBRE ESTIMACIÓN DE PARÁMETROS.pdf

7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf

1/10

Master en Metodologa de las Ciencias del Comportamiento y de la Salud

1

COMPLEMENTOS: ESTIMACIN DE PARMETROS

Dra. C. San Luis

Concepto de Sesgo: Estimador de la varianza

E

s2x =

1n

Ei=1

n

(xi- x-)2=

1n

Ei=1

n

(xi- + - x-)2=

=1n E

i=1

n

[ ](xi- ) + ( - x-) 2=

=1n E

i=1

n

[ ](xi- )2+ ( - x-)2+ 2(xi- )( - x-) =

=1n E

i=1

n

(xi- )2+ n( - x-)2+ 2i=1

n

(xi- )( - x-)

Ahora bien,

i=1

n

[ ](xi- )( - x-) =

=i=1

n

( xi - 2 - x-xi+ x-) = i=1

n

xi - n2 - x-i=1

n

xi+ nx-=

= nx- - n2 - nx-2+ nx-= 2nx- - n2 - nx-2= -n(2+ x-2 - 2x-) =

= -n( - x-)2

luego,

E

s2x =

1n

E

i=1

n

(xi- )2+ n( - x-)2 - 2 n( - x-)2 =


2/10


2

=1n

E

i=1

n

(xi- )2 - n( - x-)2 =1n

i=1

n

E(xi- )2 E( - x-)2

pero,

1n

i=1

n

E(xi- )2=1n

n2x=

2x

y

E( - x-)

2

= E(x-

- )2

= VAR(x-) =

N - n

N - 1

2x

n

luego,

E

s2x =

2x -

N - nN - 1

2x

n

siendo el sesgo, como vemos,

b() = 2x

N - nn(N - 1)

Suficiencia de un EstimadorSi, siendo b un estadstico suficiente para , definimos un nuevo estadstico z

funcin de b, z = (b), donde tiene una inversa nica, h, podremos expresar b = h(z)y, por tanto,

f(b; ) = f(h(z); ) = f*(z; )

luego, podremos escribir:

F(x; ) = g(x) f*(z; )

Por consiguiente, si z es funcin de k, siendo k un estadstico suficiente, tambin z serun estadstico suficiente para .

Veamos, como ejemplo, si x-es un estimador suficiente para , siendo X una variable

distribuida normalmente en la poblacin con varianza 2x:


3/10


3

F(x;) =1

x 2exp

i=1

n

(xi - )2

-22x

=

=1

x 2exp

-1

22x

i=1

n

x2i + n

2 - 2i=1

n

xi =

1

x 2exp

-1

22x

i=1

n

x2i exp

-1

22x

n2 - 2i=1

n

xi

Hemos descompuesto la funcin de densidad de probabilidad conjunta original en dos

factores: el primero independiente de y el segundo dependiente de y dei=1n (xi).Puesto quei=1n (xi) es un estadstico suficiente para , tambin lo ser x-al serfuncin de l.

Mtodos de obtencin de Estimadores

Mtodo de la mxima verosimilitud

Sean x1, x2, ...., xnuna muestra aleatoria simple de una poblacin cuya funcin de

densidad de probabilidad es f(x; ). Si suponemos que cada uno de los valores x1, x2,

...., xnes la realizacin concreta de una serie de variables aleatorias X1, X2, ...., Xn

independientes entre s, tendremos que la funcin de densidad de probabilidad conjunta,

llamada funcin de verosimilitud, vendr dada por:

L(x1, x2, ...., xn;

) = (f(x1;

)f(x2;

)f(xn;

) =i=1

n

f(xi;

)

Lo que pretende el mtodo de mxima verosimilitud es encontrar el valor de que

maximice la funcin de verosimilitud; es decir, seleccionar aquel valor del parmetro

que posea como propiedad el maximizar el valor de la probabilidad de la muestra

aleatoria observada.

Dado que el logaritmo de L se maximiza para el mismo valor que L, es frecuente

simplificar la funcin tomando logaritmos. Tendremos entonces que:


4/10


4

Log[L(x1, x2, ...., xn; )] =i=1

n

log[f(xi; )]

Puesto que el objetivo es encontrar el valor de que maximice la funcin, derivaremos

sta con respecto a e igualaremos a 0, quedando:

{Log[L(x1, x2, ...., xn; )]} =

i=1

n

1

f(xi; )f(xi; ) = 0

tras lo cual se resuelve el sistema de ecuaciones para .

Los estimadores de mxima verosimilitud poseen varias propiedades asintticas

importantes que exponemos sin demostracin1:

Son consistentes.

Son asintticamente insesgados: a medida que el tamao de la muestra se acerca a

infinito, la esperanza del estimador tiende al valor del parmetro. No obstante, pueden

ser sesgados para muestras finitas.

Son asintticamente eficientes: ninguno de los estimadores asintticamente insesgados

de un parmetro tendr menor varianza en su distribucin muestral.

Son asintticamente normales: su distribucin muestral tiende a la normalidad al tender

a infinito el tamao de la muestra.

Si existe un estimador suficiente del parmetro, el estimador de mxima verosimilitudser funcin de dicho estimador.

Segn se desprende de las propiedades comentadas, los estimadores de mxima

verosimilitud se comportan adecuadamente con tamaos muestrales muy grandes, pero

no necesariamente si dichos tamaos son pequeos.

Mtodo de mnimos cuadrados

1Para una demostracin de estas propiedades puede consultarse, por ejemplo, Cramr (1968)


5/10


5

Supongamos que un investigador desea ajustar los parmetros de un modelo del tipo:

y= X+

siendo yun vector de n observaciones empricas de la variable denominada criterio; X

una matriz, llamada de diseo, de n observaciones empricas por k variables

predictoras; un vector de n residuales que recoge todas las influencias sobre la

variable yno recogidas en el modelo, y un vector de parmetros.

Asumiendo la independencia de los residuales, que E() = 0, VAR() = 2y que sedistribuye normalmente2, si denominamos bal estimador de , el mtodo de losmnimos cuadrados selecciona los valores de bque minimizan S(

), definido como:

S(

) = |y - X

|2= [y - X

] [y - X

]

para ello derivamos con respecto a , e igualamos a cero las derivadas, obteniendo las

llamadas ecuaciones normales:

[XX] b= Xy

de donde:

b= [XX]-1

[Xy]

Los estimadores por mnimos cuadrados presentan las siguientes caractersticas:

1. Insesgados:

E(b) = E{[XX]-1[Xy]} = [XX]-1 XE(y) = [XX]-1 XE(Xb+ ) =

= [XX]-1 X{E(Xb) + E(

) = [XX]-1 XX

=

2. De varianza mnima3:

Sea bel estimador de mnimos cuadrados de y sea b* otro estimador lineal tambininsesgado de .

Recordemos que

2Para obtener los estimadores b no se requiere la suposicin de normalidad de , sin embargo, este supuesto

se suele incluir para hacer posibles los contrastes que dependan de dicha suposicin, como t de Student o F, o la

determinacin de intervalos de confianza basados en dichas distribuciones. (Draper y Smith, 1981)

3Esta caracterstica constituye el Teorema de Markov


6/10


6

b= [XX]-1[Xy]

y si hacemos S-1= [XX]-1, tendremos:

b= S

-1

XySea bla matriz de varianzas-covarianzas de b. Podemos escribir:

b= E{[b - ][b - ]} = E{[ S-1Xy - ][ S-1Xy - ]} =

= E[S-1XyyX S-1 - S-1Xyb - byX S-1+ bb] =

= S-1XE[yy]X S-1 - S-1XE[y]

-

E[y]X S-1+ bb

Ahora bien,

E[yy] = E{[X+ ][X+ ]} =

= E[X

X +

X+ Xb

+

]

y, puesto que en funcin de los supuestos asumidos

E[] = 0

E[

] = 2I

tenemos

E[yy] = X X+ 2I

E[y] = X

E[y] = X

Por consiguiente,

b= S-1X[X

X+ 2I]X S-1 - S-1X X - XX S-1+ =

= + 2 S-1XX S-1- - + = 2 S-1

Por otra parte, y puesto que b*es un estimador lineal, podremos escribir:

b*= Ay= [S-1X + B]y


7/10


7

E(b*) = E{[S-1X + B]y} = [S-1X + B]E[y] = [S-1X + B]X

=

= + BX.

y, puesto que el estimador es insesgado, tiene que ser

BX= 0

Sea b*la matriz de varianzas-covarianzas de b*. Tenemos:

b*= E{[b* -][b* - ]} =

= E{[[S-1X + B][X

+

] -

][[S-1X+ B][X

+

] -

]} =

= E{[S-1XX+ S-1X+ BX+ B - ][S-1XX+ S-1X+ BX+

+ B - ]} =

= E{[S-1X

+ B

][S-1X

+ B

]} =

= E{S-1XXS-1+ BXS-1 + S-1XB + BB} =

= S-1XE[]XS-1+ BE[]XS-1+ S-1XE[]B + BE[]B =

= 2S-1XXS-1+ 2BXS-1 + 2S-1XB+ 2BB =

= 2S-1+ 2BB = 2[S-1+ BB]

Puesto que los elementos de la diagonal principal de BBson sumas cuadrticas, sern

siempre positivos, con lo que los elementos de la diagonal principal de 2[S-1+ BB],

que constituyen la varianza de b*, sern siempre mayores que los elementos de la

diagonal principal de 2S-1, que constituyen la varianza de b, salvo, naturalmente, que Bsea cero, en cuyo caso b* = b.

3. Son estimadores mximo-verosmiles (bajo los supuestos asumidos):

La funcin de verosimilitud para la muestra Y bajo los supuestos asumidos es:

L(Y; ) =

i=1

n

1

2exp

-2i

22 =1

n(2)n/2exp

-

22


8/10


8

y, puesto que minimizarequivale a maximizar L(Y; ), queda demostrada la propiedad.

Mtodo general para construir intervalos de confianza4

Consideremos una poblacin con funcin de densidad de probabilidad f(x;

). Con

muestras de tamao n empleamos como estimador de una funcin de las

observaciones que denominaremos b(x1, x2, ...xn). Supongamos que hemos determinado

la funcin de densidad del estimador y que viene dada por g(b;

). Finalmente,

supongamos que el campo de variacin de bes (-< b< ).

Queremos obtener el intervalo de confianza de tamao 1 -, para lo que necesitamos

determinar dos valores h1y h2tales que:

P[h1< b h2] = 1 -

h1

h2g(b;

)db= 1 -

o, alternativamente,

-

h1g(b;

)db=2

h2

g(b;))db=

2

Los valores h1y h2dependen explcitamente de , por lo que podemos escribir h1= h1(

) y

h2= h2(), por lo que:

P[h1() < b h2()] = 1 -

Para obtener el intervalo de confianza de tamao para , representaremos

grficamente h1 y h2 tal como se muestra en la figura adjunta. Hecho esto obtenemos

una muestra de tamao n y calculamos el valor de b. Supongamos que el valor obtenido

4Tomado de Arnaiz (1986)


9/10


9

es b1; por el punto de ordenada b1 trazamos una recta paralela al eje de abscisas que

cortar a h1() y h2() en los puntos P y Q. Proyectando estos puntos sobre el eje de

abscisas obtendremos unos valores [1y 2] que delimitan el intervalo de confianza.

h2()h1()

S

P Q

B

1 2

A fin de justificar el procedimiento, supongamos que es el verdadero valor del

parmetro. Tenemos una probabilidad 1 -de que los valores bobtenidos con muestras

de tamao n caigan entre R y S. Si a cada valor de b le hacemos corresponder una

recta horizontal trazada por b, vemos que siempre que R < b< S, la recta horizontal

corta a la vertical trazada por entre los puntos R y S, limitados por las dos curvas y

entonces el segmento aleatorio determinado por la recta horizontal abarca el verdadero

valor de .

Hemos llegado, pues, a la siguiente cadena de igualdades: Si es el verdadero valor del

parmetro

P[R < b< S] = 1 -

P[R < b< S] = probabilidad de que la recta horizontal trazada por bcorte a la verticaltrazada por entre las dos curvas = probabilidad de que el segmento horizontal

determinado por las dos curvas abarque a = 1 - .

Una vez obtenido el valor de b1la recta horizontal cortar a la vertical que pasa por el

verdadero valor de , entre las dos curvas o fuera de las dos curvas, pero como antes de

realizar el experimento tenamos una probabilidad 1 - de que la cortara entre dos

curvas, ahora tenemos una confianza 1 -de que la habr cortado y, por lo tanto, como


10/10


10

la recta horizontal determina el intervalo (1; 2) tendremos una confianza 1 -de que

ese intervalo abarque el verdadero valor de .

En cualquier caso, recordemos que la llamada precisin de la estimacin del

parmetro, es un concepto probabilstico y siempre est supeditado a la aplicabilidad del

modelo matemtico de distribucin muestral del estadstico elegido.

Ejemplo

Supongamos, como ejemplo de lo expuesto, que queremos estimar usando como

estimador x-con una confianza de 0.95; sea la varianza poblacional 2xconocida. En esta

situacin tendremos que

h1() = x-+ 1,96x

n

h2() = x- - 1,96x

n

Una vez seleccionada una muestra de tamao n, calcularemos x-, valor que sustituiremos

en h1() y h2() (equivalente algebraico de la proyeccin geomtrica), obteniendo los

lmites del intervalo de confianza del 95%.

Documents

MAS SOBRE ESTIMACIÓN DE PARÁMETROS.pdf