-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 1 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Modelos Lineales. Grado en EstadsticaCurso 2011/2012. Prof. Dr.
Francisco de Ass Torres Ruiz
Tema 3: El modelo de regresion lineal simple.Estimacion por
maxima verosimilitud
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 1 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Modelos Lineales. Grado en EstadsticaCurso 2011/2012. Prof. Dr.
Francisco de Ass Torres Ruiz
Tema 3: El modelo de regresion lineal simple.Estimacion por
maxima verosimilitud
Indice
1. Introduccion 2
2. Estimacion del modelo por maxima verosimilitud 3
3. Distribucion de los estimadores 63.1. Distribucion de 1. . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . 6
3.2. Distribucion de 0. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . 63.3. Distribucion de 2 . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . 73.4. Distribucion de las variabilidades explicada y no
explicada. . . . . . . . . . . . . . . . . . 7
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introduccion
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introduccion
Hasta el momento hemos trabajado con el modelo de regresion
lineal simple sin haber establecidoningun supuesto sobre la
distribucion de las perturbaciones aleatorias i, i = 1, . . . , N .
De hecho no hasido necesario emplear dichas distribuciones para la
estimacion ya que el metodo de mnimos cuadrados,as como las
primeras conclusiones que se han obtenido, no requieren nada al
respecto.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introduccion
Hasta el momento hemos trabajado con el modelo de regresion
lineal simple sin haber establecidoningun supuesto sobre la
distribucion de las perturbaciones aleatorias i, i = 1, . . . , N .
De hecho no hasido necesario emplear dichas distribuciones para la
estimacion ya que el metodo de mnimos cuadrados,as como las
primeras conclusiones que se han obtenido, no requieren nada al
respecto.
Sin embargo, con posterioridad vamos a tratar el tema de
contrastes de hipotesis sobre el modelo paralo cual es
imprescindible el conocimiento de las distribuciones de los
estimadores obtenidos. Se hace puesnecesario la introduccion de una
hipotesis adicional en la cual se recoja la base de las
distribuciones quese emplearan.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introduccion
Hasta el momento hemos trabajado con el modelo de regresion
lineal simple sin haber establecidoningun supuesto sobre la
distribucion de las perturbaciones aleatorias i, i = 1, . . . , N .
De hecho no hasido necesario emplear dichas distribuciones para la
estimacion ya que el metodo de mnimos cuadrados,as como las
primeras conclusiones que se han obtenido, no requieren nada al
respecto.
Sin embargo, con posterioridad vamos a tratar el tema de
contrastes de hipotesis sobre el modelo paralo cual es
imprescindible el conocimiento de las distribuciones de los
estimadores obtenidos. Se hace puesnecesario la introduccion de una
hipotesis adicional en la cual se recoja la base de las
distribuciones quese emplearan.
As la hipotesis que se plantea es la de que las perturbaciones
aleatorias son independientes y estanidenticamente distribuidas
atendiendo a una normal de media cero y varianza 2; es decir
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introduccion
Hasta el momento hemos trabajado con el modelo de regresion
lineal simple sin haber establecidoningun supuesto sobre la
distribucion de las perturbaciones aleatorias i, i = 1, . . . , N .
De hecho no hasido necesario emplear dichas distribuciones para la
estimacion ya que el metodo de mnimos cuadrados,as como las
primeras conclusiones que se han obtenido, no requieren nada al
respecto.
Sin embargo, con posterioridad vamos a tratar el tema de
contrastes de hipotesis sobre el modelo paralo cual es
imprescindible el conocimiento de las distribuciones de los
estimadores obtenidos. Se hace puesnecesario la introduccion de una
hipotesis adicional en la cual se recoja la base de las
distribuciones quese emplearan.
As la hipotesis que se plantea es la de que las perturbaciones
aleatorias son independientes y estanidenticamente distribuidas
atendiendo a una normal de media cero y varianza 2; es decir
i ; N1[0;2] ; i = 1, . . . , N
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introduccion
Hasta el momento hemos trabajado con el modelo de regresion
lineal simple sin haber establecidoningun supuesto sobre la
distribucion de las perturbaciones aleatorias i, i = 1, . . . , N .
De hecho no hasido necesario emplear dichas distribuciones para la
estimacion ya que el metodo de mnimos cuadrados,as como las
primeras conclusiones que se han obtenido, no requieren nada al
respecto.
Sin embargo, con posterioridad vamos a tratar el tema de
contrastes de hipotesis sobre el modelo paralo cual es
imprescindible el conocimiento de las distribuciones de los
estimadores obtenidos. Se hace puesnecesario la introduccion de una
hipotesis adicional en la cual se recoja la base de las
distribuciones quese emplearan.
As la hipotesis que se plantea es la de que las perturbaciones
aleatorias son independientes y estanidenticamente distribuidas
atendiendo a una normal de media cero y varianza 2; es decir
i ; N1[0;2] ; i = 1, . . . , N
o, equivalentemente, las variables yi son independientes y estan
distribuidas, para cada xi, de formanormal
yi ; N1[0 + 1xi;2] ; i = 1, . . . , N.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introduccion
Hasta el momento hemos trabajado con el modelo de regresion
lineal simple sin haber establecidoningun supuesto sobre la
distribucion de las perturbaciones aleatorias i, i = 1, . . . , N .
De hecho no hasido necesario emplear dichas distribuciones para la
estimacion ya que el metodo de mnimos cuadrados,as como las
primeras conclusiones que se han obtenido, no requieren nada al
respecto.
Sin embargo, con posterioridad vamos a tratar el tema de
contrastes de hipotesis sobre el modelo paralo cual es
imprescindible el conocimiento de las distribuciones de los
estimadores obtenidos. Se hace puesnecesario la introduccion de una
hipotesis adicional en la cual se recoja la base de las
distribuciones quese emplearan.
As la hipotesis que se plantea es la de que las perturbaciones
aleatorias son independientes y estanidenticamente distribuidas
atendiendo a una normal de media cero y varianza 2; es decir
i ; N1[0;2] ; i = 1, . . . , N
o, equivalentemente, las variables yi son independientes y estan
distribuidas, para cada xi, de formanormal
yi ; N1[0 + 1xi;2] ; i = 1, . . . , N.
Esta hipotesis ha de ser verificada siempre en el analisis de un
modelo de regresion lineal, ya quesupedita gran parte del
tratamiento que con posterioridad se va a realizar.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
Nuestra idea es obtener los estimadores maximo-verosmiles para
los parametros 0, 1 y 2. Para
ello hay que realizar la maximizacion de la anterior funcion y
encontrar 0, 1 y 2 tales que
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
Nuestra idea es obtener los estimadores maximo-verosmiles para
los parametros 0, 1 y 2. Para
ello hay que realizar la maximizacion de la anterior funcion y
encontrar 0, 1 y 2 tales que
L(y1, . . . , yN ; 0, 1, 2) = Sup0,1,2
L(y1, . . . , yN ; 0, 1, 2) .
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
Nuestra idea es obtener los estimadores maximo-verosmiles para
los parametros 0, 1 y 2. Para
ello hay que realizar la maximizacion de la anterior funcion y
encontrar 0, 1 y 2 tales que
L(y1, . . . , yN ; 0, 1, 2) = Sup0,1,2
L(y1, . . . , yN ; 0, 1, 2) .
Para ello, en principio, habra que derivar la funcion de
verosimilitud y encontrar sus puntos crticos.Asimismo, como
trabajar con dicha funcion es algo complicado, lo que suele hacerse
es considerar sulogaritmo ya que, al ser el logaritmo creciente,
conserva los puntos crticos. En este caso
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
Nuestra idea es obtener los estimadores maximo-verosmiles para
los parametros 0, 1 y 2. Para
ello hay que realizar la maximizacion de la anterior funcion y
encontrar 0, 1 y 2 tales que
L(y1, . . . , yN ; 0, 1, 2) = Sup0,1,2
L(y1, . . . , yN ; 0, 1, 2) .
Para ello, en principio, habra que derivar la funcion de
verosimilitud y encontrar sus puntos crticos.Asimismo, como
trabajar con dicha funcion es algo complicado, lo que suele hacerse
es considerar sulogaritmo ya que, al ser el logaritmo creciente,
conserva los puntos crticos. En este caso
log(L(y1, . . . , yN ; 0, 1, 2)) = N
2log(2) N
2log(2) 1
22
Ni=1
[yi 0 1xi]2
siendo las parciales, respecto de los parametros, las
siguientes
logL0
= logL1
=
logL2
=
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
Nuestra idea es obtener los estimadores maximo-verosmiles para
los parametros 0, 1 y 2. Para
ello hay que realizar la maximizacion de la anterior funcion y
encontrar 0, 1 y 2 tales que
L(y1, . . . , yN ; 0, 1, 2) = Sup0,1,2
L(y1, . . . , yN ; 0, 1, 2) .
Para ello, en principio, habra que derivar la funcion de
verosimilitud y encontrar sus puntos crticos.Asimismo, como
trabajar con dicha funcion es algo complicado, lo que suele hacerse
es considerar sulogaritmo ya que, al ser el logaritmo creciente,
conserva los puntos crticos. En este caso
log(L(y1, . . . , yN ; 0, 1, 2)) = N
2log(2) N
2log(2) 1
22
Ni=1
[yi 0 1xi]2
siendo las parciales, respecto de los parametros, las
siguientes
logL0
=1
2
Ni=1
[yi 0 1xi] logL1
=
logL2
=
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
Nuestra idea es obtener los estimadores maximo-verosmiles para
los parametros 0, 1 y 2. Para
ello hay que realizar la maximizacion de la anterior funcion y
encontrar 0, 1 y 2 tales que
L(y1, . . . , yN ; 0, 1, 2) = Sup0,1,2
L(y1, . . . , yN ; 0, 1, 2) .
Para ello, en principio, habra que derivar la funcion de
verosimilitud y encontrar sus puntos crticos.Asimismo, como
trabajar con dicha funcion es algo complicado, lo que suele hacerse
es considerar sulogaritmo ya que, al ser el logaritmo creciente,
conserva los puntos crticos. En este caso
log(L(y1, . . . , yN ; 0, 1, 2)) = N
2log(2) N
2log(2) 1
22
Ni=1
[yi 0 1xi]2
siendo las parciales, respecto de los parametros, las
siguientes
logL0
=1
2
Ni=1
[yi 0 1xi] logL1
=1
2
Ni=1
[yi 0 1xi]xi
logL2
=
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimacion del modelo por maxima verosimilitud
Como ya se ha comentado anteriormente, la hipotesis de
normalidad sobre los terminos de errorconlleva el hecho de que las
variables yi sean normales e independientes, por lo que es
inmediato construirla funcion de verosimilitud asociada a la
muestra {y1, . . . , yN}.
L(y1, . . . , yN ; 0, 1, 2) = (22)N2 exp
( 1
22
Ni=1
[yi 0 1xi]2)
.
Nuestra idea es obtener los estimadores maximo-verosmiles para
los parametros 0, 1 y 2. Para
ello hay que realizar la maximizacion de la anterior funcion y
encontrar 0, 1 y 2 tales que
L(y1, . . . , yN ; 0, 1, 2) = Sup0,1,2
L(y1, . . . , yN ; 0, 1, 2) .
Para ello, en principio, habra que derivar la funcion de
verosimilitud y encontrar sus puntos crticos.Asimismo, como
trabajar con dicha funcion es algo complicado, lo que suele hacerse
es considerar sulogaritmo ya que, al ser el logaritmo creciente,
conserva los puntos crticos. En este caso
log(L(y1, . . . , yN ; 0, 1, 2)) = N
2log(2) N
2log(2) 1
22
Ni=1
[yi 0 1xi]2
siendo las parciales, respecto de los parametros, las
siguientes
logL0
=1
2
Ni=1
[yi 0 1xi] logL1
=1
2
Ni=1
[yi 0 1xi]xi
logL2
= N22
+1
2(2)2
Ni=1
[yi 0 1xi]2
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
que no es otro que el sistema de ecuaciones normales que se
obtuvo tras la estimacion por mnimoscuadrados ordinarios. Con ello
los estimadores maximo verosmiles de 0 y 1 son los mismos que
losmnimo cuadraticos.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
que no es otro que el sistema de ecuaciones normales que se
obtuvo tras la estimacion por mnimoscuadrados ordinarios. Con ello
los estimadores maximo verosmiles de 0 y 1 son los mismos que
losmnimo cuadraticos.
A continuacion igualamos la tercera parcial a cero y sustituimos
los parametros 0 y 1 por losestimadores anteriores, concluyendo que
el estimador maximo verosmil para 2 es
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
que no es otro que el sistema de ecuaciones normales que se
obtuvo tras la estimacion por mnimoscuadrados ordinarios. Con ello
los estimadores maximo verosmiles de 0 y 1 son los mismos que
losmnimo cuadraticos.
A continuacion igualamos la tercera parcial a cero y sustituimos
los parametros 0 y 1 por losestimadores anteriores, concluyendo que
el estimador maximo verosmil para 2 es
2 =
Ni=1
e2i
N
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
que no es otro que el sistema de ecuaciones normales que se
obtuvo tras la estimacion por mnimoscuadrados ordinarios. Con ello
los estimadores maximo verosmiles de 0 y 1 son los mismos que
losmnimo cuadraticos.
A continuacion igualamos la tercera parcial a cero y sustituimos
los parametros 0 y 1 por losestimadores anteriores, concluyendo que
el estimador maximo verosmil para 2 es
2 =
Ni=1
e2i
N
que ya no coincide con el estimador de mnimos cuadrados. Ademas
este estimador no es insesgado yaque
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
que no es otro que el sistema de ecuaciones normales que se
obtuvo tras la estimacion por mnimoscuadrados ordinarios. Con ello
los estimadores maximo verosmiles de 0 y 1 son los mismos que
losmnimo cuadraticos.
A continuacion igualamos la tercera parcial a cero y sustituimos
los parametros 0 y 1 por losestimadores anteriores, concluyendo que
el estimador maximo verosmil para 2 es
2 =
Ni=1
e2i
N
que ya no coincide con el estimador de mnimos cuadrados. Ademas
este estimador no es insesgado yaque
E[2] =
N 2N
2
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
que no es otro que el sistema de ecuaciones normales que se
obtuvo tras la estimacion por mnimoscuadrados ordinarios. Con ello
los estimadores maximo verosmiles de 0 y 1 son los mismos que
losmnimo cuadraticos.
A continuacion igualamos la tercera parcial a cero y sustituimos
los parametros 0 y 1 por losestimadores anteriores, concluyendo que
el estimador maximo verosmil para 2 es
2 =
Ni=1
e2i
N
que ya no coincide con el estimador de mnimos cuadrados. Ademas
este estimador no es insesgado yaque
E[2] =
N 2N
2
razon por la cual vamos a adoptar la va de tomar como estimador
de la varianza de las perturbacionesel estimador mnimo
cuadratico.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el
siguiente sistema de ecuaciones
Ni=1
yi = N0 + 1
ni=1
xi
Ni=1
xiyi = 0
Ni=1
xi + 1
ni=1
x2i
que no es otro que el sistema de ecuaciones normales que se
obtuvo tras la estimacion por mnimoscuadrados ordinarios. Con ello
los estimadores maximo verosmiles de 0 y 1 son los mismos que
losmnimo cuadraticos.
A continuacion igualamos la tercera parcial a cero y sustituimos
los parametros 0 y 1 por losestimadores anteriores, concluyendo que
el estimador maximo verosmil para 2 es
2 =
Ni=1
e2i
N
que ya no coincide con el estimador de mnimos cuadrados. Ademas
este estimador no es insesgado yaque
E[2] =
N 2N
2
razon por la cual vamos a adoptar la va de tomar como estimador
de la varianza de las perturbacionesel estimador mnimo
cuadratico.
Evidentemente nos queda comprobar que la solucion obtenida para
el sistema de ecuaciones anteriormaximiza la funcion de
verosimilitud. En efecto, puede comprobarse que:
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2 logL20
= N2
,2 logL21
=
Ni=1
x2i
2,2 logL10
=
Ni=1
xi
2,2 logL20
=
Ni=1
[yi 0 1xi]
(2)2
2 logL21
=
Ni=1
[yi 0 1xi]xi
(2)2,2 logL(2)2
=N
2(2)2
Ni=1
[yi 0 1xi]2
(2)3
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2 logL20
= N2
,2 logL21
=
Ni=1
x2i
2,2 logL10
=
Ni=1
xi
2,2 logL20
=
Ni=1
[yi 0 1xi]
(2)2
2 logL21
=
Ni=1
[yi 0 1xi]xi
(2)2,2 logL(2)2
=N
2(2)2
Ni=1
[yi 0 1xi]2
(2)3
por lo que la matriz hessiana en el punto 0, 1, 2 queda en la
forma
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2 logL20
= N2
,2 logL21
=
Ni=1
x2i
2,2 logL10
=
Ni=1
xi
2,2 logL20
=
Ni=1
[yi 0 1xi]
(2)2
2 logL21
=
Ni=1
[yi 0 1xi]xi
(2)2,2 logL(2)2
=N
2(2)2
Ni=1
[yi 0 1xi]2
(2)3
por lo que la matriz hessiana en el punto 0, 1, 2 queda en la
forma
H(0, 1, 2) =
N/2
Ni=1
xi/2 0
Ni=1
xi/2
Ni=1
x2i/2 0
0 0 N/2(2)2
= 1
2
N Nx 0
NxNi=1
x2i 0
0 0N
22
.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2 logL20
= N2
,2 logL21
=
Ni=1
x2i
2,2 logL10
=
Ni=1
xi
2,2 logL20
=
Ni=1
[yi 0 1xi]
(2)2
2 logL21
=
Ni=1
[yi 0 1xi]xi
(2)2,2 logL(2)2
=N
2(2)2
Ni=1
[yi 0 1xi]2
(2)3
por lo que la matriz hessiana en el punto 0, 1, 2 queda en la
forma
H(0, 1, 2) =
N/2
Ni=1
xi/2 0
Ni=1
xi/2
Ni=1
x2i/2 0
0 0 N/2(2)2
= 1
2
N Nx 0
NxNi=1
x2i 0
0 0N
22
.
Esta matriz es definida negativa puesto que los menores
principales son
D1 = N
2, D2 =
N 2S2x(2)2
y D3 = N 3S2x2(2)4
verificandose que (1)iDi > 0, i = 1, 2, 3.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2 logL20
= N2
,2 logL21
=
Ni=1
x2i
2,2 logL10
=
Ni=1
xi
2,2 logL20
=
Ni=1
[yi 0 1xi]
(2)2
2 logL21
=
Ni=1
[yi 0 1xi]xi
(2)2,2 logL(2)2
=N
2(2)2
Ni=1
[yi 0 1xi]2
(2)3
por lo que la matriz hessiana en el punto 0, 1, 2 queda en la
forma
H(0, 1, 2) =
N/2
Ni=1
xi/2 0
Ni=1
xi/2
Ni=1
x2i/2 0
0 0 N/2(2)2
= 1
2
N Nx 0
NxNi=1
x2i 0
0 0N
22
.
Esta matriz es definida negativa puesto que los menores
principales son
D1 = N
2, D2 =
N 2S2x(2)2
y D3 = N 3S2x2(2)4
verificandose que (1)iDi > 0, i = 1, 2, 3.De esta forma hemos
calculado elmaximo relativo de la funcion de verosimilitud. Se
puede comprobar
que este maximo es absoluto, para lo cual hay que comprobar que
los lmites de la funcion de verosimilituden los extremos del
espacio parametrico, cuando 0 y 1 tienden a menos y mas infinito y
cuando
2
tiende a cero y a infinito, es cero.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribucion de los estimadores
El hecho de que los estimadores de 0 y 1 se puedan expresar en
terminos de las perturbaciones iy que estas sean ahora, por
hipotesis, variables aleatorias independientes e identicamente
distribuidassegun una normal de media cero y varianza 2, permite
obtener de forma rapida las distribuciones dedichos estimadores. En
cuanto a la distribucion de la varianza residual no tendremos una
expresion paraella si bien, aunque lo demostraremos mas adelante, s
es conocida la distribucion de una cierta funcionsuya.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribucion de los estimadores
El hecho de que los estimadores de 0 y 1 se puedan expresar en
terminos de las perturbaciones iy que estas sean ahora, por
hipotesis, variables aleatorias independientes e identicamente
distribuidassegun una normal de media cero y varianza 2, permite
obtener de forma rapida las distribuciones dedichos estimadores. En
cuanto a la distribucion de la varianza residual no tendremos una
expresion paraella si bien, aunque lo demostraremos mas adelante, s
es conocida la distribucion de una cierta funcionsuya.
3.1. Distribucion de 1.
Recordemos que 1 se puede expresar como
1 = 1 +Ni=1
wii,
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribucion de los estimadores
El hecho de que los estimadores de 0 y 1 se puedan expresar en
terminos de las perturbaciones iy que estas sean ahora, por
hipotesis, variables aleatorias independientes e identicamente
distribuidassegun una normal de media cero y varianza 2, permite
obtener de forma rapida las distribuciones dedichos estimadores. En
cuanto a la distribucion de la varianza residual no tendremos una
expresion paraella si bien, aunque lo demostraremos mas adelante, s
es conocida la distribucion de una cierta funcionsuya.
3.1. Distribucion de 1.
Recordemos que 1 se puede expresar como
1 = 1 +Ni=1
wii,
con lo cual se distribuira segun una normal de media 1 y de
varianza
Ni=1
w2i 2 =
2
NS2x
puesto que es una combinacion lineal de variables normales,
independientes e identicamente distribuidas.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribucion de los estimadores
El hecho de que los estimadores de 0 y 1 se puedan expresar en
terminos de las perturbaciones iy que estas sean ahora, por
hipotesis, variables aleatorias independientes e identicamente
distribuidassegun una normal de media cero y varianza 2, permite
obtener de forma rapida las distribuciones dedichos estimadores. En
cuanto a la distribucion de la varianza residual no tendremos una
expresion paraella si bien, aunque lo demostraremos mas adelante, s
es conocida la distribucion de una cierta funcionsuya.
3.1. Distribucion de 1.
Recordemos que 1 se puede expresar como
1 = 1 +Ni=1
wii,
con lo cual se distribuira segun una normal de media 1 y de
varianza
Ni=1
w2i 2 =
2
NS2x
puesto que es una combinacion lineal de variables normales,
independientes e identicamente distribuidas.
3.2. Distribucion de 0.
En cuanto al estimador de la ordenada en el origen se tiene un
resultado analogo al anterior. Enefecto, como
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribucion de los estimadores
El hecho de que los estimadores de 0 y 1 se puedan expresar en
terminos de las perturbaciones iy que estas sean ahora, por
hipotesis, variables aleatorias independientes e identicamente
distribuidassegun una normal de media cero y varianza 2, permite
obtener de forma rapida las distribuciones dedichos estimadores. En
cuanto a la distribucion de la varianza residual no tendremos una
expresion paraella si bien, aunque lo demostraremos mas adelante, s
es conocida la distribucion de una cierta funcionsuya.
3.1. Distribucion de 1.
Recordemos que 1 se puede expresar como
1 = 1 +Ni=1
wii,
con lo cual se distribuira segun una normal de media 1 y de
varianza
Ni=1
w2i 2 =
2
NS2x
puesto que es una combinacion lineal de variables normales,
independientes e identicamente distribuidas.
3.2. Distribucion de 0.
En cuanto al estimador de la ordenada en el origen se tiene un
resultado analogo al anterior. Enefecto, como
0 = 0 +Ni=1
[1
N xwi
]i
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye
segun una normal de media 0 y varianza
2Ni=1
[1
N xwi
]2= 2
[1
N+
x2
NS2x
].
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye
segun una normal de media 0 y varianza
2Ni=1
[1
N xwi
]2= 2
[1
N+
x2
NS2x
].
3.3. Distribucion de 2
La distribucion del estimador de la varianza de los terminos de
error no es inmediata puesto que sebasa en la distribucion de
formas cuadraticas normales. Por esta razon omitimos su
demostracion aqu,si bien en el siguiente tema trataremos esta
cuestion mas detalladamente. Concretamente se tiene que
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye
segun una normal de media 0 y varianza
2Ni=1
[1
N xwi
]2= 2
[1
N+
x2
NS2x
].
3.3. Distribucion de 2
La distribucion del estimador de la varianza de los terminos de
error no es inmediata puesto que sebasa en la distribucion de
formas cuadraticas normales. Por esta razon omitimos su
demostracion aqu,si bien en el siguiente tema trataremos esta
cuestion mas detalladamente. Concretamente se tiene que
Ni=1
e2i
2=
(N 2)2
2
se distribuye segun una distribucion chi-cuadrado centrada con N
2 grados de libertad.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye
segun una normal de media 0 y varianza
2Ni=1
[1
N xwi
]2= 2
[1
N+
x2
NS2x
].
3.3. Distribucion de 2
La distribucion del estimador de la varianza de los terminos de
error no es inmediata puesto que sebasa en la distribucion de
formas cuadraticas normales. Por esta razon omitimos su
demostracion aqu,si bien en el siguiente tema trataremos esta
cuestion mas detalladamente. Concretamente se tiene que
Ni=1
e2i
2=
(N 2)2
2
se distribuye segun una distribucion chi-cuadrado centrada con N
2 grados de libertad.Recordemos que los N 2 grados de libertad de
los residuos proceden del numero de datos menos el
numero de parametros que han hecho falta estimar para calcular
las medias en cada punto, pudiendoseentender mejor si consideramos
que los N residuos no son independientes ya que los residuos poseen
dosrestricciones dadas por
Ni=1
ei = 0 ,Ni=1
eixi = 0
con lo cual hay solo N 2 residuos independientes, que
corresponden a los N 2 grados de libertad.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye
segun una normal de media 0 y varianza
2Ni=1
[1
N xwi
]2= 2
[1
N+
x2
NS2x
].
3.3. Distribucion de 2
La distribucion del estimador de la varianza de los terminos de
error no es inmediata puesto que sebasa en la distribucion de
formas cuadraticas normales. Por esta razon omitimos su
demostracion aqu,si bien en el siguiente tema trataremos esta
cuestion mas detalladamente. Concretamente se tiene que
Ni=1
e2i
2=
(N 2)2
2
se distribuye segun una distribucion chi-cuadrado centrada con N
2 grados de libertad.Recordemos que los N 2 grados de libertad de
los residuos proceden del numero de datos menos el
numero de parametros que han hecho falta estimar para calcular
las medias en cada punto, pudiendoseentender mejor si consideramos
que los N residuos no son independientes ya que los residuos poseen
dosrestricciones dadas por
Ni=1
ei = 0 ,Ni=1
eixi = 0
con lo cual hay solo N 2 residuos independientes, que
corresponden a los N 2 grados de libertad.
Ademas puede demostrarse que tanto 0 como 1 son independientes
deNi=1
e2i (si bien ello conlleva
estudiar independencia de formas cuadraticas y lineales y lo
dejaremos para el apartado de regresionmultiple).
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3.4. Distribucion de las variabilidades explicada y no
explicada.
A partir del apartado anterior es inmediato queVNE
2; 2N2.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3.4. Distribucion de las variabilidades explicada y no
explicada.
A partir del apartado anterior es inmediato queVNE
2; 2N2.
Por otro lado se verifica que VE =Ni=1
(yi y)2 = 21NS2x.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3.4. Distribucion de las variabilidades explicada y no
explicada.
A partir del apartado anterior es inmediato queVNE
2; 2N2.
Por otro lado se verifica que VE =Ni=1
(yi y)2 = 21NS2x.
Como 1 ; N1
[1;
2
NS2x
], entonces
NS2x1 ; N1
[NS2x1;
2], por lo que 1
VE
2; 21() siendo =
NS2x21
2.
1 Recordemos que:
a) Dadas z1, . . . , zn variables aleatorias independientes con
zi ; N1[i;2], i = 1, . . . , n, entonces
u =
ni=1
z2i
2; 2n() donde =
ni=1
2i
2.
b) Si z ; N1[;2],
u
2; 2n y ambas son independientes, entonces
zu
n
; tn() donde =2
2.
http://www.ugr.es
-
Pagina www
Pagina inicial
Contenido
JJ II
J I
Pagina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3.4. Distribucion de las variabilidades explicada y no
explicada.
A partir del apartado anterior es inmediato queVNE
2; 2N2.
Por otro lado se verifica que VE =Ni=1
(yi y)2 = 21NS2x.
Como 1 ; N1
[1;
2
NS2x
], entonces
NS2x1 ; N1
[NS2x1;
2], por lo que 1
VE
2; 21() siendo =
NS2x21
2.
Ademas, puesto que 1 y 2 son independientes se deduce que ambas
variabilidades son independientes
y que 2
VEVNEN2
; F1,N2() .
1 Recordemos que:
a) Dadas z1, . . . , zn variables aleatorias independientes con
zi ; N1[i;2], i = 1, . . . , n, entonces
u =
ni=1
z2i
2; 2n() donde =
ni=1
2i
2.
b) Si z ; N1[;2],
u
2; 2n y ambas son independientes, entonces
zu
n
; tn() donde =2
2.
2 Si z ; 2m(), u; 2n y ambas son independientes, entonces
z
mu
n
; Fm,n() .
http://www.ugr.es
IntroduccinEstimacin del modelo por mxima
verosimilitudDistribucin de los estimadoresDistribucin de
"055B1.Distribucin de "055B0.Distribucin de "055B2Distribucin de
las variabilidades explicada y no explicada.
