Embed Size (px)
Citation preview
Econometria:3 - Regressão Múltipla
Prof. Marcelo C. Medeiros
Prof. Marco A.F.H. Cavalcanti
Pontifícia Universidade Católica do Rio de Janeiro
PUC-Rio
2
Sumário
O modelo de regressão linear múltipla
Introdução
Definição e terminologia
Interpretação
Estimação
Interpretação revisitada
Qualidade do ajuste
Propriedades estatísticas
Referências bibliográficas
Wooldridge, capítulo 3
Stock e Watson, capítulo 5
3
Regressão MúltiplaIntrodução
Modelo de regressão linear simples
Definição
Maior desvantagem:
Não é muito adequado para modelar relações
Ceteris Paribus entre variáveis, pois
dificilmente
Modelo de regressão linear múltipla
Ajuda a encontrar relações Ceteris Paribus
entre variáveis.
Melhora o ajuste ao dados.
Maior flexibilidade
uxy +β+β= 10
0)E()|E( == uxu
4
Regressão MúltiplaDefinição e Terminologia
Sejam y e x1 ,..., xk k+1 variáveis
representando alguma população.
O objetivo é explicar y em função de x1 ,...,
xk , ou seja, como y varia de acordo com
mudanças em x1 ,..., xk.
3 pontos importantes:
Dado que não há uma relação precisa entre y
e x1 ,..., xk, como levar em conta outros
fatores que afetam y?
Qual a relação funcional entre y e x1 ,..., xk ?
Como capturar uma relação ceteris paribus
entre y e x1 ,..., xk (se for o caso)?
5
Regressão MúltiplaDefinição e Terminologia
Solução:
Considere a seguinte equação relacionando y
e x1 ,..., xk
Esta equação linear é conhecida como
modelo de regressão múltipla.
Terminologia:
y: variável dependente, variável explicada,
variável de resposta, variável prevista,
regressando, saída, efeito.
xi: variáveis independentes, variáveis
explicativas, variáveis de controle, preditores,
regressores, entradas, causas.
u: erro, distúrbio ou ruído.
uxxxy kk +β++β+β+β= L22110
6
Regressão MúltiplaDefinição e Terminologia
A variável u representa:
todos os outros fatores além de x1 ,..., xk que
afetam a variável y;
erros de medição;
forma funcional inadequada e
inerente variabilidade nos agentes
econômicos.
Em análise de regressão múltipla também
consideramos que u é não-observável.
7
Regressão MúltiplaDefinição e Terminologia
Algumas premissas sobre a variável u:
Média nula
Média condicional nula
0)E( =u
0)E(),,,|E( 21 == uxxxu kK
A correlação entre o erro e as variáveis
explicativas é NULA!
8
Regressão MúltiplaInterpretação
Repare que se todos os outros fatores além
de x1 ,..., xk são mantidos fixos (∆u = 0),
então
Pela analise da equação acima verifica-se
que os coeficientes medem a relação ceteris
paribus entre a variável dependente e as
variáveis explicativas.
Se, por exemplo,
kk xxxy ∆β++∆β+∆β=∆ L2211
11
32 0
xy
uxxx k
∆β=∆
⇓
=∆=∆==∆=∆ L
9
Regressão MúltiplaEstimação dos Parâmetros
Como estimar os parâmetros β0, β1,..., βk na
equação de regressão múltipla?
É necessário uma amostra da população!
Seja
uma amostra aleatória de tamanho n da
população.
Como esta amostra veio do modelo
pode-se escrever
( ){ }niyxxx ikiii ,,1:,,,, 21 KK =
uxxxy kk +β++β+β+β= L22110
ikikiii uxxxy +β++β+β+β= L22110
10
Estimação dos ParâmetrosMétodo dos Momentos
Como utilizar os dados para estimar os
parâmetros?
Deve-se lembrar que
Logo,
0)E(,,0)E(,0)E( 1 === uxuxu kK
[ ][ ]
[ ] 0)(E
0)(E
0)(E
0)E(
10
102
101
10
=β−−β−β−
=β−−β−β−
=β−−β−β−
=β−−β−β−
kkk
kk
kk
kk
xxyx
xxyx
xxyx
xxy
L
M
L
L
L
11
Estimação dos ParâmetrosMétodo dos Momentos
Portanto, os dados amostrais podem ser
utilizados para solucionar o problema
0)ˆˆˆ(1
0)ˆˆˆ(1
0)ˆˆˆ(1
0)ˆˆˆ(1
0)ˆˆˆ(1
1110
11103
11102
11101
1110
=β−−β−β−
=β−−β−β−
=β−−β−β−
=β−−β−β−
=β−−β−β−
∑
∑
∑
∑
∑
=
=
=
=
=
n
ikikiiki
n
ikikiii
n
ikikiii
n
ikikiii
n
ikikii
xxyxn
xxyxn
xxyxn
xxyxn
xxyn
L
M
L
L
L
L
12
Estimação dos ParâmetrosMínimos Quadrados Ordinários
Da mesma forma que na regressão linear
simples os estimadores
são chamados de estimadores de mínimos
quadrados e podem ser estimados por meio da
minimização da soma do quadrado dos resíduos:
As condições de primeira ordem são
kββββ ˆ,,ˆ,ˆ,ˆ 210 K
∑∑==
β−−β−β−=n
ikikii
n
ii xxyu
1
2110
1
2 )ˆˆˆ(ˆ L
0)ˆˆˆ(
0)ˆˆˆ(
0)ˆˆˆ(
1110
11101
1110
=β−−β−β−
=β−−β−β−
=β−−β−β−
∑
∑
∑
=
=
=
n
ikikiiki
n
ikikiii
n
ikikii
xxyx
xxyx
xxy
L
M
L
L
13
Mínimos Quadrados OrdináriosPropriedades Algébricas dos Estimadores
A soma dos resíduos, e conseqüentemente
a média, é ZERO.
A covariância amostral entre os regressores
e os resíduos é ZERO implicando que
O ponto
está sempre sobre a reta de mínimos
quadrados.
0ˆ1
∑=
=n
iiu
0ˆˆˆ11
21
1 ∑∑∑===
====n
iiki
n
iii
n
iii uxuxux L
),,,,( 21 yxxx kK
14
Mínimos Quadrados OrdináriosPropriedades Algébricas dos Estimadores
A variável dependente pode ser decomposta
em dois termos: o valor estimado e o
resíduo da regressão, isto é
Pela decomposição acima nota-se que a
média da variável dependente estimada é
igual a média da própria variável
dependente.
A covariância amostral entre os resíduos e o
valor estimado da variável dependente é
ZERO, implicando que
iii uyy ˆˆ +=
0ˆˆ1
∑=
=n
iiiuy
15
Regressão MúltiplaInterpretação Revisitada
Considere um modelo com apenas duas
variáveis explicativas.
Portanto,
O estimador do parâmetro β1 pode ser
escrito como
onde r1i são os distúrbios (erros) da
regressão de x1 em x2.
Qual a interpretação para o coeficiente β1?
uxxy +β+β+β= 22110
22110ˆˆˆˆ xxy β+β+β=
∑
∑
=
==β n
ii
n
iii
r
yr
1
21
11
1ˆ
ˆˆ
16
Mínimos Quadrados OrdináriosQualidade do Ajuste
Defina
Soma total dos quadrados (SST – Total Sum
of Squares)
Soma dos quadrados ajustados (SSE –
Explained Sum of Squares)
Soma dos quadrados dos resíduos (SSR –
Residual Sum of Squares)
∑=
−≡n
ii yySST
1
2)(
∑=
−≡n
ii yySSE
1
2)ˆ(
∑=
≡n
iiuSSR
1
2ˆ
17
Mínimos Quadrados OrdináriosQualidade do Ajuste
Pela definição de SST, SSE e SSR, chega-
se a seguinte relação
Como na regressão simples pode-se definir
o coeficiente de determinação ou R2
ATENÇÃO: a medida que novas variáveis
são incluídas no modelo de regressão linear
múltipla o valor do R2 nunca decresce!
SSRSSESST +=
SSTSSR
SSTSSER −== 12
( )( )
( ) ( )
−
−
−−
=
∑∑
∑
==
=n
ii
n
ii
n
iii
yyyy
yyyyR
1
2
1
2
2
12
ˆˆ
ˆˆ
18
Mínimos Quadrados OrdináriosPropriedades Estatísticas dos Estimadores
Algumas hipóteses importantes:
(H1) Modelo populacional é linear
(H2) Uma amostra aleatória de tamanho n
pode ser construída a partir do modelo
populacional.
(H3) Média condicional nula
(H4) Não existe colinearidade perfeita entre
as variáveis explicativas
Nenhuma variável é constante e não há
relação linear entre as variáveis
(H5) Homocedasticidade
uxxxy kk +β++β+β+β= L22110
( ){ }niyxxx ikiii ,,1:,,, 21 KK =
0)E(),,,|E( 21 == uxxxu kK
2)|Var( σ=xu
19
Mínimos Quadrados OrdináriosPropriedades Estatísticas dos Estimadores
Teorema 1: sob as hipóteses (H1) - (H4) os
estimadores de mínimos quadrados
ordinários são não-tendenciosos, isto é
( )( )( )
( ) kk β=β
β=β
β=β
β=β
ˆE
ˆE
ˆE
ˆE
22
11
00
M
20
Mínimos Quadrados OrdináriosPropriedades Estatísticas dos Estimadores
O que acontece quando variáveis
irrelevantes são incluídas no modelo?
Considere que o modelo abaixo tenha sido
especificado
Considere ainda que o efeito de x3 em y,
após a inclusão de x1 e x2 no modelo, seja
nulo. Isto é,
Mas na prática não se sabe a priori que β3=0.
O que acontecerá com os estimadores?
uxxxy +β+β+β+β= 3322110
2211021
213213
),|E(
),|E(),,|E(0
xxxxy
xxyxxxy
β+β+β=
=⇒=β
21
Mínimos Quadrados OrdináriosPropriedades Estatísticas dos Estimadores
O que acontece quando variáveis
relevantes não são incluídas no modelo?
Os estimadores serão viesados
(tendenciosos).
O viés é geralmente chamado de viés de
variáveis omitidas.
Considere o seguinte modelo populacional
Agora, suponha que no modelo estimado a
variável x2 não foi incluída
uxxy +β+β+β= 22110
( )
( )∑
∑
=
=
−
−=β
⇓
β+β=
n
ii
n
iii
xx
yxx
xy
1
211
111
1
110
~
~~~
22
Mínimos Quadrados OrdináriosPropriedades Estatísticas dos Estimadores
Viés de variáveis omitidas (continuação)
Pode-se mostrar que
onde
1211~)~E( δβ+β=β
( )
( )∑
∑
=
=
−
−=δ n
ii
n
iii
xx
xxx
1
211
1211
1~
23
Mínimos Quadrados OrdináriosVariância dos Estimadores
Teorema 2: sob as hipóteses (H1) - (H5) a
variância dos estimadores é dada por
onde
e
)1()Var( 2
2
jjj RSST −
σ=β
∑=
−=n
ijjij xxSST
1
2)(
∑
∑
=
=
−
−== n
ijji
n
ijji
j
jj
xx
xx
SSTSSE
R
1
2
1
2
2
)(
)ˆ(
24
Mínimos Quadrados OrdináriosVariância dos Estimadores
Três fatores influenciam a variância dos
estimadores
Variância do erro
Variação de xj
Grau de relação linear entre as variáveis
explicativas
25
Mínimos Quadrados OrdináriosVariância do Erro
Como estimar σ2?
Teorema 3: sob as hipótese (H1) - (H5)
)1(ˆ
)1(1ˆ
1
22
−−=
−−=σ ∑
= knSSRu
kn
n
ii
( ) 22ˆE σ=σ
26
Mínimos Quadrados OrdináriosTeorema de Gauss-Markov
Teorema 4: sob as hipóteses (H1) - (H5) os
estimadores de MQO são BLUE (best linear
unbiased estimators), isto é, são os
melhores estimadores, no sentido de
possuírem menor variância (maior
eficiência), dentro da classe dos
estimadores lineares e não-viesados.
Todos os estimadores
Estimadores lineares
Estimadores não-tendenciosos
MQO
