Upload
phamkhuong
View
218
Download
0
Embed Size (px)
Citation preview
Análise da Regressão múltipla:
Inferência
Revisão da graduaçãoRevisão da graduação
Aula 4
6 de maio de 2013
Hipóteses do modelo linear
clássico (MLC)
Sabemos que, dadas as hipóteses de Gauss-
Markov, MQO é BLUE.
Para realizarmos os testes de hipóteses clássicos,
precisamos acrescentar mais uma hipótese.precisamos acrescentar mais uma hipótese.
Vamos supor que u é independente de x1, x2,…, xk
e que u e normalmente distribuído com média zero
e variância σ 2: u ~ Normal(0,σ 2).
Hipóteses do MLC (cont.)
y|x ~ Normal(β0 + β1x1 +…+ βkxk, σ2)
Embora assumamos normalidade, nem sempre ela se verifica.se verifica.
Em grandes amostras, a hipótese de normalidade não é necessária.
.
Uma distribuição normal homocedástica com
uma única variável explicativa
y
f(y|x)
.
.
x1 x2
E(y|x) = β0 + β1x
Distribuições
normais
Distribuição normal amostral
( )[ ]( )
implica que o ,ˆ,Normal ~ˆ
tesindependen variáveisdas amostrais valores
nos ndocondiciona MLC, do hipóteses as Sob
βββ jjj Var( )[ ]( )
( ) ( )
(normais). erros doslinear combinação
uma é porque normal ãodistribuiç temˆ
0,1Normal ~ ˆ
ˆ
implica que o ,,Normal ~
jβ
β
ββ
βββ
j
jj
jjj
sd
Var
−
O teste t
( )( ) . ~
ˆ
ˆ
MLC do hipóteses as Sob
1j −
−−tse
knj
β
ββ
( )
1:liberdade de graus nos Repare
.ˆpor estimamos porque
normal) a não (e a é ãodistribuiç a agora que Observe
. ~ ˆ
22
1
−−
−−
kn
t
tse
kn
j
σσ
β
O teste t (cont.)
O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses.
Comece com a hipótese nula.Comece com a hipótese nula.
Por exemplo, H0: βj=0
Se aceitamos a nula, aceitamos que xj, após controlarmos pelos outros x’s, não tem efeito em y.
O teste t (cont.)
( ).ˆ
ˆ : ˆ para aestatístic
aobter precisamos Primeiro
ˆjj
sett
j ββββ
ββββββββ
ββββ≡ ( )
.H nula, hipótese a aceitamos
se determinar para rejeição de regra
alguma e t aestatístic ausar então Vamos
ˆ
0
ˆjjsej ββββββββ
Teste t: caso unicaudal
Além de nossa, H0, precisamos de uma hipótese
alternativa, H1, e um nível de significância.
H1 pode ser unicaudal ou bicaudal.
H : β > 0 e H : β < 0 são unicaudais.H1: βj > 0 e H1: βj < 0 são unicaudais.
H1: βj ≠ 0 é bicaudal.
Se queremos apenas 5% de probabilidade de
rejeitar H0 caso ela seja, então dizemos que nosso
nível de significância é de 5%.
Alternativa unicaudal (cont.)
Escolhido um nível de significância, α, olhamos no (1 – α)-ésimo percentil na distribuição t com n – k – 1 df e chamamos esse valor, c, de valor crítico.esse valor, c, de valor crítico.
Rejeitamos a hipótese nula se a estatística té maior que o valor crítico.
Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.
yi = β0 + β1xi1 + … + βkxik + ui
H0: βj = 0 H1: βj > 0
Alternativa unicaudal (cont.)
H0: βj = 0 H1: βj > 0
c0
α(1 − α)
Não rejeitamos
Rejeitamos
Uni vs bicaudal
Como a distribuição t é simétrica, testar H1: βj < 0
é direto. O valor crítico é simplesmente o
negativo do anterior.
Rejeitamos a nula se t < –c; se t > –c, então não Rejeitamos a nula se t < –c; se t > –c, então não
rejeitamos a nula.
Para um teste bicaudal, escolhemos um valor
crítico baseado em α/2 e rejeitamos H1: βj ≠ 0 se o
valor absoluto da estatística t for > c.
yi = β0 + β1Xi1 + … + βkXik + ui
H0: βj = 0 H1: βj ≠ 0
Alternativa bicaudal
c0
α/2(1 − α)
-c
α/2
RejeitamosRejeitamos
Não rejeitamos
Resumo de H0: βj = 0
A menos que seja explicitado ao contrário,
estaremos considerando a alternativa bicaudal.
Se rejeitamos a nula, dizemos que “xj é
estatisticamente significante ao nível de α%”estatisticamente significante ao nível de α%”
Se não rejeitamos a nula, dizemos “xj é
estatisticamente não significativo ao nível de α %”
Testando outras hipóteses
Podemos generalizar a estatística t
testando H0: βj = aj .
Neste caso, a estatística t é dada porNeste caso, a estatística t é dada por
( )( )usual. teste no a
onde se
at
j
j
jj
0
,ˆ
ˆ
=
−=
β
β
Intervalos de confiança
Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. teste bicaudal.
Um intervalo de confiança de (1 - α) % é definido por:
( ). ãodistribuiç na
percentil 2
-1 o é c onde ,ˆˆ
1−−
•±
kn
jj
t
secαααα
ββββββββ
Calculando o p-valor do teste t
Uma alternativa ao procedimento clássico de teste
é perguntar: “qual é o menor nível de significância
ao qual a nula seria rejeitada?”
Calcule a estatística t, e olhe em que percentil ela Calcule a estatística t, e olhe em que percentil ela
está na distribuição t apropriada – este é o p-valor.
O p-valor é a probabilidade de observarmos
valores iguais ou maiores (em valor absoluto) à
estatística t obtida se a nula for verdadeira.
P-valores, testes t´s etc.
A maioria dos pacotes calcula o p-valor,
assumindo um teste bicaudal.
Se se estiver interessado na alternativa Se se estiver interessado na alternativa
unicaudal, basta dividir o p-valor reportado
por 2.
Testando uma combinação linear
Ao invés de testar se β1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H0 : β1 = β2.
Use o mesmo procedimento para calcular a Use o mesmo procedimento para calcular a estatística t
( )21
21
ˆˆ
ˆˆ
ββββββββ
ββββββββ
−
−=
set
Testando uma combinação linear
(cont.)
( ) ( )( ) ( ) ( ) ( )
ˆˆˆˆ2121 ββββ então ,Varse
Como
−=−
( ) ( ) ( ) ( )
( ) ( )[ ] ( )[ ]{ }( ).ˆ,ˆ
2ˆˆˆˆ
ˆ,ˆ2ˆˆˆˆ
2112
21
12
2
2
2
121
212121
ββ
ββββ
ββββββ
Cov de estimador um é s onde
ssesese
CovVarVarVar
−+=−
−+=−
Testando uma combinação linear
(cont.)
Então, precisamos de s12.
Muitos pacotes, como o Eviews, Gretl, Muitos pacotes, como o Eviews, Gretl,
fornecem essa estatística.
Todos tem uma opção que permite fazer o
teste automaticamente.
Outros exemplos
Qualquer combinação linear de parâmetros pode
ser testada.
β ββ1 = 1 + β2
β1 = 5β2
β1 = -1/2β2; etc
Múltiplas restrições lineares
Os exemplos anteriores eram de uma única restrição linear (p.e. β1 = 0 or β1 = β2 )
Mas também podemos testar conjuntamente múltiplas hipóteses sobre os conjuntamente múltiplas hipóteses sobre os parâmetros.
Um exemplo é do “restrição de exclusão” –queremos testar se um grupo de parâmetros é igual a zero.
Teste de restrição de exclusão
Agora, a hipótese nula é algo do tipo
H0: βk-q+1 = 0, ... , βk = 0
A alternativa é H1: H0 é falsa, ou seja, pelo menos um dos β´s é diferente de zero.um dos β´s é diferente de zero.
Não podemos apenas fazer cada teste tisoladamente, porque queremos saber se os qparâmetros são conjuntamente significativos a um certo nível – é possível que nenhum seja individualmente significante a este nível.
Teste de restrição de exclusão
(cont.)
O teste é feito estimando o “modelo restrito” sem xk-q+1,, …, xk, assim como o “modelo irrestrito”com todos os x’s.
Intuitivamente, queremos saber se xk-q+1,, …, xkIntuitivamente, queremos saber se xk-q+1,, …, xk
causam uma variação suficientemente grande na SSR
( )( )
.irrestritour e restrito ér
onde ,1−−
−≡
knSSR
qSSRSSRF
ur
urr
A estatística F
A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito.
A estatística F statistic mede o crescimento A estatística F statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito.
q = número de restrições, ou dfr – dfur
n – k – 1 = dfur
A estatística F (cont.)
Para decidir se o aumento na SSR é “grade
o suficientes” para rejeitar as exclusões,
precisamos conhecer a distribuição amostral
de nossa estatística F.
Não é de se surpreender que F ~ Fq,n-k-1,
onde q é o número de graus de liberdade do
numerador e n – k – 1 é o número de graus
de liberdade do denominador.
f(F)
A estatística F (cont.)
Não rejeita
Rejeita H0 ao
nível de
significância α se
0 c
α(1 − α)
F
Rejeita
significância α se
F > c
A estatística F em função do R2
Podemos usar o fato de que, em qualquer
regressão, SSR = SST(1 – R2) e substituir na
fórmula:
( )( ) ( )
.irrestrito éur e restrito ér
onde ,11 2
22
−−−
−≡
knR
qRRF
ur
rur
Significância da regressão
Um caso especial é o teste
H0: β1 = β2 =…= βk = 0.
Como o R2 do modelo com apenas o intercepto
será zero, a estatística F será simplesmente:será zero, a estatística F será simplesmente:
( ) ( )11 2
2
−−−=
knR
kRF
Restrições lineares gerais
A forma básica da estatística F é válida
para qualquer restrição linear.
Primeiro estime os modelos irrestrito e Primeiro estime os modelos irrestrito e
restrito.
Em cada caso, anote a SSR e substitua na
fórmula.
Exemplo:
O modelo is votoA = β0 + β1log(gastoA) +
β2log(gastoB) + β3prtystrA + u.
Agora a nula é H0: β1 = 1, β3 = 0.Agora a nula é H0: β1 = 1, β3 = 0.
Substituindo a restrição: votoA = β0 +
log(gastoA) + β2log(gastoB) + u.
Agora votoA - log(gastoA) = β0 +
β2log(gastoB) + u é o modelo restrito.