33
Análise da Regressão múltipla: Inferência Revisão da graduação Revisão da graduação Aula 4 6 de maio de 2013

Análise da Regressão múltipla: Inferência · Hipóteses do modelo linear clássico (MLC) Sabemos que, dadas as hipóteses de Gauss-Markov, MQO é BLUE. Para realizarmos os testes

Embed Size (px)

Citation preview

Análise da Regressão múltipla:

Inferência

Revisão da graduaçãoRevisão da graduação

Aula 4

6 de maio de 2013

Hipóteses do modelo linear

clássico (MLC)

Sabemos que, dadas as hipóteses de Gauss-

Markov, MQO é BLUE.

Para realizarmos os testes de hipóteses clássicos,

precisamos acrescentar mais uma hipótese.precisamos acrescentar mais uma hipótese.

Vamos supor que u é independente de x1, x2,…, xk

e que u e normalmente distribuído com média zero

e variância σ 2: u ~ Normal(0,σ 2).

Hipóteses do MLC (cont.)

y|x ~ Normal(β0 + β1x1 +…+ βkxk, σ2)

Embora assumamos normalidade, nem sempre ela se verifica.se verifica.

Em grandes amostras, a hipótese de normalidade não é necessária.

.

Uma distribuição normal homocedástica com

uma única variável explicativa

y

f(y|x)

.

.

x1 x2

E(y|x) = β0 + β1x

Distribuições

normais

Distribuição normal amostral

( )[ ]( )

implica que o ,ˆ,Normal ~ˆ

tesindependen variáveisdas amostrais valores

nos ndocondiciona MLC, do hipóteses as Sob

βββ jjj Var( )[ ]( )

( ) ( )

(normais). erros doslinear combinação

uma é porque normal ãodistribuiç temˆ

0,1Normal ~ ˆ

ˆ

implica que o ,,Normal ~

β

ββ

βββ

j

jj

jjj

sd

Var

O teste t

( )( ) . ~

ˆ

ˆ

MLC do hipóteses as Sob

1j −

−−tse

knj

β

ββ

( )

1:liberdade de graus nos Repare

.ˆpor estimamos porque

normal) a não (e a é ãodistribuiç a agora que Observe

. ~ ˆ

22

1

−−

−−

kn

t

tse

kn

j

σσ

β

O teste t (cont.)

O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses.

Comece com a hipótese nula.Comece com a hipótese nula.

Por exemplo, H0: βj=0

Se aceitamos a nula, aceitamos que xj, após controlarmos pelos outros x’s, não tem efeito em y.

O teste t (cont.)

( ).ˆ

ˆ : ˆ para aestatístic

aobter precisamos Primeiro

ˆjj

sett

j ββββ

ββββββββ

ββββ≡ ( )

.H nula, hipótese a aceitamos

se determinar para rejeição de regra

alguma e t aestatístic ausar então Vamos

ˆ

0

ˆjjsej ββββββββ

Teste t: caso unicaudal

Além de nossa, H0, precisamos de uma hipótese

alternativa, H1, e um nível de significância.

H1 pode ser unicaudal ou bicaudal.

H : β > 0 e H : β < 0 são unicaudais.H1: βj > 0 e H1: βj < 0 são unicaudais.

H1: βj ≠ 0 é bicaudal.

Se queremos apenas 5% de probabilidade de

rejeitar H0 caso ela seja, então dizemos que nosso

nível de significância é de 5%.

Alternativa unicaudal (cont.)

Escolhido um nível de significância, α, olhamos no (1 – α)-ésimo percentil na distribuição t com n – k – 1 df e chamamos esse valor, c, de valor crítico.esse valor, c, de valor crítico.

Rejeitamos a hipótese nula se a estatística té maior que o valor crítico.

Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.

yi = β0 + β1xi1 + … + βkxik + ui

H0: βj = 0 H1: βj > 0

Alternativa unicaudal (cont.)

H0: βj = 0 H1: βj > 0

c0

α(1 − α)

Não rejeitamos

Rejeitamos

Uni vs bicaudal

Como a distribuição t é simétrica, testar H1: βj < 0

é direto. O valor crítico é simplesmente o

negativo do anterior.

Rejeitamos a nula se t < –c; se t > –c, então não Rejeitamos a nula se t < –c; se t > –c, então não

rejeitamos a nula.

Para um teste bicaudal, escolhemos um valor

crítico baseado em α/2 e rejeitamos H1: βj ≠ 0 se o

valor absoluto da estatística t for > c.

yi = β0 + β1Xi1 + … + βkXik + ui

H0: βj = 0 H1: βj ≠ 0

Alternativa bicaudal

c0

α/2(1 − α)

-c

α/2

RejeitamosRejeitamos

Não rejeitamos

Resumo de H0: βj = 0

A menos que seja explicitado ao contrário,

estaremos considerando a alternativa bicaudal.

Se rejeitamos a nula, dizemos que “xj é

estatisticamente significante ao nível de α%”estatisticamente significante ao nível de α%”

Se não rejeitamos a nula, dizemos “xj é

estatisticamente não significativo ao nível de α %”

Testando outras hipóteses

Podemos generalizar a estatística t

testando H0: βj = aj .

Neste caso, a estatística t é dada porNeste caso, a estatística t é dada por

( )( )usual. teste no a

onde se

at

j

j

jj

0

ˆ

=

−=

β

β

Intervalos de confiança

Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. teste bicaudal.

Um intervalo de confiança de (1 - α) % é definido por:

( ). ãodistribuiç na

percentil 2

-1 o é c onde ,ˆˆ

1−−

•±

kn

jj

t

secαααα

ββββββββ

Calculando o p-valor do teste t

Uma alternativa ao procedimento clássico de teste

é perguntar: “qual é o menor nível de significância

ao qual a nula seria rejeitada?”

Calcule a estatística t, e olhe em que percentil ela Calcule a estatística t, e olhe em que percentil ela

está na distribuição t apropriada – este é o p-valor.

O p-valor é a probabilidade de observarmos

valores iguais ou maiores (em valor absoluto) à

estatística t obtida se a nula for verdadeira.

P-valores, testes t´s etc.

A maioria dos pacotes calcula o p-valor,

assumindo um teste bicaudal.

Se se estiver interessado na alternativa Se se estiver interessado na alternativa

unicaudal, basta dividir o p-valor reportado

por 2.

Testando uma combinação linear

Ao invés de testar se β1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H0 : β1 = β2.

Use o mesmo procedimento para calcular a Use o mesmo procedimento para calcular a estatística t

( )21

21

ˆˆ

ˆˆ

ββββββββ

ββββββββ

−=

set

Testando uma combinação linear

(cont.)

( ) ( )( ) ( ) ( ) ( )

ˆˆˆˆ2121 ββββ então ,Varse

Como

−=−

( ) ( ) ( ) ( )

( ) ( )[ ] ( )[ ]{ }( ).ˆ,ˆ

2ˆˆˆˆ

ˆ,ˆ2ˆˆˆˆ

2112

21

12

2

2

2

121

212121

ββ

ββββ

ββββββ

Cov de estimador um é s onde

ssesese

CovVarVarVar

−+=−

−+=−

Testando uma combinação linear

(cont.)

Então, precisamos de s12.

Muitos pacotes, como o Eviews, Gretl, Muitos pacotes, como o Eviews, Gretl,

fornecem essa estatística.

Todos tem uma opção que permite fazer o

teste automaticamente.

Outros exemplos

Qualquer combinação linear de parâmetros pode

ser testada.

β ββ1 = 1 + β2

β1 = 5β2

β1 = -1/2β2; etc

Múltiplas restrições lineares

Os exemplos anteriores eram de uma única restrição linear (p.e. β1 = 0 or β1 = β2 )

Mas também podemos testar conjuntamente múltiplas hipóteses sobre os conjuntamente múltiplas hipóteses sobre os parâmetros.

Um exemplo é do “restrição de exclusão” –queremos testar se um grupo de parâmetros é igual a zero.

Teste de restrição de exclusão

Agora, a hipótese nula é algo do tipo

H0: βk-q+1 = 0, ... , βk = 0

A alternativa é H1: H0 é falsa, ou seja, pelo menos um dos β´s é diferente de zero.um dos β´s é diferente de zero.

Não podemos apenas fazer cada teste tisoladamente, porque queremos saber se os qparâmetros são conjuntamente significativos a um certo nível – é possível que nenhum seja individualmente significante a este nível.

Teste de restrição de exclusão

(cont.)

O teste é feito estimando o “modelo restrito” sem xk-q+1,, …, xk, assim como o “modelo irrestrito”com todos os x’s.

Intuitivamente, queremos saber se xk-q+1,, …, xkIntuitivamente, queremos saber se xk-q+1,, …, xk

causam uma variação suficientemente grande na SSR

( )( )

.irrestritour e restrito ér

onde ,1−−

−≡

knSSR

qSSRSSRF

ur

urr

A estatística F

A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito.

A estatística F statistic mede o crescimento A estatística F statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito.

q = número de restrições, ou dfr – dfur

n – k – 1 = dfur

A estatística F (cont.)

Para decidir se o aumento na SSR é “grade

o suficientes” para rejeitar as exclusões,

precisamos conhecer a distribuição amostral

de nossa estatística F.

Não é de se surpreender que F ~ Fq,n-k-1,

onde q é o número de graus de liberdade do

numerador e n – k – 1 é o número de graus

de liberdade do denominador.

f(F)

A estatística F (cont.)

Não rejeita

Rejeita H0 ao

nível de

significância α se

0 c

α(1 − α)

F

Rejeita

significância α se

F > c

A estatística F em função do R2

Podemos usar o fato de que, em qualquer

regressão, SSR = SST(1 – R2) e substituir na

fórmula:

( )( ) ( )

.irrestrito éur e restrito ér

onde ,11 2

22

−−−

−≡

knR

qRRF

ur

rur

Significância da regressão

Um caso especial é o teste

H0: β1 = β2 =…= βk = 0.

Como o R2 do modelo com apenas o intercepto

será zero, a estatística F será simplesmente:será zero, a estatística F será simplesmente:

( ) ( )11 2

2

−−−=

knR

kRF

Restrições lineares gerais

A forma básica da estatística F é válida

para qualquer restrição linear.

Primeiro estime os modelos irrestrito e Primeiro estime os modelos irrestrito e

restrito.

Em cada caso, anote a SSR e substitua na

fórmula.

Exemplo:

O modelo is votoA = β0 + β1log(gastoA) +

β2log(gastoB) + β3prtystrA + u.

Agora a nula é H0: β1 = 1, β3 = 0.Agora a nula é H0: β1 = 1, β3 = 0.

Substituindo a restrição: votoA = β0 +

log(gastoA) + β2log(gastoB) + u.

Agora votoA - log(gastoA) = β0 +

β2log(gastoB) + u é o modelo restrito.

Estatística F: Resumo

Da mesma forma que no teste t, o p-valor

pode ser calculado olhando no percentil da

distribuição F apropriada.

Se apenas uma exclusão está sendo testada,

então F = t2 e o p-valor será o mesmo.