Análise da Regressão múltipla: InferênciaRevisão da graduação

Hipóteses do modelo linear clássico (CLM)

Sabemos que, dadas as hipóteses de Gauss-Markov, MQO é BLUE.

Para realizarmos os testes de hipóteses clássicos, precisamos acrescentar mais uma hipótese.

Vamos supor que u é independente de x1, x2,…, xk e que u e normalmente distribuído com média zero e variância s 2: u ~ Normal(0,s 2).

Hipóteses do CLM (cont.)

Sob CLM, MQO é não apenas BLUE, mas também o estimador não-viesado de variância mínima. Podemos resumir as hipóteses do CLM como:

y|x ~ Normal(b0 + b1x1 +…+ bkxk, s 2) Embora assumamos normalidade, nem sempre ela se verifica. Em grandes amostras, a hipótese de normalidade não é necessária.

..

x1 x2

Uma distribuição normal homocedástica com uma única variável explicativa

E(y|x) = b0 + b1x

y

f(y|x)

Distribuições normais

Distribuição normal amostral

(normais). erros doslinear combinação

uma é porque normal ãodistribuiç temˆ

0,1Normal ~ ˆ

ˆ

implica que o ,ˆ,Normal ~ˆ

tesindependen variáveisdas amostrais valores

nos ndocondiciona CLM, do hipóteses as Sob

j

j

jj

jjj

sd

Var

O teste t

1

.ˆ

.ˆˆ

1

kn:liberdade de graus nos Repare

por estimamos porque

normal) a não (e t a é ãodistribuiç a agora que Observe

t~ se

CLM do hipóteses as Sob

22

knj

jj

O teste t (cont.)

O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses. Comece com a hipótese nula.

Por exemplo, H0: bj=0

Se aceitamos a nula, aceitamos que xj, após controlarmos pelos outros x’s, não tem efeito em y.

O teste t (cont.)

.H nula, hipótese a aceitamos

se determinar para rejeição de regra

alguma e t aestatístic ausar então Vamos

.ˆ

ˆ : ˆ para aestatístic

aobter precisamos Primeiro

0

ˆjj

j

sett

j

Teste t: caso unicaudal

Além de nossa, H0, precisamos de uma hipótese alternativa, H1, e um nível de significância.

H1 pode ser unicaudal ou bicaudal.

H1: bj > 0 e H1: bj < 0 são unicaudais.

H1: bj 0 é bicaudal.

Se queremos apenas 5% de probabilidade de rejeitar H0 caso ela seja, então dizemos que nosso nível de significância é de 5%.

Alternativa unicaudal (cont.)

Escolhido um nível de significância, a, olhamos no (1 – a)-ésimo percentil na distribuição t com n – k – 1 df e chamamos esse valor, c, de valor crítico. Rejeitamos a hipótese nula se a estatística t é maior que o valor crítico. Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.

yi = b0 + b1xi1 + … + bkxik + ui

H0: bj = 0 H1: bj > 0

c0

a(1 - )a

Alternativa unicaudal (cont.)

Não rejeitamosRejeitamos

Uni vs bicaudal

Como a distribuição t é simétrica, testar H1: bj < 0 é direto. O valor crítico é simplesmente o negativo do anterior.

Rejeitamos a nula se t < –c; se t > –c, então não rejeitamos a nula.

Para um teste bicaudal, escolhemos um valor crítico baseado em a/2 e rejeitamos H1: bj 0 se o valor absoluto da estatística t for > c.

yi = b0 + b1Xi1 + … + bkXik + ui

H0: bj = 0 H1: bj ≠ 0

c0

/2a(1 - )a

-c

/2a

Alternativa bicaudal

Rejeitamos Rejeitamos

Não rejeitamos

Resumo de H0: bj = 0

A menos que seja explicitado ao contrário, estaremos considerando a alternativa bicaudal.

Se rejeitamos a nula, dizemos que “xj é estatisticamente significante ao nível de a%”

Se não rejeitamos a nula, dizemos “xj é estatisticamente não significativo ao nível de a%”

Testando outras hipóteses

Podemos generalizar a estatística t testando H0: bj = aj .

Neste caso, a estatística t é dada por

usual. teste no a

onde se

at

j

j

jj

0

,ˆˆ

Intervalos de confiança

Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. Um intervalo de confiança de (1 - a) % é definido por:

. ãodistribuiç na

percentil 2

-1 o é c onde ,ˆˆ

1

kn

jj

t

sec

Calculando o p-valor do teste t

Uma alternativa ao procedimento clássico de teste é perguntar: “qual é o menor nível de significância ao qual a nula seria rejeitada?”

Calcule a estatística t, e olhe em que percentil ela está na distribuição t apropriada – este é o p-valor.

O p-valor é a probabilidade de observarmos valores iguais ou maiores (em valor absoluto) à estatística t obtida se a nula for verdadeira.

P-valores, testes t´s etc.

A maioria dos pacotes calcula o p-valor, assumindo um teste bicaudal.

Se se estiver interessado na alternativa unicaudal, basta dividir o p-valor reportado por 2.

Testando uma combinação linear

Ao invés de testar se b1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H0 : b1 = b2. Use o mesmo procedimento para calcular a estatística t

21

21ˆˆ

ˆˆ

se

t

Testando uma combinação linear (cont.)

.ˆ,ˆ

2ˆˆˆˆ

ˆ,ˆ2ˆˆˆˆ

ˆˆˆˆ

2112

21

12

2

2

2

121

212121

2121

Cov de estimador um é s onde

ssesese

CovVarVarVar

então ,Varse

Como

Testando uma combinação linear (cont.)

Então, precisamos de s12.

Muitos pacotes, como o Eviews, fornecem essa estatística.

Mas o Eviews tem uma opção que permite fazer o teste automaticamente.

O teste pode ser reescrito, conforme mostrado a seguir.

Exemplo:

Suponha que você esteja interessado nos efeitos dos gastos de campanha no resultado das eleições.

O modelo é votoA = b0 + b1log(gastoA) + b2log(gastoB) + b3prtystrA + u

H0: b1 = - b2, ou H0: q1 = b1 + b2 = 0

b1 = q1 – b2; substituindo e rearranjando votoA = b0 + q1log(gastoA) + b2log(gastoB - gastoA) + b3prtystrA + u

Exemplo (cont.):

É o mesmo modelo, mas agora você tem um erro padrão para b1 – b2 = q1 diretamente da regressão.

Qualquer combinação linear de parâmetros pode ser testada de forma similar.

Outros exemplos de testes de hipóteses sobre uma única combinação linear de parâmetros: b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2; etc

Múltiplas restrições lineares

Os exemplos anteriores eram de uma única restrição linear (p.e. b1 = 0 or b1 = b2 ) Mas também podemos testar conjuntamente múltiplas hipóteses sobre os parâmetros. Um exemplo é do “restrição de exclusão” – queremos testar se um grupo de parâmetros é igual a zero.

Teste de restrição de exclusão

Agora, a hipótese nula é algo do tipo

H0: bk-q+1 = 0, ... , bk = 0

A alternativa é H1: H0 é falsa, ou seja, pelo menos um dos b´s é diferente de zero. Não podemos apenas fazer cada teste t isoladamente, porque queremos saber se os q parâmetros são conjuntamente significativos a um certo nível – é possível que nenhum seja individualmente significante a este nível.

Teste de restrição de exclusão (cont.)

O teste é feito estimando o “modelo restrito” sem xk-q+1,, …, xk, assim como o “modelo irrestrito” com todos os x’s.

Intuitivamente, queremos saber se xk-q+1,, …, xk causam uma variação suficientemente grande na SSR

.irrestritour e restrito ér

onde ,1

knSSR

qSSRSSRF

ur

urr

A estatística F

A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito. A estatística F statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito.

q = número de restrições, ou dfr – dfur

n – k – 1 = dfur

A estatística F (cont.)

Para decidir se o aumento na SSR é “grade o suficientes” para rejeitar as exclusões, precisamos conhecer a distribuição amostral de nossa estatística F.

Não é de se surpreender que F ~ Fq,n-k-1, onde q é o número de graus de liberdade do numerador e n – k – 1 é o número de graus de liberdade do denominador.

0 c

a(1 - )a

f(F)

F

A estatística F (cont.)

Rejeita

Não rejeita

Rejeita H0 ao nível de significância a se F > c

A estatística F em função do R2

Podemos usar o fato de que, em qualquer regressão, SSR = SST(1 – R2) e substituir na fórmula:

.irrestrito éur e restrito ér

onde ,11 2

22

knR

qRRF

ur

rur

Significância da regressão

Um caso especial é o teste H0: b1 = b2 =…= bk = 0.

Como o R2 do modelo com apenas o intercepto será zero, a estatística F será simplesmente:

11 2

2

knR

kRF

Restrições lineares gerais

A forma básica da estatística F é válida para qualquer restrição linear.

Primeiro estime os modelos irrestrito e restrito.

Em cada caso, anote a SSR e substitua na fórmula.

Exemplo:

O modelo is votoA = b0 + b1log(gastoA) + b2log(gastoB) + b3prtystrA + u.

Agora a nula é H0: b1 = 1, b3 = 0.

Substituindo a restrição: votoA = b0 + log(gastoA) + b2log(gastoB) + u.

Agora votoA - log(gastoA) = b0 + b2log(gastoB) + u é o modelo restrito.

Estatística F: Resumo

Da mesma forma que no teste t, o p-valor pode ser calculado olhando no percentil da distribuição F apropriada.

Se apenas uma exclusão está sendo testada, então F = t2 e o p-valor será o mesmo.