Modelos de Regress£o Mltipla - Parte VII - In­ .Regress£o Polinomial Multicolinearidade I Todas

  • View
    216

  • Download
    1

Embed Size (px)

Text of Modelos de Regress£o Mltipla - Parte VII - In­ .Regress£o Polinomial...

Regresso Polinomial

Multicolinearidade

Modelos de Regresso Mltipla - Parte VII

Erica Castilho Rodrigues

26 de Janeiro de 2016

1

Regresso Polinomial

Multicolinearidade

Regresso Polinomial

Multicolinearidade

2

Regresso Polinomial

Multicolinearidade

Regresso Polinomial

3

Regresso Polinomial

Multicolinearidade

Vimos como ajustar um modelo no linear fazendotransformaes das variveis, como, por exemplo

Y = exp{0 + 1x + } .

Existem casos em que a relao entre as variveis polinomial.

Por exemplo, parbolas aparecem frequentemente emproblemas de engenharia.

Polinmios podem ajustar uma grande variedade decurvas.

4

Regresso Polinomial

Multicolinearidade

A relao entre a varivel resposta e a explicativa modelada por um polinmio de ordem p.

Ajustamos um polinmio de ordem 2, 3 ou 4 e entoverificamos se podemos eliminar alguns termos domodelo.

Com polinmios podemos: determinar se existe uma relao curvilnea entre Y e X ; determinar se essa curva quadrtica, cbica, etc; obter a equao polinomial de Y em funo de X

(podemos ter vrias preditoras).

5

Regresso Polinomial

Multicolinearidade

Polinmio mais simples - de segunda ordem e com umavarivel explicativa

Yi = 0 + 1Xi + 2X2i + i

6

Regresso Polinomial

Multicolinearidade

Um polinmio um pouco mais complexo - de terceiraordem e com uma varivel explicativa

Yi = 0 + 1Xi + 2X2i + 3X

3i + i

7

Regresso Polinomial

Multicolinearidade

Um polinmio um pouco mais complexo - de quartaordem e com uma varivel explicativa

Yi = 0 + 1Xi + 2X2i + 3X

3i + 4X

4i + i

8

Regresso Polinomial

Multicolinearidade

Comeamos primeiro com uma reta, ou polinmio de grauum.

Vamos incluindo graus maiores e testando a significncia. Para fazer essa incluso, basta acrescentar na matriz X,

uma coluna com os valores de X 2 ou X 3. Quando chegamos em um grau que no mais

significativo interrrompemos o processo. Todos os termos de grau menor so includos no modelo. Por exemplo, se X 3 significativo:

vamos incluir X e X2 no modelo.

9

Regresso Polinomial

Multicolinearidade

No devemos colocar muito termos no modelo. Se tivermos n observaes:

um polinmio de grau n 1 se ajusta perfeitamente aosdados.

Esse modelo bom?

10

Regresso Polinomial

Multicolinearidade

No devemos colocar muito termos no modelo. Se tivermos n observaes:

um polinmio de grau n 1 se ajusta perfeitamente aosdados.

Esse modelo bom? Esse modelo no bom, pois est ajustando rudo,

variao aleatria. O grau do polinmio no deve ser maior do que 1/3 do

nmero de observaes. Se temos uma amostra de tamanho 12:

no devemos ajustar um polinmio de grau maior que 4.

10

Regresso Polinomial

Multicolinearidade

Todas suposies do modelo de regresso simples devemvaler para o modelo polinomial:

11

Regresso Polinomial

Multicolinearidade

Todas suposies do modelo de regresso simples devemvaler para o modelo polinomial:

11

Regresso Polinomial

Multicolinearidade

Todas suposies do modelo de regresso simples devemvaler para o modelo polinomial:

normalidade,

11

Regresso Polinomial

Multicolinearidade

Todas suposies do modelo de regresso simples devemvaler para o modelo polinomial:

normalidade, independncia e

11

Regresso Polinomial

Multicolinearidade

Todas suposies do modelo de regresso simples devemvaler para o modelo polinomial:

normalidade, independncia e varincia constante doserros.

Os polinmios no podem ser usados para fazer prediesfora do intervalo dos dados.

Pontos de inflexo: permitem que a relao mude o sentido, de crescente, vire

decrescente.

A cada grau que aumentamos do polinmio, permitimosque essa mudana ocorra mais uma vez.

11

Regresso Polinomial

Multicolinearidade

Extrapolae so inteis a no ser que estejamosajustando uma parbola:

a curva no tem uma tendncia bem comportada fora dointervalos dos dados.

12

Regresso Polinomial

Multicolinearidade

Se aumentarmos o grau do polinmio ele poderepresentar qualquer curva.

Porm, devemos usar apenas se no pudermos encontrarnenhuma funo mais simples.

Se uma funo exponencial se ajusta bem aos dados,devemos us-la ao invs do polinmio.

Os parmetros da exponencial tem interpretao direta. Qual interpretao do termo 2 em

Y = 0 + 1X + 2X2 + ?

13

Regresso Polinomial

Multicolinearidade

Se aumentarmos o grau do polinmio ele poderepresentar qualquer curva.

Porm, devemos usar apenas se no pudermos encontrarnenhuma funo mais simples.

Se uma funo exponencial se ajusta bem aos dados,devemos us-la ao invs do polinmio.

Os parmetros da exponencial tem interpretao direta. Qual interpretao do termo 2 em

Y = 0 + 1X + 2X2 + ?

No tem interpretao. Portanto, s devemos usar polinmios se no

encontramos nenhuma funo mais simples.

13

Regresso Polinomial

Multicolinearidade

Exemplo:

Estamos analisando a produo de milho em umafazenda.

Queremos verificar como ela varia com a quantidade dechuva.

14

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

A relao entre as variveis parece linear?

15

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

A relao entre as variveis parece linear? No. Qual tipo de curva parece se ajustar bem nesse caso?

15

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

A relao entre as variveis parece linear? No. Qual tipo de curva parece se ajustar bem nesse caso?

Uma parbola. Vamos ento ajustar um polinmio de grau 2.

Yi = 0 + 1Xi + 2X2i + i i

iid N(0, 2) .

Comandos em R para ajustar o modelo

results = lm(Yield ~ Rain + I(Rain^2))

summary(results)

15

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao) Os resultados obtidos atravs do ajuste do modelo so

mostrados a seguir.

Call:

lm(formula = Yield ~ Rain + I(Rain^2))

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) -5.01467 11.44158 -0.438 0.66387

Rain 6.00428 2.03895 2.945 0.00571 **

I(Rain^2) -0.22936 0.08864 -2.588 0.01397 *

Residual standard error: 3.763 on 35 degrees

of freedom

Multiple R-squared: 0.2967,

Adjusted R-squared: 0.2565

F-statistic: 7.382 on 2 and 35 DF,

p-value: 0.002115 16

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

Quais as concluses podemos tirar?

17

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

Quais as concluses podemos tirar? A quantidade de chuva significativa para explicar a

produo de milho.

17

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

Quais as concluses podemos tirar? A quantidade de chuva significativa para explicar a

produo de milho. O termo quadrtico singificativo. O modelo ajustado dado por

Y =

17

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

Quais as concluses podemos tirar? A quantidade de chuva significativa para explicar a

produo de milho. O termo quadrtico singificativo. O modelo ajustado dado por

Y = 5.01 + 6X 0.23X 2 .

Podemos usar os seguintes comandos para plotar a curvasobre o grafo de disperso

plot(Rain,Yield)

x = seq(6, 17, by=0.1)

lines(x, beta[1]+beta[2]*x +

beta[3]*x^2, col=red)

17

Regresso Polinomial

Multicolinearidade

Exemplo: (continuao)

A figura ao lodo mostra ogrfico com a curva.

O modelo quadrticoparece representar bem arelao entre as variveis.

No parece neccessriotestar polinmios de ordemmais alta.

18

Regresso Polinomial

Multicolinearidade

Podemos usar regresso polinomial quando temos maisde uma varivel explicativa.

Por exemplo, considere o caso em que temos duasvariveis.

Alm dos termos, quadrticos, cbicos, etc, podemosincluir interao.

Um modelo possvel seria

Yi = 0 + 1X1i + 2X21i + 3X2i + 4X

22i + 5X1iX2i + i

Qual figura geomtrica essa equao representa?

19

Regresso Polinomial

Multicolinearidade

Podemos usar regresso polinomial quando temos maisde uma varivel explicativa.

Por exemplo, considere o caso em que temos duasvariveis.

Alm dos termos, quadrticos, cbicos, etc, podemosincluir interao.

Um modelo possvel seria

Yi = 0 + 1X1i + 2X21i + 3X2i + 4X

22i + 5X1iX2i + i

Qual figura geomtrica essa equao representa? Umasuperfcie.

De acordo com os valores dos parmetros a superfcieassume formatos distintos.

19

Regresso Polinomial

Multicolinearidade

Considere o caso em quetemos

2 > 0 4 > 0

Duas dimensesconvexas.

Considere ainda que

5 = 0

Isso significa que

20

Regresso Polinomial

Multicolinearidade

Considere o caso em quetemos