of 50 /50
1 Tópicos sobre regressão linear múltipla 1. Soma de quadrados extra Nos textos de estatística em língua inglesa, este assunto aparece com a denominação de Soma de Quadrados Extra (Extra Sums fo Squares). A idéia básica é verificar a redução na soma de quadrados do erro quando uma ou mais variáveis preditoras são adicionadas no modelo de regressão, dado que outras variáveis preditoras já estão incluídas no modelo. De outro lado, podemos pensar no acréscimo na soma de quadrados da regressão quando uma ou mais variáveis explanatórias são adicionadas no modelo. * Utilização: verificar se certas variáveis X podem ser Soma de quadrados extra (testes de hipóteses) Multicolinearidade Modelos polinomiais

Tópicos sobre regressão linear múltipla

  • Upload
    lavey

  • View
    30

  • Download
    0

Embed Size (px)

DESCRIPTION

Tópicos sobre regressão linear múltipla. Soma de quadrados extra (testes de hipóteses) Multicolinearidade Modelos polinomiais. 1. Soma de quadrados extra. Nos textos de estatística em língua inglesa, este assunto aparece com a denominação de Soma de Quadrados Extra (Extra Sums fo Squares). - PowerPoint PPT Presentation

Citation preview

Page 1: Tópicos sobre regressão linear múltipla

1

Tópicos sobre regressão linear múltipla

1. Soma de quadrados extraNos textos de estatística em língua inglesa, este assunto aparece com a denominação de Soma de Quadrados Extra (Extra Sums fo Squares).

A idéia básica é verificar a redução na soma de quadrados do erro quando uma ou mais variáveis preditoras são adicionadas no modelo de regressão, dado que outras variáveis preditoras já estão incluídas no modelo. De outro lado, podemos pensar no acréscimo na soma de quadrados da regressão quando uma ou mais variáveis explanatórias são adicionadas no modelo.

* Utilização: verificar se certas variáveis X podem ser retiradas do modelo de regressão. (Construção de modelos).

Soma de quadrados extra (testes de hipóteses)

Multicolinearidade

Modelos polinomiais

Page 2: Tópicos sobre regressão linear múltipla

2

Exemplo: foi realizado um estudo com 20 mulheres para estudar a relação da quantidade de gordura no corpo (Y) com as seguintes variáveis explanatórias:1) espessura do triceps (X1); 2) circunferência da coxa (X2) e 3) circunferência do meio do braço (X3). Os dados são apresentados na tabela a seguir:

Xi1 Xi2 Xi3 Yi

------------------------------------------

19.5 43.1 29.1 11.9 24.7 49.8 28.2 22.8 30.7 51.9 37.0 18.7 29.8 54.3 31.1 20.1 19.1 42.2 30.9 12.9 25.6 53.9 23.7 21.7 31.4 58.5 27.6 27.1 27.9 52.1 30.6 25.4 22.1 49.9 23.2 21.3 25.5 53.5 24.8 19.3 31.1 56.6 30.0 25.4 30.4 56.7 28.3 27.2 18.7 46.5 23.0 11.7 19.7 44.2 28.6 17.8 14.6 42.7 21.3 12.8 29.5 54.4 30.1 23.9 27.7 55.3 25.7 22.6 30.2 58.6 24.6 25.4 22.7 48.2 27.1 14.8 25.2 51.0 27.5 21.1

A quantidade de gordura no corpo das 20 mulheres foram obtidas por um método incômodo e dispendioso, pois envolve a imersão das pessoas na água. Portanto, seria muito útil se um modelo de regressão com algumas ou todas as variáveis preditoras fornecessem estimativas confiáveis da quantidade de gordura no corpo pois as mensurações das variáveis preditoras são fáceis de serem obtidas.

Page 3: Tópicos sobre regressão linear múltipla

3

A seguir vamos apresentar os resultados da análise de variância da regressão para quatro modelos ajustados:

Modelo 1) regressão da quantidade de gordura (Y) sobre espessura do triceps (X1);

Modelo 2) regressão da quantidade de gordura (Y) sobre a circunferência da coxa (X2);

Modelo 3) regressão da quantidade de gordura (Y) sobre espessura do triceps (X1) e sobre a circunferência da coxa (X2);

Modelo 4) regressão da quantidade de gordura (Y) sobre espessura do triceps (X1), sobre a circunferência da coxa (X2) e circunferência do braço (X3)

Modelo 1:

Page 4: Tópicos sobre regressão linear múltipla

4

Modelo 2:

Modelo 3:

Page 5: Tópicos sobre regressão linear múltipla

5

Modelo 4:

Notação:

SQR(X1): soma de quadrados da regressão quando apenas X1 está no modelo.

SQE(X1): soma de quadrados do erro quando apenas X1 está no modelo.

SQR(X1,X2): soma de quadrados da regressão quando X1 e X2 estão incluías no modelo.

SQE(X1,X2): soma de quadrados do erro quando X1 e X2 estão incluías no modelo.

Page 6: Tópicos sobre regressão linear múltipla

6

Observe, no exemplo, que a SQE(X1,X2)=109,95, a qual é menor do que aquela que contém apenas X1 no modelo, SQE(X1)=143,12. A diferença é denominada de soma de quadrados extra e é representada por SQR(X2|X1):

17,3395,10912,143)|(

),()()|(

12

21112

XXSQR

XXSQEXSQEXXSQR

Esta redução na soma de quadrados do erro é o resultado da adição de X2 no modelo dado que X1 já está incluída no modelo. Esta soma de quadrados extra dada por SQR(X2|X1), mede o efeito marginal da adição de X2 no modelo de regressão quando X1 já está incluída no modelo.

Equivalentemente, podemos calcular a soma de quadrados extra como:

17,3327,35244,385)|(

)(),()|(

12

12112

XXSQR

XSQRXXSQRXXSQR

Vamos considerar a soma de quadrados extra de X3 dado que X1 e X2 já estão incluídas no modelo:

54,1141,9895,109)|(

),,(),(),|(

213

32121213

XXXSQR

XXXSQEXXSQEXXXSQR

Page 7: Tópicos sobre regressão linear múltipla

7

54,1144,38598,396),|(

),(),,(),|(

213

21321213

XXXSQR

XXSQRXXXSQRXXXSQR

Outra soma de quadrados extra:

(efeito da adição de X2 e X3 ao modelo quando X1 já está no modelo).

71,4441,9812,143)|(

),,()()|,(

12

3211132

XXSQR

XXXSQEXSQEXXXSQR

71,4427,35298,396)|(

)(),,()|,(

12

1321132

XXSQR

XSQRXXXSQRXXXSQR

Ou, de forma equivalente:

Ou, de forma equivalente:

Decomposição da SQRegressão em soma de quadrados extra

),|()|()(),,( 213121321 XXXSQRXXSQRXSQRXXXSQR

Page 8: Tópicos sobre regressão linear múltipla

8

Tabela da ANOVA com a decomposição da soma de quadrados da regressão.

A tabela da ANOVA abaixo contém a decomposição da SQR para o caso de três variáveis explanatórias (X), frequêntemente usadas nos programas estatísticos.

Decomposição da soma de quadrados da regressão para 3 variáveisexplanatórias

Causas devariação

Soma dequadrados

Graus deliberdade

Quadradosmédios

Regressão SQR(X1,X2,X3) 3 QMR(X1,X2,X3)X1 SQR(X1) 1 QMR(X1)X2|X1 SQR(X2|X1) 1 QMR(X2|X1)X3|X1,X2 SQR(X3|X1,X2) 1 QMR(X3|X1,X2)

Erro SQE(X1,X2,X3) n-4 QME(X1,X2,X3)Total SQTO n-1

gl) SQR() ( QMR

Page 9: Tópicos sobre regressão linear múltipla

9

Exemplo: para os dados de gordura do corpo, os resultados da decomposição indicada na tabela anterior, ficam:

Decomposição da soma de quadrados da regressão para o exemplo degordura do corpo

Causas devariação

Soma dequadrados

Graus deliberdade

Quadradosmédios

Regressão (396,98) (3) (132,33)X1 352,27 1 352,27X2|X1 33,17 1 33,17X3|X1,X2 11,54 1 11,54

Erro 98,41 16 6,15Total 495,39 19

Observe que cada soma de quadrados de regressão extra, envolvendo uma única variável, está associado 1 grau de liberdade. Da mesma forma, a uma soma de quadrados de regressão extra, envolvendo duas variáveis explanatórias, como:

SQR(X2, X3|X1), estão associados dois graus de liberdade, pois,

SQR(X2, X3|X1)= SQR(X2|X1)+ SQR(X3|X1,X2)

Page 10: Tópicos sobre regressão linear múltipla

10

Considerações sobre o programa estatístico: SAS (Statistical Analysis System).

data gordura; input triceps coxa midarm gordura;datalines; 19.5 43.1 29.1 11.9 24.7 49.8 28.2 22.8 30.7 51.9 37.0 18.7 . . . . . . . . 30.2 58.6 24.6 25.4 22.7 48.2 27.1 14.8 25.2 51.0 27.5 21.1;proc glm;model gordura=triceps coxa midarm;run;

Source DF Type I SS Mean Square F Value Pr > F

TRICEPS 1 352.27 352.279 57.28 0.0001COXA 1 33.17 33.17 5.39 0.0337MIDARM 1 11.55 11.55 1.88 0.1896

X1

X2|X1

X3|X1,X2

Page 11: Tópicos sobre regressão linear múltipla

11

Por exemplo, se desejamos calcular a soma de quadrados extra, SQR(X1, X3 |X2), utilizando o SAS ou outro programa estatístico, que fornece soma de quadrados extra com 1 grau de liberdade, na ordem em que as variáveis entram no modelo, precisaríamos entrar com as variáveis na ordem X2, X1, X3 ou X2, X3, X1. Na primeira ordem temos:

SQR(X2)

SQR(X1|X2)

SQR(X3|X1, X2)

SQR(X1, X3 |X2)

No SAS:

Source DF Type I SS Mean Square F Value Pr > F

COXA (X2) 1 381.97 381.97 62.11 0.0001TRICEPS (X1|X2) 1 3.47 3.47 0.56 0.4633MIDARM (X3| X2, X1) 1 11.55 11.55 1.88 0.1896

proc glm;model gordura=coxa triceps midarm;run;

Page 12: Tópicos sobre regressão linear múltipla

12

Exemplo: para os dados de empresas de estúdio fotográfico, os resultados da decomposição da soma de quadrados da regressão em X1 e X2|X1, fica:

Decomposição da soma de quadrados da regressão para o exemplo de empresas de estúdio fotográfico X1= população e X2=renda

Causas de variação

Soma de quadrados

Graus de liberdade

Quadrados médios

F Valor p

Regressão (24015,28) (2) (12007,64) 99,10 0,0000 X1 (População) 23371,81 1 23371,81 192,2 0,0000 X2|X1 643,47 1 643,47 5,31 0,0333

Erro 2180,93 18 121,16 Total 26196,21 20

Decomposição do modelo: X2 (renda) e X1|X2 (população|renda)

Decomposição da soma de quadrados da regressão para o exemplo de empresas de estúdio fotográfico X1= população e X2=renda

Causas de variação

Soma de quadrados

Graus de liberdade

Quadrados médios

F Valor p

Regressão (24015,28) (2) (12007,64) 99,10 0,0000 X2 (renda) 18299,78 1 18299,78 151,04 0,0000 X1|X2 5715,5 1 5715,50 47,17 0,0001

Erro 2180,93 18 121,16 Total 26196,21 20

Page 13: Tópicos sobre regressão linear múltipla

13

A importância do cálculo das somas de quadrados extra, é que podemos fazer uma variedade de testes de hipóteses sobre os coeficientes de regressão, onde, a questão de interesse, é saber se certas variáveis explanatórias podem ser retiradas do modelo de regressão.

2. Testes de hipóteses sobre os coeficientes de regressão usando as somas de quadrados extra.

Teste se um único coeficiente k=0

Desejamos saber se o termo kXk pode ser retirado do modelo. As hipóteses são:

0:

0:0

ka

k

H

H

O modelo completo:

Vamos considerar um modelo de primeira ordem com 3 variáveis preditoras:

iiiii XXXY 3322110

Page 14: Tópicos sobre regressão linear múltipla

14

Vamos considerar as hipóteses:

0:

0:

3

30

aH

H

Ajustamos o modelo completo e obtemos SQE(completo)=SQE(X1,X2,X3), com n-4 graus de liberdade, uma vez que há 4 parâmetros no modelo.

O modelo reduzido:

Sob a hipótese nula, o modelo fica:

iiii XXY 22110

Ajustamos o modelo reduzido e obtemos SQE(reduzido)=SQE(X1,X2), com n-3 graus de liberdade.

Page 15: Tópicos sobre regressão linear múltipla

15

O teste estatístico (como já foi visto) é dado por:

)4(),,(

)4()3(),,(),(*

)()()(*

32132121

nXXXSQE

nnXXXSQEXXSQE

glCSQE

glglCSQERSQE

F

FCCR

Observe que no numerador temos a soma de quadrados extra:

),|(),,(),( 21332121 XXXSQRXXXSQEXXSQE

Assim, o teste estatístico é dado por:

),,(),|(

)4(),,(

)1(),|(*

321

213321213

XXXQMEXXXQMR

nXXXSQEXXXSQRF

Exemplo: com os dados de gordura do corpo, vamos verificar se podemos retirar a variável circunferência do meio do braço (X3) do modelo. As hipóteses são:

0:

0:

3

30

aH

H

Page 16: Tópicos sobre regressão linear múltipla

16

Já obtivemos os resultados das somas de quadrados do erro do modelo completo e, também, da soma de quadrados extra, quando as variáveis entram no modelo na ordem X1, X2, X3.Assim, o teste estatístico vale:

88,11641,98

154,11*

),,(),|(

)4(),,(

)1(),|(*

321

213321213

F

F XXXQMEXXXQMR

nXXXSQEXXXSQR

Com o auxílio de um programa estatístico encontramos P(F>1,88)=0,189261, portanto, não rejeitamos a hipótese nula e concluímos que podemos retirar a variável X3 do modelo que já contém X1, X2.

O mesmo teste pode ser feito com o uso da estatística

37,1596,1186,2

)(*

3

3 bs

bt

Com 1 grau de liberdade, sempre temos que: (t*)2=(-1,37)=1,88=F*, portanto, os dois testes produzem os mesmos resultados.

Page 17: Tópicos sobre regressão linear múltipla

17

Soma de quadrados tipo III no SAS, também conhecida como soma de quadrados parcial. Este tipo produz somas de quadrados do tipo:

),|(

),|(

),|(

213

312

321

XXXSQR

XXXSQR

XXXSQR

Exemplo: para os dados de gordura do corpo, temos:

Source DF Type III SS Mean Square F Value Pr > F

TRICEPS (X1|X2,X3) 1 12.70 12.70 2.07 0.1699COXA (X2|X1,X3) 1 7.53 7.53 1.22 0.2849MIDARM (X3|X1,X2) 1 11.55 11.55 1.88 0.1896

Nota: soma de quadrados parcial no SAS

Page 18: Tópicos sobre regressão linear múltipla

18

Teste se vários coeficientes k=0

Exemplo: para o modelo

iiiii XXXY 3322110

Podemos querer saber se podemos retirar os termos 2X2 e 3X3 do modelo. As hipóteses são dadas por:

0:

0: 320

ka um menos peloH

H

O modelo reduzido:

Sob a hipótese nula, o modelo fica:

iii XY 110

A soma de quadrados do erro para este modelo é SSE(R)=SQE(X1), com n-2 graus de liberdade.

Page 19: Tópicos sobre regressão linear múltipla

19

O teste estatístico é dado por:

)4(),,(

)4()2(),,()(*

)()()(*

3213211

nXXXSQE

nnXXXSQEXSQE

glCSQE

glglCSQERSQE

F

FCCR

Observamos que:

)|,(),,()( 1323211 XXXSQRXXXSQEXSQE

Substituindo, o teste F* fica:

),,()|,(

)4(),,(

)2()|,(*

321

132321132

XXXQMEXXXQMR

nXXXSQEXXXSQRF

Exemplo: desejamos saber se para os dados do problema de gordura do corpo, podemos retirar ambas as variáveis: circunferência da coxa (X2) e circunferência do meio do braço (X3).

Page 20: Tópicos sobre regressão linear múltipla

20

Como já vimos anteriormente:

SQR(X2, X3|X1)= SQR(X2|X1)+ SQR(X3|X1,X2)

SQR(X2, X3|X1)= 33,17+11,54=44,71

O valor da estatística de teste é:

63,316/41,982/71,44

)4(),,(

)2()|,(* 321132 n

XXXSQEXXXSQRF

A probabilidade de se encontrar um valor de F* mais extremo do que este é P(F>3,63)=0,050128. Para =0,05, estamos no ponto limitrófico, pode-se desejar fazer outras análises antes de se tomar uma decisão.

resultados na tabela da ANOVA

Page 21: Tópicos sobre regressão linear múltipla

21

3. Outros tipos de testesQuando deseja-se fazer um teste sobre os coeficientes de regressão, que não se um (1) ou todos eles são iguais a zero, as somas de quadrados extra não podem mais serem utilizadas e o teste necessita que se faça ajustes separados dos modelos completo e reduzido.

Caso 1) Exemplo, para o modelo completo

iiiii XXXY 3322110

Desejamos testar:

2

210

:

:

1aH

H

O procedimento é ajustar o modelo completo, e então ajustar o modelo reduzido:

iiiici XXXY 33210 )(

Onde c representa um coeficiente comum para 1 e 2 sob H0 e (Xi1+Xi2) é a nova variável X.

Page 22: Tópicos sobre regressão linear múltipla

22

Usamos o teste estatístico geral:

CCR glCSQE

glglCSQERSQEF )()()(*

Com 1 [p.e.dados gordura corpo (20-3)-(20-4)=17-16=1] e n-4 graus de liberdade.

Caso 2) Exemplo: desejamos testar,

5,3:

5,3:

3

310

e/ou H

H

1a

De acordo com a hipótese nula, o modelo reduzido fica:

iiiii XXXY 22031 53

A variável resposta fica Yi-3Xi1-5Xi3. Usamos o teste estatístico geral dado anteriormente com 2 e n-4 graus de liberdade.

Page 23: Tópicos sobre regressão linear múltipla

23

Exemplo: desejamos saber se para os dados do problema de gordura do corpo, podemos considerar um único coeficiente para ambas as variáveis circunferência da coxa (X2) e circunferência do meio do braço (X3), ou seja, 2=3.

Para o modelo completo, a SQE(C)=98,41com 16 gl. O modelo reduzido fica:

iiiii XXXY )( 322110

A SQE(R)=101,11 com 17 graus de liberdade.

66,1512,7F 0,21641,98

161741,9811,111*

A P(F>2,06)=0,170470, portanto, não devemos rejeitar a hipótese nula.

Exercício: qual a interpretação: a taxa de variação em Y é a mesma para mudança de uma unidade em X2 e X3.

Page 24: Tópicos sobre regressão linear múltipla

24

4. Multicolinearidade

Questões de interesse na análise de regressão múltipla:

qual é a importância relativa dos efeitos das diferentes variáveis

preditoras?

qual é a magnitude do efeito de uma dada variável preditora sobre a

variável resposta?

pode alguma variável preditora ser retirada do modelo porque ela tem

pouco efeito sobre a variável resposta?

alguma variável preditora ainda não incluída no modelo deveria ser

considerada para inclusão?

As respostas para estas questões são relativamente fácil se:

1. As variáveis preditoras incluídas no modelo não são correlacionadas entre si;

2. Além disso, não são correlacionadas com qualquer outra variável que é relacionada com a variável resposta, mas é omitida do modelo.

Page 25: Tópicos sobre regressão linear múltipla

25

Ocorrência de multicolinearidade: exemplo

Variável resposta: gasto com alimentação

Variáveis regressoras: renda, poupança, idade do chefe do lar

(Variáveis incluídas no modelo)

Provavelmente estas variáveis são correlacionadas

Provavelmente estas variáveis regressoras estão correlacionadas com outras variáveis que afetam o gasto com alimentação, por exemplo, tamanho da família (variável não incluída no modelo).

Page 26: Tópicos sobre regressão linear múltipla

26

5. Modelos de Regressão Polinomial

As variáveis explanatórias devem ser quantitativas.

Servem para representar modelos com resposta curvilínea.

São fáceis de serem ajustados, pois são um caso especial do modelo de regressão linear múltipla.

Usos dos modelos polinomiais

•Quando a função de resposta curvilínea verdadeira é realmente uma função polinomial.

•Quando a função de resposta curvilínea verdadeira é desconhecida (ou complexa), porém, uma função polinomial é uma boa aproximação para a verdadeira função. Exemplo: produção em resposta a aplicação de adubação.

O principal problema com o uso de modelos polinomiais é com a extrapolação.

Page 27: Tópicos sobre regressão linear múltipla

27

Uma variável preditora - Modelo de segunda ordemConsidere o modelo polinomial:

iiii xxY 2210

Onde,XXx ii

A variável preditora, xi, é centrada, ou seja, é dada como desvio em relação a sua média. A razão para usar uma variável preditora centrada no modelo de regressão polinomial é que X e X2 freqüentemente são altamente correlacionadas. Isto pode causar sérias dificuldades para inverter a matriz X’X para estimar os coeficientes de regressão. Trabalhando-se com variáveis centradas, reduz-se a multicolinearidade substancialmente e, isto, tende a diminuir as dificuldades computacionais.

Geralmente, muda-se a notação para os modelos polinomiais:

iiii xxY 21110

cuja função de resposta (resposta média) é:2

1110)( xxYE

Page 28: Tópicos sobre regressão linear múltipla

28

O gráfico desta função é uma parábola e denominada de função de resposta quadrática.

0 0

22852)( xxYE 22852)( xxYE

Page 29: Tópicos sobre regressão linear múltipla

29

O coeficiente de regressão 0 representa a resposta média de Y quando x=0, isto é, quando X=média de X. O coeficiente de regressão 1 é frequentemente chamado de coeficiente de efeito linear, e 11 é chamado de coeficiente de efeito quadrático.

Duas variáveis preditoras - Modelo de segunda ordem

Modelo:

iiiiiiii xxxxxxY 21122222

211122110

Onde:

222

111

XXx

XXx

ii

ii

Observe que o penúltimo termo do modelo representa a interação entre x1 e x2. O coeficiente 12 denomina-se coeficiente do efeito da interação.

linear quadrático

Page 30: Tópicos sobre regressão linear múltipla

30

2122

21 3341740)( xxxxYE

Modelo usado:

Observe que o modelo apresenta ponto de máximo em x1=0 x2=0.

Mostra as várias combinações dos níveis das 2 v. preditoras que resultam na mesma resposta

Page 31: Tópicos sobre regressão linear múltipla

31

Implementação dos modelos de regressão polinomial

Ajuste dos modelos de regressão polinomiais. Como já foi visto, os modelos de regressão polinomial são casos especiais do modelo de regressão linear múltipla geral, assim, todos os resultados vistos para o ajuste de modelos e para inferência estatística são válidos aqui.

Uma abordagem hierárquica para o ajuste do modelo. Geralmente, ajusta-se um modelo de segunda ou terceira ordem e, então, procura-se estudar se um modelo de menor ordem é adequado. Exemplo: vamos considerar uma variável preditora e um modelo com efeito cúbico,

iiiii xxxY 3111

21110

Provavelmente, desejaríamos testar:

0:

0:

110

1110

111 e H

H

Podemos usar as somas de quadrados extra para realizar estes testes.

Page 32: Tópicos sobre regressão linear múltipla

32

A decomposição da SQR é dada por:

),|(

)|(

)(

23

2

xxxSQR

xxSQR

xSQR

Para testar 111=0, a soma de quadrados extra adequada é SQR(x3|x,x2). Se, ao invés, desejamos testar se 11= 111=0, a soma de quadrados apropriada é SQR(x2,x3|x)=SQR(x2|x)+SQR(x3|x,x2).

Para manter a hierarquia do modelo, se, por exemplo, o termo cúbico é significativo, então o termo quadrático e linear devem ser mantidos no modelo. Por exemplo, para duas variáveis preditoras, x1 e x2 o termo da interação (x1x2 ) não deveria ser mantida no modelo, sem, também, manter as variáveis preditoras na primeira potência (termos lineares).

A equação de regressão em termos das variáveis X. Depois que o modelo de regressão polinomial foi ajustado, freqüentemente, desejamos expressar o nosso modelo em termos das variáveis originais X.Isto é feito facilmente.

Page 33: Tópicos sobre regressão linear múltipla

33

Suponha o seguinte modelo:

(12) X-Xx com xbxbbY 21110

ˆ

Em termos da variável original, X, o modelo fica:

(13) XbXbbY 2'11

'1

'0

ˆ

Onde:

(16) bb

(15) Xbbb

(14) XbXbbb

11'11

111'1

21110

'0

2

Os valores ajustados e os resíduos para a função de regressão em termos de X ou das variáveis centradas são os mesmos.

Exercício: substitua x por ( ) em 12 e obtenha as expressões 14, 15 e 16.XX

Page 34: Tópicos sobre regressão linear múltipla

34

Os desvios padrões estimados dos coeficientes de regressão em termos das variáveis centradas x em (12) não valem para os coeficientes de regressão em termos das variáveis originais, X, em (13). Se os desvios padrões estimados para os coeficientes de regressão em termos de X são necessários, eles podem ser obtidos usando-se o teorema

'222 )()()( AYAσAYσWσ

onde a matriz de transformação A é obtida de (14)-(16).

Exercício: um analista de uma cadeia de cafeterias deseja investigar a relação entre o número de máquinas self service e as vendas de café. 14 cafeterias que são similares em termos de volume de negócios, tipo de clientela, e localização foram escolhidas para o experimento. O número de máquinas colocadas em teste variou de zero (o café é fornecido por um (a) atendente) até 6 e foi atribuído aleatoriamente para cada cafeteria. Os resultados do experimento foram:

Dados para o exemplo de vendas de caféCafeteria Máquinas Vendas Cafeteria Máquinas Vendas

i Xi Yi i Xi Yi

1 0 508,1 8 3 697,52 0 498,4 9 4 755,33 1 568,2 10 4 758,94 1 577,3 11 5 787,65 2 651,7 12 5 792,16 2 657,0 13 6 841,47 3 713,4 14 6 831,8

Exercício: estruture a matriz A.

Page 35: Tópicos sobre regressão linear múltipla

35

Exemplo: um pesquisador está estudando os efeitos da taxa de carga e da temperatura sobre o tempo de vida de pilhas. A taxa de carga (X1) foi controlada em três níveis (0,6, 1,0 e 1,4) e a temperatura ambiente (X2)foi controlada em três níveis (10, 20 e 30oC). Os outros fatores que contribuem para a perda de carga foram controlados (fixos). A vida das pilhas (Y) foi medida em termos do número de ciclos de carga-descarga até falhar. Os resultados obtidos, foram:

Foi ajustado um modelo de efeito quadrático para os dados:

225,489,5447,705ˆiii xxY

Com:3 iii XXXx

A matriz de variância-covariância das estimativas dos parâmetros é:

368,00470,1

0103,10

470,10291,10

)(2 bs

Encontre as variâncias das estimativas dos coeficientes de regressão em termos das variáveis originais, X.

Page 36: Tópicos sobre regressão linear múltipla

36

D a d o s d e v i d a d e p i l h a s( 1 ) ( 2 ) ( 3 ) ( 4 ) ( 5 ) ( 6 ) ( 7 ) ( 8 )

P i l h a N ú m e r od e c i c l o s

T a x ac a r g a

T e m p er a t u r a

V a l o r e sc o d i f i c a d o s

i Y i X i 1 X i 2 x i 1 x i 221ix 2

2ix x i 1 x i 2

1 1 5 0 0 , 6 1 0 - 1 - 1 1 1 12 8 6 1 , 0 1 0 0 - 1 0 1 03 4 9 1 , 4 1 0 1 - 1 1 1 - 14 2 8 8 0 , 6 2 0 - 1 0 1 0 05 1 5 7 1 , 0 2 0 0 0 0 0 06 1 3 1 1 , 0 2 0 0 0 0 0 07 1 8 4 1 , 0 2 0 0 0 0 0 08 1 0 9 1 , 4 2 0 1 0 1 0 09 2 7 9 0 , 6 3 0 - 1 1 1 1 - 1

1 0 2 3 5 1 , 0 3 0 0 1 0 1 01 1 2 2 4 1 , 4 3 0 1 1 1 1 1

0,11 X 202 X

O pesquisador não está seguro sobre a natureza da função de resposta na região de estudo. Assim, o pesquisador decidiu ajustar um modelo de regressão polinomial de segundo grau:

(17) iiiiiiii xxxxxxY 21122222

211122110

Page 37: Tópicos sobre regressão linear múltipla

37

As variáveis foram codificadas da seguinte forma (considerando que os níveis são equidistantes)

1020

102

4,00,1

4,01

222

111

ii

ii

XXXi

XXXi

x

x

Aqui, 0,4 e 10 é a diferença entre os níveis adjacentes das variáveis. As correlações entre as variáveis valem:

X1 X2 x1 x221X 0,99122X 0,98621x 0,00022x 0,000

Ajuste do modelo. Os resultados, apresentados na página seguinte, foram obtidos com o uso do programa SAS.

Page 38: Tópicos sobre regressão linear múltipla

38

Dependent Variable: NUMERO

Analysis of Variance

Sum of Mean Source DF Squares Square F Value Prob>F

Model 5 55365.56140 11073.11228 10.565 0.0109 Error 5 5240.43860 1048.08772 C Total 10 60606.00000

Root MSE 32.37418 R-square 0.9135 Dep Mean 172.00000 Adj R-sq 0.8271 C.V. 18.82220

Parameter Estimates

Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > |T| Type I SS

INTERCEP 1 162.842105 16.60760542 9.805 0.0002 325424 COTAXA 1 -55.833333 13.21670483 -4.224 0.0083 18704 COTEMPE 1 75.500000 13.21670483 5.712 0.0023 34202 COTAXA2 1 27.394737 20.34007956 1.347 0.2359 1645.966667 COTEMPE2 1 -10.605263 20.34007956 -0.521 0.6244 284.928070 TATE 1 11.500000 16.18709146 0.710 0.5092 529.000000

2122

2121 50,1161,1039,2750,7583,5584,162ˆ xxxxxxY

Modelo ajustado:

Page 39: Tópicos sobre regressão linear múltipla

39

Gráfico de resíduos: nenhum dos gráficos sugere que o modelo de regressão seja inadequado.

Page 40: Tópicos sobre regressão linear múltipla

40

Teste do ajuste (Test of fit): como existem 3 repetições em x1=0, x2=0, podemos realizar o teste F para falta de ajuste (lack of fit) do modelo (17). A soma de quadrados do erro puro é dado por:

67,1404)33,157184()33,157131()33,157157(

)(

222

n2

c

j ijij YYSQEP

Como existem c=9 distintas combinações dos níveis de X, existem n-c=11-9=2 graus de liberdade associados com a soma de quadrados do erro puro. Além disso, no output do SAS, temos: SQE=5240,44, portanto, a soma de quadrados da falta de ajuste vale:

77,383567,1404044,5240 SQEPSQESQFA

Com c-p=9-6=3 graus de liberdade, onde p é o número de parâmetros do modelo.

O teste estatístico é dado por:

82,1267,1404

377,3835* cn

SQEPpc

SQFAF

A P(F>1,82)=0,626153, portanto, não rejeitamos a hipótese nula, assim, o modelo está ajustado.

Page 41: Tópicos sobre regressão linear múltipla

41

Coeficiente de determinação: no output do SAS temos:

9135,02 R

Assim, cerca de 91% da variabilidade do tempo de vida das pilhas é explicada pelo modelo (17). Observe que o coeficiente de determinação ajustado é bem menor: 0,8271(devido ao grande número de parâmetros no modelo).

Teste F (Verificar se um modelo de 1a. ordem é suficiente)

zero. de difere um menos :

0: 1222110

peloH

H

a

O teste estatístico é dado por:

QME

F

xxxxxxSQR

QME

XXXXQMR

pn

XXSQE

qp

XXXXSQR

qpq

pqpq

336),|,,(

),...,|,...,(

),...,(),...,|,...,(*

212122

21

111

11111

Page 42: Tópicos sobre regressão linear múltipla

42

Na saída do SAS, temos as somas de quadrados tipo I (Type I SS). A ordem de entrada das variáveis explanatórias no modelo foi:

2122

2121 ,,,, xxxxxx

Portanto, temos as seguintes somas de quadrados parciais:

00,529),,,|(

93,284),,|(

97,1645),|(

,202.34)|(

,704.18)(

22

212121

2121

22

2121

12

1

xxxxxxSQR

xxxxSQR

xxxSQR

xxSQR

xSQR

A soma de quadrados extra desejada é calculada por:

),,,|(

),,|(),|(),|,,(

2

2

2

12121

2

121

2

221

2

12121

2

2

2

1

xxxxxxSQR

xxxxSQRxxxSQRxxxxxxSQR

Page 43: Tópicos sobre regressão linear múltipla

43

O valor desta soma de quadrados é:

2459,9529284,91646, O quadrado médio residual vale: QMR=1048,1. Assim, o teste estatístico vale:

78,01,104839,2459* F

A P(F>0,78)=,553749. Portanto, concluímos que os termos quadráticos e da interação podem ser retirados do modelo, assim, um modelo de primeira ordem é adequado na região de estudo.

O modelo de primeira ordem

iiii xxY 22110

O modelo de primeira ordem ajustado é dado por:

(18) xxY 21 50,7583,5500,172ˆ

Exercício: 1)faça uma análise de resíduos e verifique se o ajuste do modelo está realmente bom. 2) Reescreva o modelo (18) em termos das variáveis originais X. 3) Calcule os desvios padrões das estimativas dos parâmetros para este modelo.

Page 44: Tópicos sobre regressão linear múltipla

44

A figura mostra a superfície de resposta para o modelo de primeira ordem com as variáveis originais. Usamos esta superfície para estudar o efeito da carga e temperatura sobre a vida das pilhas. Observamos que usando-se temperaturas mais altas e menores taxas, a vida das pilhas diminui.

Page 45: Tópicos sobre regressão linear múltipla

45

Intervalo de confiança para k

O pesquisador deseja encontrar os intervalos de confiança de 95% para os parâmetros do modelo (18). Sabemos que:

)();2/1( kk bspntb

Para 1 o intervalo de confiança é dado por:

613,26047,85

217,2983,55

)67,12(306,283,55

1

Exercício: dado o s(b2)=12,67, encontre o intervalo de confiança para 2.

Page 46: Tópicos sobre regressão linear múltipla

46

Modelos de regressão com interação

Efeitos da interação

21322110 XX XXYE

Termo da interação

Interpretação dos modelos de regressão com interação de efeito linear

Considere o modelo:

iiiiii XXXXY 21322110

Page 47: Tópicos sobre regressão linear múltipla

47

Pode ser mostrado que a mudança na resposta média com o acréscimo de 1 unidade em X1 quando X2 é mantido constante é:

231 iX Da mesma forma temos para X2:

132 iX

Exemplo:

2121 5,05210 XXXXYE

5,3)3(5,023

5,2)1(5,021

2312

2312

XX

XX

Page 48: Tópicos sobre regressão linear múltipla

48

O aumento em Y com o acréscimo de 1 unidade em X1 é maior, quanto maior for o nível de X2.

Page 49: Tópicos sobre regressão linear múltipla

49

Implementação dos modelos de regressão com interação I. Alta multicolinearidade pode existir entre algumas das variáveis

explanatórias e algumas das interações, assim como entre algumas interações. Uma medida remediadora é usar:

Uma alternativa é usar a técnica conhecida como regressão polinomial, pois os polinômios ortogonais sempre serão não correlacionados.

II. Com muitas variáveis regressoras implica num grande número de interações. Medida: usar um modelo aditivo e fazer o gráfico de resíduos versus interações;

XXx

Page 50: Tópicos sobre regressão linear múltipla

50

Fazer a lista de exercícios número 7