Transcript
Page 1: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Exemplo Chamadas Telefônicas

Gilberto A. Paula

Departamento de EstatísticaIME-USP, Brasil

[email protected]

2o Semestre 2016

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 1 / 25

Page 2: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Chamadas Telefônicas

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 2 / 25

Page 3: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Chamadas Telefônicas

Chamadas Telefônicas

Descrição dos Dados

Para motivar a comparação do procedimento de estimação demínimos quadrados com o procedimento de estimação robustaproposto por Huber vamos considerar o conjunto de dados disponívelno software R sobre

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 3 / 25

Page 4: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Chamadas Telefônicas

Chamadas Telefônicas

Descrição dos Dados

Para motivar a comparação do procedimento de estimação demínimos quadrados com o procedimento de estimação robustaproposto por Huber vamos considerar o conjunto de dados disponívelno software R sobre

chamadas telefônicas (em milhões) na Bélgica no período de1950 a 1973.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 3 / 25

Page 5: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Chamadas Telefônicas

Chamadas Telefônicas

Descrição dos Dados

Para motivar a comparação do procedimento de estimação demínimos quadrados com o procedimento de estimação robustaproposto por Huber vamos considerar o conjunto de dados disponívelno software R sobre

chamadas telefônicas (em milhões) na Bélgica no período de1950 a 1973.

Esses dados são discutidos, por exemplo, em Venables e Ripley(2003, Capítulo 8).

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 3 / 25

Page 6: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Análise de Dados Preliminar

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 4 / 25

Page 7: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Análise de Dados Preliminar

Medidas Resumo

Descrição

Medida Chamadasn 24Média 50,00D.Padrão 65,53CV 131%

Mínimo 4,401o Quartil 7,90Mediana 15,503o Quartil 62,00Máximo 232,00

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 5 / 25

Page 8: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Análise de Dados Preliminar

Dispersão Chamdas versus Ano

50 55 60 65 70

050

100

150

200

Ano

Cha

mad

as

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 6 / 25

Page 9: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Análise de Dados Preliminar

Boxplot Chamadas

050

100

150

200

Cha

mad

as

050

100

150

200

Cha

mad

as

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 7 / 25

Page 10: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 8 / 25

Page 11: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Modelo Linear Normal

Descrição

Nota-se um aumento do número de chamadas telefônicas com o ano,havendo forte destaque para 6 anos consecutivos (64 a 69) em que onúmero de chamadas é bastante acentuado. Vamos considerar parailustração o seguinte modelo linear:

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 9 / 25

Page 12: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Modelo Linear Normal

Descrição

Nota-se um aumento do número de chamadas telefônicas com o ano,havendo forte destaque para 6 anos consecutivos (64 a 69) em que onúmero de chamadas é bastante acentuado. Vamos considerar parailustração o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 9 / 25

Page 13: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Modelo Linear Normal

Descrição

Nota-se um aumento do número de chamadas telefônicas com o ano,havendo forte destaque para 6 anos consecutivos (64 a 69) em que onúmero de chamadas é bastante acentuado. Vamos considerar parailustração o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

para i = 1, . . . , 24, em que yi denota o número de chamadas

telefônicas no i-ésimo ano com ǫiiid∼ N(0, σ2).

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 9 / 25

Page 14: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Estimativas

Descrição

As estimativas dos parâmetros são dadas abaixo.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 10 / 25

Page 15: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Estimativas

Descrição

As estimativas dos parâmetros são dadas abaixo.

Efeito Estimativa Erro padrão valor-t valor-PConstante -260,059 102,607 -2,53 0,02Ano 5,041 1,658 3,04 0,00R2 0,30R2-ajustado 0,26s 56,22F 9,25 (1 e 22 g.l.) 0,00

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 10 / 25

Page 16: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Estimativas

Descrição

As estimativas dos parâmetros são dadas abaixo.

Efeito Estimativa Erro padrão valor-t valor-PConstante -260,059 102,607 -2,53 0,02Ano 5,041 1,658 3,04 0,00R2 0,30R2-ajustado 0,26s 56,22F 9,25 (1 e 22 g.l.) 0,00

Todas os parâmetros são marginalmente significativos.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 10 / 25

Page 17: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Mínimos Quadrados

Ajuste Mínimos Quadrados

50 55 60 65 70

050

100

150

200

Ano

Cha

mda

s

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 11 / 25

Page 18: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Diagnóstico Modelo Ajustado

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 12 / 25

Page 19: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Diagnóstico Modelo Ajustado

Diagnóstico Modelo Ajustado

50 55 60 65 70

0.00

0.05

0.10

0.15

0.20

0.25

Ano

Dis

tânc

ia d

e C

ook

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 13 / 25

Page 20: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Diagnóstico Modelo Ajustado

Resíduos Modelo Ajustado

−2 −1 0 1 2

−3−2

−10

12

3

Percentil da N(0,1)

Res

iduo

Stu

dent

izad

o

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 14 / 25

Page 21: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 15 / 25

Page 22: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Modelo Linear Normal

Descrição

A fim de reduzir a influência das observações discrepantes seráaplicado o critério de Huber para ajustar o seguinte modelo linear:

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 16 / 25

Page 23: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Modelo Linear Normal

Descrição

A fim de reduzir a influência das observações discrepantes seráaplicado o critério de Huber para ajustar o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 16 / 25

Page 24: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Modelo Linear Normal

Descrição

A fim de reduzir a influência das observações discrepantes seráaplicado o critério de Huber para ajustar o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

para i = 1, . . . , 24, em que yi denota o número de chamdas no i-ésimo

ano com ǫiiid∼ N(0, σ2).

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 16 / 25

Page 25: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Page 26: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

Sρ(β) =n

i=1

ρ(zi),

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Page 27: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

Sρ(β) =n

i=1

ρ(zi),

em que zi =ǫis com

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Page 28: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

Sρ(β) =n

i=1

ρ(zi),

em que zi =ǫis com

ρ(z) ={

z2

2 se |z| ≤ cc{|z| − c

2} se |z| > c.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Page 29: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Estimativas

Descrição

As estimativas dos parâmetros pelo critério de Huber com c=1,345são dadas abaixo.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 18 / 25

Page 30: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Estimativas

Descrição

As estimativas dos parâmetros pelo critério de Huber com c=1,345são dadas abaixo.

Efeito Estimativa Erro padrão valor-z valor-PConstante -102,622 26,608 -3,86 0,00Ano 2,041 0,430 4,75 0,00s 9,032

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 18 / 25

Page 31: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Estimativas

Descrição

As estimativas dos parâmetros pelo critério de Huber com c=1,345são dadas abaixo.

Efeito Estimativa Erro padrão valor-z valor-PConstante -102,622 26,608 -3,86 0,00Ano 2,041 0,430 4,75 0,00s 9,032

Todas os parâmetros são altamente significativos.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 18 / 25

Page 32: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Peso versus Chamadas

0 50 100 150 200

0.2

0.4

0.6

0.8

1.0

Chamadas

Peso

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 19 / 25

Page 33: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Peso versus Ano

50 55 60 65 70

0.2

0.4

0.6

0.8

1.0

Ano

Peso

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 20 / 25

Page 34: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Ajuste Crítério Robusto

Comparação Métodos de Estimação

50 55 60 65 70

050

100

150

200

Ano

Cha

mad

as

M.Q.

Ruber

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 21 / 25

Page 35: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Conclusões

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 22 / 25

Page 36: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Conclusões

Conclusões

Considerações Finais

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Page 37: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Conclusões

Conclusões

Considerações Finais

Neste conjunto de dados há 6 observações discrepantes com altainfluência nas estimativas do intercepto e inclinação da retaajustada pelo método de mínimos quadrados.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Page 38: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Conclusões

Conclusões

Considerações Finais

Neste conjunto de dados há 6 observações discrepantes com altainfluência nas estimativas do intercepto e inclinação da retaajustada pelo método de mínimos quadrados.

O procedimento de estimação usando o critério de de Huberreduz consideravelmente a influência desses anos que recebemos menores pesos no processo de estimação.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Page 39: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Conclusões

Conclusões

Considerações Finais

Neste conjunto de dados há 6 observações discrepantes com altainfluência nas estimativas do intercepto e inclinação da retaajustada pelo método de mínimos quadrados.

O procedimento de estimação usando o critério de de Huberreduz consideravelmente a influência desses anos que recebemos menores pesos no processo de estimação.

Os últimos três anos também têm uma redução dos pesos noprocesso de estimação.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Page 40: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Referências

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 24 / 25

Page 41: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Referências

Referências

Referência

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 25 / 25

Page 42: Exemplo Chamadas Telefônicas - IME-USPgiapaula/slides_exemplo_chamadas.pdf · Ajuste Mínimos Quadrados Modelo Linear Normal Descrição Nota-se um aumento do número de chamadas

Referências

Referências

Referência

Venables, W. N. e Ripley, B. D. (2003). Modern Applied Statisticswith S-Plus, Fourth Edition. New York: Springer.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 25 / 25


Recommended