Teste de hipóteses Aula 06 Prof. Christopher Freire Souza Centro de Tecnologia Universidade Federal de Alagoas

Teste de hipótesesAula 06

Prof. Christopher Freire SouzaCentro de TecnologiaUniversidade Federal de Alagoaswww.ctec.ufal.br/professor/cfs

Objetivos

•Desenvolver habilidades para inferir o comportamento da população a partir de dados de uma amostra

•Desenvolver habilidades para inferir se o comportamento de duas população diferem a partir de dados de duas amostras

•Desenvolver habilidades para estimar o poder de um teste em rejeitar uma hipótese

2

Christopher Souza: Teste de hipóteses

Relevância do conteúdo• Definição e avaliação de hipóteses é o cerne de

estudos científicos• Testes de hipóteses trazem o respaldo

matemático para apoiar afirmações sobre o comportamento da população em estudo


3

Conteúdo

•Fundamentos de testes de hipóteses•Testes sobre uma população•Testes sobre duas populações


4

Fundamentos de testes de hipóteses•Hipótese•Hipótese nula e alternativa•Estatística de teste•Valor crítico•Valor p•Decisões e conclusões•Erro do tipo I e do tipo II•Poder de um teste


5

Hipótese: nula e alternativa

•Em estatística, hipótese é uma afirmação sobre uma propriedade da população

•Teste de hipótese: teste da afirmação•Hipótese nula: afirmação em que o valor de

um parâmetro é comparado a um valor específico▫H0: =0

•Hipótese alternativa: afirmação que se deseja testar▫H1: ≠0, H1: >0, H1: <0


6

Estatística de teste

•Valor usado para tomar decisão sobre a hipótese nula (rejeitá-la ou não)

•Estimativa pela conversão da estatística amostral em um escore (z, t, ²), a partir da suposição de que a hipótese nula seja verdadeira


7

Intervalos de confiança (proporção)• Requisitos:

▫ Amostra aleatória simples.▫ Condições para a

distribuição binomial satisfeitas.

▫ Haver pelo menos 5 sucessos e 5 fracassos, o que permite aproximar pela distribuição normal

• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de proporção esteja inserido no intervalo construído a partir da proporção amostral


8

População Infinita Finita

Margem de Erro

Tamanho da Amostra

Intervalos de confiança(, para conhecido)• Requisitos:

▫ Amostra aleatória simples.

▫ Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)

• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral


9

População Infinita Finita

Margem de Erro

Tamanho da Amostra

Intervalos de confiança(, para desconhecido)• Requisitos:

▫ Amostra aleatória simples.

▫ Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)

• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral


10

• Margem de Erro▫ População infinita

▫ População finita

Intervalos de confiança (²)• Requisitos:

▫ Amostra aleatória simples.▫ Distribuição normal mesmo

para grandes amostras• Associa-se um grau de

confiança, e.g. 95%, de que o valor do parâmetro de variância esteja inserido no intervalo construído a partir da variância amostral

• Estima-se desvio amostral a partir da raiz da estimativa do parâmetro de variância


11

Região crítica

•Conjunto de todos os valores da estatística que podem nos fazer rejeitar a hipótese nula

•Definição a partir da escolha do valor crítico, assim como estimado no estudo de intervalos de confiança


12

Intervalos de confiança


13

“Estamos 95% confiantes de que o intervalo ± E contém o valor de ”̂

Valor P

•Probabilidade de obter, no mínimo, um valor da estatística teste tão extremo quanto o valor representado pela amostra

•Obtenção de magnitude do valor P permite a decisão de rejeitar ou não a hipótese nula sem definir a priori o valor crítico

•Rejeitar ou não a hipótese depende da ponderação sobre o que se considera crítico e sua relação com o valor P


14

Decisão e conclusões• Teste da hipótese nula permite:

▫ Rejeitá-la▫ Deixar de a rejeitar

• Se afirmativa original contiver igualdade e for rejeitada, pode se concluir que:▫ Há evidência suficiente para garantir a rejeição de H0

• Senão▫ Não há evidência suficiente para garantir a rejeição de H0

• Se afirmativa original não contiver igualdade e for rejeitada, pode se concluir que:▫ Os dados amostrais apóiam a afirmativa de que H0

• Senão▫ Não há evidência amostral suficiente para apoiar H0


15

Erros• Tipo I ()

▫ Rejeitar H0 quando deveria ser aceita

• Tipo II ()▫ Não rejeitar H0 quando

deveria ser rejeitada

• Controle de erros: , e n estão relacionados


16

Investigações sobre Erro do tipo I• Supondo:

▫ = 0,05▫ = 0,0625▫ n = 64▫ Ho: p=0,5

• Tem-se:▫ z/2=1,96

▫ p/2=0,5 0,1225

• Se utilizarmos =0,01▫ z/2=2,575

▫ p/2=0,5 0,1609

• Se utilizarmos n=100▫ = 0,05▫ z/2=1,96

▫ p/2=0,5 0,098


17

Investigações sobre Erro do tipo II• Supondo:

▫ = 0,05▫ n = 64▫ = 0,0625▫ Ho: p=0,5

▫ p/2=0,5 0,1225

▫ H1: p=0,7

• Tem-se:▫ z1 = (0,5-0,1225-0,7) /

0,0625 = -5,16▫ z2= (0,5+0,1225-0,7)/

0,0625 = -1,24▫ P=0,107488

• Se utilizarmos H1: p=0,55

▫ z1=(0,5-0,1225-0,55) / 0,0625 = -2,76

▫ z2= (0,5+0,1225-0,55)/ 0,0625 = 1,16

▫ P=0,877-0,0029=0,8741

• Se utilizarmos n=100▫ z1 = (0,5-0,1225-0,7) /

0,05 = -6,45▫ z2= (0,5+0,1225-0,7)/

0,05 = -1,55▫ P=0,0606


18

Investigações sobre Erro do tipo II• Supondo:

▫ = 0,05▫ n = 64▫ = 0,0625▫ Ho: p=0,5

▫ p/2=0,5 0,1225

▫ H1: p=0,7

• Tem-se:▫ z1 = (0,5-0,1225-0,7) /

0,0625 = -5,16▫ z2= (0,5+0,1225-0,7)/

0,0625 = -1,24▫ P=0,107488

• Se utilizarmos =0,01▫ z1=(0,5-0,1609-0,7) /

0,0625 = -5,77▫ z2= (0,5+0,1609-0,7)/

0,0625 = -0,625▫ P=0,266


19

Resumo de investigações• Quando n aumenta, os

dois erros diminuem• Quando diminui,

aumenta• Erro tipo II mais provável

se H1 se aproxima de H0

• Maior interesse em detectar grandes diferenças entre valores supostos (H0) e verdadeiros (H1)

p/2 n ,p=0,7 ,p=0,55

0,5 0,1225

64 5 0,107488

0,8741

0,5 0,1609

64 1 0,266

0,5 0,098

100 5 0,0606


20

Poder de um teste• Poder de apoiar uma

hipótese alternativa verdadeira (1-).


21

Testes de hipóteses sobre uma populaçãoMétodo tradicional Valor P

• Comparação de estatística de teste, z, t ou ², com valor crítico para o nível de confiança

• estatística de teste é estimada como visto nas distribuições de estatísticas amostrais, normal para médias, t e ²,

• Comparação de áreas sob as curvas estimadas a partir da estatística de teste e a região crítica

22


Testes de hipóteses sobre uma população•Método do intervalo de confiança

▫Comparação de intervalos de confiança com valor crítico para o nível de significância

▫Se valor crítico for inferior ao intervalo, rejeita-se a hipótese nula


23

Amostra não-normal

•Uma hipótese (a ser testada):▫(Dúvida:) Estatística de teste = valor obtido

da amostra original▫Valor crítico estimado por percentil da

distribuição bootstrap▫Método do intervalo de confiança não se

aplica


24

Inferências sobre duas proporções• Requisitos:

▫ Amostras aleatórias simples.

▫ Condições para a distribuição binomial satisfeitas.

▫ Haver pelo menos 5 sucessos e 5 fracassos em cada amostra, o que permite aproximar pela distribuição normal

• Proporção amostral combinada:


25

• Estatística de teste:

• Estimativa de intervalo de confiança

Inferências sobre duas médiasAmostras independentes, desconhecido• Requisitos:


▫ Distribuições normais ou n>30

• Sugestão:▫ Analise preliminarmente

as amostras• Para identificar valores

críticos:


26



Inferências sobre duas médiasAmostras independentes, conhecido• Requisitos:




as amostras


27



Inferências sobre duas médiasAmostras emparelhadas, desconhecido• Requisitos:




as amostras• Dados trabalhados como

diferenças de valores emparelhados (d)


28



Inferências sobre duas variações• Requisitos:


▫ Populações independentes

▫ Distribuição normal• std1>std2


29


Inferências sobre duas variações• Método Conte Cinco

▫ Não requer distribuição normal

▫ Tamanhos amostrais iguais

▫ Se uma das amostras têm pelo menos cinco dos maiores desvios médios absolutos, sua população tem uma maior variância


30

• Teste de Levene-Brown-Forsythe▫ Transforma-se cada

conjunto de dados por meio da subtração de cada dado por sua mediana

▫ Em seguida, aplica-se o teste t para duas populações

Testes não-paramétricosVantagens Desvantagens

• Não exigem que a distribuição seja normal

• São aplicáveis a dados categóricos (qualitativos)

• Cálculos mais simples

• Desperdiçam informação por tratarem dados de forma qualitativa

• Menor eficiência dos testes

31


EficiênciaTeste não-paramétrico, população normalAplicação Paramétrico Não-

paramétricoEficiência

Pares combinados

t ou z Sinais 0,63

Postos com sinais de Wilcoxon

0,95

Duas amostras independentes

t ou z Soma de postos de Wilcoxon

0,95

Várias amostras independentes

F Kruskal-Wallis 0,95

Correlação Correlação linear

Correlação de postos

0,91

Aleatoriedade - Seqüências -


32

Postos• Número atribuído a um

item da amostra de acordo com sua posição na lista ordenada.

• Em caso de empates, aplica-se a média dos postos como valor de posto de cada item com igual valor

• Ex:• x: [12 10 5 5 4 5 11 12]• xo: [4 5 5 5 10 11 12 12]• io: [1 3 3 3 5 6 7,5 7,5]• i: [7,5 5 3 3 1 3 6 7,5]


33

Testes não-paramétricos• Sinais

▫ Proporção = 50%▫ Igualdade de medianas

(pareado)▫ Mediana de uma

população• Soma de Postos de

Wilcoxon (igualdade de medianas)▫ Pareado ▫ Homogeneidade – Mann-

Whitney• Kruskal-Wallis – igualdade

de medianas de três ou mais populações

• Sequências - Inflexões (Aleatoriedade)

• Wald-Wolfowitz (Independência)

• Correlação de Spearman▫ Significância da

correlação▫ Estacionariedade da série

• Pettitt (Quebra de tendência)

• Grubbs e Beck (Outlier)


34

Teste dos sinaisDados nominais (Proporção = 50%)• Requisitos

▫ Amostra aleatória• Fundamento: teste de

freqüência de sinais▫ x = número de vezes que

ocorreu sinal menos freqüente

▫ n = número de sinais positivos e negativos combinados

• Cuidado:▫ Se dados contradizem H1

nem aplica teste, pois deixa-se de fazer sentido o teste


35

• Estatística de teste:• p/ n≤25: x• p/ n>25:

• Valor crítico:• p/ n≤25, buscar x na

tabela A-7 do Triola• p/ n>25, buscar z na

tabela A-2 do Triola

Teste dos sinaisPares combinados (igualdade de medianas)• Procedimento:

▫ Subtrair cada valor da segunda variável pelo correspondente na primeira

▫ Posições de diferenças nulas são excluídas

▫ Série constituída apenas por sinais de diferenças

• Fundamento:▫ Se medianas são iguais,

número de sinais positivos e negativos são iguais


36





Teste dos sinaisMediana de uma população• Procedimento:

▫ Subtrair cada valor da amostra do valor da mediana sugerida em H0

▫ Posições de diferenças nulas são excluídas

▫ Série constituída apenas por sinais de diferenças


37





Soma de postos de WilcoxonDiferença de amostras emparelhadas• Requisito:

▫ Diferenças tem distribuição aproximadamente simétrica.

• a=soma de valores absolutos dos postos negativos das diferenças d não-nulas (51)

• b=soma dos postos positivos das diferenças d não-nulas (15)

• T=min(a,b)• Estatística de teste:• p/ n≤30: T (tab. A-8 para T)

• p/ n>30:

Reg. Sec. d Postos

Sinais

1903 2009 -106 10 -10

1935 1915 20 1 1

1910 2011 -101 9 -9

2496 2463 33 3 3

2108 2180 -72 8 -8

1961 1925 36 4 4

2060 2122 -62 6 -6

1444 1482 -38 5 -5

1612 1542 70 7 7

1316 1443 -127 11 -11

1511 1535 -24 2 -2


38

Soma de postos de WilcoxonDuas amostras independentes

• Requisito:▫ n>10 para cada amostra

• Trabalha também dados ordinais

• Equivale a Mann-Whitney• R=soma dos postos de uma das

amostras• Estatística de teste:

• Onde:


39

Homens Mulheres

Posto IMC IMC Posto

11,5 23,8 19,6 2,5

9 23,2 23,8 11,5

14 24,6 19,6 2,5

17 26,2 29,1 22

10 23,5 25,2 15,5

13 24,5 21,4 5

6 21,5 22,0 7

24 31,4 27,5 19

18 26,4 33,5 25

8 22,7 20,6 4

20 27,8 29,9 23

21 28,1 17,7 1

15,5 25,2

R1=187

n1=13

R1=138

n1=12

Kruskal-WallisIgualdade de medianas de três ou mais populações

• Requisito:▫ n>5 para cada amostra

• H ~ ²k-1

• Equivale a ANOVA• H grande para amostras

muito diferentes (teste unilateral à direita)

• R=soma dos postos de uma das amostras


• Onde:


40

• Para corrigir H em função do número de empates, divida H por

• Onde (m = número de empates para cada valor):

• Valor crítico estimado via ²k-1

SequênciasAleatoriedade

• Sequência: sucessão de dados com mesma característica

• Ex.: valores se acima ou abaixo da mediana

• Trabalha também dados ordinais

• G=número de sequências na amostra

• Aleatoriedade definida se 0<<G<<n

• Estatística de teste:▫ G, se n1<20, n2<20 e

=0,05▫ senão,


41

• onde

▫ n1 e n2 representam número de valores de mesma característica

• Para G como estatística de teste, compare com valores críticos apresentados na tabela A-10 do Triola

Wald-WolfowitzIndependência

• Séries aleatórias podem não ser independentes

• Influência de contribuições subterrâneas às vazões de rio resulta em maior dependência para intervalos menores de discretização

• Para tanto, calcula-se:


42


• onde

Significância de correlação de postos de Spearman• H0: s=0

• H1: s≠0

• Estatística de teste:▫ Se não houver empate

para um mesmo conjunto de dados:

▫ Se houver empate:

• Valores críticos:▫ Se n≤30, use tabela A-9

do Triola▫ Senão,


43

Estacionariedade• Teste de correlação de

Spearman entre postos de dados e suas respectivas posições na série


44

Teste de Grubbs e BeckIdentificação de outliers• Limites para consideração

de outliers são estimados por:▫ Limite superior

▫ Limite inferior

▫ onde


45

Documents

Teste de hipóteses Aula 06 Prof. Christopher Freire Souza Centro de Tecnologia Universidade Federal de Alagoas