Teste de hipótesesAula 06
Prof. Christopher Freire SouzaCentro de TecnologiaUniversidade Federal de Alagoaswww.ctec.ufal.br/professor/cfs
Objetivos
•Desenvolver habilidades para inferir o comportamento da população a partir de dados de uma amostra
•Desenvolver habilidades para inferir se o comportamento de duas população diferem a partir de dados de duas amostras
•Desenvolver habilidades para estimar o poder de um teste em rejeitar uma hipótese
2
Christopher Souza: Teste de hipóteses
Relevância do conteúdo• Definição e avaliação de hipóteses é o cerne de
estudos científicos• Testes de hipóteses trazem o respaldo
matemático para apoiar afirmações sobre o comportamento da população em estudo
Christopher Souza: Teste de hipóteses
3
Conteúdo
•Fundamentos de testes de hipóteses•Testes sobre uma população•Testes sobre duas populações
Christopher Souza: Teste de hipóteses
4
Fundamentos de testes de hipóteses•Hipótese•Hipótese nula e alternativa•Estatística de teste•Valor crítico•Valor p•Decisões e conclusões•Erro do tipo I e do tipo II•Poder de um teste
Christopher Souza: Teste de hipóteses
5
Hipótese: nula e alternativa
•Em estatística, hipótese é uma afirmação sobre uma propriedade da população
•Teste de hipótese: teste da afirmação•Hipótese nula: afirmação em que o valor de
um parâmetro é comparado a um valor específico▫H0: =0
•Hipótese alternativa: afirmação que se deseja testar▫H1: ≠0, H1: >0, H1: <0
Christopher Souza: Teste de hipóteses
6
Estatística de teste
•Valor usado para tomar decisão sobre a hipótese nula (rejeitá-la ou não)
•Estimativa pela conversão da estatística amostral em um escore (z, t, ²), a partir da suposição de que a hipótese nula seja verdadeira
Christopher Souza: Teste de hipóteses
7
Intervalos de confiança (proporção)• Requisitos:
▫ Amostra aleatória simples.▫ Condições para a
distribuição binomial satisfeitas.
▫ Haver pelo menos 5 sucessos e 5 fracassos, o que permite aproximar pela distribuição normal
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de proporção esteja inserido no intervalo construído a partir da proporção amostral
Christopher Souza: Teste de hipóteses
8
População Infinita Finita
Margem de Erro
Tamanho da Amostra
Intervalos de confiança(, para conhecido)• Requisitos:
▫ Amostra aleatória simples.
▫ Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral
Christopher Souza: Teste de hipóteses
9
População Infinita Finita
Margem de Erro
Tamanho da Amostra
Intervalos de confiança(, para desconhecido)• Requisitos:
▫ Amostra aleatória simples.
▫ Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral
Christopher Souza: Teste de hipóteses
10
• Margem de Erro▫ População infinita
▫ População finita
Intervalos de confiança (²)• Requisitos:
▫ Amostra aleatória simples.▫ Distribuição normal mesmo
para grandes amostras• Associa-se um grau de
confiança, e.g. 95%, de que o valor do parâmetro de variância esteja inserido no intervalo construído a partir da variância amostral
• Estima-se desvio amostral a partir da raiz da estimativa do parâmetro de variância
Christopher Souza: Teste de hipóteses
11
Região crítica
•Conjunto de todos os valores da estatística que podem nos fazer rejeitar a hipótese nula
•Definição a partir da escolha do valor crítico, assim como estimado no estudo de intervalos de confiança
Christopher Souza: Teste de hipóteses
12
Intervalos de confiança
Christopher Souza: Teste de hipóteses
13
“Estamos 95% confiantes de que o intervalo ± E contém o valor de ”̂
Valor P
•Probabilidade de obter, no mínimo, um valor da estatística teste tão extremo quanto o valor representado pela amostra
•Obtenção de magnitude do valor P permite a decisão de rejeitar ou não a hipótese nula sem definir a priori o valor crítico
•Rejeitar ou não a hipótese depende da ponderação sobre o que se considera crítico e sua relação com o valor P
Christopher Souza: Teste de hipóteses
14
Decisão e conclusões• Teste da hipótese nula permite:
▫ Rejeitá-la▫ Deixar de a rejeitar
• Se afirmativa original contiver igualdade e for rejeitada, pode se concluir que:▫ Há evidência suficiente para garantir a rejeição de H0
• Senão▫ Não há evidência suficiente para garantir a rejeição de H0
• Se afirmativa original não contiver igualdade e for rejeitada, pode se concluir que:▫ Os dados amostrais apóiam a afirmativa de que H0
• Senão▫ Não há evidência amostral suficiente para apoiar H0
Christopher Souza: Teste de hipóteses
15
Erros• Tipo I ()
▫ Rejeitar H0 quando deveria ser aceita
• Tipo II ()▫ Não rejeitar H0 quando
deveria ser rejeitada
• Controle de erros: , e n estão relacionados
Christopher Souza: Teste de hipóteses
16
Investigações sobre Erro do tipo I• Supondo:
▫ = 0,05▫ = 0,0625▫ n = 64▫ Ho: p=0,5
• Tem-se:▫ z/2=1,96
▫ p/2=0,5 0,1225
• Se utilizarmos =0,01▫ z/2=2,575
▫ p/2=0,5 0,1609
• Se utilizarmos n=100▫ = 0,05▫ z/2=1,96
▫ p/2=0,5 0,098
Christopher Souza: Teste de hipóteses
17
Investigações sobre Erro do tipo II• Supondo:
▫ = 0,05▫ n = 64▫ = 0,0625▫ Ho: p=0,5
▫ p/2=0,5 0,1225
▫ H1: p=0,7
• Tem-se:▫ z1 = (0,5-0,1225-0,7) /
0,0625 = -5,16▫ z2= (0,5+0,1225-0,7)/
0,0625 = -1,24▫ P=0,107488
• Se utilizarmos H1: p=0,55
▫ z1=(0,5-0,1225-0,55) / 0,0625 = -2,76
▫ z2= (0,5+0,1225-0,55)/ 0,0625 = 1,16
▫ P=0,877-0,0029=0,8741
• Se utilizarmos n=100▫ z1 = (0,5-0,1225-0,7) /
0,05 = -6,45▫ z2= (0,5+0,1225-0,7)/
0,05 = -1,55▫ P=0,0606
Christopher Souza: Teste de hipóteses
18
Investigações sobre Erro do tipo II• Supondo:
▫ = 0,05▫ n = 64▫ = 0,0625▫ Ho: p=0,5
▫ p/2=0,5 0,1225
▫ H1: p=0,7
• Tem-se:▫ z1 = (0,5-0,1225-0,7) /
0,0625 = -5,16▫ z2= (0,5+0,1225-0,7)/
0,0625 = -1,24▫ P=0,107488
• Se utilizarmos =0,01▫ z1=(0,5-0,1609-0,7) /
0,0625 = -5,77▫ z2= (0,5+0,1609-0,7)/
0,0625 = -0,625▫ P=0,266
Christopher Souza: Teste de hipóteses
19
Resumo de investigações• Quando n aumenta, os
dois erros diminuem• Quando diminui,
aumenta• Erro tipo II mais provável
se H1 se aproxima de H0
• Maior interesse em detectar grandes diferenças entre valores supostos (H0) e verdadeiros (H1)
p/2 n ,p=0,7 ,p=0,55
0,5 0,1225
64 5 0,107488
0,8741
0,5 0,1609
64 1 0,266
0,5 0,098
100 5 0,0606
Christopher Souza: Teste de hipóteses
20
Poder de um teste• Poder de apoiar uma
hipótese alternativa verdadeira (1-).
Christopher Souza: Teste de hipóteses
21
Testes de hipóteses sobre uma populaçãoMétodo tradicional Valor P
• Comparação de estatística de teste, z, t ou ², com valor crítico para o nível de confiança
• estatística de teste é estimada como visto nas distribuições de estatísticas amostrais, normal para médias, t e ²,
• Comparação de áreas sob as curvas estimadas a partir da estatística de teste e a região crítica
22
Christopher Souza: Teste de hipóteses
Testes de hipóteses sobre uma população•Método do intervalo de confiança
▫Comparação de intervalos de confiança com valor crítico para o nível de significância
▫Se valor crítico for inferior ao intervalo, rejeita-se a hipótese nula
Christopher Souza: Teste de hipóteses
23
Amostra não-normal
•Uma hipótese (a ser testada):▫(Dúvida:) Estatística de teste = valor obtido
da amostra original▫Valor crítico estimado por percentil da
distribuição bootstrap▫Método do intervalo de confiança não se
aplica
Christopher Souza: Teste de hipóteses
24
Inferências sobre duas proporções• Requisitos:
▫ Amostras aleatórias simples.
▫ Condições para a distribuição binomial satisfeitas.
▫ Haver pelo menos 5 sucessos e 5 fracassos em cada amostra, o que permite aproximar pela distribuição normal
• Proporção amostral combinada:
Christopher Souza: Teste de hipóteses
25
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas médiasAmostras independentes, desconhecido• Requisitos:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou n>30
• Sugestão:▫ Analise preliminarmente
as amostras• Para identificar valores
críticos:
Christopher Souza: Teste de hipóteses
26
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas médiasAmostras independentes, conhecido• Requisitos:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou n>30
• Sugestão:▫ Analise preliminarmente
as amostras
Christopher Souza: Teste de hipóteses
27
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas médiasAmostras emparelhadas, desconhecido• Requisitos:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou n>30
• Sugestão:▫ Analise preliminarmente
as amostras• Dados trabalhados como
diferenças de valores emparelhados (d)
Christopher Souza: Teste de hipóteses
28
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas variações• Requisitos:
▫ Amostras aleatórias simples.
▫ Populações independentes
▫ Distribuição normal• std1>std2
Christopher Souza: Teste de hipóteses
29
• Estatística de teste:
Inferências sobre duas variações• Método Conte Cinco
▫ Não requer distribuição normal
▫ Tamanhos amostrais iguais
▫ Se uma das amostras têm pelo menos cinco dos maiores desvios médios absolutos, sua população tem uma maior variância
Christopher Souza: Teste de hipóteses
30
• Teste de Levene-Brown-Forsythe▫ Transforma-se cada
conjunto de dados por meio da subtração de cada dado por sua mediana
▫ Em seguida, aplica-se o teste t para duas populações
Testes não-paramétricosVantagens Desvantagens
• Não exigem que a distribuição seja normal
• São aplicáveis a dados categóricos (qualitativos)
• Cálculos mais simples
• Desperdiçam informação por tratarem dados de forma qualitativa
• Menor eficiência dos testes
31
Christopher Souza: Teste de hipóteses
EficiênciaTeste não-paramétrico, população normalAplicação Paramétrico Não-
paramétricoEficiência
Pares combinados
t ou z Sinais 0,63
Postos com sinais de Wilcoxon
0,95
Duas amostras independentes
t ou z Soma de postos de Wilcoxon
0,95
Várias amostras independentes
F Kruskal-Wallis 0,95
Correlação Correlação linear
Correlação de postos
0,91
Aleatoriedade - Seqüências -
Christopher Souza: Teste de hipóteses
32
Postos• Número atribuído a um
item da amostra de acordo com sua posição na lista ordenada.
• Em caso de empates, aplica-se a média dos postos como valor de posto de cada item com igual valor
• Ex:• x: [12 10 5 5 4 5 11 12]• xo: [4 5 5 5 10 11 12 12]• io: [1 3 3 3 5 6 7,5 7,5]• i: [7,5 5 3 3 1 3 6 7,5]
Christopher Souza: Teste de hipóteses
33
Testes não-paramétricos• Sinais
▫ Proporção = 50%▫ Igualdade de medianas
(pareado)▫ Mediana de uma
população• Soma de Postos de
Wilcoxon (igualdade de medianas)▫ Pareado ▫ Homogeneidade – Mann-
Whitney• Kruskal-Wallis – igualdade
de medianas de três ou mais populações
• Sequências - Inflexões (Aleatoriedade)
• Wald-Wolfowitz (Independência)
• Correlação de Spearman▫ Significância da
correlação▫ Estacionariedade da série
• Pettitt (Quebra de tendência)
• Grubbs e Beck (Outlier)
Christopher Souza: Teste de hipóteses
34
Teste dos sinaisDados nominais (Proporção = 50%)• Requisitos
▫ Amostra aleatória• Fundamento: teste de
freqüência de sinais▫ x = número de vezes que
ocorreu sinal menos freqüente
▫ n = número de sinais positivos e negativos combinados
• Cuidado:▫ Se dados contradizem H1
nem aplica teste, pois deixa-se de fazer sentido o teste
Christopher Souza: Teste de hipóteses
35
• Estatística de teste:• p/ n≤25: x• p/ n>25:
• Valor crítico:• p/ n≤25, buscar x na
tabela A-7 do Triola• p/ n>25, buscar z na
tabela A-2 do Triola
Teste dos sinaisPares combinados (igualdade de medianas)• Procedimento:
▫ Subtrair cada valor da segunda variável pelo correspondente na primeira
▫ Posições de diferenças nulas são excluídas
▫ Série constituída apenas por sinais de diferenças
• Fundamento:▫ Se medianas são iguais,
número de sinais positivos e negativos são iguais
Christopher Souza: Teste de hipóteses
36
• Estatística de teste:• p/ n≤25: x• p/ n>25:
• Valor crítico:• p/ n≤25, buscar x na
tabela A-7 do Triola• p/ n>25, buscar z na
tabela A-2 do Triola
Teste dos sinaisMediana de uma população• Procedimento:
▫ Subtrair cada valor da amostra do valor da mediana sugerida em H0
▫ Posições de diferenças nulas são excluídas
▫ Série constituída apenas por sinais de diferenças
Christopher Souza: Teste de hipóteses
37
• Estatística de teste:• p/ n≤25: x• p/ n>25:
• Valor crítico:• p/ n≤25, buscar x na
tabela A-7 do Triola• p/ n>25, buscar z na
tabela A-2 do Triola
Soma de postos de WilcoxonDiferença de amostras emparelhadas• Requisito:
▫ Diferenças tem distribuição aproximadamente simétrica.
• a=soma de valores absolutos dos postos negativos das diferenças d não-nulas (51)
• b=soma dos postos positivos das diferenças d não-nulas (15)
• T=min(a,b)• Estatística de teste:• p/ n≤30: T (tab. A-8 para T)
• p/ n>30:
Reg. Sec. d Postos
Sinais
1903 2009 -106 10 -10
1935 1915 20 1 1
1910 2011 -101 9 -9
2496 2463 33 3 3
2108 2180 -72 8 -8
1961 1925 36 4 4
2060 2122 -62 6 -6
1444 1482 -38 5 -5
1612 1542 70 7 7
1316 1443 -127 11 -11
1511 1535 -24 2 -2
Christopher Souza: Teste de hipóteses
38
Soma de postos de WilcoxonDuas amostras independentes
• Requisito:▫ n>10 para cada amostra
• Trabalha também dados ordinais
• Equivale a Mann-Whitney• R=soma dos postos de uma das
amostras• Estatística de teste:
• Onde:
Christopher Souza: Teste de hipóteses
39
Homens Mulheres
Posto IMC IMC Posto
11,5 23,8 19,6 2,5
9 23,2 23,8 11,5
14 24,6 19,6 2,5
17 26,2 29,1 22
10 23,5 25,2 15,5
13 24,5 21,4 5
6 21,5 22,0 7
24 31,4 27,5 19
18 26,4 33,5 25
8 22,7 20,6 4
20 27,8 29,9 23
21 28,1 17,7 1
15,5 25,2
R1=187
n1=13
R1=138
n1=12
Kruskal-WallisIgualdade de medianas de três ou mais populações
• Requisito:▫ n>5 para cada amostra
• H ~ ²k-1
• Equivale a ANOVA• H grande para amostras
muito diferentes (teste unilateral à direita)
• R=soma dos postos de uma das amostras
• Estatística de teste:
• Onde:
Christopher Souza: Teste de hipóteses
40
• Para corrigir H em função do número de empates, divida H por
• Onde (m = número de empates para cada valor):
• Valor crítico estimado via ²k-1
SequênciasAleatoriedade
• Sequência: sucessão de dados com mesma característica
• Ex.: valores se acima ou abaixo da mediana
• Trabalha também dados ordinais
• G=número de sequências na amostra
• Aleatoriedade definida se 0<<G<<n
• Estatística de teste:▫ G, se n1<20, n2<20 e
=0,05▫ senão,
Christopher Souza: Teste de hipóteses
41
• onde
▫ n1 e n2 representam número de valores de mesma característica
• Para G como estatística de teste, compare com valores críticos apresentados na tabela A-10 do Triola
Wald-WolfowitzIndependência
• Séries aleatórias podem não ser independentes
• Influência de contribuições subterrâneas às vazões de rio resulta em maior dependência para intervalos menores de discretização
• Para tanto, calcula-se:
Christopher Souza: Teste de hipóteses
42
• Estatística de teste:
• onde
Significância de correlação de postos de Spearman• H0: s=0
• H1: s≠0
• Estatística de teste:▫ Se não houver empate
para um mesmo conjunto de dados:
▫ Se houver empate:
• Valores críticos:▫ Se n≤30, use tabela A-9
do Triola▫ Senão,
Christopher Souza: Teste de hipóteses
43
Estacionariedade• Teste de correlação de
Spearman entre postos de dados e suas respectivas posições na série
Christopher Souza: Teste de hipóteses
44
Teste de Grubbs e BeckIdentificação de outliers• Limites para consideração
de outliers são estimados por:▫ Limite superior
▫ Limite inferior
▫ onde
Christopher Souza: Teste de hipóteses
45