View
119
Download
2
Category
Preview:
Citation preview
Comparaisons multiples
• Comprendre pourquoi il faut des procédures spéciales pour faire des comparaisons multiples
– quel danger y-a-t-il à faire des comparaisons multiples– comment s’en sortir
• comprendre les principes de ces procédures• savoir appliquer les différents tests de comparaisons multiples
Addition Rimes Adjectifs Images Intentionel
9 7 11 12 10
8 9 13 11 19
6 6 8 16 14
8 6 6 11 5
10 6 14 9 10
4 11 11 23 11
6 6 13 12 14
5 3 13 10 15
7 8 10 19 11
7 7 11 11 11
70 69 110 134 120
M 7.00 6.90 11.00 13.40 12.00
DS 1.83 2.13 2.49 4.50 3.74
Un F significatif est équivoque
• Il y a autant de comparaisons à faire que
• Tester ces comparaisons fait augmenter la probabilité de commettre une erreur sur l’ensemble des comparaisons
le seuil de .05 équivaut à 1/20,mais ne vaut que pour 1
comparaison
)!rN(!r
!NCN
r
Rappel de notions du Rappel de notions du chapitre 4chapitre 4
Que font les tests Que font les tests d’inférence statistique? d’inférence statistique?
(1)(1) paramétriqueparamétrique
le paramètre est-il fréquent ou rare le paramètre est-il fréquent ou rare selon la distribution théorique?selon la distribution théorique?
<= fréquent=><= fréquent=>rarerare rarerare
Les erreurs d’inférenceLes erreurs d’inférence
H0 vraie
μ1 = μ 2
H0 fausse
μ 1 μ2
Accepte H0
M1 = M2
o.k.
erreur de type II
erreur β
Rejette H0
M1 M2
erreur de type I
erreur α
o.k.
Décis
ion
du
ch
erc
heu
rD
écis
ion
du
ch
erc
heu
r o
u d
e la c
herc
heu
re o
u d
e la c
herc
heu
re État de la natureÉtat de la nature
puissance statistique
La probabilité de faire La probabilité de faire l’erreur de type Il’erreur de type I
peut s’interpréter peut s’interpréter comme le nombre de comme le nombre de
conclusions erronnées conclusions erronnées produites par 100 produites par 100
répétitions de la même répétitions de la même expérience.expérience.
Les décisions prises à Les décisions prises à partir de tests partir de tests
d’inférence sont des d’inférence sont des décisions basées sur décisions basées sur
des probabilitésdes probabilitésProbabilité de faire une Probabilité de faire une
erreur de type I;erreur de type I;
en recherche, les en recherche, les conclusions sont conclusions sont
incertainesincertaines
Fin du rappel Fin du rappel
Problème des comparaisons multiples
• Chaque comparaison a son taux d’erreur (EC)
• Sur l’ensemble des comparaisons (EE),le taux d’erreur augmente:
• Cette évolution est plus lente que la simple addition des taux d’erreur (Loi d’inégalité de Bonferroni)
EC
C
EEcEC )1(1
)1(1 ECC
EE
La solution de Bonferroniau problème des
comparaisons multiples
• Il suffit de diviser le taux d’erreur choisi pour l’ensemble par le nombre de comparaisons et donc d’adopter ce taux (divisé) pour chaque comparaison
CEE
EC
La solution de Bonferroniau problème des
comparaisons multiples• Solution très conservatrice pour
• qui réduit la puissance statistiquecelle-ci dépend
– taille de l’échantillon (n)
– taille de l’effet
–
<= fréquent=><= fréquent=>rarerare rarerare
Procédures de comparaisons multiples a
priori: les procédures réduisant
EE (1)• Les test t et F sur les contrastes ne
protègent pas contre l’élévation de l’erreur de type I
• Dunn-Bonferroni suggèrent une procédure pour obtenir cette protection
t’
Procédures de comparaisons multiples a
priori: les procédures réduisant
EE (2)• Des solutions à la procédure de Dunn-Bonferroni jugée trop conservatrice
Sidak
HolmLazarlee & Mulaik
ajuster progressivement
selon l’ordre de grandeur
des différences
Shaffer ibid. mais exclut les résultats
illogiques
)1(1' C
1
C
Deux autres notions à propos des comparaisons
multiples• Comparaisons
prévues:
a prioria priori
• ou nona posteoria posteori+ nombreuses
• Comparaisons directes de moyennes
comme le test tcomme le test t
• ou par combinaison linéaire de moyennes
_
____
X
XXXX
kk
kk
jj
a
aaaa
L
L ...2
21
1
Procédure de comparaisons multiples
a priori: le test t• le test t standard • le test t adapté à
l’ANOVA
ns
ns
XXt
2
2
2
1
2
1
21dl
__
dl = n1 + n2 – 2
nCM
XXt 2dl
erreur
__
21
dl = dl associé à CMerreur
Particularité des combinaisons linéaires
• Il faut savoir choisir les coefficients
• leur nombre ~ dltraitement
• deux avantages– peuvent se calculer directement sous forme de SC
– peuvent être formulés de façon orthogonale
aL
j
n2
2
SCcontraste
0
0
baa
jj
j seulement dans ce cas
SCSC
contraste
traitement0
0
baa
jj
j
a j
Procédure de comparaisons multiples a priori:
les combinaisons linéaires• Définition d’une
combinaison linéaire• Chaque contraste
peut être testé
CMCM
CM
SC
erreur
contraste
erreur
contraste1F dlerreur,1
_
____
X
XXXX 22
11
kk
kk
jj
a
aaaa
L
L ...
aL
k
n2
2
contrasteSC
CMaLn
CMa
Ln
erreur
2
j
2
erreur
2
j
2
0ak
Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel
Moy 7.00 6.90 11.00 13.40 12.00
ÉT 1.83 2.13 2.49 4.50 3.74
H1: Intentionnel meilleur rappel que tous les autres groupesH2: Tous les autres groupes sont semblablesL1: -1 -1 -1 -1 4L2.1: -1 -1 1 1 0L2.2: 0 0 1 -1 0L2.3: 1 -1 0 0 0
Comparaisons multiples a priori:exemple de calculs (1)
Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel
Moy 7.00 6.90 11.00 13.40 12.00
ÉT 1.83 2.13 2.49 4.50 3.74
L1: -7 -6.9 -11 -13.40 48L2.1: -7 -6.9 11 13.40 0L2.2: 0 0 11 -13.40 0L2.3: 7 -6.9 0 0 0L1 = 9.7L2.1 = 10.5 L2.2 = -2.4 L2.3 = 0.1
Comparaisons multiples a priori:exemple de calculs (2)
Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel
Moy 7.00 6.90 11.00 13.40 12.00
ÉT 1.83 2.13 2.49 4.50 3.74
L1 = 9.7 => SC1 = ((10) (9.7)2) / 20 = (9.7)2) / 2 = 47.045
L2.1 = 10.5 => SC2 = ((10) (10.5)2) / 4 = 1102.5 / 4 = 275.625
L2.2 = -2.4 => SC3 = ((10) (-2.4)2) / 2 = 57.6 / 2 = 28.8
L2.3 = 0.1 => SC4 = ((10) (0.1)2) / 2 = 0.1 / 2 = 0.05
Comparaisons multiples a priori:exemples de calculs (3)
aL
j
n2
2
SCcontraste
Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel
Moy 7.00 6.90 11.00 13.40 12.00
ÉT 1.83 2.13 2.49 4.50 3.74
L1 = 9.7 => 47.045 / 9.67 = 4.86L2.1 = 10.5 => 275.625 / 9.67 = 28.49L2.2 = -2.4 => 28.8 / 9.67 = 2.98
L2.3 = 0.1 => 0.05
Comparaisons multiples a priori:exemple de calculs (3)
CMCM
CM
SC
erreur
contraste
erreur
contraste1F dlerreur,1 voir p. 313
Source de variation SC dl CM F p
Traitement 351,52 4 87,88 9,08 < ,05
Contraste 1 47,04 1 47,04 4,86 < ,05
Contraste 2 275,62 1 275,62 28,49 < ,05
Contraste 3 28,80 1 28,80 2,98 > ,05
Contraste 4 0,05 1 0,05 0,005 > ,05
erreur 435,30 45 9,67
Total 786,82 49
Le tableau d’analyse de Le tableau d’analyse de variancevariance
Un exemple de calculUn exemple de calcul
I. Lettré, une chercheure de réputation internationale, présente des mots simples de type CVC (ex.: bol) en lettrage conventionnel ou en italique en des temps d’exposition courts et très courts. Elle enregistre le nombre d’erreurs d’identification de mots faites par les participants et participantes
Source de variation
SC
dl
CM
F
p
Type de lettrage
5
1
5.0
2.00
>.05
Temps d’exposition
45
1
45.0
18.00
<.05
Type de lettrage x Temps d’exposition
125
1
125.0
50.00
<.05
Erreur
40
16
2.5
Total
215
19
Le tableau d’analyse de Le tableau d’analyse de variancevariance
Lettrage normal (A1)
Lettrage Italique (A2)
90 mec (B1)
45 msec (B2)
90 msec (B1)
45 msec (B2)
7 5 3 11 8 6 4 12 9 7 5 13 10 8 6 14 11 9 7 15
45 35 25 65 M 9 7 5 13 L1 -1 -1 -1 3
L2 -1 -1 2 0
L3 +1 -1 0 0
Combinaisons a priori (1)Combinaisons a priori (1)
aL
j
n2
2
SCcontraste
12
5
12
5n 392139579aLLSC
22
2
j
2
1contraste
6
5
6
5n 1016-01079-aLLSC
22
2
j
2
2contraste
135
12
1620
12
5(324)
12
5 182
30
6
5 6-2
aL
j
n2
2
SCcontraste
10
2
5
2
5n 20079aLLSC
22
2
j
2
3contraste
Source de variation
SC
dl
CM
F
p
Traitement 175 3
Contraste 1
135
1
135.0
54.00
Contraste 2
30
1
30.0
12.00
Contraste 3
10
1
10.0
4.00
Erreur
40
16
2.5
Total
215
19
Combinaisons a priori (2)Combinaisons a priori (2)
Procédures de comparaisons multiples
a posteriori (1)
•LSD: la plus petite différence significative– suppose l’hypothèse nulle– tests t
•Test de Scheffé– test selon contraste linéaire– mais ajuste la valeur critique de F par k-1
c’est-à-dire )1,1)F(k(k dlERREUR
Procédures de comparaisons multiples
a posteriori (2):procédures basées sur la loi de Student• Statistique de Student
n
_X-
_X
CMq
erreur
pg
r avec r et dl(erreur)
comme dl
• Test de Newman-Keuls– mise en ordre des moyennes selon leur taille– comparaison de toutes les paires de
moyennes en ajustant la distance entre celles-ci
Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel
Moy 7.00 6.90 11.00 13.40 12.00
ÉT 1.83 2.13 2.49 4.50 3.74
Comparaisons multiples a posteori:
exemple de calculs (1)
Gr. : 2. Rimes 1. Addition 3. Adjectifs 5. Intentionel 4. Images
Moy 6.90 7.00 11.00 12.00 13.40
ÉT 2.13 1.83 2.49 3.74 4.50
a) Réordonner les moyennesa) Réordonner les moyennes
Comparaisons multiples a posteori:
exemple de calculs (2a)Gr. : 2.
Ri-mes
1. Ad-dition
3. Ad-jectifs
5. Intentionel
4. Images Valeur critère de q
Moy 6.90 7.00 11.00 12.00 13.40
2 Rim ---- 0.1 4.1 5.1 6.5 4.04
1 Add --- --- 4.0 5.0 6.4 3.79
3 Adj --- --- --- 1.0 2.4 3.44
5 Int --- --- --- --- 1.4 2.86
n
_X-
_X
CMq
erreur
pg
r
Comparaisons multiples a posteori:
exemple de calculs (2b)n
_X-
_X
CMq
erreur
pg
r
Gr. : 2. Ri-mes
1. Ad-dition
3. Ad-jectifs
5. Intentionel
4. Images
q
Moy 6.90 7.00 11.00 12.00 13.40
2 Rim ---- 0.1 4.2* 5.2* 6.6* 4.04
1 Add --- --- 4.1* 5.1* 6.5* 3.79
3 Adj --- --- --- 1.0 2.4 3.44
5 Int --- --- --- --- 1.4 2.86
Comparaisons multiples a posteori:
exemple de calculs (2)Gr. : 2.
Ri-mes
1. Ad-dition
3. Ad-jectifs
5. Intentionel
4. Images Diffé-rence critique q
Moy 6.90 7.00 11.00 12.00 13.40
2 Rim ---- 0.1 4.1* 5.1* 6.5* 3.97 4.04
1 Add --- --- 4.0* 5.0* 6.4* 3.73 3.79
3 Adj --- --- --- 1.0 2.4 3.38 3.44
5 Int --- --- --- --- 1.4 2.81 2.86
n
_X-
_X
CMq
erreur
pg
r
n
_X-
_X CMq erreur
r
pg
Gr. : Ital. 90
Norm.45
Norm. 90
Ital. 45
q
Moy 5 7 9 13
Ital. 90 ---- 2 4 8 4.05
Norm. 45
--- --- 2 6 3.65
Norm. 90
--- --- --- 4 3.00
n
_X-
_X
CMq
erreur
pg
r avec r et dl(erreur)
comme dl
Écart studentisé: Écart studentisé: exemple de calcul (a)exemple de calcul (a)
Gr. : Ital. 90
Norm.45
Norm. 90
Ital. 45
q
Moy 5 7 9 13
Ital. 90 ---- 2.8 5.6* 11.3* 4.05
Norm. 45
--- --- 2.8 8.5* 3.65
Norm. 90
--- --- --- 5.6* 3.00
n
_X-
_X
CMq
erreur
pg
r avec r et dl(erreur)
comme dl
Écart studentisé: Écart studentisé: exemple de calcul (b)exemple de calcul (b)
Gr. : Ital. 90
Norm.45
Norm. 90
Ital. 45 Diff.
critère q
Moy 5 7 9 13
Ital. 90 ---- 2 4* 8* 2.86 4.05
Norm. 45
--- --- 2 6* 2,58 3.65
Norm. 90
--- --- --- 4* 2,12 3.00
pgerreur
r
_X-
_X
nCMq avec r et dl(erreur)
comme dl
Écart studentisé: Écart studentisé: exemple de calculexemple de calcul
Procédures de comparaisons multiples
a posteriori (3):procédures basées sur la loi de Student• HSD: Test de la différence franchement
significative de Tukey– ibid. à Newman-Keuls– mais n’utlise qu’une seule valeur critique,
la plus grande
• Procédure de Ryan (REGWQ)
k
rαα ncomparaiso
11 kr
ncomparaiso
Procédures de comparaisons multiples a
posteriori (4)
•Comparaisons à un groupe témoin: le test de Dunnett
nCM
XXt 221
d dlk,
erreur
__
dl = dl associé à CMerreur
Voir table de td
Comparaison des procédures
Exemple d’effet simpleExemple d’effet simple
A1B1
9A1B2
7A2B1
5A2B2
13Σa2 ΣaX (ΣaX)2 n(ΣaX)2
1 -1 0 0 2 2 4 20
0 0 1 -1 2 8 64 320
Source de variation
SC
dl
CM
F
p
Type de lettrage
5
1
5.0
2.00
>.05
Effet simple du T_exp. au niveau du lettrage normal
10
1
10.0
4.00
>.05
Effet simple du T_exp. au niveau du lettrage en ital.
160
1
160.0
64.00
<.05
Erreur
40
16
2.5
Total
215
19
Le tableau d’analyse de Le tableau d’analyse de variancevariance
Variations sur Variations sur combinaisons linéairescombinaisons linéaires
F ou t?F ou t?
Procédures ajustant l’ECProcédures ajustant l’EC
05.1 3
1'1
CEE
EC
0167.3
05.
CEE
EC
)1(1' C
1
005.
015.
03.
3
2
1
Dunn-Bonferronni
Sidak
HolmLazarlee & Mulaik
ajustement progressif
Variations sur les testsVariations sur les tests a posteori utilisant a posteori utilisant l’écart studentisél’écart studentisé
Recommended