24
Lecture critique MA

Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Embed Size (px)

Citation preview

Page 1: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Lecture critique MA

Page 2: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Problèmes liés à la synthèse de plusieurs essais

1. Sélection des essais

2. Pollution par les études biaisées

3. Conséquence de la non publication de certains travaux

4. Sens d'un résultat global, agrégatif

5. Existence d'un risque d'erreur statistique au niveau des essais

Page 3: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Difficulté 1

Fréquence de citation en fonction des résultats– Hypocholestérolémiants, Ravnskov, BMJ 1992– Nombre de citations par an

• résultats favorable (n=14) 40

• résultats non favorables (n=10) 7.4

• résultats favorable dans une grande revue (n=8) 61

Page 4: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Solution

Sélection arbitraire des essais en fonction de leurs résultats

Prise en compte de tous les essais quelle que soit la nature de leur

résultat

Page 5: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Lecture critique des MA

La totalité des essais du domaine a t-elle été considérée ? Les essais ont-ils été retenus pour la méta-analyses

indépendamment de leur résultat ?

Page 6: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Problème 2

La méta-analyse n'est pas une méthode magique– elle n'améliore pas la qualité des études qu'elle regroupe

p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation

Études potentiellement

biaisées

MA potentiellement

biaisée

Page 7: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Solution

La prise en compte d'essais biaisés qui faussent le résultat de la synthèse

Sélection des essais dont la qualité méthodologique garantit

suffisamment l'absence de biais

Page 8: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Lecture critique des MA

Les essais inclus dans la méta-analyse sont-ils fiables ?– Controlés– randomisation imprévisible– double aveugle– ITT

Page 9: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Problème 3

Les essais positifs sont plus facilement publiés que les négatifs

Différence significative

Différence significative

Différencenon-significative

Différencenon-significative

PublicationPublication

Page 10: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Biais de publication

Méta-analysenégative

Méta-analysepositive !

Un essai peut être positif à tort (risque alpha) Exemple d'un traitement sans efficacité Risque alpha = 5%

Essais réalisés Essais publiés

E. positifs 5 5

E. négatifs 95 0

Page 11: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Solution

Biais de publication lié à la non publication des résultats négatifs

Recherche exhaustive des essais publiées et non publiés

Page 12: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Lecture critique des MA

La totalité des essais du domaine a t-elle été considérée ?– Essais publiés et non publiés

Le résultat de la méta-analyse est-il à l'abri d'un biais de publication ?– Funnel plot– outils de diagnostic

Page 13: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Problème 4

Danger = regrouper des informations différentes– patients différents– traitements différents– des critères différents– des essais de qualité différente

mélanger des pommes et des oranges La synthèse de l’information a-t-elle un sens ?

Solution : question précisequestion précise

Page 14: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Opposition pragmatique - explicatif

Pragmatique Explicatif

Critères larges Critères précis

Effet de la baisse ducholestérol

Effet des statines

Page 15: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Solution

Sens d'un résultat global

Formulation d'une question

Page 16: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Problème 5

Essais concluants– différence significative– en faveur de l'effet du traitement– mais risque alpha

Essais non concluants– différence non significative– ne donnent pas d'argument en faveur de l'effet du traitement– deux origines

• absence d’effet du traitement

• manque de puissance

Page 17: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Solution

Existence d'un risque d'erreur statistique au niveau des résultats des essai

Calcul d'un effet traitement commun à partir des données de chaque essai

Page 18: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Simpson's paradox

Essai 1 : risque de 30% avec les 2 traitements n ev

Trt1 60 18

Trt 2 120 36 OR=1 Essai 2 : risque de 70%

n ev

Trt1 120 84

Trt 2 60 42 OR=1 Total 1+2

n ev

Trt1 180 102

Trt 2 180 78 OR=0.58

Page 19: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Principe fondamental de la méta-analyse

Ne pas regrouper les patients– car les sujets ne sont pas comparables d'un essai à l'autre

Regrouper les estimations de l'effet traitement– en faisant l'hypothèse que le traitement a le même effet dans tous

les essais

hypothèse d'homogénéitéhypothèse d'homogénéité

Page 20: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Lecture critique des MA

Le regroupement des résultats a-il été correctement réalisés ?– Calcul d'un effet traitement– pas de pooling

Page 21: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Définition de la méta-analyse

Synthèse– répondant à une question précise– Démarche de confirmation

Exhaustive– arguments en faveur et en défaveur de l'hypothèse

Quantifiée– prise en compte des problèmes statistiques– meilleure estimation possible de la taille de l'effet étant donnée la

totalité de l’information disponible

Basée sur des résultats non biaisés Reproductible : méthodologie

Page 22: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Lecture critique - fin

Qu'elle est la pertinence clinique du résultat de la méta-analyse ?

Le résultat de la méta-analyse est-il suffisamment probant pour entraîner un changement de pratique ?

Page 23: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la

Graphique

1 . 0 0 . 8 0 . 6 0 . 5 0 . 4 R i s q u e r e l a t i f

C a s / E f f e c t i f s

E v é n e m e n t s c o r o n a r i e n s R i s q u e r e l a t i f , m o d è l e f i x e

T + T -

H e t . C o c h r a n Q p = 0 . 7 0

T o t a l 7 8 7 / 1 7 0 4 3 1 0 3 0 / 1 6 9 4 9 0 . 7 6 1 , p < 0 . 0 0 1

A F C A P S / T e x C A P S 1 6 3 / 3 3 0 4 2 1 5 / 3 3 0 1

W e s t o f S c o t l a n d 1 7 4 / 3 3 0 2 2 4 8 / 3 2 9 3

H H S 5 6 / 2 0 5 1 8 4 / 2 0 3 0

L R C C P P T 1 5 5 / 1 9 0 6 1 8 7 / 1 9 0 0

W H O c l o f i b r a t e 1 8 5 / 5 3 3 1 2 2 2 / 5 2 9 6

C o l e s t i p o l 5 4 / 1 1 4 9 7 4 / 1 1 2 9

Page 24: Lecture critique MA Problèmes liés à la synthèse de plusieurs essais 1. Sélection des essais 2. Pollution par les études biaisées 3. Conséquence de la