Embed Size (px)
Citation preview
1
« La méta-analyse en sciences de gestion : utilisations et débats »1
Patrice LAROCHE Géraldine SCHMIDT
Maître de Conférences
à l’Université Nancy 2
GREFIGE
Professeure à l’IAE de Paris
Université Paris 1 Sorbonne
GREGOR
Résumé
L’objet de cet article est de présenter la méta-analyse en soulignant les apports et les
limites de cet outil quantitatif de synthèse de la littérature aux sciences de gestion. La
méta-analyse est une démarche rigoureuse consistant à faire la synthèse des résultats de
différentes études au moyen de méthodes statistiques appropriées. Après avoir rappelé
l’origine et les champs d’application de cet outil méthodologique, les principales étapes
et les différentes procédures pour mener à bien une méta-analyse sont présentées.
La place accordée par les revues académiques les plus prestigieuses – notamment
l’Academy of Management Journal – aux travaux de méta-analyse témoigne de l’intérêt
grandissant que suscite cette méthodologie en sciences de gestion (Eden, 2002). La méta-
analyse est une méthode permettant de combiner les résultats empiriques d’études singulières
portant sur un même sujet. Elle permet notamment de clarifier des controverses, d’accroître la
puissance statistique en augmentant la taille des échantillons et d’émettre de nouvelles
hypothèses de recherche. La méta-analyse présente surtout l’avantage de réduire au minimum
les éléments arbitraires des revues traditionnelles en offrant une méthodologie reproductible.
En effet, l’approche méta-analytique repose sur une méthodologie systématique, décrite de
façon détaillée, de sorte qu’un autre chercheur ayant accès aux mêmes données puisse la
reproduire et aboutir aux mêmes conclusions.
Les applications initiales de la méta-analyse ont surtout touché les domaines de la
psychologie (Glass, 1976) et de la médecine (Leizorovicz et Boissel, 1983), mais certains
chercheurs n’ont pas tardé à adopter cette méthodologie dans d’autres domaines, notamment
en économie (Jarrell et Stanley, 1990 ; Doucouliagos, 1995) et en sciences de gestion. En
sciences de gestion, les premiers travaux utilisant cette méthodologie ont été conduits en
marketing (Jolibert et Peterson, 1995 ; Farley et al., 1995 ; Fournier et Vauquois-Mathevet,
1999 ; Franke, 2001 ; Szymanski et Henard, 2001). Ces dernières années, son application s’est
élargie au management stratégique (Datta et al., 1992 ; Dalton et al., 1998 ; Campbell-Hunt,
2000) et à la gestion des ressources humaines (Aven et al., 1993 ; Stanley et Jarrell, 1998).
L’objectif de cet article est de présenter la méta-analyse en soulignant les apports et les
limites de cette méthode de synthèse de la littérature pour les sciences de gestion. Il s’agira
tout d’abord de revenir quelque peu aux origines de la démarche et aux champs dans lesquels
elle s’est diffusée, plus ou moins rapidement et plus ou moins récemment, et notamment aux
sciences de gestion. Il s’agira ensuite de développer en détails les procédures et outils
existants, en soulignant les enjeux et les débats qui caractérisent les choix techniques dans la
mise en œuvre d’une méta-analyse.
1 Ce papier reprend certains résultats d’une méta-analyse menée en collaboration avec le Professeur Chris
Doucouliagos et d’une recherche sur le problème du biais de publication menée actuellement avec le Professeur
T.D. Stanley. Nous tenons à remercier C. Doucouliagos et T.D. Stanley pour leur collaboration et leurs
précieuses remarques. Pour citer ce papier : Laroche P. & Schmidt G. « La méta-analyse en sciences de gestion :
utilisations et débats », Academy of Management, Division « Méthodes de Recherche » (RMD), Crossing
Frontiers in Quantitative and Qualitative Research Methods, ISEOR, Lyon, 18-20 Mars 2004.
2
1. La méta-analyse : origines et champs d’application
Un retour à l’histoire et aux racines des procédures méta-analytiques permet de mieux
saisir les objectifs et les principes essentiels de cette méthode. Il permet également de
comprendre les champs d’application privilégiés de cette démarche et, ce faisant, ses intérêts
— potentiels et réels — pour les chercheurs en sciences de gestion
1.1. Les origines de la méta-analyse et ses champs d’application privilégiés
Si le développement des procédures méta-analytiques a connu un rythme soutenu
depuis le milieu des années soixante-dix, leur principe même apparaît dès le début du
vingtième siècle, notamment avec les travaux de Karl Pearson en 19042 sur la combinaison de
données provenant de différents échantillons. Pearson, alors directeur du Laboratoire de
Biométrie de l’Université du College of London, avait recueilli des données de onze études
différentes portant sur l’immunité et la mortalité des soldats de l’Empire Britannique. Il avait
ainsi calculé des coefficients de corrélation pour chacune de ces onze études et synthétisé ces
coefficients en deux sous-groupes, produisant des corrélations moyennes.
Dans les années Trente, les méta-analyses commencent à être appliquées dans
quelques champs scientifiques, en premier lieu grâce aux travaux des expérimentalistes
agricoles comme Yates et Cochran (1938), Cochran (1937), Fisher (1932), Tippett (1931),
souvent considérés comme les instigateurs de la méta-analyse. A cette époque, on relève
également quelques premières applications isolées en psychologie (Peters, 1933) et en
physique (Birge, 1932). En 1954, Cochran a prolongé ces travaux en s’intéressant à la
problématique de la combinaison des résultats de plusieurs expériences indépendantes.
L’étude de Wilkinson, en 1951, s’efforce d’estimer, à travers les caractéristiques de la
distribution binomiale, le nombre de résultats d’études indépendantes qui autorise à accepter
l’hypothèse de l’absence de différence significative entre les résultats de groupes témoins et
de groupes expérimentaux.
Plus généralement, les années quarante et cinquante s’inscrivent dans la continuité de
ces premières réflexions, mais c’est véritablement à la fin des années soixante, alors que la
recherche en sciences humaines et sociales connaît un réel essor, que les procédures méta-
analytiques trouvent des terrains d’application plus variés et plus nombreux. La possibilité de
synthétiser un ensemble de résultats empiriques, notamment lorsqu’ils sont contradictoires,
explique cet engouement croissant pour la méta-analyse. Le principe général de la méta-
analyse repose en effet sur l’hypothèse que l’incidence d’une variable sur une autre est une
constante et, par conséquent, que chaque étude mesure cette même constante. Dès lors, les
différences de résultats observées par les études individuelles ne devraient résulter que de
fluctuations aléatoires (erreur de mesure et erreur d’échantillonnage). Les travaux
fondamentaux de Cohen (1962), Dubin et Taveggia (1968), Light et Smith (1971) ont
largement contribué à cette période au développement rapide des méta-analyses dans des
domaines comme l’épidémiologie, la médecine en général, la biologie et la psychologie.
2 Certains documents renvoient même à un ouvrage publié à l’usage des astronomes en 1861 par la British
Astronomer Royal, et qui développe les travaux statistiques de Gauss et Laplace, au fondement des techniques
statistiques aujourd’hui utilisées dans les méta-analyses (Airy G.B. , On the Algebrical and Numerical Theory of
error of Observations and the Combination of Observations », London : Macmillan, 1861).
3
Les travaux de Gene Glass restent une référence pour les spécialistes, et Glass est le
premier à utiliser et définir explicitement le terme de méta-analyse comme « l’analyse
statistique d’un grand nombre de résultats d’analyse provenant d’études indépendantes qui
vise à intégrer ces résultats et conclusions » (Glass, 1976). Il est également le premier à
souligner les problèmes de mesure de la taille de l’effet (effect sizes) à partir de statistiques
différentes. Rosenthal (1976 et s.) a également joué un rôle important dans le développement
de ces méthodes dès le milieu des années soixante-dix. Son ouvrage de 1984 présente une
revue très complète des méthodes méta-analytiques pour la recherche en sciences sociales.
Notons à ce stade que la méta-analyse n’est ni un outil, ni une méthode précise, mais bien un
mode d’approche (une procédure) pour synthétiser, de manière intégrée et quantitative, un
certain nombre d’études empiriques. Ce mode d’approche fait alors appel à plusieurs
techniques, outils et méthodes statistiques.
L’utilisation des méta-analyses a sensiblement augmenté ces quinze dernières années
en sciences sociales, en médecine et en sciences de l’éducation. A travers une interrogation de
bases de données spécialisées en psychologie et en médecine, on peut dénombrer près de 250
et 600 articles respectivement dans Psyclitt et Medline en 1995, alors qu’il y en avait moins de
10 vingt ans plus tôt3. Sur la période la plus récente, Streiner (2003) relève 1251articles dans
Medline en 2001, contre les 609 référencés en 1996. Dans le domaine de l’éducation, une
exploration de la base de données ERIC (Educational Resource Information Center) met en
évidence plus de 800 références discutant ou utilisant les méta-analyses dans ce domaine entre
1980 et 1990. Même le célèbre New York Times souligne dans ses colonnes le nombre de
méta-analyses réalisées en médecine qui dépasse les deux milliers… Cucherat et al. (2001)
estiment à 400 le nombre annuel de publications nouvelles depuis 1992 utilisant des méta-
analyses dans le domaine de la médecine et de la santé publique4.
La médecine — et en son sein certains domaines en particulier comme les maladies
cardiovasculaires, les soins périnataux et l’oncologie — apparaît ainsi comme le terrain
d’application par excellence des méta-analyses. La dimension fondamentalement
expérimentale de ses études, d’une part, et l’enjeu que représentent leurs conclusions pour les
praticiens de la santé, d’autre part, expliquent sans doute cet état de fait. Il est intéressant de
noter que cette popularité de la démarche en médecine s’est même concrétisée dans les années
quatre-vingt dix par la création d’une fondation, la Cochrane Collaboration5, du nom de
l’épidémiologiste Archie Cochrane : cette fondation fonctionne sous la forme d’un réseau
international des professionnels de la santé qui préparent et mettent régulièrement à jour des
revues d’études cliniques (« Cochrane Reviews »). Ces actions militent en faveur de soins de
santé fondés sur des « preuves ». Un numéro spécial de l’International Journal of
Epidemiology est consacré en 2002 à ces démarches. Comme le soulignent Cucherat et al.,
« la somme des connaissances sur lesquelles doivent se baser maintenant les décisions
médicales, et en particulier les choix thérapeutiques, croît sans cesse. Les médecins ont de
plus en plus besoin de données synthétiques qui intègrent efficacement l’ensemble des
informations existantes pour assurer une base rationnelle à leur décision ». Ces propos ne
peuvent que stimuler la réflexion sur l’utilisation des méta-analyses en sciences de gestion,
tant la complexité des informations et des connaissances, et les enjeux des décisions dans le
domaine du management des organisations, sont importants et similaires dans leur nature à
3 Document du SAS Institute, « Interpreting Results through Meta-Analytic Review Using SAS Software »,
disponible sur http://support.sas.com/publishing/pubcat/chaps/55810.pdf 4 On visitera avec intérêt les pages réalisées par Michel Cucherat sur le site de l’Université de Lyon 1 et
consacrées aux procédures méta-analytiques appliquées aux essais thérapeutiques. 5 Voir le site très complet de cette fondation sur http://www.cochrane.org/admin/index.htm
4
ceux du domaine de la médecine. Avant cela, l’encadré qui suit reprend des éléments de
définition et de principes fondamentaux des procédures méta-analytiques.
Définitions et principes fondamentaux des procédures méta-analytiques
• Définitions :
- « Une technique pour combiner les résultats de plusieurs études dans le but de formuler des conclusions
associant l’ensemble des variables incluses dans ces études » (Rosenthal, 1987)
- « Un terme générique désignant un certain nombre de méthodes d’analyse statistique des résumés quantitatifs
d’études antérieures d’un même domaine » (Muller, 1988)
- « On appelle méta-analyse l’analyse simultanée d’un ensemble d’études s’intéressant à la même question, dans
le but d’obtenir des informations qu’aucune de ces études prises isolément ne pourrait fournir » (FOVEA,
Traitement des études cliniques)
- « La méta-analyse est une démarche, plus qu’une simple technique, qui a pour but de combiner les résultats de
plusieurs essais thérapeutiques, pour en faire une synthèse reproductible et quantifiée. Cette synthèse produit un
gain de puissance statistique dans la recherche de l’effet d’un traitement, une précision optimale de la taille de
l’effet et permet, en cas de résultats discordants, d’obtenir une vue globale de la situation » (Cucherat, 1997)
- « On peut définir une méta-analyse comme l’utilisation de techniques statistiques pour réaliser la synthèse d’un
ensemble d’expériences distinctes mais similaires » (Pignon, Poynard, 1991).
- « La méta-analyse est l’application de procédures statistiques à un ensemble de résultats empiriques issus
d’études singulièrtes, afin de les intégrer, de les synthétiser et de leur donner un sens » (Niemi, 1986).’
• Principes fondamentaux :
Le principe général de la méta-analyse repose sur l’hypothèse que l’importance du lien entre deux variables (ou
grandeur d’effet) est une constante et que chaque étude consacrée à ce lien mesure cette constante. Les
différences de résultats observées entre les études individuelles ne proviendraient donc que des fluctuations
d’échantillonnage. La valeur réelle de la grandeur d’effet reste inconnue, les études existantes ne donnant que
des estimations soumises à l’erreur de mesure et à l’erreur d’échantillonnage. Par conséquent, la méta-analyse
cherche à obtenir la meilleure estimation possible de la grandeur d’effet commun.
La démarche méta-analytique s’appuie alors sur trois grands principes :
• une recherche exhaustive des études existantes ; • une sélection rigoureuse et argumentée des études • une estimation de la taille de l’effet commun.
Après avoir rappelé la genèse et les fondements de la méthode de méta-analyse, nous
nous focaliserons sur ses utilisations actuelles et possibles dans le domaine des sciences de
gestion.
1.2. L’utilisation de la méta-analyse en sciences de gestion : un état des lieux sur la
dernière décennie
Une recherche bibliographique sur la base de données ABI-Proquest entre 1993 et
2003 permet d’identifier 427 références utilisant ou discutant les procédures méta-analytiques.
Il s’agit alors d’identifier, parmi ces références :
5
• celles qui sont de nature méthodologique, sans application empirique [M]
• celles qui sont une application empirique [E]
- sur des sujets qui sortent du champ de la gestion [Ehg]
- sur des sujets qui entrent dans le champ de la gestion [Eg]
Sur cette dernière catégorie d’études empiriques, on regardera alors plus précisément les
thématiques abordées, les variables intégrées et les relations testées, le nombre d’études
incluses dans la méta-analyse, les principaux choix méthodologiques, les résultats et les
apports et les problèmes soulevés.
Une première lecture du résultat de l’interrogation d’ABI-Proquest est
synthétisée dans le tableau suivant :
Tableau 1. Evolution du nombre et de la nature des articles publiés entre 1983 et 2003
et répertoriés dans ABI-Proquest Nature de l’article
/ Année de
publication
Ensemble
Méthodologiques
[M]
`
Empiriques Hors
Gestion [Ehg]
Empiriques
Gestion
[Eg]
2003 43 4 24 15
2002 46 4 31 11
2001 52 8 24 20
2000 26 1 16 10
1999 44 5 21 18
1998 37 6 12 19
1997 34 4 16 14
1996 34 4 18 12
1995 35 5 18 12
1994 40 9 17 14
1993 36 6 14 16
TOTAL 427 56 210 161
Le tableau 1. appelle plusieurs remarques et commentaires :
• Les articles classés dans la catégorie « méthodologiques » peuvent être publiés dans
des revues de gestion comme dans des revues d’autres disciplines scientifiques.
• Le classement « gestion » ou « hors gestion » s’avère parfois délicat : plusieurs
articles concernent des sujets et des objets de recherche appartenant au champ de la gestion
sans toutefois être publiés dans des revues relevant explicitement de ce champ. C’est le cas
par exemple d’une majorité d’articles parus dans Journal of Applied Psychology qui traitent
de l’organisation, et des comportements individuels et organisationnels en son sein. Dans ce
cas, les articles ont été comptabilisés dans la catégorie « gestion « .
• Le nombre d’articles total parus chaque année avec pour mot clé « méta-analyse » est
relativement stable depuis dix ans, autour d’une quarantaine, se répartissant de manière assez
régulière également entre les articles méthodologiques (en moyenne 5 par an), les études
empiriques hors gestion (en moyenne 20 par an) et en gestion (en moyenne 15 par an).
• Une lecture plus fine du contenu et des supports de publication de ces articles permet
de confirmer la place prépondérante des études renvoyant, de près ou de loin, au domaine de
la psychologie : les revues Journal of Applied Psychology, Psychological Bulletin, Personnel
Psychology, Journal of Applied Behavioral Science, Journal of Counselling Psychology sont
de loin les plus représentées parmi les 420 articles recensés.
• Au sein des sciences de gestion, les domaines les plus représentés sont à la fois le
marketing, la stratégie et les ressources humaines au sens large. Quelques études en Systèmes
6
d’Information ont également utilisés des procédures méta-analytiques. Assez paradoxalement,
peu d’articles ayant recours à ces démarches sont parus dans le domaine de la finance.
• Les réflexions sur les méthodes elles-mêmes restent d’ailleurs encore aujourd’hui
plus le fait de statisticiens ou de spécialistes de psychologie. Quelques articles parus dans des
revues de marketing posent les enjeux et les utilités des méta-analyses pour la recherche dans
ce domaine (Franke, 2001 ; Farley et Lehmann, 2001 ; Farley, Lehmann, Sawyer, 1995). Un
article récent (Eden, 2002) s’interroge plus largement sur l’intérêt des méta-analyses pour le
progrès des connaissances en management et ce, au regard de la politique éditoriale de la
prestigieuse revue Academy of Management Journal.
Les travaux de nature méthodologique, sous la forme d’articles et d’ouvrages, sont
aujourd’hui nombreux à présenter les procédures et les outils de la méta-analyse. La partie qui
suit en propose une synthèse de la méthodologie nécessaire à l’élaboration d’une méta-
analyse et des difficultés liées à l’utilisation de cet outil
2. Les procédures et les outils méta-analytiques : techniques, enjeux et débats
La réalisation d’une méta-analyse exige une grande rigueur méthodologique et
nécessite de suivre une procédure précise dont les principales étapes sont résumées dans le
tableau 2. Les éléments à considérer, pour ceux qui veulent entreprendre une méta-analyse ou
simplement en interpréter les résultats, sont ensuite développés, à travers une description plus
détaillée des différentes étapes.
Tableau 2. Les principales étapes d’une méta-analyse (Glass et al., 1981)
Etape Commentaires
1. Formulation d’une question
de recherche
2. Collecte de toutes les études
existantes Recherche documentaire
systématique
Sélection des études
3. Contrôle des biais
Biais venant des études
originales
Biais de sélection
Biais de sur-représentation
Biais de publication
4. Analyse statistique
Mesure quantitative de l’effet
Agrégation des résultats
Test d’homogénéité
5. Recherche des variables
modératrices
Formuler une question unique et précise et les objectifs de recherche
Définir les critères d’inclusion et d’exclusion (population, résultat principal, types
d’études, etc.)
Accomplir une recherche minutieuse à l’aide de base de données informatisées et de
façon manuelle livres de références, références des articles collectées, consultation
d’experts,…
Sélectionner les études qui abordent la question de recherche en faisant référence aux
critères préétablis
Contrôler la qualité des études. Permet de décrire la rigueur méthodologique et
scientifique des études retenues. Permet d’expliquer les variations potentielles des
résultats.
Agréger des études trop différentes.
Rechercher les publications s’appuyant sur les résultats d’une même recherche.
Interpréter les résultats en tenant compte du fait qu’une méta-analyse portant
uniquement sur des résultats d’études publiées peut engendrer une surestimation de
l’effet car les études publiées sont plus susceptibles de présenter des résultats
significatifs que les études non publiées.
Convertir les résultats individuels en une métrique commune.
La méthode statistique la plus utilisée en sciences de gestion est celle de Hunter et
Schmidt (1990). Les résultats sont présentés sous forme d’un coefficient de corrélation,
en précisant l’intervalle de confiance.
S’assurer que la variable indépendante est la même dans chaque étude.
Vérifier que la méthode de collecte des données et la définition des variables sont
similaires et combinables. Détecter d’éventuelles variables modératrices.
Vérifier l’impact que peut avoir les caractéristiques des individus étudiés, les aspects
méthodologiques des études, l’influence de certaines variables par le biais d’analyses
stratifiées ou de méta-régressions.
7
2.1. La collecte des études existantes et le problème du biais de publication
Après avoir formulé une question de recherche précise, l’étape suivante consiste à
réaliser une recherche exhaustive des études existantes sur cette question. Pour ce faire, il
faut, d’une part, effectuer une recherche bibliographique approfondie afin d’identifier ce qui a
été publié et, d’autre part, envisager de collecter les études non publiées. Le premier point
suppose de prendre en compte un certain nombre de biais liés à la sélection des études. Le
second invite à « dénicher » toutes les études non publiées (cahiers de recherche, actes de
colloque, thèses de doctorat, etc.) afin de réduire le biais de publication. Sur ce dernier point,
les méta-analystes ne sont pas d’accord entre eux quant à l’inclusion des travaux non publiés
(Cook et al., 1993).
2.2.1. Une recherche bibliographique exhaustive
Les bases de données informatisées sont devenues, depuis plusieurs années, des outils
essentiels de recherche bibliographique. Les bases de données répertoriant les travaux en
sciences de gestion sont nombreuses et il est fortement recommandé de toutes les consulter
pour une recherche plus complète. Citons ABI Inform/Proquest, Ebsco et Emerald qui
proposent un accès direct à de nombreuses revues en économie ou en gestion et offrent la
possibilité de télécharger les articles scientifiques en format pdf. Il existe d’autres bases aux
modalités d’accès moins pratiques dans la mesure où elles ne fournissent que les références
ou les résumés des articles (Social Science Citation Index (SSCI), EconLit, Doge, Current
Contents, Management Contents, Journal of Economic Literature, Sage HR abstracts,
Personnel Management Abstracts, EconPapers, WoPEc, RePEc, etc.) mais qui sont très utiles
pour identifier la littérature existante. La base de données de l’Inist, gérée par le CNRS,
permet également d’identifier des références et éventuellement de commander les articles en
ligne. Cependant, malgré ces nouveaux outils de recherche bibliographique, il est très difficile
d’obtenir une revue exhaustive de la littérature. Il est souhaitable, pour ne pas dire nécessaire,
de combiner plusieurs sources d’information. La consultation des références d’articles déjà
collectés, la recherche manuelle directement auprès des sommaires des revues ou des
ouvrages collectifs, la prise de contact avec les spécialistes du domaine, sont autant de
moyens complémentaires permettant de prendre connaissance de la littérature existante dans
un domaine.
Une fois les études répertoriées et collectées, il convient de définir les critères
d’inclusion et d’exclusion permettant de retenir une étude dans la méta-analyse et, par
ailleurs, recenser les raisons de la non inclusion de certains travaux dans la méta-analyse.
Dans la pratique, les méta-analystes commencent par écarter les publications qui s’appuient
sur les résultats d’une même étude pour éviter le biais de sur-représentation. Ensuite, les
études qui ne fournissent pas suffisamment d’informations pour calculer une métrique
commune ou celles qui se fondent sur des méthodologies de recherche très différentes, sont
écartées de la méta-analyse. Il n’est pas possible, par exemple, de combiner les résultats issus
de modèles de régression linéaire classique avec ceux issus de modèles de régression
logistique (cf. Doucouliagos et Laroche, 2003a ; Chang et al., 2000). Enfin, il est recommandé
d’éliminer certaines études lorsque le méta-analyste a des doutes sur la qualité de celles-ci6.
Cette sélection rigoureuse des études à intégrer dans la méta-analyse permet de répondre à
une critique souvent formulée à l’égard de la méta-analyse, qui est celle du mélange des
6 Il est cependant possible d’intégrer ces études et éventuellement de proposer une pondération inversement
proportionnelle à la qualité des publications dans l’estimation de la grandeur de l’effet commun. La qualité des
publications peut être évaluée grâce à l’ISI Journal Citation Reports (JCR
) qui assure le classement de plus de
1600 revues internationales en sciences sociales.
8
« pommes et des oranges » (Glass et al., 1981). Les critères de sélection étant plutôt
subjectifs, ceci pose un problème méthodologique puisque l’on ne dispose plus d’échantillon
mais de données sélectionnées. La méta-analyse de Miller et Monge (1986, p. 736-737)
consacré aux effets de la participation et de la satisfaction des salariés sur la productivité est,
sur ce plan, une bonne illustration de ce qu’il faut faire en terme de présentation, afin de ne
pas laisser planer de doutes sur la qualité et la validité de la méta-analyse.
2.1.2. Le problème du biais de publication
Si tous les méta-analystes s’accordent pour dire qu’il faut sélectionner rigoureusement
les études pour éviter un certain nombre de biais, il existe un fort désaccord entre eux quant à
l’intégration des études non publiées (Cook et al., 1993). Cooper (1984) fait ainsi remarquer
que les travaux non publiés (cahiers de recherche, thèse de doctorat, actes de colloques, …)
sont généralement de moins bonne qualité que les travaux publiés et, par conséquent, qu’il
convient de ne pas les inclure dans l’analyse. Dans la pratique, la majorité des méta-analystes
ne tiennent pas compte des études non publiées car celles-ci sont généralement difficiles
d’accès. Or, cette sélection des études en faveur de celles qui sont publiées pose le problème
du biais de publication. En effet, de nombreuses études ont montré que les résultats
significatifs étaient plus facilement publiés que les résultats non significatifs (Rosenthal,
1979 ; Begg and Berlin, 1988 ; Rust et al., 1990). Il existe plusieurs techniques permettant
d’identifier le biais de publication. On peut distinguer les techniques purement descriptives
(graphe en entonnoir ou « funnel plot », « normal quantile plot », histogramme) et les
techniques qui permettent de quantifier la probabilité d’existence d’un biais de publication
(Sterne et al., 2001 ; Sutton et al., 2000a, b ; 2001 ; Gillett, 2001 ; Stanley et al, 2003 ).
La technique descriptive dite du « graphe en entonnoir » peut être illustrée à partir de
l’analyse du biais de publication dans la littérature consacrée au lien syndicat/productivité du
travail (Doucouliagos et Laroche, 2003b ; Doucouliagos, Laroche et Stanley, 2004). La
représentation dite du « graphe en entonnoir » consiste à représenter, pour chaque étude, la
valeur estimée de la taille de l’effet en fonction de la taille de l’échantillon. En l’absence de
biais de publication, les différents résultats obtenus par les études empiriques vont être
répartis de façon homogène autour de la grandeur d’effet commune calculée. La figure 1
représente une situation de ce type, obtenue à partir des résultats de Doucouliagos et Laroche
(2003b). Le nuage de points est symétrique et conduit à une forme « d’entonnoir » sur le
graphique.
Figure 1 : Exemple de graphe en entonnoir ou Funnel plot
Figure 2 : Exemple de Normal Quantile Plot
Source : Doucouliagos et Laroche (2003b)
9
L’existence d’un biais de publication peut être identifié au moyen d’une autre
représentation graphique. En effet, en considérant qu’il n’existe aucune « discrimination » à la
publication, le processus de publication peut alors être considéré comme un tirage aléatoire de
résultats individuels dont la distribution est d’allure gaussienne. Dans la pratique, plutôt que
d’examiner si l’histogramme est d’allure gaussienne, on a recours à une représentation des
probits appelée « normal quantile plot ». Dans cette représentation graphique (cf. figure 2),
des points alignés correspondent à une distribution gaussienne, confirmant l’absence de biais
de publication.
Les méta-analystes ont parfois recours à d’autres méthodes qui s’appuient sur
l’utilisation de tests de corrélation de rang (Tau de Kendall ou Rho de Spearman) pour
quantifier plus précisément le biais de publication (Begg et Mazumdar, 1994). Ils ont
également la possibilité de recourir à un autre indicateur permettant d’évaluer la robustesse de
la méta-analyse. Il s’agit du nombre d’études « dans le tiroir » (Rosenthal, 1984). Le nombre
d’études « dans le tiroir » précise dans quelle mesure la méta-analyse est vulnérable à
l’introduction de nouvelles études qui ne confirmeraient pas l’effet commun observé. Il
représente également le nombre d’études non publiées pour cause d’absence d’effet observé
qu’il faudrait introduire pour ramener l’effet significatif au niveau limite de signification. La
formule de calcul du nombre d’études « dans le tiroir » est décrite dans Wolf (1986, p.38) ou
encore dans Hunter et Schmidt (1990, p.511).
En définitive, au cours de cette étape, la collecte exhaustive de la littérature et la
sélection rigoureuse des études vont permettre d’assurer la validité et la fiabilité de la méta-
analyse.
2.2. Les modes de calcul de la taille de l’effet commun et la combinaison des résultats :
principales techniques d’estimations
A ce stade, les données tirées des études retenues à l’étape précédente peuvent servir
de base à la construction d’un tableau de travail qui va permettre de procéder aux différents
calculs intermédiaires pour aboutir au résumé quantitatif choisi. L’obtention de ce résumé
quantitatif passe par deux étapes : le choix d’une grandeur d’effet7 (2.2.1.) et l’estimation
proprement dite d’une grandeur d’effet commune et de son intervalle de confiance (2.2.2.).
D’un point de vue technique, il existe trois approches différentes (cf. tableau 3) : celle de
Rosenthal et Rubin (1978) et Rosenthal (1984), celle de Hedges et Olkin (1985) et enfin celle
de Hunter, Schmidt et Jackson (1982)8.
Tableau 3. Principales approches méta-analytiques
Approches Méta-analytiques
Hedges et Olkin (1985) Rosenthal (1991) ; Rosenthal et
Rubin (1978)
Hunter et Schmidt (1990) ;
Hunter, Schmidt et Jackson
(1982) Description générale Dans cette approche, les résultats
des études sont convertis en g de
Hedges (1981) puis combinés et enfin leur homogénéité est examiné.
Cette approche est la plus ancienne.
Dans cette approche, les résultats
des études sont convertis en Z de Fisher.
Cette approche diffère de celle de
Hedges et Olkin et de Rosenthal et
Rubin. Elle s’appuie sur la correction des erreurs
d’échantillonnage et de mesure.
Calcul de l’effet
Test d’homogénéité
Effet moyen pondéré + intervalle de confiance
Test Q de Cochran
Effet moyen pondéré + probabilité combinée
Test du Khi²
Effet moyen pondéré + intervalle de confiance
Test du Khi² + analyse de la variance résiduelle
Source : d’après Johnson et al. (1995, p. 96)
7 La grandeur de l’effet se définit comme l’estimation du degré de relation entre deux variables d’intérêt. Les
méta-analystes parlent indifféremment d’estimateur de l’effet, de taille de l’effet ou d’importance de l’effet. 8 Pour une comparaison détaillée entre ces trois procédures méta-analytiques, consulter l’article de Johnson,
Mullen et Salas (1995).
10
2.2.1. Le choix d’une grandeur représentant le degré de relation entre deux variables
d’intérêt
Il existe plusieurs techniques destinées à transformer les statistiques présentées dans
les études collectées afin de calculer une métrique commune qui va permettre de combiner les
résultats (Wolf, 1986)9. Ces techniques divergent selon le type de procédure adoptée et selon
le type d’études disponibles (recherches expérimentales ou recherches de type corrélationnel).
Le cas des recherches de type expérimental
L’indice d’association le plus utilisé lorsque la méta-analyse porte sur un ensemble de
recherches utilisant un groupe témoin et un groupe expérimental est le d de Cohen (1969).
La procédure de Hedges et Olkin propose des variantes de cette statistique (g de Hedges,
1981 ; d de Hedges et Olkin, 1985) dont l’usage est relativement courant dans le cadre de
recherches en marketing. Par exemple, Trappey (1997) a publié une méta-analyse consacrée
aux effets des stimuli marketing subliminaux sur le comportement de choix du
consommateur, en suivant la procédure de Hedges et Olkin (1985). Les 23 études collectées
par l’auteur s’appuient sur des comparaisons de moyennes entre des groupes expérimentaux et
des groupes témoins pour tester l’influence de la publicité subliminale. L’importance de
l’effet est exprimé par le g de Hedges et se calcule de la manière suivante :
s
YYg
CE
où EY est la moyenne du groupe expérimental, CY est la moyenne du groupe de contrôle et s
est la variance agrégée intra-groupe. La variance est calculée comme suit :
2
)²)(1()²)(1(
CE
CCEE
nn
snsns
où nE
et sE représentent la taille et l’écart-type du groupe expérimental et n
c et s
c la taille et
l’écart-type du groupe de contrôle. Bien souvent l’importance de l’effet est corrigée du biais
lié à la petite taille de l’échantillon (Rosenthal, 1984 ; Hedges et Olkin, 1985) par la formule
suivante :
gN
d
94
31
Le cas des recherches de type corrélationnel
La transformation d’un indicateur d’association entre deux variables est plus
fréquemment employée en sciences de gestion. Cette transformation consiste à obtenir un
coefficient de corrélation r à partir des informations fournies dans les études10
. Le coefficient
de corrélation partielle r se calcule de la manière suivante à partir de certains indicateurs
statistiques disponibles dans les études (Wolf, 1986, p. 35) :
9 La plupart des ouvrages consacrés à la méta-analyse fournissent les formules de calcul pour passer d’un
indicateur statistique à un autre. Les tableaux de synthèse de Wolf (1986, p. 35) et de Mullen (1989, p.43-44)
peuvent être utilisés. 10
Le coefficient de corrélation partielle mesure la liaison entre deux variables lorsque l’influence d’une ou des
autres variables explicatives est retirée. Plus le coefficient est élevé, plus la contribution de cette variable est
importante à l’explication globale du modèle.
11
)( 2
2
ddlt
tr
où t est le t de Student associé à la variable explicative principale
et ddl est le nombre de degré de liberté associé à l’équation de régression
D’autres statistiques ont été proposées notamment par Rosenthal (1984). Parmi celles-
ci, citons le Z de Fisher qui consiste en une transformation des coefficients de corrélation
partielle r. Le but de cette transformation proposée par Fisher en 1928 est d’obtenir une
métrique qui se distribuerait de façon quasi normale (Rosenthal, 1984). Le Z de Fisher se
calcule de la manière suivante :
r
rZr
1
1ln
2
1
Au delà des différentes métriques proposées selon les procédures adoptées, se pose le
problème du nombre d’estimations statistiques issues de la même recherche à inclure dans une
méta-analyse (Bijmolt et Pieters, 2001). Certains méta-analystes choisissent de séparer ces
résultats tandis que d’autres préfèrent les inclure dans la même méta-analyse (Glass, 1983).
Des choix intermédiaires peuvent avoir lieu en faisant la moyenne des résultats d’une même
étude (Doucouliagos, 1995, 1997).
2.2.2. Les méthodes de combinaison permettant de calculer un effet commun moyen :
modèle à effet fixe vs modèle à effet aléatoire
Il existe en fait deux méthodes d’agglomération des effets « standardisés » : la
première dite « méthode à effet fixe » et la seconde dite « méthode à effet aléatoire » (Erez et
al., 1996).
La méthode à effet fixe fait l'hypothèse d'une homogénéité entre études, c'est-à-dire
que l'effet théorique attendu, pour chacune des études est le même. Les seules variations des
résultats observés entre les études provient de variations aléatoires autour de cet effet commun
moyen, due à l’erreur de mesure et à l’erreur d’échantillonnage. La formulation classique de
l'estimation de cet effet commun moyen est égale à la moyenne des effets observés dans
chaque étude, parfois pondérés par un poids wi inverse de leur variance estimée respective et
de son intervalle de confiance à 95 % (Hedges et Olkin, 1985).
Dans le cas des études de type corrélationnel, on calculera la moyenne des r pour avoir
une estimation de la grandeur de l’effet dans la population. Les procédures de Hunter et al.
(1982) et de Rosenthal et Rubin (1978) proposent de pondérer les différents r en fonction de
la taille de l’échantillon de l’étude d’où ils sont issus afin d’éviter de surestimer l’effet des
études portant sur des petits échantillons11
. On calcule ainsi la grandeur estimée de l’effet de
la population en pondérant chaque grandeur d’effet par la taille des échantillons de chaque
étude selon la formule suivante :
11
Plus récemment, Osburn et Callender (1992) ont proposé de calculer simplement la moyenne des corrélations
sans tenir compte des tailles d’échantillon (pour une application en gestion, cf. Fuller et Hester, 1999).
12
k
i
i
i
k
i
i
N
rN
r
1
1
avec Ni : nombre d’individus dans l’échantillon
et ri : grandeur de l’effet de chaque étude.
L’hypothèse du modèle à effet fixe est relativement forte et n’autorise pas de variation
de la grandeur de l’effet, en fonction des caractéristiques des études (secteur d’activité, type
de spécification économétrique, etc.). Une autre approche, d'une certaine façon plus réaliste,
se propose de prendre en compte une variabilité des différences d’effet observées entre les
études, en supposant qu’à l'effet commun précédent, se rajoute un effet aléatoire propre à
chaque étude. On parle alors de « modèle à effet aléatoire » qui intègre la composante
aléatoire dans la variation des effets (Hedges et Vevea, 1998 ; Raudenbush, 1994). Dans cette
méthode, l’estimation de la grandeur de l’effet commun est une moyenne pondérée des effets
observés dans chaque étude, en intégrant un terme représentant la variabilité inter-études qui
vient s’ajouter à la variabilité intra-études.
Au final, l’estimation de la grandeur de l’effet commun par l’une ou l’autre des
méthodes (à effet fixe ou à effet aléatoire) est en général sensiblement le même, mais
l'intervalle de confiance est en général différent. Celui obtenu par la méthode à effet aléatoire
est plus large et peut amener à des conclusions différentes quant à la significativité de l’effet
commun.
Lorsque les étapes précédentes sont achevées, le méta-analyste dispose d’un indicateur
de tendance centrale permettant d’identifier la nature de la relation (positive ou négative) et
son intensité. Toutefois, l’estimation de l’erreur d’échantillonnage et de l’erreur de mesure
permet de déterminer si les études partagent une grandeur d’effet commune à la population,
c’est-à-dire si les résultats sont homogènes entre eux.
2.3. Le problème de l’hétérogénéité des études
L’hétérogénéité se définit comme le rejet de l’hypothèse d’homogénéité des grandeurs
d’effet. On parle indifféremment de test d’homogénéité ou de test d’hétérogénéité. Les trois
procédures existantes abordent le problème de l’hétérogénéité de manière différente. Les
méthodes préconisées par Hedges et Olkin (1985) et Hunter, Schmidt et Jackson (1982) sont
présentées successivement. La procédure de Rosenthal et Rubin (1978) n’est pas développée
ici dans la mesure où elle est relativement proche de celle de Hedges et Olkin (1985).
2.3.1. La procédure de Hedges et Olkin (1985)
Hedges et Olkin (1985) ont proposé un test d’homogénéité des grandeurs de l’effet
afin de répondre à la question fondamentale suivante : la variation des grandeurs de l’effet
est-elle réellement due à des variables modératrices ou simplement à des erreurs
d’échantillonnage ? L’homogénéité totale des études est vérifiée en réalisant le test QT de
Cochran qui permet de tester l’hypothèse nulle selon laquelle toutes les grandeurs d’effet sont
égales (Hedges et Olkin , 1985 ; Gurevitch et Hedges, 1993). L’hétérogénéité totale d’un
échantillon, QT est calculée de la manière suivante :
13
)²(1
t
k
i
iiT ddwQ
avec wi étant l’inverse de la variance de l’échantillon, id est la grandeur de l’effet de l’étude i
et td est l’estimation de la grandeur de l’effet dans la population.
La valeur obtenue se distribue comme un chi-deux. Si QT est voisin de 1, la variation
des résultats est due à l’échantillonnage, dans le cas contraire, la variation est due aux
fluctuations d’échantillonnage. L’utilisation de cette procédure conduit à déterminer
l’existence d’éventuels groupes d’études dont les grandeurs d’effets sont homogènes.
2.3.2. La procédure de Hunter, Schmidt et Jackson (1982)
La procédure de Hunter et al. (1982) n’utilise pas forcément les tests statistiques
d’homogénéité des effets mais cherche, dans un premier temps, à évaluer la part de la
variance des effets liée aux erreurs d’échantillonnage12
. Ainsi, pour déterminer dans la
population la variance des grandeurs d’effets, on calcule la somme des différences au carré
entre chaque grandeur d’effet et la grandeur d’effet estimée dans la population. On pondère
ensuite chaque différence en fonction des tailles des échantillons de chaque étude. Celle-ci
correspond à la variance observée de la population.
On calcule ensuite la part de la variance des effets liée aux erreurs d’échantillonnage comme
suit :
k
i
i
er
N
rks
1
2 ²)²1(
avec k : nombre d’études dans l’échantillon.
Enfin, la variance liée à l’erreur d’échantillonnage est retranchée de la variance observée et la
différence correspond à la variance résiduelle13.
12
Pour une discussion plus approfondie sur cette approche, consulter les articles de Schmidt et al. (1988), James
et al. (1988), Rasmussen et Loher (1988) et de Aguinis (2001). 13
Après avoir corrigé l’erreur liée à l’échantillonnage, Hunter et al. (1982) préconisent également de corriger
l’erreur de mesure et d’en tenir compte dans le calcul de la variance résiduelle.
sss errpxy
222
[Variance liée à l’erreur
d’échantillonnage]
[Variance corrigée ou
résiduelle]
k
i
i
i
k
i
i
r
N
rrN
s
1
12
)²(
[Variance observée]
14
Si la variance résiduelle est inférieure à 25 % de la variance totale, les grandeurs
d’effet sont considérées comme homogènes. Dans le cas contraire, la détermination de
variables modératrices est nécessaire (Hunter et al., 1982).
Cependant, cette règle n’est pas suffisante pour tester l’homogénéité de petits
échantillons d’études. Ainsi, un test supplémentaire destinée à s’assurer du manque
d’homogénéité des études, reposant sur la prise en compte de la variance, est prévue dans la
nouvelle procédure de Hunter et Schmidt (1990). Il s’agit d’un test non paramétrique qui suit
une loi du Khi-deux et s’interprète comme le test QT de Cochran :
22
1²)²1(
rk Sr
N
En définitive, la mise en évidence de variables modératrices, dans la procédure de
Hunter et Schmidt (1990), doit reposer sur une batterie d’indicateurs14
qui sont :
(1) la règle des 75 % de la variance résiduelle,
(2) le test d’homogénéité qui suit une loi du Khi-2,
(3) l’intervalle de confiance à 95 % sachant que si la valeur zéro est comprise
dans cet intervalle, nous acceptons l’hypothèse d’un coefficient rxy = 0.
En fait, dans le cadre d’une méta-analyse, l’hétérogénéité renferme deux sources de
dissimilarité : d’une part une dissimilarité dans les résultats des études individuelles, d’ordre
statistique, qui peut être explorée par les méthodes statistiques vues précédemment ; d’autre
part, une dissimilarité dans les modalités mêmes des études existantes, qui est d’ordre
contextuel ou méthodologique. Il s’agit de répondre alors à la question suivante : Quelles
sont les facteurs contextuels et/ou les particularités méthodologiques des études empiriques
qui expliquent cette hétérogénéité des résultats ?
2.4. La recherche des variables modératrices : analyse en sous-groupes et méta-régression
Lorsqu’une hétérogénéité est mise en évidence, une recherche de ses sources doit être
entreprise. L’identification de facteurs liés à la structure même de l’étude, au type de
population étudiée, ou encore de relation testée, est une étape importante (Aguinis et Pierce,
1998 ; Cortina, 2003). Deux méthodologies sont à la disposition du méta-analyste. Une
première méthode consiste à réaliser des méta-analyses en sous-groupes aussi appelées
stratifiées (2.4.1.). Une seconde méthode consiste à régresser les variables supposées
modératrices sur la grandeur de l’effet calculée (2.4.2.).
2.4.1. La méta-analyse dite en sous-groupes ou méta-analyse stratifiée
Les analyses en sous-groupes permettent d’effectuer une recherche de l’interaction de
façon univariée, en comparant les résultats obtenus entre des sous-groupes d’études (Muller,
1988). Une interaction se manifestera par des études homogènes au sein d’un sous-groupe.
Les sous-groupes sont constitués en fonction des facteurs supposés modérateurs. Les analyses
en sous-groupes font courir le risque de l’inflation non contrôlée de l’erreur de première
14
Pour une description plus précise des apports et des limites de chaque indicateur, consulter Sagie et
Koslowsky (1993).
15
espèce . La multiplication des tests statistiques (un par sous-groupe) augmente la probabilité
d’obtenir un test significatif uniquement par hasard. Pour minimiser le risque de résultats
significatifs par hasard dans les analyses en sous-groupe, il convient de définir a priori un
petit nombre de sous-groupes. Cette approche s’apparentera alors à la démarche hypothético-
déductive. Selon cette approche, les variables potentiellement modératrices sont codées sur la
base de justification théorique. Toutefois, cette stratégie limite la possibilité de détecter des
modérateurs imprévisibles. Une approche plus « libérale » est de considérer les variables
disponibles comme autant de modérateurs potentiels et de tester l’influence de ces variables
sur les grandeurs d’effet. Cette approche augmente le risque d’erreur de type I mais maximise
les chances de découvrir des éléments nouveaux par intuition et permet parfois de développer
des théories (Jackson, 1980). Finalement, le choix entre une approche hypothético-déductive
ou une approche plus « intuitive » dans la détection des effets modérateurs revient au méta-
analyste.
2.4.2. La méta-analyse de régression ou méta-régression
La seconde méthode consiste à régresser les différentes variables supposées
modératrices sur la grandeur de l’effet « standardisé », calculée pour chaque étude. On parle
alors de méta-analyse de régression ou méta-régression (Stanley et Jarrell, 1989 ; Stanley,
2001). L’objectif de cette modélisation est d’examiner l’effet simultané de plusieurs variables
modératrices sur la grandeur de l’effet. Il s’agit ici d’estimer un modèle de régression multiple
qui a la forme suivante :
Yi = + 1Ni + 1Xi1 +…+ kXik + 1Ki1 +…+ nKin + ui
avec
Yi est la grandeur de l’effet de l’étude i
est la constante qui peut être interprétée ici comme la « vraie » grandeur de l’effet
Ni est la taille de l’échantillon associée à l’étude i
X est une variable muette représentant certaines caractéristiques associées à l’étude i
K est la valeur moyenne d’une variable quantitative
ui est la perturbation aléatoire
Cette méthodologie nécessite de coder sous forme de variables dichotomiques (ou
muettes) les variables modératrices qui semblent a priori influencer la grandeur de l’effet
(Hunter et al., 1982, p.119) 15
. Dans la littérature en sciences de gestion, la méta-régression est
encore peu répandue, à l’exception de quelques méta-analyses destinées à combiner les
résultats d’études d’événements (e.g. Datta et al., 1992 ; Allouche, Laroche et Noël, 2003)
Le cadre méthodologique étant posé, il reste à présenter et à interpréter les résultats de
la méta-analyse.
2.5. Les résultats de la méta-analyse : Présentation et interprétation
Les calculs de méta-analyse produisent plusieurs types de résultats : l’estimation de la
grandeur de l’effet moyen accompagné de son intervalle de confiance, le test d’hétérogénéité
qui évalue si les résultats peuvent être considérés comme similaires (2.5.1.), des
15
En général, le nombre de variable modératrices est limité par les informations fournies dans les études
collectées.
16
représentations graphiques permettant de visualiser les résultats (2.5.2.) et, le cas échéant,
l’estimation d’un modèle de régression permettant d’identifier les éventuelles sources de
variation entre les résultats (2.5.3.).
2.5.1. Présentation et interprétation des résultats de la méta-analyse
Les résultats d’une méta-analyse conventionnelle se présentent généralement sous la
forme d’un tableau comportant : 1) le nombre d’études inclues dans la méta-analyse (k) ; 2) la
taille de l’échantillon total (N) ; 3) l’estimation de la grandeur de l’effet commun en
combinant l’ensemble des données issues des études réunies dans la méta-analyse. Cette
estimation est accompagnée de son intervalle de confiance (généralement à 95 %) et parfois
de l’étendue des grandeurs d’effets ; et enfin 5) le résultat du test d’hétérogénéité.
Tableau 4. Résultats de la méta-analyse Syndicat/Productivité du travail
Echantillon
complet
Modérateurs (sous-groupes)
Etudes
Etats-Unis
Etudes britanniques Secteur industriel
U.S.
Nombre d’études (k)
Taille de l’échantillon (N)
Moyenne r
Médiane r
Moyenne pondérée r
avec effets fixes
Moyenne pondérée r
avec effets aléatoires
Etendue des r
Test d’hétérogénéité
Ecart de productivité
73
58 403
+0.03
(-0.21 à +0.26)
+0.03
+0.01
(+0.00 à +0.02)
+0.04
(+0.01 à +0.06)
-0.58 à +0.47
511***
+4%
56
48 481
+0.04
(-0.22 à +0.31)
+0.04
+0.015
(+0.01 à +0.02)
+0.05
(+0.02 à +0.08)
-0.58 à +0.47
391***
+3%
6
755
-0.19
(-1.00 à +0.86)
-0.19
-0.14
(-0.23 à –0.04)
-0.17
(-0.34 à +0.01)
-0.46 à +0.093
14***
-13%
10
5 004
+0.12
(-0.59 à +0.84)
+0.11
+0.07
(+0.04 à +0.10)
+0.10
(+0.01 à +0.20)
-0.20 à +0.42
62***
+10%
Source : Doucouliagos et Laroche (2003a, p.664) *** p<0,005 et Intervalle de confiance à 95 % entre
parenthèses
A titre d’illustration, les résultats de la méta-analyse réalisée par Doucouliagos et
Laroche (2003a) sont présentés dans le tableau 4. Les résultats sur l’échantillon complet
montrent que les corrélations varient de –0,58 à +0,47. La moyenne est de +0,03 et la
moyenne pondérée avec effet aléatoire de +0,04. La variance résiduelle correspond à 87 % de
la variance totale16
, le test d’hétérogénéité est significatif et l’intervalle de confiance à 95 %
contient zéro. L’ensemble de ces résultats signifie donc que les études sont trop hétérogènes
pour établir une relation « universelle » entre le syndicalisme et la productivité. Après avoir
calculé la grandeur de l’effet moyen dans l’échantillon d’études, les auteurs ont réalisé une
méta-analyse stratifiée, compte tenu de la forte hétérogénéité des résultats. L’objectif est ici
d’identifier les variables contextuelles susceptibles d’agir sur la relation syndicat/productivité.
L’influence du lieu de l’étude (Etats-Unis, Royaume-Uni), du secteur d’activité (industrie US)
a notamment été testée. La corrélation moyenne pondérée pour les études américaines est de
+0,05 alors qu’elle est de –0,17 pour les études britanniques. Ces résultats soulignent
l’influence que peut avoir le lieu de l’étude sur la grandeur de l’effet. Toutefois, ces résultats
ne sont pas statistiquement significatif étant donné l’hétérogénéité de ces sous-groupes. En
revanche, le secteur d’activité et, notamment, le secteur industriel américain semble avoir une
16
Non reportée dans le tableau. Cf. Doucouliagos et Laroche (2003a).
17
incidence sur la grandeur de l’effet. Les résultats obtenus présentent une corrélation moyenne
pondérée de +0,10 indiquant une influence positive du syndicalisme sur la productivité dans
le secteur industriel.
Les résultats de la méta-analyse sont aussi fréquemment représentés sous forme
graphique.
2.5.2. La visualisation des résultats de la méta-analyse
Il existe plusieurs formes de représentation graphique des résultats d’une méta-analyse
(cf. figures 3 et 4). La plus courante est la représentation graphique en ligne qui permet de
présenter facilement l’ensemble des résultats issus d’une méta-analyse.
Les figures 3 et 4 représentent les résultats d’une méta-analyse consacrée au lien
syndicat/productivité du travail (Doucouliagos et Laroche, 2003a). Les tailles de l’effet de
chaque étude et l’effet estimé dans la population sont représentés sur le même graphique sous
la forme de points (tiret vertical) entourés par leur intervalle de confiance (trait horizontal)
dans la figure 3. Cette représentation de la distribution des fréquences des valeurs de l’effet
mesuré permet de constater que le rejet de l’hypothèse d’homogénéité n’est pas le fait de
quelques points dispersés (Light et Pillemer, 1984). La figure 4 présente la distribution de
l’ensemble des résultats publiés autour de la grandeur d’effet moyenne calculée. Cette
distribution représentée par un histogramme est symétrique et d’allure gaussienne en
l’absence de biais de publication (se reporter au 2.1.2.).
2.5.3. Présentation et interprétation des résultats de la méta-régression
Le Tableau 5 présente une partie des résultats de la méta-régression réalisée par
Doucouliagos et Laroche (2003a). Il s’agit d’un modèle de régression linéaire classique dont
la variable à expliquer est la grandeur de l’effet calculée pour chaque étude.
Figure 3 : Exemple de distribution des tailles de l’effet et intervalles de confiance à 95 %
Figure 4 : Exemple de distribution des tailles de l’effet
18
Tableau 5. Méta-analyse de régression –
Syndicat/Productivité (Doucouliagos et Laroche, 2003a, p. 674-675)
Variables
indépendantes
Variable dépendante =
grandeur de l’effet
t
Constante
LABOR
ENTREP
USA
ECHANT
MANJ
JLR
INFLUEN
1970
VA
COUPE
4,94
27,38***
-7,49*
15,03***
-0,003**
13,60**
-20,14***
-15,16***
10,61*
-17,28**
-28,95***
0,95
5,08
-1,86
2,67
-2,35
2,60
-2,86
-2,98
1,96
-2,39
-3,82
R² ajusté
F
N
0,49
7,62***
71
***, **, * indiquent que les coefficients sont significatifs au seuil de 1%, 5% et 10 % respectivement.
La constante positive (mais non significative) signale qu’au sein de cet échantillon
d’études, la présence syndicale est liée positivement à la productivité du travail mais qu’il
n’est pas possible d’en tirer des conclusions générales, confirmant par ailleurs les résultats de
la méta-analyse conventionnelle (cf. Tableau 4). Il semble cependant que la corrélation
partielle est d’autant plus positive lorsque les données concernent les années 1970, que l’étude
est publiée dans une revue de gestion (MANJ), que les données concernent les Etats-Unis
(USA) et que les études concernées tiennent compte de la qualité de la main d’œuvre comme
variable de contrôle (LABOR). En revanche, les études sur grands échantillons (ECHANT) et
sur données d’entreprise (ENTREP), publiées dans le Journal of Labor Research (JLR), qui
font l’objet de conseils avisés par les pairs (INFLUEN), utilisant la valeur ajoutée (VA)
comme mesure de la productivité et qui s’appuient sur des données en coupe transversale
(COUPE) mettent plus souvent en évidence une relation négative entre la présence syndicale
et le niveau de productivité du travail. Ces différentes caractéristiques méthodologiques des
études permettent d’expliquer 49 % de la variation des résultats des études existantes.
Conclusion : La méta-analyse, méthode innovante de synthèse de la littérature en
management ?
L’élaboration d’une méta-analyse repose sur une méthodologie rigoureuse qui se
justifie dans les situations complexes où la littérature donne des réponses contradictoires.
L’immense mérite de la démarche méta-analytique est alors de proposer des règles de
synthèse qui peuvent être partagées par tous les chercheurs, dans le domaine souvent bien
subjectif de la revue de la littérature.
Pour autant, les procédures méta-analytiques ne sont pas la panacée pour résoudre tous
les problèmes inhérents à la revue de la littérature (Sackett et al, 1985 ; Schmidt, 1992 ;
Bobko et Stone-Romero, 1998 ; Hermann et Joseph, 1999). La méta-analyse est un outil
relativement récent qui restera sujet à la critique tant que ses utilisateurs ne se conformeront
pas aux exigences que requiert son application. En effet, chaque étape de la méta-analyse est
une construction dont les bases doivent être clairement énoncées. La précision apparente
19
attachée au calcul de la grandeur de l’effet commun peut générer de fausses certitudes, dès
lors que les modalités de sa production restent inaccessibles. Plusieurs limites de la méta-
analyse ont été soulignées par ses détracteurs. Tout d’abord, le choix des études introduites
dans la méta-analyse – et le risque de mélanger les « pommes et les oranges » – fait souvent
l’objet de critiques sévères dans la mesure où la sélection se fait sur des critères parfois
subjectifs généralement fondée sur une revue narrative de la littérature ! Il convient d’ailleurs
de rappeler que les méta-analyses ne s’opposent en aucun cas aux revues narratives, elles
restent un moyen complémentaire qui permet de rendre plus compréhensibles les résultats de
la littérature. Un autre problème souvent évoqué est celui de la qualité des études
sélectionnées. Nous avons vu qu’il était toutefois possible de contourner ce problème en
proposant une pondération proportionnelle à la qualité des publications. Enfin, l’un des
problèmes de la méta-analyse se situe dans la recherche des variables modératrices.
L’identification des variables modératrices est dépendante des informations disponibles dans
les études existantes et le choix de ces variables modératrices est le plus souvent le fruit d’un
a priori du chercheur. Cette démarche est donc loin d’être satisfaisante d’un point de vue
scientifique.
En France, l’utilisation des méta-analyses en sciences de gestion se développe
principalement en marketing. Son application est encore très limitée dans certains domaines et
notamment en finance. Il serait pourtant souhaitable que les procédures méta-analytiques
viennent enrichir les méthodes de recherche en management et contribuent à faire le point sur
les investigations empiriques menées en sciences de gestion.
BIBLIOGRAPHIE
AGUINIS H. (2001), « Estimation of sampling variance of correlations in meta-analysis », Personnel
Psychology, 54, pp. 569-590.
AGUINIS H. et PIERCE C.A. (1998), « Testing moderator variable hypotheses meta-analytically », Journal of
Management, Vol.24, n°5, Sept-Oct, p. 577.
ALLOUCHE J., LAROCHE P. et NOEL F. (2003), « Suppressions d’emplois et performances des entreprises :
une méta-analyse », Communication à la Journée d’études du GREGOR, « Les restructurations : volonté
ou fatalité ? », Paris, 27 février.
AVEN F.F., PARKER B. et McEVOY G.M. (1993), « Gender and attitudinal commitment to organizations : a
meta-analysis », Journal of Business Research, 26, pp. 63-73.
BANGERT-DROWNS R.L. (1986), « Review of developments in Meta-analytic method », Psychological
Bulletin, 99, 3, pp. 388-399.
BEGG C.B. et BERLIN J.A. (1988), « Publication bias : a problem in interpreting medical data », J.R. Statist.
Soc., 151, Part 3, pp. 419-463.
BEGG C.B. et MAZUMDAR M. (1994), « Operating characteristics of a rank correlation test for publication
bias », Biometrics, 50, pp. 1088-1101.
BIRGE R.T. (1932), « The calculation of errer by the method of least squares », Physical Review, 40, pp. 207-
227.
BIJMOLT T.H.A. et PIETERS R.G.M. (2001), « Meta-analysis in marketing when studies contain multiple
measurements », Marketing Letters, vol.12, n°2, pp. 157-169.
BOBKO P. et STONE-ROMERO E.F. (1998), « Meta-analysis may be another useful research tool, but it is not
a panacea », Research in Personnel and Human Resources Management, JAI Press, vol.16, pp. 359-397.
CAMPBELL-HUNT C. (2000), « What have we learned about generic competitive strategy ? a meta-analysis »,
Strategic Management Journal, Vol. 21, pp. 127-154.
CHANG B., LIPSITZ S., et WATERNAUX C. (2000), « Logistic regression in meta-analysis using aggregate
data », Journal of Applied Statistics, Vol. 27, n°4, pp. 411-424.
COCHRAN W.G. (1937), « Problems ariser in the analysis of a series of similar experiments », Journal of the
Royal Statistical Society, 4, pp. 102-118.
COCHRAN W.G. (1954), « The combination of estimates from different experiments », Biometrics, 10, pp. 101-
129.
20
COHEN J. (1969), « Statistical power analysis for the behavioral sciences », Academic Press, New York.
COOK D.J., GUYATT G.H., RYAN G. et al. (1993), « Should unpublished data be included in meta-
analyses ? », JAMA, 269, pp. 2749-2753.
COOPER H.M. (1984), The integrative research review : a systematic approach, Beverly Hills, Sage
Publications.
CORTINA J.M. (2003), « Apples and oranges (and pears, oh my !) : The search for moderators in meta-
analysis », Organizational Research Methods, Vol. 6, n° 4, pp. 415.
CUCHERAT M. (1997) Meta-analyse des essais thérapeutiques, Paris : Masson.
DOUCOULIAGOS C. (1995), « Worker participation and productivity in labor-managed and participatory
capitalist firms : A meta-analysis », Industrial and Labor Relations Review, October.
DOUCOULIAGOS C. (1997), « The aggregate demand for labour in Australia : a meta-analysis », Australian
Economic Paper, pp. 224-242.
DOUCOULIAGOS C. et LAROCHE P. (2003a) « What do unions do to productivity ? a meta-analysis »,
Industrial Relations, vol. 42, n°4 (October), pp. 650-691.
DOUCOULIAGOS C. et LAROCHE P. (2003b). « Publications bias in Industrial relations research», 14th
Association of the Industrial Relations Academics of Australia and New Zealand (AIRAANZ)
Conference, Melbourne, 4-7 fevrier.
DOUCOULIAGOS C., LAROCHE P. et STANLEY T.D. (2004), « Publication bias in the union-productivity
effects literature », document non publié.
DALTON D.R., DAILY C.M., ELLSTRAND A.E. et JOHNSON J.L. (1998), « Meta-analytic reviews of board
composition, leadership structure and financial performance », Strategic Management Journal, Vol. 19,
pp. 269-290.
DATTA D.K., PINCHES G.E. et NARAYANAN V.K. (1992), « Factors influencing wealth creation from
mergers and acquisitions : a meta-analysis », Strategic Management Journal, Vol. 13, pp. 67-84.
EDEN D. (2002), « Replication, meta-analysis, scientific progress, and AMJ’s publication policy », Academy of
Management Journal, october, vol. 45, n°5, pp. 841.
EREZ A., BLOOM M.C. et WELLS M.T. (1996), « Using random rather than fixed effects models in meta-
analysis : implications for situational specificity and validity generalization », Personnel Psychology, 49,
pp. 275-306.
FARLEY J.U., LEHMANN D.R. et SAWYER A. (1995), « Empirical marketing generalization using meta-
analysis », Marketing Science, vol. 14, n°3, pp. 36-46.
FISHER (1932), Statistical methods for research workers, London : Oliver and Boyd.
FOURNIER C. et VAUQUOIS-MATHEVET E., « Intérêt et méthodologie de la méta-analyse : une illustration
menée dans le domaine des forces de vente sur la relation « intention de quitter l’entreprise-roulement du
personnel », in Pras B. (coord.), Faire de la recherche en marketing ?, Paris, Vuibert, pp.66-78.
FRANKE G.R. (2001), « Applications of meta-analysis for marketing and public policy : a review », Journal of
Public Policy & Marketing, vol. 20, n° 2, Fall, pp. 186-200.
FULLER J.B. et HESTER K. (1999), « Comparing the sample-weighted and unweighted meta-analysis : an
applied perspective », Jounal of Management, Vol. 25, n°6, pp. 803-828.
GILLETT R. (2001), « Meta-analysis and bias in research reviews », Journal of Reproductive and Infant
Psychology, Vol.19, n°4, pp. 287-294.
GLASS G. (1976), « Primary, secondary, and meta-analysis of research », Educational Researcher, 5, pp.3-8.
GLASS G. (1983), « Synthesizing empirical research : Meta-analysis » in S.A. Ward and L.J. Reed (Eds),
Knowledge structure and use : Implications for synthesis and interpretation, Philadelphia : Temple
University Press.
GLASS G., McGAW B. et SMITH M.L. (1981), Meta-analysis in social research, Beverly Hills, Sage
Publications.
GUREVITCH J. et HEDGES L.V. (1993), « Meta-analysis : combining results of independent experiments, in S.
Scheiner et J. Gurevitch (eds), Design and Analysis of Experiments, Chapman and Hall, New York, pp.
378-398.
GUZZO R.A., JACKSON S.E. et KATZELL R.A. (1987), « Meta-analysis analysis », Research in
Organizational Behavior, vol. 9, pp. 407-442.
HEDGES L.V. (1981), « Distribution theory for Glass’s estimator of effect size and related estimators », Journal
of Educational Statistics, 7, pp. 245-270.
HEDGES L.V. et OLKIN I. (1985), Statistical methods for meta-analysis, London, Academic Press.
HEDGES L.V. et VEVEA J.L. (1998), « Fixed-and random effects models in meta-analysis », Psychological
Methods, 3, pp. 486-504.
HERMANN J.L. et JOSEPH S. (1999), « Problématique et méthodologies des généralisations empiriques :
contribution à une réflexion critique » in Pras B. (coord.), Faire de la recherche en marketing ?, Paris,
Vuibert, pp. 48-66.
21
HUNTER J.E. et SCHMIDT F.L. (1990), Methods of meta-analysis : correcting error and bias in research
findings, Sage publications.
HUNTER J.E., SCHMIDT F.L. et JACKSON G.B. (1982), « Meta-analysis : cumulating research findings
across studies », Beverly Hills, CA : Sage.
JACKSON G. (1980), « Methods for integrative reviews », Review of Educational Research, 50, pp. 438-450.
JAMES L.R., DEMAREE R.G., MULAIK S.A. et MUMFORD M.D. (1988), « Validity generalization :
rejoinder to Schmidt, Hunter and Raju (1988) », Journal of Applied Psychology, Vol. 73, n°4, pp. 673-
678.
JARRELL S.B. et STANLEY T.D. (1990), « A meta-analysis of the union-nonunion wage gap », Industrial and
Labor Relations Review, Vol. 44, n°1, pp. 54-67.
JOHNSON B.T., MULLEN B. et SALAS E. (1995), « Comparison of three major meta-analytic approaches »,
Journal of Applied Psychology, vol.80, n°1, pp. 94-106.
JOLIBERT A. et PETERSON R.A. (1995), « A meta-analysis of country-of-origins effects », Journal of
International Business Studies, vol. 26, n°4, pp. 883-895.
LEIZOROVICZ A. et BOISSEL J.P. (1983), « Oral anticoagulant in patients surviving myocardial infarction. A
new approach to old data », European Journal of Clinical Pharmacology, 24, pp. 333-336.
LIGHT R.J. et PILLEMER D.B. (1984), Summing up : The science of reviewing research, Cambridge : MA,
Harvard University Press.
MILLER K.I. et MONGE P.R. (1986), « Participation, satisfaction and productivity : a meta-analytic review »,
Academy of Management Journal, Vol. 29, n°4, pp. 727-753.
MULLEN B.(1989), Advanced Basic Meta-analysis, Hillsdale NJ, LEA.
MULLER J.L. (1988), « Pour une revue quantitative de la littérature : les méta-analyses », Psychologie
Française, 33-4, pp. 295-303.
OSBURN H.G. et CALLENDER J. (1992), « A note on the sampling variance of the mean uncorrelated
correlation in meta-analysis and validity generalization », Journal of Applied Psychology, 77, pp. 115-
122.
PEARSON K. (1904). « Report on certain enteric fever inoculation statistics », British Medical Journal, 3, pp.
1243-1246.
PEARSON K. (1933). « On a method of determining whether a sample of given size n supposed to have been
drawn from a parent population having a known probability integral has probable been drawn at renom »,
Biometrika, 25, pp. 370-410.
PETERS C.C. (1933). « Summary of the Penn State experiments on the influence on instruction in character
education », Journal of Educational Psychology, 7, pp. 269-272.
RASMUSSEN J.L. et LOHER B.T. (1988), « Appropriate critical percentages for the Schmidt and Hunter meta-
analysis procedure : comparative evaluation of type I error rate and power », Journal of Applied
Psychology, Vol. 73, n°4, pp. 683-687.
RAUDENBUSH S.W. (1994), « Random effects models », in H. Cooper et L.V. Hedges (eds), The Hanbook of
Research Synthesis, Russel Sage Foundation, New York, pp. 301-321.
ROSENTHAL R. (ed.) (1976), Experimental Effects in Behavioral Research, New York : Irvington.
ROSENTHAL R. (1978), « Combining results of independent studies », Psychological Bulletin, 65, pp. 185-193.
ROSENTHAL R. (1979), « The ‘file drawer’ problem and tolerance for null results », Psychological Bulletin,
86, pp. 638-641.
ROSENTHAL R. (1984), Meta-analytic procedures for social research, Beverly Hills, Sage Publications.
ROSENTHAL R. et RUBIN D.B. (1978), « Interpersonal expectancy effects : The first 345 studies », Behavioral
and Brain Sciences, 3, pp. 377-415.
ROSENTHAL R. et RUBIN D.B. (1982), « Comparing effect sizes of independent studies », Psychological
Bulletin, 92, 2, pp. 500-504.
ROSENTHAL R. et RUBIN D.B. (1988), « Comment : assumptions and procedures in the file drawer
problem », Statistical Science, 3, pp. 120-125.
RUST R.T., LEHMANN D.R. et FARLEY J.U. (1990), « Estimating publication bias in meta-analysis »,
Journal of Marketing Research, vol. 27, n° 2, pp. 220-227.
SACKETT P. et al. (1985), « Commentary on forth questions about validity generalization and meta-analysis »,
Personnel Psychology, 38, pp. 697-798.
SAGIE A. et KOSLOWSKY M. (1993), « Detecting moderators with meta-analysis : an evaluation and
comparison of techniques », Personnel Psychology, Vol. 46, n°3, pp. 629-641.
SCHMIDT F.L. (1992), « What do data really mean ? Research findings, meta-analysis and cumulative
knowledge in psychology », American Psychologist, 47, pp. 1173-1181.
SCHMIDT F.L., HUNTER J.E. et RAJU N.S. (1988), « Validity generalization and situational specificity : a
second look at the 75% rule and Fisher’s z transformation », Journal of Applied Psychology, Vol. 73, n°4,
pp. 665-672.
22
SCHMIDT F.L., HUNTER J.E., PEARLMAN K., ROTHSTEIN HIRSH H., SACKETT P. SCHMITT N.,
TENOPYR M.L., KEHOE J. et ZEDECK S. (1985), « Commentary on forty questions about validity
generalization and meta-analysis », Personnel Psychology, 38, pp. 697-798.
STANLEY T.D. (2001), « Wheat from chaff : meta-analysis as quantitative literature review », Journal of
Economics Perspectives, vol. 15, n°3, Summer, pp. 131-150.
STANLEY T.D. et JARRELL S.B. (1989), « Meta-regression analysis : a quantitative method of literature
surveys », Journal of Economics Surveys, vol. 3, n°2, pp. 161-170.
STANLEY T.D. et JARRELL S.B. (1998), « Gender wage discrimination bias ? A meta-regression analysis »,
Journal of Human Resources, 33, pp. 947-973.
STANLEY, T.D, FLORAX, R.J., and DE GROOT, H.L.F. (2003), « It’s all about power: Differentiating
genuine empirical significance from the artifact of publication bias », Discussion Paper 3, Center for
Entrepreneurial Studies, Hendrix College.
STERNE J.A.C., EGGER M. et SMITH G.D. (2001), « Investigating and dealing with publication and other
biases in meta-analysis », British Medical Journal, Vol. 323, July, pp. 101-105.
STREINER D.L. (2003). « Meta-analysis : a 12-step program », eGambling, 9(1), 23 p.
SUTTON A.J., ABRAMS K.R. et JONES D.R. (2001) , « An illustrated guide to the methods of meta-analysis »,
Journal of Evaluation in Clinical Practice, Vol.7, n°2, pp. 135-148.
SUTTON, A.J., DUVAL, S.J., TWEEDIE, R.L., ABRAMS, K.R. and JONES, D.R. (2000a). « Empirical
assessment of effect of publication bias on meta-analyses », British Medical Journal, 320:1574-1577. SUTTON A.J., F. SONG S. M. GILBODY and K. R. ABRAMS, (2000b), « Modelling Publication Bias in
Meta-Analysis: a review », Statistical Methods in Medical Research, 9:421-45.
SZYMANSKI D.M. et HENARD D.H. (2001), « Customer satisfaction : a meta-analysis of the empirical
evidence », Journal of the Academy of Marketing Science, Vol. 29, n°1, pp. 16-35.
TIPPETT L.H.C. (1931), The method of statistics,London : Williams and Norgate.
TRAPPEY C. (1997), « Une méta-analyse du choix du consommateur et de la publicité subliminale », Recherche
et Applications en Marketing, vol.12, n°1, pp.89-98.
WOLF F.M. (1986), Meta-analysis : Quantitative methods for research synthesis, Sage University Paper n°59.
YATES F., COCHRAN W.G. (1938), « The analysis of groups experiments », Journal of Agricultural Science,
28, pp. 556-580.
