Évaluation quasi-expérimentale - Laboratoire de recherche .Évaluation quasi-expérimentale Évaluation

  • View
    214

  • Download
    0

Embed Size (px)

Text of Évaluation quasi-expérimentale - Laboratoire de recherche .Évaluation quasi-expérimentale...

  • valuationquasi-exprimentale

    valuation et dveloppement des donnesPolitique stratgique

    Dveloppement des ressources humaines Canada

    Janvier 1998

    SP-AH053F-01-98also available in English

  • Remerciements

    Les Services dvaluation de DRHC utilisent normalement une mthode de recherche quasiexprimentale (mthode des groupes tmoins) pour estimer lincidence dune intervention. Afinde sassurer que la mthode des groupes tmoins convienne aux valuations ultrieures desprogrammes et services offerts dans le cadre de la partie II de la Loi sur lassurance-emploi,ltude ci-jointe, intitule * valuation quasi-exprimenatale +, a t mene.

    Nous voudrions remercier le Dr Robert Power, de Power Analysis Inc., London, en Ontario, etle Dr W. Craig Riddell, de la facult dconomie, Universit de la Columbie-Britannique, davoirtudi et analys les arguments pour et contre la mthode des groupes tmoins et davoir prparle rapport des constatations partir dune analyse documentaire approfondie.

  • Srie

    Dveloppement des ressources humaines Canada (DRHC) a une longue tradition en matiredvaluation de programmes. Au fil des ans, la Direction gnrale de lvaluation et dudveloppement des donnes (EDD) de DRHC a produit de nombreuses valuations sur un largeventail de programmes ministriels. Elle a ainsi acquis un savoir-faire et une exprience qui luiont permis damliorer ses techniques et mthodes dvaluation.

    Rcemment, il a t ncessaire de revoir la faon dont sont ralises les valuations afin de tenircompte des changements dans la mise en oeuvre de certains des programmes de DRHC. Lesbureaux rgionaux de DRHC participent maintenant plus directement et activement lvaluationdes programmes.

    EDD est donc fire de lancer une nouvelle srie de publications intitule * Les outils delvaluation + destine accrotre les comptences et les connaissances en matire dvaluationdans lensemble de DRHC et de ses organismes partenaires en offrant de linformation pertinenteconcernant la conception, la planification et la ralisation dune valuation. La srie permet deregrouper linformation disponible sur un sujet donn dans de courts rapports axs sur lvaluationdes programmes de dveloppement des ressources humaines.

    Le domaine de lvaluation suscite de plus en plus dintrt et volue constamment. Nhsitez pas nous faire part de vos commentaires sur la srie ou sur une tude en particulier.

    La premire tude de cette nouvelle srie met laccent sur lapproche quasi-exprimentale envaluation.

  • Table des matires

    1.0 Dfinition de lvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.0 Les deux principaux types devaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33.0 Les modles dvaluation sommative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44.0 Types de formules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65.0 Exemples de biais de slection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106.0 Mthodes de correction du biais de slection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

    6.1 Mthodes de correction en deux tapes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136.2 Mthodes des variables instrumentales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156.3 Mthodes longitudinales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176.4 Tests de caractrisation dautres modles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186.5 Facteurs dterminants de la participation au programme . . . . . . . . . . . . . . . . . . 19

    7.0 Choix des mesures des rsultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198.0 Choix dun groupe tmoin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209.0 Application des enseignements : le choix des groupes tmoins pour

    le PEMS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2210.0 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

    Annexe A : Exprience vritables et quasi-expriences . . . . . . . . . . . . . . . . . . . . . . . . . . 25Annexe B : Brve reprsentation mathmatique des quasi-expriences . . . . . . . . . . . . 31Annexe C : Comment tenir compte de leffet du biais de slection . . . . . . . . . . . . . . . . . 33Annexe D : Dtermination de la juste taille de lchantillon . . . . . . . . . . . . . . . . . . . . . . . 37

    Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

  • valuation quasi-exprimentale 1

    valuationquasi-exprimentale

    Gestionnaire de programme : Pourquoi devons-nous valuer notre programme ? Nous savonstrs bien ce qui se passe dans notre programme et avec nos clients et nous savons que nousavons beaucoup de succs.

    valuateur : Parce que vous ne savez jamais si cest votre programme ou un autre facteur quivous a fait obtenir le succs que vous revendiquez.

    Gestionnaire de programme : Mais cest srement notre programme. Pourquoi pensez-vousquautant de gens trouvent un emploi aussi rapidement ?

    valuateur : Cest peut-tre en raison de lexpansion conomique rapide que nous connaissonsprsentement.

    Gestionnaire de programme : Il nen est rien. De toute faon, nous savons que nous devonsfaire valuer notre programme. Mais pourquoi devons-nous nous vertuer trouver un groupetmoin pour faire une valuation ?

    valuateur : Disons que, six mois aprs la fin de votre programme de formation, 70 % despersonnes qui ont reu une formation travaillent. Est-ce l une preuve du bon fonctionnementde votre programme ?

    Gestionnaire de programme : Je dirais que oui. Nous aimerions avoir un rsultat suprieur 70 % - nous croyons mme que nous faisons encore mieux que cela - mais je dirais que, si 70 %des personnes qui ont reu une formation travaillent, notre programme paratra trs bien, tantdonn surtout les obstacles auxquels se heurtent beaucoup de nos clients lorsquils viennent nousvoir.

    valuateur : Quelle proportion de ces personnes travailleraient maintenant si elles navaient passuivi votre programme de formation ?

    Gestionnaire de programme : Je ne sais pas exactement, mais ce ne serait pas une proportionaussi leve que 70 %, je puis vous laffirmer.

    valuateur : Mais vous ntes vraiment pas sr de cela, car tout aussi bien 80 % pourraienttravailler maintenant si elles navaient pas suivi la formation.

    Gestionnaire de programme : Impossible. Vous ne savez pas combien dobstacles nos clientsse heurtent lorsquils viennent nous voir. Nous offrons un service prcieux et nous aidonsvraiment nos clients.

  • 2 valuation quasi-exprimentale

    valuateur : Cest peut-tre le cas, mais vous navez rien dmontr. Or les promoteurs duprogramme veulent savoir avec certitude quel a t votre degr de russite. Ils veulent savoirsils en ont vraiment pour leur argent.

    Gestionnaire de programme : Cest le cas, je peux vous lassurer.

    valuateur : Disons donc que vous faites de bonnes choses, que les personnes qui bnficientde votre programme sont en effet plus aptes trouver un emploi que sils navaient pas reu uneformation. Quelles sont les rpercussions de votre programme ? La moiti nauraient-elles pastrouv un emploi de toute faon ? Le tiers ? Les deux tiers ? Vous ne pouvez rpondre cettequestion moins de faire une valuation qui comprend un groupe comparable de personnes quinont pas suivi votre programme de formation.

    Gestionnaire de programme : Mme si la moiti dentre elles avaient trouv un emploi sans laformation, ne vaut-il pas la peine damener cette proportion 70 % ?

    valuateur : Je ne sais pas. Combien en a-t-il cot pour ce 20 % supplmentaire ? Quellesera la dure des effets de la formation ?

    Gestionnaire d e programme : Notre programme en vaut le cot...

    Cet entretien fictif illustre bien les perceptions diffrentes des gestionnaires et des valuateursde programmes lorsquil sagit de juger de la valeur dun programme. Le programme, cest la vieet cest le travail du gestionnaire tous les jours : il y tient et il travaille fort pour en assurer larussite; il croit fermement quil fait un bon travail; et il est juste titre indign sil entend dire quetel nest pas le cas.

    Lvaluateur na habituellement aucun lien avec le programme et surtout aucun intrt dans sasurvie (ce qui lamne parfois sous-estimer la menace quune valuation peut faire planer surles gestionnaires et les employs dun programme). Il sait que le gestionnaire a beaucoup investidans son programme et que sa propre valuation du programme - mme sil dispose de donnesfiables - nest pas reconnue par les promoteurs du programme comme une indication valable dufait que le programme atteint ses objectifs et en vaut le cot. Lvaluateur sait aussi que denombreux facteurs diffrents non lis la conception du programme peuvent avoir une incidencesur les rsultats de tout programme social et peuvent facilement susciter des conclusionsinjustifies.

    Le prsent document est fond sur le postulat que seule une bonne valuation peut tablir despreuves convaincantes de lefficacit dun programme dans latteinte de ses objectifs et que seuleune valuation qui comporte un groupe tmoin peut procurer, sur leffet dun programme, desdonnes estimatives non contamines par linfluence dautres facteurs qui peuvent aussi avoirun effet sur les rsultats. Le document rsume les lments fondamentaux de lvaluation, enmettant en relief ce qui est habituellement la meilleure mthode pratique, soit le * modle quasiexprimentale +. I