Méthodes et pratique de l’évaluation communautaire

Méthodes et pratique de Méthodes et pratique de l’évaluation communautairel’évaluation communautaire

La science programmatique dans la pratiqueLa science programmatique dans la pratique

Événement auxiliaire de l’ACRV 2015Événement auxiliaire de l’ACRV 2015

30 avril 201530 avril 2015

Javier MignoneJavier [email protected]@umanitoba.ca

Aperçu de la présentationAperçu de la présentation

- Clarifier la terminologieClarifier la terminologie- Enjeux à aborderEnjeux à aborder- Évaluation de programme : Évaluation de programme :

un processus en sept étapesun processus en sept étapes- Exemples de collaboration Exemples de collaboration

J Mignone - Université du Manitoba - 2015 2

QuQu’’est-ce que lest-ce que l’’évaluation de évaluation de programme?programme?

« L’évaluation de programme est la « L’évaluation de programme est la collecte systématique collecte systématique d’informationd’information au sujet des au sujet des activités, des caractéristiques et activités, des caractéristiques et des résultats d’un programme, afin des résultats d’un programme, afin de formuler des jugements sur de formuler des jugements sur celui-ci, d’améliorer son efficacité celui-ci, d’améliorer son efficacité et/ou d’éclairer les décisions et/ou d’éclairer les décisions concernant des programmes concernant des programmes futurs. » (Patton, 1997)futurs. » (Patton, 1997)

J Mignone - Université du Manitoba - 2015

Pourquoi?Pourquoi?« ... « ... à l’usage d’individus spécifiquesà l’usage d’individus spécifiques

afin de réduire l’incertitude, afin de réduire l’incertitude, d’améliorer l’efficacité et de prendre d’améliorer l’efficacité et de prendre des décisions quant à ce que ces des décisions quant à ce que ces programmes font et influencent. » programmes font et influencent. » Cela implique de « recueillir des Cela implique de « recueillir des données qui visent à être utilisées, données qui visent à être utilisées, et le sont réellement, pour et le sont réellement, pour améliorer les programmes et améliorer les programmes et prendre des décisions à leur sujet. » prendre des décisions à leur sujet. » (Patton, 1997)(Patton, 1997)


Différence entre évaluation et Différence entre évaluation et rechercherechercheLa recherche scientifique fondamentale La recherche scientifique fondamentale

sert à générer de nouvelles sert à générer de nouvelles connaissances, à vérifier des théories, à connaissances, à vérifier des théories, à établir des vérités et à généraliser dans établir des vérités et à généraliser dans le temps et l’espace.le temps et l’espace.

L’évaluation de programme sert à L’évaluation de programme sert à éclairer des décisions, à clarifier les éclairer des décisions, à clarifier les options, à atténuer des points options, à atténuer des points d’incertitude et à fournir des d’incertitude et à fournir des informations au sujet de programmes et informations au sujet de programmes et de politiques, dans les limites de politiques, dans les limites contextuelles du temps, de l’espace, contextuelles du temps, de l’espace, des valeurs et de la politique.des valeurs et de la politique.


Différence entre évaluation et Différence entre évaluation et recherche (suite)recherche (suite)

La différence entre la recherche et La différence entre la recherche et l’évaluation est exprimée comme l’évaluation est exprimée comme suit par Cronbach et Suppes : la suit par Cronbach et Suppes : la recherche cherche la vérité; recherche cherche la vérité; l’évaluation est axée sur l’action. l’évaluation est axée sur l’action.


Questions fondamentalesQuestions fondamentales

Qui utilise lQui utilise l’’information produite information produite systématiquement?systématiquement?

Comment lComment l’’information produite information produite systématiquement est-elle systématiquement est-elle réellement utilisée?réellement utilisée?


Évaluation communautaireÉvaluation communautaire

Quelle communauté? Quelle communauté? ◦ LieuLieu◦ IdentitéIdentité◦ IntérêtIntérêt

Que signifie « communautaire »?Que signifie « communautaire »?◦ Varie selon le but et le processusVarie selon le but et le processus


Évaluation communautaire Évaluation communautaire (suite)(suite)

But de lBut de l’’évaluationévaluationProcessus dProcessus d’’évaluationévaluation


Éléments spécifiques à Éléments spécifiques à aborderaborderAttentes relatives à l’évaluationAttentes relatives à l’évaluationOrdres du jour multiples ou conflictuelsOrdres du jour multiples ou conflictuelsConfianceConfianceExigences et organismes de financementExigences et organismes de financementDéveloppement d’un plan d’évaluationDéveloppement d’un plan d’évaluationInterprétations/connaissances culturellesInterprétations/connaissances culturelles


Éléments à aborder (suite)Éléments à aborder (suite)

Méthodologie appropriéeMéthodologie appropriéeÉchéanciersÉchéanciersPropriété des données (p. ex., PCAP)Propriété des données (p. ex., PCAP)PolitiquePolitiqueParticipationParticipationÉthiqueÉthiqueUtilisation/dissémination des Utilisation/dissémination des

conclusionsconclusions


Évaluation de programme : Évaluation de programme : un processus en sept étapesun processus en sept étapes

1.1. Identifier les principaux utilisateurs prévus Identifier les principaux utilisateurs prévus de l’évaluationde l’évaluation

2.2. Identifier et préciser les questions Identifier et préciser les questions d’évaluation pertinentesd’évaluation pertinentes

3.3. Prendre des décisions quant aux Prendre des décisions quant aux méthodologies et aux mesuresméthodologies et aux mesures

4.4. Recueillir des donnéesRecueillir des données5.5. Organiser les données pour l’analyse des Organiser les données pour l’analyse des

dépositaires d’enjeuxdépositaires d’enjeux6.6. Impliquer les utilisateurs dans Impliquer les utilisateurs dans

l’interprétation des résultatsl’interprétation des résultats7.7. Faciliter l’utilisation prévue par les Faciliter l’utilisation prévue par les

utilisateurs prévus utilisateurs prévus J Mignone - Université du Manitoba -

2015 12

Exemples de collaborationExemples de collaboration

Summer Institute on Program Summer Institute on Program Evaluation [Session d’été en évaluation Evaluation [Session d’été en évaluation de programme] (Université du de programme] (Université du Manitoba)Manitoba)

Community Health Information and Community Health Information and Research Partnerships [Partenariats Research Partnerships [Partenariats d’information et de recherche en santé d’information et de recherche en santé communautaire] (CHIRP) (étudiants de communautaire] (CHIRP) (étudiants de l’Université du Manitoba)l’Université du Manitoba)


??????


RéférencesRéférences Chomsky N (2003) Chomsky N (2003) Necessary illusions: Thought control in democratic societiesNecessary illusions: Thought control in democratic societies . .

Toronto: House of Anansi Press.Toronto: House of Anansi Press. First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and

possession. NAHO: Ottawapossession. NAHO: Ottawa Horne T (1995) Horne T (1995) Making a difference: Program evaluation for health promotionMaking a difference: Program evaluation for health promotion. .

WellQuest Consulting: Edmonton.WellQuest Consulting: Edmonton. Kaufman Kantor G & Kendall-Tackett K (2000) Kaufman Kantor G & Kendall-Tackett K (2000) A guide to family intervention and A guide to family intervention and

prevention program evaluationprevention program evaluation. University of New Hampshire. Electronic version.. University of New Hampshire. Electronic version. King JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of King JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of

essential program evaluator competencies. essential program evaluator competencies. American Journal of Evaluation, American Journal of Evaluation, 2222(2), 229-247.(2), 229-247.

Morra Imas LC & Rist RC (2009) The road to results: Designing and conducting Morra Imas LC & Rist RC (2009) The road to results: Designing and conducting effective development evaluations. The World Bank: Washington DC.effective development evaluations. The World Bank: Washington DC.

Patton MQ (1997) Patton MQ (1997) Utilization-focused evaluation: The new century text.Utilization-focused evaluation: The new century text. 3 3rdrd edition, Thousand Oaks: Sage.edition, Thousand Oaks: Sage.

Patton MQ (2008) Patton MQ (2008) Utilization-focused evaluationUtilization-focused evaluation, 4th Edition, Thousand Oaks: , 4th Edition, Thousand Oaks: Sage. Sage.

Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Sage. Sage.

The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO (2007) (2007) Doing more with program evaluation: A toolkit for conducting program Doing more with program evaluation: A toolkit for conducting program evaluationevaluation. Ottawa, Ontario . Ottawa, Ontario www.onthepoint.ca

Shadish WR, Cook TD, Campbell DT (2002) Shadish WR, Cook TD, Campbell DT (2002) Experimental and quasi-experimental Experimental and quasi-experimental designs for generalized causal inferencedesigns for generalized causal inference. Boston: Houghton Mifflin.. Boston: Houghton Mifflin.

Suchman EA (1967) Evaluative research: Principles and practice in public service Suchman EA (1967) Evaluative research: Principles and practice in public service and social action programs. New York: Russell Sage.and social action programs. New York: Russell Sage.


Education

Méthodes et pratique de l’évaluation communautaire