Suivi et Évaluation: Quelques outils, méthodes et approches (Banque Mondiale, 2002)

8/8/2019 Suivi et valuation: Quelques outils, mthodes et approches (Banque Mondiale, 2002)

1/24

Quelques outils, mthodes et approches&

SUIVI

VALUATION

Banque mondialeWashington

www.worldbank.org/html/oed


2/24

N

Copyright 2002Banque internationale pour la reconstructionet le dveloppement/BANQUE MONDIALE1818 H. Street, N.W.Washington, D. C. 20433, tats-Unis dAmrique

Tous droits rservs.Fait aux tats-Unis dAmrique

Les opinions exprimes dans le prsent rapport ne refltent pasncessairement les vues de la Banque mondiale ou des tats qui ensont membres. La Banque mondiale ne garantit pas lexactitude desdonnes qui y figurent et naccepte aucune responsabilit quant auxconsquences de leur utilisation. Les frontires, couleurs, dnominationset toute autre information figurant sur lune quelconque des cartesincluses dans cette publication nimpliquent de la part du Groupe de la

Banque mondiale aucun jugement sur le statut juridique dun territoirequelconque, ni lapprobation ou lacceptation desdites frontires.


3/24

Table des matiresVue densemble du S&E . . . . . . . . . . . . . . . . . . . . . . . . . .5

Indicateurs de performance . . . . . . . . . . . . . . . . . . . . . . . .6

Cadre logique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

valuation base sur la thorie . . . . . . . . . . . . . . . . . . . . .10

Mthodes dvaluation rapide . . . . . . . . . . . . . . . . . . . . . .12

Mthodes participatives . . . . . . . . . . . . . . . . . . . . . . . . . . .14

Enqutes de suivi des dpenses publiques . . . . . . . . . . . . . .16

valuation de limpact . . . . . . . . . . . . . . . . . . . . . . . . . . .18

Analyse cots-avantages et cot-efficacit . . . . . . . . . . . . . .20

Enqutes formelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

Ressources additionnelles sur le S&E . . . . . . . . . . . . . . . . .25

3

B A N Q U E M O N D I A L E : D P A R T E M E N T D E L V A L U A T I O N D E S O P R A T I O N S

R E N F O R C E M E N T D E S C A P A C I T S D V A L U A T I O N


4/24

5



VUE DENSEMBLE DU S&E

QUELQUES OUTILS, MTHODES ET APPROCHESPOUR LES ACTIVITS DE SUIVI ET DVALUATION

OBJECTIF Le suivi et lvaluation (S&E) des activits dedveloppement donnent aux pouvoirs publics, aux ges-tionnaires du dveloppement et la socit civile de meilleurs moyens de tirer les leonsde lexprience, damliorer la prestation des services, de planifier et daffecter lesressources, et de rendre compte aux principales parties prenantes en faisant tat des

rsultats obtenus.Cest notamment parce que la communaut du dveloppement fait une place pri-vilgie lobtention de rsultatsque les activits de suivi et dvaluation suscitent deplus en plus dintrt. Cependant, on note souvent une certaine confusion quant leurs tenants et aboutissants. La prsente Vue densemblevise prciser ce quim-pliquent ces activits afin de faire mieux comprendre et apprcier tout lintrt duS&E.La prsente brochure dcrit brivement certains des outils, mthodes et approches quipeuvent tre utiliss, rsume leurs objectifs et leurs applications, leurs avantages et leursinconvnients, leur cot, les comptences requises et le temps ncessaire, et signale aussidimportantes sources dinformation leur sujet. Le lecteur y trouvera en particulierdes indications sur plusieurs mthodes de collecte des donnes, cadres danalyse et typesdvaluation et dexamen. Les questions abordes sont les suivantes :

Indicateurs de performance Cadre logique valuation base sur la thorie Mthodes dvaluation rapide

Mthodes participatives

Enqutes de suivi des dpenses publiques valuation de limpact Analyse cots-avantages et cot-efficacit Enqutes formelles

Cette liste nest pas et ne se veut pas exhaustive. Certains des outils et approches qui yfigurent sont complmentaires et dautres interchangeables. Leur champ dapplicationpeut tre trs large, ou au contraire trs troit. Le choix de la formule qui conviendra lemieux dans un contexte donn dpendra de diverses considrations, comme lesobjectifs viss, les principales parties prenantes concernes par les rsultats du S&E, lecot et le degr de rapidit souhait.


5/24

N

Indicateurs de performance

De quoi sagit-il ?Les indicateurs de performance sont un moyen dapprcier les divers aspects dunprojet, programme ou stratgie de dveloppement : ressources, processus, produits,

rsultats et impacts. Lorsquils sappuient sur un solide travail de collecte de donnes(par exemple, au moyen denqutes formelles), puis danalyse et de diffusion de cesinformations, ces indicateurs permettent aux gestionnaires de suivre lavancement delaction entreprise, den dterminer les rsultats, et de prendre les mesures correctivesqui amlioreront la prestation des services. Il est important dassocier les principalesparties prenantes la dfinition des indicateurs, car il y aura ainsi plus de chances quecelles-ci sachent les comprendre et les utiliser pour la prise de dcision.

Quelles sont les applications possibles ?I Fixer des objectifs de performance et mesurer les progrs accomplis vers leurralisation ;

I Dtecter les problmes laide dun systme dalerte rapide, afin de pouvoir dciderde mesures correctives ;

I Dterminer sil est ncessaire de procder une valuation ou un examenapprofondi.

AVANTAGES :

I Moyen efficace de mesurer les progrs accomplis vers la ralisation des objectifs ;I Il sera plus facile de procder des comparaisons entre diffrents services, districts et

poques.

INCONVNIENTS :I Des indicateurs mal dfinis ne permettront pas de mesurer correctement les progrs ;I La tendance retenir un trop grand nombre dindicateurs, ou choisir des indica-

teurs pour lesquels on naura pas accs des sources de donnes, peut rendre le sys-tme coteux et difficile appliquer, de sorte quil sera probablement sous-utilis ;

I Il arrive souvent que lon doive arbitrer entre lidal et le possible en renonant auxindicateurs optimaux ou souhaits pour se contenter de ceux que les donnes acces-sibles permettront de mesurer.

6


6/24

COT :Le cot peut tre faible ou lev, selon le nombre des indicateurs retenus, la priodicit

de la collecte de donnes et la qualit des informations recherches, et le champ couvertpar le systme.

COMPTENCES REQUISES :Plusieurs jours de formation sont recommands afin damliorer laptitude des person-nels concerns dfinir des indicateurs pratiques. La mise en uvre de systmes desuivi de la performance exige des comptences en matire de collecte, danalyse et dediffusion des donnes et de systmes dinformation de gestion (SIG).

TEMPS NCESSAIRE :De plusieurs jours plusieurs mois, selon lampleur du processus participatif retenupour dfinir les indicateurs et selon la complexit du programme. La mise en uvredun systme de suivi de la performance peut prendre de six douze mois.

7



I Banque mondiale (2000). Key Performance Indicator Handbook. Washington.

I Hatry, H. (1999). Performance Measurement: Getting Results. The Urban Institute,

Washington.

P O U R P L U S D I N F O R M A T I O N S :


7/24

N

Cadre logique

De quoi sagit-il ?Cette approche aide dfinir plus clairement les objectifs de tout projet, programmeou politique et dterminer les liens de causalit escompts la logique du

programme entre les divers lments de la chane des vnements devant conduire lobtention de rsultats : apports de ressources, modalits de mise en uvre, produits(y compris le degr de couverture des groupes bnficiaires), rsultats, et impact. Elleconduit la dfinition dindicateurs de performance pour chaque maillon de la chaneet lidentification des risques qui pourraient entraver la ralisation des objectifs. Lecadre logique permet aussi dassocier les partenaires la dfinition des objectifs et laconception des activits. Au stade de la mise en uvre, cest un moyen utile de suivrelavancement des activits et de prendre des mesures correctives.

Quelles sont les applications possibles ?I Amliorer la qualit de la conception des projets et programmes en imposant la

dfinition dobjectifs clairs, lutilisation dindicateurs de performance, et lvaluationdes risques ;

I Synthtiser la conception dactivits complexes ;I Faciliter la prparation de programmes oprationnels dtaills ;I Fournir une base objective pour lexamen, le suivi et lvaluation des activits.

AVANTAGES :I Garantit que les dcideurs se poseront les questions fondamentales et analyseront les

hypothses et les risques ;I Implique les parties prenantes dans le processus de planification et de suivi ;I Utilis de manire dynamique, constitue un outil de gestion efficace pour guider la

mise en uvre, le suivi et lvaluation.

INCONVNIENTS :I Utilis de manire rigide, peut touffer la crativit et linnovation ;

I En labsence dactualisation au cours de la mise en uvre, peut ntre quun outilstatique qui ne refltera pas lvolution des conditions ;I Exige souvent des activits de formation et de perfectionnement.

8


8/24

COT :Faible moyen, selon lampleur et la complexit du processus participatif utilis

lappui de cette approche.

COMPTENCES REQUISES :Formation dau moins trois cinq jours pour les facilitateurs ; pour la planification etla gestion participatives, comptences supplmentaires en matire de facilitation.

TEMPS NCESSAIRE :De plusieurs jours plusieurs mois, selon lampleur et la complexit du processusparticipatif.

9



I Banque mondiale (2000). The Logical Framework Handbook, Banque mondiale :

http://www.world bank.org/evaluation/logfram/

I GTZ (1997). ZOPP Planification des projets par objectifs document disponible en

plusieurs langues : http://www.gtz.de/pcm/download/english/zopp_e.pdf



9/24

N

valuation base sur la thorie

De quoi sagit-il ?Ce type dvaluation prsente des similitudes avec le cadre logique, mais il permetdapprhender de manire bien plus approfondie le fonctionnement dun programme ou

dune activit la base thorique du programme ou la logique du programme .En particulier, il ny a pas supposer de simples relations linaires de cause effet. Parexemple, lorsque les pouvoirs publics cherchent amliorer le taux dalphabtisme par lerecrutement denseignants supplmentaires, la russite de ce programme peut dpendrede multiples facteurs, comme la disponibilit de salles de classe et de manuels, laraction probable des parents, des directeurs dcole et des lves, la comptence et ltatdesprit des enseignants, le lieu daffectation des enseignants supplmentaires, la fiabilitdu financement public, etc. En dfinissant les facteurs dterminants jugs importantspour le succs du programme, et les interactions possibles entre ces divers lments, il

devient possible de dcider des activits qui devront tre suivies au cours de la mise enplace du programme pour vrifier quil en va bien ainsi dans les faits. Cela permetdidentifier les conditions de russite critiques. Si les donnes recueillies montrent queces conditions ne sont pas runies, il est raisonnable den tirer la conclusion que leprogramme a moins de chances datteindre ses objectifs.

Quelles sont les applications possibles ?I Guider la conception dactivits complexes.

I Amliorer la planification et la gestion.

AVANTAGES :I Permet de savoir rapidement ce qui marche ou ne marche pas, et les raisons pour

lesquelles il en va ainsi ;I Permet de prendre des mesures correctives ds quun problme se pose ;I Facilite lidentification des effets secondaires inattendus du programme ;I Aide classer par ordre de priorit les questions qui mritent des recherches plus

pousses, peut-tre par un ciblage plus troit de la collecte de donnes ou par

lutilisation de techniques de S&E plus complexes ;I Peut servir de base lvaluation des impacts probables des programmes.

10


10/24

INCONVNIENTS :I Peut facilement devenir trop complexe sil sagit dactivits de grande envergure ou

si lon retient une srie exhaustive de facteurs et dhypothses ;I Les parties prenantes peuvent ne pas tre daccord sur les facteurs dterminants jugs

importants, et la rsolution de cette difficult peut prendre longtemps.

COT :Moyen Le cot est fonction du degr dapprofondissement de lanalyse, et enparticulier du degr de dtail des donnes runies pour tudier le fonctionnement duprogramme.

COMPTENCES REQUISES :Formation dau moins trois cinq jours pour les facilitateurs.

TEMPS NCESSAIRE :Trs variable Le temps ncessaire est fonction de la profondeur de lanalyse, de ladure du programme ou de lactivit, et du degr de dtail du travail de S&E entrepris.

11



I Weiss, Carol H. (1998). Evaluation. Prentice Hall, New Jersey, deuxime dition.I Weiss, Carol H. (2000). Theory-based evaluation: theories of change for poverty reduction

programs dans O. Feinstein et R. Picciotto (dir. de publication) Evaluation and

Poverty Reduction. Dpartement de lvaluation des oprations, Banque mondiale,

Washington.



11/24


12/24

13



Consultation des principales sourcesdinformation la mthode consiste poser une srie de questions ouvertes des individus choisis en raison de leurconnaissance et exprience dun sujetparticulier. Les entrevues qualitatives,approfondies et semi-structures sontfondes sur un guide dentretien

contenant la liste des sujets ou desquestions.

Groupe dexpression cette mthodeconsiste faciliter des changes de vuesentre plusieurs participants (de 8 12)soigneusement choisis pour avoir unprofil similaire. Ces participants peuventtre slectionns parmi les bnficiaires

ou le personnel du programme, parexemple. Le facilitateur utilise un guidede discussion. Dautres personnesenregistrent les commentaires etobservations.

Consultation dun groupecommunautairecette mthodeconsiste poser une srie de questions et faciliter le dbat au cours dune runionouverte tous les membres de lacommunaut. Lenquteur suit unquestionnaire soigneusement prpar.

Observation directecette mthodeconsiste consigner sur un formulairedtaill ce qui a t vu et entendu sur leslieux de ralisation dun programme. Lesinformations peuvent concerner lesactivits en cours, les procdures, lesdiscussions, les interactions sociales et lesrsultats observables.

Mini-enqute cette mthode reposesur lutilisation dun questionnairestructur pour poser un nombre limit dequestions fermes un groupe de 50 75 personnes. Le choix des enquts peuttre alatoire ou raisonn (parexemple, interview de parties prenantesen un lieu tel quun dispensaire dans lecas dune enqute sur les soins de sant).

Mthodes dvaluation rapide

I USAID. Performance Monitoring and Evaluation Tips # 2,4,5,10.

http://www.usaid.gov/pubs/usaid_eval/#02

I K. Kumar (1993). Rapid Appraisal Methods. Banque mondiale, Washington.



13/24

N

14

Mthodes participatives

De quoi sagit-il ?Les mthodes participatives permettent dassocier activement la prise de dcisionles parties prenantes au projet, programme ou stratgie, et de les amener souscrire

pleinement aux rsultats et recommandations du S&E.

Quelles sont les applications possibles ?I Mieux connatre la situation, les perspectives et les priorits de la population locale,

afin de mettre au point des interventions mieux adaptes qui auront de plus grandeschances dtre durables ;

I Dtecter les problmes et leur apporter une solution au cours de la mise en uvre ;I valuer un projet, programme, ou politique ;

I Amliorer les connaissances et les comptences afin de renforcer les moyens dactiondes pauvres.

AVANTAGES :I Prise en compte des questions pertinentes grce la participation des principales

parties prenantes au processus de conception ;I Cration de partenariats et appropriation locale des projets ;I Amlioration de lapprentissage, de la capacit de gestion et des comptences de la

population locale ;

I Production dinformations actuelles et fiables pour la prise des dcisions de gestion.

INCONVNIENTS :I Ces mthodes sont parfois considres comme moins objectives ;I Pour tre valable, limplication des principales parties prenantes prend du temps ;I Risque de voir certaines parties prenantes monopoliser le processus pour servir leurs

propres intrts.

COT :

Faible moyen. Trs variable, selon le champ dapplication et le degr de dtailrecherch et selon la valeur attribue aux contributions locales.

COMPTENCES REQUISES :Formation dau moins plusieurs jours pour les facilitateurs.


14/24

15



TEMPS NCESSAIRE :Trs variable, selon le champ dapplication et le degr de dtail recherch.

I http://www.ids.ac.uk/ids/particip/research/pme.html

I http://www.worldbank.org/participation/partme.htm

Analyse des parties prenantes : pointde dpart de la plupart des valuationssociales et des activits participatives.Lobjectif est de comprendre lesrapports de force entre les diverses

personnes associes une activit, leurinfluence et leurs intrts respectifs,afin de dterminer lesquelles devraientparticiper, et quel stade.

valuation rurale participative :mthode de planification fonde sur lepartage du savoir entre la populationlocale, tant urbaine que rurale,

et lextrieur. Elle permet auxgestionnaires de dveloppement et la population locale dvaluer etde programmer des interventionsappropries de manire collaborative,souvent laide de techniques visuelles

de sorte que les illettrs puissent aussiparticiper.

valuation par les bnficiaires :consultation systmatique des

bnficiaires des projets et dautresparties prenantes pour identifier etconcevoir des activits dedveloppement, diagnostiquer lesobstacles la participation, et obtenirles informations en retour quipermettront damliorer les services etles activits.

S&E participatif : mthode consistant associer les parties prenantes diffrents niveaux lidentification desproblmes, la collecte et lanalyse delinformation et llaboration derecommandations.

Instruments participatifs couramment utiliss



15/24

N

16

Enqutes de suivi des dpenses publiques

De quoi sagit-il ?Ces enqutes visent suivre lutilisation des fonds publics et dterminer dans quelle

mesure ces ressources atteignent effectivement les groupes cibles. Il sagit de dterminerde quelle manire, quelle date, et pour quels montants, ces fonds sont mis ladisposition des diffrents chelons de ladministration, en particulier les servicesresponsables de la fourniture de services sociaux comme la sant et lducation. Cetinstrument est souvent utilis dans le cadre de plus vastes enqutes sur les services etquipements centres sur la qualit des services, les caractristiques des quipements,leur gestion, la structure des incitations, etc.

Quelles sont les applications possibles ?I Diagnostiquer en les quantifiant les problmes qui se posent en matire de prestationde services ;

I Runir des lments dinformation sur les retards, les dperditions , et la corruption.

AVANTAGES :I Cet instrument facilite le contrle lorsque lon dispose de peu dinformations

financires ;I Il amliore la gestion en signalant les goulets dtranglement bureaucratiques dans

lacheminement des fonds destins la prestation de services.

INCONVNIENTS :I Les organismes publics peuvent rpugner ouvrir leurs livres comptables ;I Le cot est substantiel.

COT :Le cot peut tre lev tant que le pays ne dispose pas de capacits suffisantes pour se

charger des enqutes. Par exemple, en Ouganda, la premire enqute de ce type a cot60 000 dollars pour le secteur de lducation et 100 000 dollars pour le secteur de lasant.


16/24

17



COMPTENCES REQUISES :Solides comptences techniques et analytiques pour la conception de lchantillon et

du questionnaire, le traitement et lanalyse des donnes ; et bonne comprhension dusecteur valuer.

TEMPS NCESSAIRE :De cinq six mois (un deux mois pour la seule enqute).

I http://www.worldbank.org/research/projects/publicspending/tools/tools.htm



17/24


18/24

19



COT :lev. Plusieurs des valuations dimpact faites par la Banque mondiale ont cot de

200 000 900 000 dollars, selon la taille et la complexit du programme et selon lesinformations runir.

COMPTENCES REQUISES :Solides comptences techniques en sciences sociales pour la conception et la gestion desrecherches, lanalyse et la diffusion des donnes. Lidal est dquilibrer comptencesquantitatives et qualitatives parmi les membres de lquipe dvaluation.

TEMPS NCESSAIRE :

Jusqu deux ans, voire davantage.

I Baker, J. (2000). Evaluating the Poverty Impact of Projects: A Handbook for Practitioners.

Banque mondiale, Washington.

http://www.worldbank.org/poverty/library/impact.htm

I http://www.worldbank.org/poverty/impact/index.htm

I Roche, C. (1999). Impact Assessment for Development Agencies: Learning to Value

Change. Oxfam, Oxford.



19/24


20/24


21/24


22/24


23/24

N

COT :Le cot va denviron 30 60 dollars par mnage pour les CWIQ 170 dollars par

mnage pour les tudes de mesure des niveaux de vie. Il peut tre nettement plus levsil nexiste pas de base de sondage pour le pays.

COMPTENCES REQUISES :Solides comptences techniques et analytiques pour la conception de lchantillon et duquestionnaire, le traitement et lanalyse des donnes.

TEMPS NCESSAIRE :Variable selon la taille de lchantillon. Le dlai peut tre de deux mois pour les CWIQ,

et les tudes de mesure des niveaux de vie prennent gnralement de 18 24 mois.

24

I Sapsford, R. (1999). Survey Research. Sage, Newbury Park, Californie.

I Questionnaires sur les grands indicateurs du bien-tre :

http://www4.worldbank.org/afr/stats/cwiq.cfm

I tudes de mesure des niveaux de vie : http://www.worldbank.org/htm/prdph/lsmsI Enqutes sur le degr de satisfaction des clients :

http://www4.worldbank.org/afr/stats/wbi.cfm#sds

I Feuilles de note : http://www.worldbank.org/participation/web/webfiles/

philipreport.htm



24/24

Documents

Suivi et Évaluation: Quelques outils, méthodes et approches (Banque Mondiale, 2002)