K. AHOUSSOU JOSEPH Formateur des formateurs en Travail Social

METHODES ET TECHNIQUES D’EVALUATION DES PROJETS SOCIAUX

1

CONTENU DU COURSCHAPITRE 1 :CONCEPTS ET CONSIDERATION LIES AU SUIVI ET A L’EVALUTION 3

heuresContenu

1.1 QU’EST-CE QU’UN PROJET/PROGRAMME ?1.2 QU’ENTEND-T-ON PAR SUIVI ?1.3 QU’ENTEND-T-ON PAR SUPERVISION ?1.4 QU’ENTEND-T-ON PAR -EVALUATION ?1.5 COMPARAISON ENTRE SUIVI, EVALUATION, EXAMEN, AUDIT1.6 IMPORTANCE DU SUIVI ET DE L’EVALUATION1.7 NORMES ET ETHIQUE DANS LE CADRE DU SUIVI ET D’EVALUATION

CHAPITRE 2 : PRINCIPALES COMPOSANTES D’UN PROJET 2 HEURESCONTENU

INTRODUCTION PARTIELLE2.1 INTRANTS2.2 PROCESSUS2.3 EXTRANTS2.4 EFFETS2.5 IMPACTS

CHAPITRE 3 : TYPES DE SUIVI ET EVALUATION3 HEURES

CONTENU3.1.1 EVALUATION INITIALE (analyse situationnelle)3.1.2 SUIVI D’INTRANTS3.1.3 SUIVI D’EXTRANTS3.1.4 SUIVI DU PROCESSUS/EVALUATION DE PROCESSUS3.1.5 SUIVI DE RESULTATS3.1.6 EVALUATION D’EFFET ET EVALUATION D’IMPACT3.2 AUTRES TYPES D’EVALUATION

3.2.1 EVALUATION EXTERNE3.2.2 EVALUATION INTERNE3.2.3 EVALUATION FORMATIVE3.2.4 EVALUATION SOMMATIVE3.2.5 EVALUATION DES RESULTATS

TRAVAUX DE GROUPECHAPITRE 4 : METHODES D’EVALUATION 4 HEURES

CONTENU4.1 METHODES D’EVALUATION QUALITATIVE4.2 METHODES D’EVALUATION QUANTITATIVE4.3 ELEMENTS DE COMPARAISON ENTRE LES METHODES

QUALITATIVES ET LES METHODES QUANTITATIVES4.4 METHODES MIXTES4.5 TECHNIQUES ET OUTILS LIES AUX METHODES D’EVALUATION

4.5.1 APPRECIATION RAPIDE4.5.2 ENQUËTE4.5.3 ENTRETIEN AVEC L’INFORMATEUR CLE4.5.4 ETUDE DE CAS4.5.5 EVALUATION PATICIPATIVE

2

4.5.6 EXAMEN DE DOCUMENTS4.5.7 EXAMEN STATISTIQUE DES DONNEES4.5.8 GROUPE DE DISCUSSION4.5.9 HISTOIRE

4.5.10 ENTRETIEN4.5.11 RECHERCHE PAR SONDAGE

CHAPITRE 5 : INDICATEURS POUR LE SUIVI ET L’EVALUATION 5 HEURESCONTENU

5.1 APPROCHES DE DEFINITION5.1.1 DONNEES5.1.2 INDICATEURS5.1.3 INFORMATIONS5.2 GENERALITES SUR LES INDICATUERS

5.2.1 TYPES D’INDICATEURS5.2.2. CARACTERISTIQUES D’UN BON INDICATEUR5.2.3 CRITERES DE SELECTION D’UN INDICATEUR5.2.4 COMMENT CREER DES INDICATEURS,

TRAVAUX DE GROUPECHAPITRE 6 : PREPARATION-CONCEPTUALISATION-DIVULGATION DE RESULTATS

(RAPPORT)4HEURES

CONTENU6.1 PREPARATION ET CONDUITE DE L’EVALUATION

6.1.1 PREPARER ET ETABLIR LES OBJECTIFS DU PROJET6.1.2 CONCEVOIR6.1.3 COLLECTER LES DONNEES6.2 INTERPRETER LES DONNEES6.3 EVALUER LE COUT6.4 REDIGER LE RAPPORT ET PREVOIR LES MOYENS DE

DISSEMINATION6.4.1 RAPPORT6.4.2 RECOMMANDATIONS6.4.3 MOYEN DE DISSEMINATION

3

CHAPITRE 1 : CONCEPTS ET CONSIDÉRATIONS LIÉS AU SUIVI ET ÀL’ÉVALUATION

1.1. Qu’est-ce qu’un projet/programme ?

Initialement, le projet désigne davantage la volonté d’obtenir un résultat plutôt que l’action d’exécution proprement dite. Le résultat visé étant qualifié « d’objet ». Le mot « projet » évolue, surtout à partir des années 1950, quand plusieurs techniques de gestion de projet sont élaborées. Le projet dans son acceptation actuelle couvre à la fois l’intention visée et le dispositif prévu pour le réaliser.

En gestion de projet, ce terme désigne un ensemble spécifique d’activités qui contribuent aux objectifs généraux du programme. Il requiert une population cible, des activités bien définies et différentes sources de financement. Les projets concernent autant les institutions (projet scolaire, projet d’établissement, projet de loi, projet politique, projet de société…) que les individus à tous les stades de la vie (projet éducatif, projet de retraite, projet professionnel, projet familial, projet de vie…)Le programme est l’ensemble des interventions et projets conçus pour promouvoir un domaine spécifique de développement humain. Il a une envergure nationale. Ses buts et ses mécanismes opérationnels sont consignés dans un document. La gestion est dévolue à un organe qui lui-même est placé sous une tutelle ministérielle.

1.2. Qu’entend-on par suivi ?

Le suivi est une fonction continue qui collecte et analyse systématiquement les informations pour suivre les progrès réalisés ou les difficultés rencontrées au cours de la mise en œuvre du projet/programme. Il permet d’identifier les tendances et les schémas qui se dessinent, d’adapter les stratégies et de guider la prise de décision relative à la gestion du projet/programme. Le suivi s’adresse aux gestionnaires du projet/programme et les principales parties prenantes.

1.3. Qu’entend-on par évaluation ?

« L’évaluation est une appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou terminé, depuis sa conception, sa mise en œuvre et ses résultats. Le but est de déterminer la pertinence et l’accomplissement des objectifs, l’efficience en matière de développement, l’efficacité, l’impact et la durabilité. » Organisation de Coopération et de Développement Économique (O.C.D.E) Comité d’Aide au Développement (C.A.D).L’évaluation est un instrument qui permet de documenter, d’analyser, de perfectionner et de juger un projet en cours ou achevé. Elle constitue un outil de soutien au chef de projet et à son équipe à chaque étape du projet. Lors de la conception du projet, elle aide à formuler les objectifs et à déterminer la démarche à suivre ; lors de la réalisation, elle permet de vérifier si le projet va dans la direction souhaitée ; lorsqu’il est achevé, elle montre les efforts obtenus, ce que d’autres pourront en tirer et les possibilités de développement du projet.L’évaluation est aussi un exercice limité dans le temps qui vise à mesurer objectivement l’impact (les résultats) d’un projet/programme observé au niveau de la

4

population. Elle s’adresse aux décideurs (administratifs/politiques) et aux bailleurs de fonds.« L’évaluation fournit des informations crédibles et utiles permettant d’intégrer les leçons de l’expérience dans le processus de décision des bénéficiaires et des bailleurs de fonds » OCDE/CAD.

Évaluer, c’est :

- Constater les résultats obtenus grâce à une analyse systématique des données récoltées ;

- porter un jugement de valeur sur les résultats obtenus sur la base des objectifs initiaux et de leurs critères de réussite ;

- mieux appréhender le projet ainsi que les activités réalisées, non réalisées et non terminées ;

- tirer des liens susceptibles de modifier les objectifs ou le déroulement du projet lors d’une deuxième phase ou lors de la mise en œuvre dans un autre milieu.

1.4. Qu’entend-on par supervision ?La supervision est une activité ponctuelle qui consiste à observer le supervisé dans son cadre de travail. Elle a pour but d’améliorer la performance ou d’orienter, de renforcer les objectifs d’une activité en vue de produire des services de qualité.

1.5. Comparaison entre suivi, évaluation, examen, auditLa principale différence entre le suivi et l’évaluation tient au moment où ils sont réalisés et ce sur quoi ils sont centrés.Le suivi est un processus continu et tend à se concentrer sur les activités en cours. Les évaluations quant à elles, sont effectuées à des moments précis, pour examiner comment les activités se sont déroulées et quels ont été leurs effets. Les données de suivi sont généralement utilisées par les gestionnaires pour la mise en œuvre des projets/programmes, le suivi des produits, la gestion du budget, la conformité avec les procédures, et cætera.

Les évaluations peuvent guider la mise en œuvre (par exemple, une évaluation à mi-parcours), mais elles sont moins fréquentes et examinent plutôt les changements importants (réalisations) qui appellent une plus grande rigueur méthodologique dans l’analyse, tels que l’impact et la pertinence d’une intervention.Tout en reconnaissant que les différences existent, il est important de rappeler que le suivi et l’évaluation sont intégralement liés ; le suivi fournit des données pour l’évaluation, tandis que des éléments d’évaluation ressortent parfois du suivi. Par exemple, le suivi peut indiquer que les facilitateurs communautaires ont été formés (ce qui est arrivé), mais il peut aussi comprendre des tests post-formation (appréciation) sur la qualité de la formation. Un examen ou « review » est une opportunité structurée pour mener une réflexion et mettre en évidence les principaux problèmes, les préoccupations et prendre des décisions éclairées en vue d’une mise en œuvre efficace du projet/programme. L’examen est moins fréquent. L’examen est utile pour le partage des informations et associe collectivement les parties prenantes à la prise de décision. Il peut être conduit à différents niveaux de la structure du projet/programme (par exemple au niveau communautaire et à la coordination) et à des intervalles ou à des fréquences

5

variées. Il peut également être réalisé transversalement dans les projets ou les secteurs. Il est préférable de planifier et de structurer des examens réguliers pendant toute la durée de la mise en œuvre du projet/programme.Un audit est une analyse visant à vérifier la conformité aux règles, règlements, procédures ou mandats. Un audit diffère d’une évaluation en ce sens qu’il met l’accent sur le contrôle et la conformité aux exigences plutôt que sur un jugement de valeur. Les audits financiers permettent de garantir la conformité des pratiques et des registres financiers, tandis que les audits de la performance sont centrés sur les trois E : Efficience, Economie et Efficacité des activités du projet/programme. Les audits peuvent être internes ou externes. Le tableau ci-contre résume les différences clés entre le suivi, l’évaluation et l’audit.

Tableau 1 : Comparaison des principales caractéristiques du suivi/de l’examen, de l’évaluation et de l’audit

Processus

Procédures

Suivi et examen Evaluation Audit

Pourquoi ? Evaluer les progrès, éclairer la prise de décision et de mesures correctives, actualiser les plans liés au projet, faciliter le compte rendu.

Evaluer les progrès et leur qualité, tirer des enseignements et des recommandations pour la planification à plus long terme, d’apprentissage organisationnel et rendre compte.

Assurer le respect des règles, donner des garanties et rendre compte.

Quand ? Continu, durant l’exécution du projet.

Périodique et après le projet.

Selon les exigences des donateurs et des bailleurs.

Qui ? Interne, mené par les personnes chargées de l’exécution du projet.

Peut-être mené par des personnes appartenant ou non à l’organisation.

Généralement mené par des personnes extérieures au projet, appartenant ou non à l’organisation.

Lien avec l’échelle du mécanisme de suivi

Centré sur les apports, les activités, les produits et les réalisations à court terme.

Centré sur les réalisations et la finalité générale.

Centré sur les apports, les activités et les réalisations.

6

Adapté de White, Graham et Peter While, 2008. Monitoring Templates for Humanitarian Organizations.

1.6. Importance du suivi et de l’évaluation

Un système de suivi et d’évaluation qui fonctionne bien est une composante essentielle de la bonne gestion et de la redevabilité du projet/programme. Réalisés en temps opportun, le suivi et l’évaluation fournissent des informations utiles pour :

- soutenir la mise en œuvre du projet/programme avec des rapports fiables, fondés sur des preuves qui informent les gestionnaires et les décideurs en vue de guider et d’améliorer la performance du projet/programme ;

- contribuer à l’apprentissage organisationnel et au partage des connaissances en menant une réflexion sur les données d’expérience et les enseignements tirés ;

- soutenir les principes de redevabilité et de respect des règles en montrant si le travail fourni a été réalisé comme convenu et selon les normes établies ;

- offrir aux parties prenantes en particulier les bénéficiaires, la possibilité de donner leur avis et leur perception sur le travail réalisé, démontrant aussi que l’on pratique une gestion ouverte à la critique et que l’on veut apprendre des expériences d’autrui et s’adapter ainsi à l’évolution des besoins.

En somme, le suivi et l’évaluation fournissent aux organisations un outil pour mesurer l’efficacité des programmes. L’efficacité apprécie le degré d’atteinte des objectifs et des résultats. Tout programme efficace est un programme qui atteint ses objectifs et ses résultats.

Le suivi et l’évaluation fournissent aux organisations un outil pour analyser l’efficience d’un programme. L’efficience mesure l’utilisation optimale des intrants/ressources pour obtenir les résultats. Un programme efficient est un programme qui atteint le maximum de ses objectifs en utilisant un minimum de ressources.

L’évaluation permet donc de déterminer la pertinence, la durabilité, l’impact, l’efficacité et l’efficience du projet.

NB : Le suivi et l’évaluation ne concernent pas la justification des sommes dépensées, la politique des relations publiques, les stratégies de financement ou encore la recherche d’excuses pour expliquer ses propres faiblesses.

L’évaluation est un outil performant pour planifier et plus particulièrement, pour améliorer nos aptitudes. Il faut aussi la concevoir en tant que levier stratégique dans le processus visant le changement social car sa force réside dans sa capacité à nous faire faire les choses mieux que précédemment. D’une manière générale, l’évaluation est conseillée pour les raisons suivantes :

- vouloir continuer à apprendre et à développer des capacités et des compétences ;

- vouloir constater les fruits des efforts et des actions ;

7

- vouloir consolider et valider une expérience d’apprentissage ;- vouloir mesurer une efficacité ;- vouloir rechercher les points d’amélioration ;- vouloir engager les individus dans leur processus d’apprentissage ou de

développement personnel.

L’évaluation peut dans certains cas apparaitre comme une démarche délicate et effrayante, lorsque :

- nous sommes contraints de la conduire ;- nous avons peur des résultats qu’elle pourrait révéler ;- nous ne savons pas comment nous y prendre ;- nous savons que les résultats ne serviront à rien, qu’aucun changement ne se

produira.

1.7. Normes et éthique dans le cadre du suivi et de l’évaluation

Le suivi et l’évaluation englobent la collecte, l’analyse et la communication d’information sur des personnes. Par conséquent, il est essentiel qu’ils soient menés dans le respect de l’éthique et des lois, en accordant une attention toute particulière aux intérêts des personnes concernées.

Les normes internationales et les bonnes pratiques aident à protéger les parties prenantes et permettent de veiller à la redevabilité et à la crédibilité du suivi et de l’évaluation.

- Le suivi et l’évaluation devraient respecter les principes et les lois fondamentales qui régissent le pays ou l’organisation où se déroule le projet/programme (loi en matière de protection civile, loi en faveur des personnes en situation de handicap…) ;

- le suivi et l’évaluation devraient respecter les coutumes, la culture et la dignité des personnes concernées. Il est important de tenir compte des sensibilités culturelles quand on collecte des données qui portent sur des sujets délicats (par exemple, violence domestique ou utilisation des contraceptifs) auprès des groupes vulnérables ou marginalisés (par exemple, personnes déplacées à l’intérieur de leur pays, ou suite à un traumatisme psychologique, catastrophe naturelle ou situation de conflit) ;

- le suivi et l’évaluation devraient respecter le principe « ne pas faire de tort ».

Les responsables de la collecte des données et les personnes chargées de la diffusion des rapports de suivi et de l’évaluation devraient être conscientes que certaines informations peuvent mettre en danger ou embarrasser les répondants. « Dans ce contexte, les évaluateurs devraient s’efforcer de maximiser les avantages pour les répondants et de réduire les préjudices inutiles que ceux-ci pourraient subir » (Association Américaine d’Evaluation, (AAE), 2004). Les personnes qui participent à la collecte de données ont la responsabilité juridique et éthique de signaler toute activité criminelle ou tout acte illicite présumé susceptible de nuire à autrui (par exemple, les cas d’abus sexuels présumés) ;

- lorsque cela est possible et approprié, le suivi et l’évaluation devraient être participatifs.

8

La consultation et la participation des parties prenantes dans le cadre du suivi et de l’évaluation rehaussent la légitimité et l’utilité des informations recueillies, favorisent la coopération globale, renforcent le soutien et l’adhésion au processus ;

- le système de suivi et de l’évaluation devraient donner aux parties prenantes la possibilité de formuler des observations et d’exprimer leur mécontentement concernant les activités qui se déroulent.

CHAPITRE 2 : PRINCIPALES COMPOSANTES D’UN PROJET

Afin de mieux planifier l’évaluation et d’en déterminer les objectifs, il est nécessaire d’être clair sur les destinataires de cette évaluation. Ces derniers ne manqueront pas d’influencer la conception, la méthodologie et le calendrier de votre évaluation. Il ne faut pas oublier que le rapport d’évaluation est tout d’abord destiné au promoteur du projet, qui s’en servira comme outil de gestion et garde pour le futur.

Mais il est aussi un instrument utile pour les bailleurs de fonds qui pourront constater les résultats de leur investissement. Une fois que les destinataires ont été définis, on peut établir les objectifs de l’évaluation :

Que désire-t-on savoir   ? et pourquoi   ?

La réponse à cette question permet de souligner les différents aspects du projet. Elle doit par exemple, renseigner les activités menées, les prestations fournies, les changements obtenus(effets), les résultats atteints.

2. Principales composantes du projet/programme

Dans la mise en place des activités de suivi et d’évaluation la connaissance des composantes du projet/programme aide à déterminer le type de suivi et d’évaluation. On distingue entre autres :

2.1. Intrants : ce sont les ressources utilisées dans le cadre d’un projet/programme (par exemple, les ressources financières, les ressources humaines, les ressources matérielles, les directives, les supports de formation…)

2.2. Processus : ce sont les activités que le projet/programme mène pour atteindre ses objectifs (par exemple, la sensibilisation, la formation, la distribution de kits, les réunions, la supervision…)

2.3. Extrants : ce sont les produits directs tirés du projet/programme (par exemple, les séances de formation réalisées, le nombre de personnes formées, le nombre de kits distribués, le nombre de réunions tenues…)

2.4. Effets : ce sont les résultats immédiats et à moyen terme du projet/programme qui se produisent à l’issue du processus (de l’activité). Ces résultats peuvent-être identifiés au niveau :

- des connaissances ;- des attitudes ;- des croyances ;- des compétences ;- des comportements ;- de l’accès à des services ;

9

- des idéologies politiques…

Exemples :

- qualité améliorée des Centres de Dépistage Volontaire ;- les jeunes développent et adoptent un comportement à moindre risque ;- les femmes adhèrent à l’allaitement maternel.

2.5. Impacts : ce sont les résultats (à long terme) d’un ou plusieurs projets/programmes dans le temps. Exemples : le taux de transmission du VIH diminue, la morbidité et la mortalité dues au VIH diminuent.

En résumé, les composantes du programme s’exécutent comme suit :

suivi évaluation

« que faisons-nous ? » « qu’avons-nous accompli ? »

- suivi des intrants Evaluation de l’impact des- suivi des processus projets/programmes sur les

comportements, la compréhension

- suivi des extrants pour déterminer si les projets/programmes s’exécutent comme prévu

Tableau 2 : Composantes du projet/programme

Niveau du programme

RESULTATS

Intrants processus/ extrants

activités

SUIVI OU EVALUATION DU PROCESSUS

Niveau de la population

Effet Impact

EVALUATION DE L’EFFICACITE ET L’IMPACT

CHAPITRE 3 : TYPES DE SUIVI ET D’ÉVALUATION

Le choix du type d’évaluation donne le ton au processus d’évaluation. Cela permet de ne pas perdre de vue le but principal de l’évaluation et de déterminer les questions d’évaluation auxquelles il faudrait répondre et les données qu’il faut recueillir. Les types d’évaluation les plus courants sont : l’évaluation formative, l’évaluation des processus, l’évaluation sommative et l’évaluation des résultats.

La pratique en intervention sociale propose les types de suivi et de l’évaluation suivants :

3.1. Évaluation initiale ou analyse situationnelle

C’est une collecte d’informations et de données nécessaires pour planifier les projets et les initiatives. Ces données pouvant décrire les besoins de la population, les

10

facteurs de risque, le contexte, la réponse du programme et les ressources disponibles (financières et humaines). Elle répond aux questions telles que :

- quels sont les besoins des populations que le projet/programme ou l’initiative devra atteindre ?

- comment le projet/programme ou l’initiative devrait-il/elle être conçu (e) ou modifié (e) pour répondre aux besoins des populations ?

- quelle serait la meilleure manière d’exécuter ce projet/programme ou l’initiative ?

3.2. Suivi d’intrants

C’est un processus qui recueille les données décrivant les ressources utilisées pour former les services. Il répond aux questions telles que :

- quelles sont les ressources qui ont été fournies ?- quelle est la population concernée ?- combien d’individus ont-ils été servis ?- quelles sont les personnes/ressources mobilisés ?

3.3. Suivi du processus/ évaluation du processus

Le suivi du processus recueille et analyse des données plus détaillées sur les services fournis. Exemple :

- l’intervention a-t-elle été exécutée comme prévue ?- l’intervention a-t-elle touché le public cible ?- quelles sont les barrières que les clients ont rencontrées dans l’accès à

l’intervention ?

L’évaluation des processus sert à suivre les activités du projet et à veiller afin que celles-ci soient mises en place et réalisées selon les raisons pour lesquelles le projet a été conçu. L’évaluation des processus et l’évaluation formative peuvent se compléter (Eng. T. etal. 1999 et Dehar M. 1993). Elles sont toutes deux axées sur l’efficacité du projet et les aspects de son fonctionnement ; toutes deux commencent au tout début du projet et elles peuvent-être effectuées par le personnel interne ; toutes deux ont besoin d’une étroite surveillance pour suivre les activités de fonctionnement et pour recueillir l’information liée au processus.

3.4. Suivi d’extrants

Le suivi des extrants est un processus qui recueille des données décrivant les services offerts.

3.5. Suivi des résultats

Le suivi des résultats s’attache à comprendre et à connaître les comportements, les changements attendus. Il répond aux questions telles que :

- les connaissances escomptées ont-elles été acquises ?- le changement de comportement attendu s’est-il produit ?- l’utilisation des sanitaires par le personnel s’est-elle effectuée ?

3.6. Évaluation d’effets et évaluation d’impact

11

L’évaluation des effets est la collecte et l’analyse des données utilisées pour déterminer si un changement est intervenu à l’issue de l’exécution du projet/programme. Elle indique la portée des réalisations du projet/programme. Elle attribue le changement observé à l’intervention, elle est méthodique, rigoureuse et nécessite un élément de comparaison. La question est : « l’intervention a-t-elle entraîné un changement chez la population bénéficiaire du projet ? »

Une évaluation d’effet peut avoir pour objectif de démontrer qu’un projet spécifique a effectivement réduit le comportement à risque (dans le cas du VIH). Une évaluation d’impact viserait à démontrer que le changement de comportement est imputable au projet et a eu un impact en terme de transmission réduite du VIH.

Remarques : Il existe différents types d’évaluation, qui peuvent être classés de diverses manières. Fondamentalement, l’approche et la méthode utilisées dans une évaluation sont déterminées par le public et par le but de l’évaluation. Les catégories et les types d’évaluation ne s’excluent pas mutuellement et sont souvent utilisés conjointement. Par exemple, une évaluation externe finale est un type d’évaluation sommative et peut utiliser des approches participatives.

3.2 Autres types d’évaluation

3.2.1. Évaluation externe

Une évaluation est dite externe quand elle est effectuée par une entité externe ou groupe de travail du projet. Ses points forts sont la distance et l’indépendance. Ce qui signifie que les évaluateurs pourront faire des comparaisons et des remarques sur des détails que des personnes impliquées dans le projet ne relèveraient pas. Une évaluation externe répond aux questions de durabilité (la mesure dans laquelle les apports d’une intervention sont susceptibles d’être jugés, analysés, appréciés), d’impact et d’efficacité et peut appuyer la mise en œuvre des mesures qu’elle recommande.

3.2.2. Évaluation interne

Dans le cadre d’une évaluation interne, le projet est analysé par ses propres auteurs. Les points forts sont ; la connaissance approfondie du projet, la connaissance des institutions participant au projet, la souplesse et la répartition dans les temps et la réduction des coûts supplémentaires.

Dans la mesure où les participants sont suffisamment critiques sur leur travail et les objectifs atteints/non atteints, ce type d’évaluation permet aux évaluateurs de tirer des leçons importantes quant aux objectifs et à la gestion effectuée au fur et à mesure l’évaluation interne permet de corriger les erreurs et de rectifier le tir.

3.2.3. Évaluation formative

L’évaluation formative est une évaluation continue qui commence dès le début d’un projet. Elle évalue la nature du projet, les besoins auxquels il doit répondre, ainsi que ses progrès et sa mise en œuvre. Elle permet d’identifier les écarts dans le contenu et les aspects du fonctionnement du projet et elle propose les moyens de les améliorer.

3.2.4. Évaluation sommative

12

L’évaluation sommative est une évaluation de l’efficacité d’ensemble du projet et de ses réalisations. Elle fait ressortir les aspects essentiels pour lesquels le projet a été conçu. Elle fournit l’information nécessaire pour la planification et les décisions futures et elle est habituellement faite dès que le projet est achevé. En règle générale, ce type d’évaluation ne touche pas directement le projet en cours, par contre, il aide les intervenants à décider de l’orientation que doit prendre ce projet ou d’autres semblables à l’avenir. Pour tirer l’information utile d’une évaluation sommative, il faut que le projet ait des buts et des objectifs bien définis et un plan qui permette de ne pas perdre de vue les résultats que l’on veut tirer du projet. Ce type d’évaluation doit être effectué soit par un évaluateur externe, soit par le personnel et les spécialistes qui ont les connaissances, les ressources et les outils nécessaires pour faire l’évaluation.

3.2.5. Évaluation des résultats

L’évaluation des résultats détermine à quel point un projet a produit les effets voulus de même que d’autres effets qu’il aurait pu avoir sur les participants ou sur le milieu. Elle s’attache aux résultats immédiats, intermédiaires ou définitifs réalisés à la suite de l’aboutissement du projet. Tout comme l’évaluation sommative, l’évaluation des résultats peut permettre de déterminer si les besoins à l’origine du projet ont été satisfaits ou s’ils existent toujours. La réalisation de ce type d’évaluation exige d’avoir une bonne compréhension du processus et des résultats du projet et de la relation qui existe entre les deux. Ensuite, il faut recueillir assez de preuves au cours du projet pour démontrer comment certains résultats sont liés à des activités particulières.

Le tableau 3 ci-dessous résume les principaux types d’évaluation selon trois considérations

Selon le moment de l’évaluation

Selon les personnes qui mènent l’évaluation

Selon les techniques ou les méthodes d’évaluation

L’évaluation formative est menée durant la mise en œuvre d’un projet/programme pour améliorer les performances et vérifier la conformité

L’évaluation récapitulative est réalisée au terme de la mise en œuvre pour mesurer l’efficacité et l’impact du projet/programme

L’évaluation à mi-parcours est une

L’évaluation interne ou auto-évaluation est réalisée par les responsables de la mise en œuvre du projet/programme. Elle peut-être moins onéreuse qu’une évaluation externe et contribuer à renforcer les capacités et l’implication du personnel. Toutefois, elle peut parfois manquer de crédibilité aux yeux de certaines parties prenantes, telles que les donateurs, car elle

Une évaluation en temps réel est une évaluation menée pendant la mise en œuvre du projet/programme pour fournir des informations immédiates sur les sur les moyens d’améliorer la mise en œuvre en cours. Elle est plus axée sur les enseignements à tirer en temps réel que sur l’impact et la redevabilité. Elle est particulièrement utile pendant les

13

évaluation formative conduite au milieu de la phase de mise en œuvre. Tout projet/programme dont la durée dépasse 24 mois doit faire l’objet d’une analyse, d’une évaluation ou d’un examen à mi-parcours. En général, il n’est pas nécessaire de faire appel à un évaluateur indépendant ou externe pour ce type d’évaluation, à moins que des besoins spécifiques ne l’exigent

L’évaluation finale est une évaluation récapitulative (et souvent externe) menée au terme de la mise en œuvre pour évaluer la mesure dans laquelle les objectifs prévus du projet programme ont été atteints.

est considérée comme la plus subjective. Elle est plus axée sur les enseignements à tirer que sur la redevabilité

L’évaluation externe ou indépendante est effectuée par des évaluateurs qui ne font pas partie de l’équipe de mise en œuvre et apportent ainsi leur degré d’objectivité et, bien souvent, un savoir-faire technique. Elle est axée sur la redevabilité.

opérations d’urgence

Une méta-évaluation est utilisée pour évaluer le système d’évaluation. Elle est principalement utilisée pour :

- dresser l’inventaire des évaluations et orienter le choix des activités d’évaluation ;

- vérifier la conformité avec les politiques relatives à l’évaluation et les meilleures pratiques (voir si les évaluations sont bien diffusées et utilisées pour fournir l’apprentissage institutionnel et le changement entre autres.

Selon le moment de l’évaluation

Selon les personnes qui mènent l’évaluation

Selon les techniques ou les méthodes d’évaluation

l’évaluation ex-post est effectuée quelques temps après la mise en œuvre pour évaluer l’impact et la durabilité à long terme du projet/ programme

l’évaluation participative est menée avec les bénéficiaires et d’autres acteurs clés pour favoriser leur autonomisation en renforçant leurs capacités, leur implication et leur

L’évaluation thématique est axée sur un thème spécifique, tel que problème du genre ou l’environnement. Elle porte généralement sur différents projets/ programmes ou

14

soutient. L’évaluation

conjointe est le fruit d’une collaboration entre plusieurs partenaires d’exécution. Elle permet de bâtir un consensus à différents niveaux, de gagner en crédibilité et d’assurer un soutient concerté

l’ensemble de l’organisation.

L’évaluation par secteur/par groupe sectoriel porte sur un ensemble d’activités, de projets, ou de programmes connexes, généralement menés dans des lieux différents et mis œuvre par plusieurs organisations (les sociétés nationales, le Nations Unis et les ONG.

L’évaluation d’impact est axée sur l’effet plutôt que sur la gestion etl’exécution d’un projet/ programme.

De ce fait, elle est généralement réalisée après l’achèvement du projet dans le cadre d’une évaluation finale ou d’une évaluation ex-poste. Toutefois, l’impact peut être mesuré pendant la mise en œuvre dans le cas des projets/ programmes à plus long terme.

Remarque : le choix d’un type d’évaluation donne le ton au processus d’évaluation. Cela permet de ne pas perdre de vue le but principal de l’évaluation et de déterminer les questions d’évaluation auxquelles il faudrait répondre et les données qu’il faudrait recueillir.

CHAPITRE 4 : METHODES ET OUTILS D’EVALUATION

Dans le domaine du suivi et de l’évaluation, les nouveautés et l’évolution constantes des méthodes et outils d’évaluation ne permettent pas de faire une liste exhaustive des méthodes d’évaluations. Toutefois, quelques-unes sont connues et utilisées à des fins d’évaluation ou de collecte de données.

15

4.1. Méthodes d’évaluation qualitative

C’est une forme de recherche qui utilise des techniques spécialisées pour obtenir des réponses approfondies sur ce que les individus pensent et ressentent. Elle explore l’étude des croyances et les comportements des individus. Elle est plus interprétative que descriptive. Elle cherche plus à donner une signification ou le sens d’un phénomène qu’à montrer sa fréquence. Par conséquent, les thèmes traités ne sont pas familiers et les concepts et variables pertinents sont inconnus. L’approche est plus flexible pour découvrir l’inattendu. Les méthodes d’évaluation qualitative ont le mérite d’explorer en profondeur des phénomènes particuliers, inattendus et de les rapporter à un contexte plus large. L’évaluation qualitative utilise des techniques (méthodes) telles que des entretiens, des sondages avec questions ouvertes, des groupes de discussions, des observations discrètes. Les résultats sont par la suite analysés de manière individuelle : chaque questionnaire, chaque enregistrement du groupe de discussion constitue un élément à analyser.

4.2. Méthodes d’évaluation quantitative

C’est une méthode qui s’appuie sur des thèmes clairement définis et particuliers. Le phénomène à l’étude se situe dans un contexte social ou culturel connu voire bien compris. La description numérique est détaillée et s’appuie sur un échantillon représentatif requis. Les résultats peuvent être reproductifs et il est possible de faire des comparaisons et de répéter les mesures.

Une étude quantitative permet de vérifier des hypothèses, de mesurer des comportements et de vérifier l’impact d’une mesure en chiffre. Les données quantitatives se basent sur des questions prédéfinis et peuvent être collectées grâce à des statistiques, des questionnaires composés de questions précises et fermées et diffusés à un large échantillon.

4.3. Éléments de comparaison entre les méthodes qualitatives et Quantitatives

Tableau 5 : Éléments comparatifs entre la méthode d’évaluation qualitative et la méthode d’évaluation quantitative

METHODES

ELEMENTS QUALITATIVES QUANTITATIVES

Questions - comment ?

- pourquoi (explication) ?

- quoi ?

- pourquoi (cause) ?

Thème - pas familier

- concepts et variables inconnus

Concepts et enjeux bien connus, variables identifiables et quantifiables

Objectif - expliquer en profondeur

- rechercher la signification et le sens des phénomènes

- quantifier les effets

- généraliser les résultats

- comparer les résultats entre

16

- explorer le fond des pensées, des croyances, des comportements

les populations

- tester des hypothèses

4.4. Méthodes mixtes

Une troisième possibilité réside dans l’utilisation de la méthode mixte. Le chercheur collectionne des données quantitatives et des statistiques d’une part et d’autre part, pose des question plus ouvertes à un groupe cible (données quantitatives). Ce groupe peut aussi être constitué par des acteurs directs du projet, des participants ainsi que les organisations.

4.5. Techniques et outils spécifiques liés aux méthodes d’évaluation

4.5.1. Appréciation rapide (évaluation)

Cette technique partage de nombreuses caractéristiques avec l’évaluation participative. Elle reconnaît que les connaissances autochtones sont essentielles pour la prise de décision. Elle s’utilise au moyen de méthodes qualitatives et quantitatives telles que les visites de sites, les observations et les enquêtes par analyse.

4.5.2. Enquête

L’enquête est une méthode ordinaire de collecte de données pour le suivi et l’évaluation de projet/programme. Elle peut être classée de différentes façons, par exemple, selon la méthode utilisée (en personne, par courrier, par téléphone). Elle utilise généralement les techniques d’entretien (questions ou énoncés auxquels les gens répondent), les techniques de mesure (par exemple, le poids du nourrisson pour déterminer son état nutritionnel), ou une combinaison des deux.

Suivant la manière dont les questions sont posées on distingue :

les enquêtes semi-structurées utilisent des questions ouvertes, c’est-à-dire des questions qui ne sont pas limitées à des réponses spécifiques et qui permettent aux répondants de répondre ou d’exprimer leurs opinions. Les enquêtes semi-structurées nécessitent une grande flexibilité dans les réponses, mais leur administration nécessite plus de compétences et elles sont plus coûteuses. Elles doivent être menées par des enquêteurs expérimentés, capables d’évaluer et d’extraire les informations essentielles.

Les enquêtes structurées utilisent une approche normalisée pour poser des questions (fermées) fixes, orientant les répondants vers un groupe de réponses prédéfinies, par exemple oui/non/vrai/faux, ou choix multiples.

Exemple : « avez-vous été payé toutes les fins de mois ? »

N.B : suivant le moment et la fonction de l’enquête, il faut aussi distinguer :

une enquête descriptive qui vise à obtenir des données représentatives sur une population à un seul point dans le temps, sans faire de comparaisons entre les groupes.

Une étude comparative qui vise à comparer les résultats entre les groupes – soit la même population en deux points dans le même temps (étude de

17

référence initiale et finale), soit deux groupes distincts au même moment (groupe expérimental et groupe témoin).

4.5.3. Entretien avec l’informateur clé

C’est une entrevue avec une personne ayant des informations spéciales sur un sujet particulier. Ce type d’entretien est généralement mené de façon structurée ou semi-structurée.

4.5.4. Étude de cas

C’est une étude qui fait une description détaillée des individus, des communautés, des organisations, des évènements, des programmes, des périodes de temps ou d’une histoire. Les études de cas sont particulièrement utiles pour évaluer des situations complexes et explorer l’impact qualitatif. Elles servent à illustrer les résultats et comprennent des comparaisons. Cependant, on ne peut tirer les conclusions sur les principes clés que lorsque les études sont combinées (triangulées) avec d’autres études de cas ou méthodes.

4.5.5. Évaluation participative (ou rurale) rapide (EPR)

Cette évaluation utilise des techniques de mobilisation communautaire pour comprendre les opinions de la communauté sur une question particulière. Elle est faite rapidement et de manière intensive (deux à trois semaines). Elle comprend des entrevues, des groupes de discussion et la cartographie de la communauté.

4.5.6. Examen des documents

Un examen de document (données secondaires) peut fournir des informations de référence d’un bon rapport coût-efficacité en temps opportun, et une perspective historique du projet/programme. Il couvre la documentation écrite (par exemple, les dossiers des projets et des rapports, les bases de données administratives, le matériel de formation, les correspondances, la législation et documents de politique), ainsi que les vidéos, les données électroniques ou les photos.

4.5.7. Examen statistique des données

Un examen statistique de données porte sur les recensements de la population, des études économiques, agricoles… et autres sources de données.

4.5.8. Groupes de discussion

Un débat très ciblé avec un petit groupe de participants (généralement de huit à douze personnes) en vue d’explorer les pensées, les sentiments, les opinions, les croyances et les attitudes des personnes sur un sujet précis. Un modérateur introduit le sujet en utilisant un guide d’entretien afin de mener la discussion et d’extraire les opinions et les réactions. Les participants doivent être les membres de la population cible. Une séance de groupe de discussion dure entre une heure et demie et deux heures. Elle a pour but de se servir des interactions qui ont lieu au sein du groupe pour avoir des renseignements qu’il serait difficile d’obtenir par d’autres moyens. Le groupe de discussion est une méthode de recherche, lorsqu’il est organisé pour

18

l’échange d’idées, des discussions d’approfondissement sur des questions complexes.

N.B : le groupe de discussion ne convient pas pour faire une comparaison d’idées ni pour chercher à avoir l’opinion des autres sur des sujets délicats.

4.5.9. Histoire

C’est un compte rendu d’un évènement ou d’une série d’évènements (histoire de vie, histoire d’apprentissage, histoire culturelle…). L’histoire illustre l’impact d’un évènement en détaillant les expériences positives d’un individu dans ses propres mots. Elle relève les expériences positives et/ou négatives qu’un individu a eu du projet/programme.

4.5.10. Entretiens/réunions communautaires

C’est une entrevue que l’on a avec une personne en vue d’obtenir de l’information. Elle peut prendre la forme d’une réunion publique ouverte à tous les membres de la communauté. L’interaction se passe entre les participants et l’intervieweur qui préside la réunion. L’intervieweur pose des questions en vue d’approfondir des sujets d’intérêt (plutôt que de poser des questions auxquelles on répond par « oui » ou par « non »). L’entretien peut ne se faire en personne ou par téléphone. De plus en plus, l’internet est utilisé comme un nouvel outil d’entretien/d’entrevue. L’entretien est une méthode d’évaluation appropriée lorsqu’il y a besoin de recueillir des renseignements détaillés sur l’opinion, la pensée, les expériences et les sentiments des gens relatifs au projet/programme. L’entretien est un moyen de recherche utile lorsque le sujet porte sur des points qui demandent une interrogation complexe.

Les entretiens sont conçus selon les besoins auxquels ils doivent répondre et l’information que l’on veut obtenir. Ils peuvent être groupés en trois types :

Les entretiens structurés au cours desquels l’intervieweur pose une série de questions standards prédéterminées sur des sujets particuliers, dans un ordre précis. Les répondants doivent sélectionner leurs réponses dans une liste d’options. Les entretiens structurés conviennent particulièrement, lorsqu’on a affaire à un grand nombre de répondants qui doit être interviewé rapidement et à peu de frais. En général, ces entretiens se font par sondages.

Les entretiens semi-structurés : Dans ce type d’entretien, l’intervieweur pose une série de questions prédéterminées et les répondants y répondent dans leurs propres termes. Certains intervieweurs se servent d’un guide de sujets comme liste de contrôle pour que les répondants fournissent les informations sur les mêmes sujets. L’intervieweur peut approfondir des points selon les réponses données par les répondants ou poser des questions supplémentaires pour clarifier certains points. Les entretiens semi-structurés sont utiles lorsqu’il s’agit de renseignements détaillés de manière systématique auprès d’un certain nombre de répondants ou d’interviewer comme des enseignants ou des leaders communautaires. Ce type d’entretien prend plus de temps qu’un entretien structuré. Il peut servir à obtenir des données à la fois quantitative et qualitative.

19

Les entretiens non structurés : Dans un entretien non structuré, l’intervieweur ne sait aucune orientation précise ; il n’y a pas de restrictions, pas de questions prédéterminées ou de listes d’options. L’intervieweur pose quelques questions très générales pour lancer le répondant dans une discussion libre, informelle et spontanée. L’intervieweur pose d’autres questions d’approfondissement et/ou explore les contradictions afin de recueillir des renseignements plus détaillés sur le sujet. Ce type d’entretien est particulièrement utile pour obtenir des faits sur les expériences vécues par les répondants ou lorsqu’il existe très peu d’informations sur un sujet. Il prend plus de temps et demande le plus d’habileté de la part de l’intervieweur.

4.5.11. Recherche par sondage

La recherche par sondage est un moyen pour étudier les opinions, attitudes, comportements et/ou croyances en posant une série de questions à un groupe relativement petit (échantillon) sélectionné parmi une population visée. Bien sélectionné, l’échantillon permet de tirer des conclusions relativement à une population à partir des réponses fournies par des personnes qui le compose.

Qu’entend-t-on par échantillonnage ?

Un échantillonnage est une technique selon laquelle seront sélectionnées, les personnes du groupe qui intéressent l’étude ou l’évaluation (c’est-à-dire la population visée) auxquelles on demandera de répondre au sondage. Il existe plusieurs techniques d’échantillonnage. Les plus connus sont les échantillons aléatoires et les échantillons par choix raisonné.

Les échantillons aléatoires (probabilité) sont déterminés de manière quantitative et permettent, sur la base de statistiques, de réaliser des généralisations plus précises sur l’ensemble de la population.

Les échantillons par choix raisonné (non aléatoires) sont composés de manière qualitative et ne font pas appel aux statistiques. Ils comprennent généralement des échantillons ciblés, plus petits de la population, mais sont insuffisamment fiables d’un point de vue statistique pour permettre des généralisations sur l’ensemble de la population.

NB : Il est possible d’utiliser une méthode mixte combinant les deux méthodes d’échantillonnage pour la collecte de données qualitatives et quantitative.

Quels que soient les méthodes et les outils utilisés, il est essentiel de concevoir un questionnaire pour recueillir des informations.

CHAPITRE 5 : INDICATEURS POUR LE SUIVI ET L’EVALUATION

L’élaboration des outils et la collecte des données sont des éléments de l’évaluation qui nécessitent le plus attention. Aussi, est-il conseillé de s’appuyer sur les faits et de déterminer des indicateurs.

20

5.1. Approches de définition

5.1.1. Données 

Ce sont des faits bruts (non traités) collectés formant des bases de connaissances desquelles on peut tirer une conclusion. Les sources de données sont des documents susceptibles de fournir des données fiables permettant de calculer un indicateur. Ce sont :

les rapports (rapports d’activités, rapports financiers, rapport de formation, rapport d’assistance technique…)

les registres (registre de consultation, registre de laboratoire, registre de gestion de stocks, registre de réception des usagers, registre d’état civil, registre de décès, registre de commande de fournitures…)

les rapports d’enquête (enquêtes de service, enquêtes de surveillance, enquêtes de comportements, enquêtes démographiques et de santé, recensement de la population)

les rapports de mission, de supervision ou de visite de terrain les rapports d’études les rapports d’analyse situationnelle les rapports d’évaluation (rapports d’audit, rapport d’inventaire) les documents administratifs et financiers (journaux officiels, budget

nationaux)

5.1.2. Indicateurs

Ce sont des variables qui mesurent un aspect d’un projet /programme. C’est un signal qui révèle les progrès réalisés (ou non) pour l’atteinte des objectifs ; l’indicateur est le moyen pour mesurer ce qui se produit effectivement par rapport à ce qui a été planifié en termes de quantité, de qualité et d’actualité de données. Pour le suivi et l’évaluation ce sont des échelles de progression.

Les indicateurs peuvent :

- prendre la forme de questions aux réponses ………..d’alerte ;- donner une appréciation quantitative (nombre ou pourcentage, indicateur

répondant aux questions sur la qualité (quoi ?), la quantité (combien ?), la cible (qui ?), la localisation (où ?), et la période de l’action (quand ?) ;

- donner une appréciation qualitative d’une action (échelle de valeur objectives d’où l’obligation de qualifier, analyser des réponses) ;

- renseigner sur le fond : les moyens pour arriver au résultat = indicateurs de moyens. C’est-à-dire, comment les activités sont-elles mises en œuvre ?

- renseigner sur la réalisation, c’est-à-dire sur l’atteinte des résultats intermédiaires fixes;

- renseigner sur les effets (indicateurs d’effets) c’est-à-dire, montrer si les résultats sont positifs/négatifs sur l’environnement ou la population ;

- renseigner sur les résultats (c’est-à-dire, montrer si les objectifs du projet sont atteints ou non) ;

- renseigner les effets.

5.1.3. Informations

21

Ce sont les données qui ont été enregistrées, classifiées, organisées, reliées ou interprétées dans un cadre (comme celui d’un projet) afin d’en faire ressortir une signification.

5.2. Généralités sur les indicateurs

Rappel : Un indicateur est une variable quantitative ou qualitative simple et fiable qui permet de mesurer et d’informer des changements liés à l’intervention ou d’aider à apprécier la performance d’un acteur.

5.2.1. Tableau 5 : Types d’indicateurs, descriptif du contenu et niveau d’intervention

Types d’indicateurs Description Niveau

Indicateurs d’intrants Les intrants sont les ressources humaines, financières, techniques, matérielles et informationnelles que nous devons apporter pour réaliser les activités d’un projet/programme

Exemples :

Budget alloué aux activités ;

Nombre de véhicules achetés ;

Nombre de kits d’IST disponibles ;

Nombre de pairséducateurs à utiliser dans le projet/programme

Les intrants du projet/programme.

Indicateurs de processus

Les indicateurs de processus sont liés aux activités. Ils permettent de mesurer ce qui se passe durant l’exécution des activités du projet/programme.

Exemples :

Nombre de sessions de formation organisées

Nombre de kits

Les activités du projet/programme (exécution)

22

d’IST distribués

Indicateurs d’extrants (réalisation)

Ils permettent de mesurer les réalisations immédiates de la mise en de l’activité.

Exemples :

Nombre de personnes formées

Nombre de cas d’IST traités

Les activités du projet/programme

Indicateurs d’effets (résultats)

Les résultats sont les changements ou l’acquisition de compétences. Ce sont les effets constatés à moyen terme d’un projet/programme

Exemple :

Pourcentage de jeunes âgés de 15 à 24 ans utilisant correctement le préservatif.

Les résultats ou objectifs spécifiques du projet/programme

Indicateurs d’impact Ce sont les effets mesurables à long terme dans le domaine de la santé ce sont par exemple ;

Réduction de 35% la transmission du VIH de la mère à l’enfant ;

La réduction de 25% la transmission des IST /VIH chez les jeunes ;

Réduction de 40% la mortalité et la morbidité liées au VIH/sida chez l’enfant.

23

NB : Les indicateurs sont des facteurs ou preuves mesurables qui montrent l’étendue des progrès, de la réussite ou des accomplissements réalisés dans le projet. Dégager des indicateurs peut permettre de recueillir des données utiles pour trouver les outils et l’information d’évaluation nécessaires.

5.2.2. Caractéristiques d’un bon indicateur

Un bon indicateur doit respecter les caractéristiques suivantes :

Valide : (synonyme : valable) qui réunit les conditions nécessaires pour produire son effet.

Fiable : réunit des informations auxquelles on accorde un degré de confiance. Précis : qui ne donne lieu à aucune incertitude. Mesurable : qui peut être mesuré, quantifié

5.2.3. Critères de sélection d’un indicateur

Les critères de sélection d’un indicateur sont :

La disponibilité des données : il faut s’assurer que les données relatives au calcul de l’indicateur existent et sont disponibles ;

La disponibilité des ressources : s’assurer que les ressources existantes permettent de collecter et d’analyser les données ;

Les besoins en informations : il faut s’assurer que l’indicateur montre les résultats du projet/programme ;

Les exigences du bailleur de fonds : s’assurer que les indicateurs à retenir prennent impérativement en compte les préoccupations du bailleur de fonds (besoins en informations).

5.2.4. Comment créer des indicateurs ?

Cinq qualités sont prescrites ………….. :

Combien ? = quantité Comment ? quoi ? = qualité Qui ? = groupe cible ou bénéficiaire Quand ? = période, échéance Où ? = localisation

La méthode SMART peut donner des clés :

Spécifique au projet : afin d’éviter tout égarement nuisible à la bonne marche du projet en cours d’exécution, la formulation des objectifs se doit être la plus précise et la plus compréhensive.

Mesurable : il permet d’avoir une idée de l’évolution du projet en cours d’exécution. Il est ainsi possible de prendre à temps les décisions qui s’imposent et de mettre en place des mesures nécessaires.

Accessible : les objectifs que l’on se fixe dans le cadre du projet doivent pouvoir être accessibles et avoir la certitude que l’on est capable de les mesurer à bien quelles que soient les difficultés qui surviendront.

Réaliste : rester le plus réaliste possible afin de ne pas avoir à douter ne serait-ce qu’un instant, du fait que le projet soit réalisable.

Temporel : le projet doit être limité dans le temps afin d’éviter qu’il ne s’enlise et ne crée des dépenses inutiles.

24

CHAPITRE 6 : PRÉPARATION, CONCEPTUALISATION, DIVULGATION DE RÉSULTATS

6.1. Préparation et conduite de l’évaluation

Dans le processus de planification et de pilotage d’un projet, l’une des principales fonctions de l’évaluation est de permettre de constater l’opportunité et l’adéquation du projet et de l’ensemble des activés par rapport aux besoins sociaux qui ont déterminé les objectifs du projet.

L’évaluation finale impliquera tout naturellement de confronter les résultats aux objectifs initiaux, mais également aux raisons (sociales, institutionnelles, personnelles) qui ont motivé le projet, de sorte à tirer les conclusions qui s’imposent (la réalité sociale a changé les problèmes persistent et le projet doit être poursuivi, la motivation s’est renforcée…). C’est le résultat de cette analyse qui va déterminer les suites du projet (leur nature, leur forme, leur ampleur…). La planification d’une évaluation peut suivre le processus suivant.

6.1.1. Préparer et établir les objectifs de l’évaluation

Préparer une évaluation consiste tout d’abord à fixer le but et l’objet. Pourquoi l’évaluation est – elle nécessaire ? qui en a besoin ? qui devrait y prendre part ?

6.1.2. Concevoir

Après avoir défini clairement le but de l’évaluation, il faut en préciser les objectifs à savoir ce qui va être évalué (l’utilisation des ressources, des méthodes éducatives, les résultats, l’impact). Les objectifs déterminent les indicateurs ou les critères (qualitatifs, quantitatifs) et le moment de l’évaluation.

6.1.3. Collecter les données

Collecter les données consiste à chercher des (informations) nécessaires qui ont nourri l’exécution du projet. Combien de personnes ont participé au projet ? qu’ont - elles fait après ? les critères et les objectifs déterminent la ou les sources indispensables à la collecte des données (sources de données).

6.2. Interpréter les données

Que signifient les données dont on dispose ? l’interprétation comme les étapes qui suivent, met en lumière l’un des défis majeurs de l’évaluation : l’objectivité.

Il y a plusieurs façons d’interpréter la réalité et les individus peuvent influencer sur l’évaluation du fait de leur propres intérêts et préoccupations. En conséquence, il est essentiel de prendre la nécessité de l’objectivité.

L’interprétation peut être facilitée (et indiquer le chemin vers la conclusion) par la comparaison des informations avec d’autres expériences de même nature.

6.3. Évaluer le coût

La charge financière nécessaire à une évaluation ne peut pas être déterminée d’une façon précise, car elle dépend de la complexité du projet. L’expérience montre toutefois qu’elle est souvent sous-estimée.

25

6.4. Rédiger les rapports et prévoir les moyens de dissémination

6.4.1. Le rapport

Dans l’idéal, les résultats de l’évaluation sont intégrés dans un compte rendu général (rapport final) qui permet une appréciation globale du projet et une meilleure appréhension des activités, de la réalisation ou non des objectifs et du déroulement global du projet.

Les bons rapports se distinguent de par leur manière de présenter les données de façon claire, factuelle et compréhensible. Les opinions seront donc présentées séparément des faits. Les changements dans l’organisation et dans la réalisation seront communiqués et des recommandations ciblées seront formulées. Toutes les informations et les conclusions qui sont tirées sont d’une certaine façon dénuée de sens si l’on n’en fait rien. Sans le désir de changer et d’admettre les résultats obtenus, la fonction de l’évaluation en tant que vecteur de changement social disparait.

6.4.2. Recommandation

Une évaluation ne doit pas seulement être rétrospective ; elle doit aussi être tournée vers l’avenir. C’est pourquoi, il est utile de formuler des recommandations en s’appuyant sur les expériences faites. Vous en profiterez dans votre travail ultérieur et les autres personnes en organisation intéressées par le projet en bénéficieront-elles aussi.

6.4.3. Moyen de dissémination

Disséminer les résultats d’un travail (évaluation) c’est traduire les faits du travail en des termes très accessibles pour une diffusion à longue échelle. C’est une stratégie de communication pour attirer l’attention et impliquer différentes catégories de décideurs à la prise de décision. La dissémination des données peut aider les utilisateurs potentiels à :

- Comprendre l’état d’une situation problème ;- Prendre des décisions fondées sur des données de qualités ;- Apporter des modifications aux projets existants :- Prendre d’autres mesures pour améliorer les résultats.

La présentation peut se faire :

- Sur des documents imprimés (rapports, affiches, fiches techniques, rapport de presse….) ;

- Présentation Power Point ;- CD-Rom ;- Vidéos

D’une façon générale, une évaluation des coûts implique :

- Dans la phase de conception de projet la planification de l’évaluation, l’introduction à leurs tâches des personnes compétentes ;

- Durant le déroulement du projet la collecte des données nécessaires, la préparation des évaluations intermédiaires ;

26

- À la fin du projet, une évaluation finale générale et la rédaction d’un rapport final comprend les résultats.

NB : il n’est pas possible d’estimer le coût d’une évaluation, car la dépense varie en fonction de la taille du projet. Pour les projets assez simples, la dépenses est importante que pour les projets prévoyants différentes étapes. On estime généralement le coût de l’évaluation à environ 10% du coût global du projet.

Glossaire de quelques termes de suivi et d’évaluation

Ce glossaire n’est pas exhaustif :

Glossaire de quelques termes de suivi et de l’évaluation

Ce glossaire n’est pas exhaustif

Activités

Dans la hiérarchie des objectifs du suivi et de l’évaluation, ce terme se réfère à l’ensemble des tâches à réaliser afin de parvenir à un produit.

Adéquation

C’est la mesure dans laquelle une intervention est adaptée aux besoins et au contexte locaux et vient compléter les interventions d’autres acteurs. Elle comprend le degré auquel l’intervention prend en compte le contexte économique, social, politique et environnemental, fournissant l’appropriation, la redevabilité et l’efficacité par rapport aux coûts.

Analyse des risques

C’est une analyse ou une appréciation de facteurs (appelés hypothèse dans le cadre logique) qui contribuent ou pourraient contribuer à la réalisation des objectifs d’une intervention. C’est aussi un examen détaillé des conséquences non voulues et négatives qu’une action de développement pourrait avoir sur la vie humaine, la santé, la propriété ou l’environnement (OCDE/CAD2002).

Apports (ressources)

Les apports sont des ressources financières, humaines et naturelles nécessaires pour mener à bien les activités.

Appropriation préalable

C’est une appréciation globale de la pertinence, de la faisabilité et de la durabilité probable d’une action de développement avant que la décision de financement ne soit prise (CAD/OCDE 2002)

Attribution

27

La part d’un changement observé ou mesuré qui peut être créditée (attribuée) à une intervention spécifique par rapport à d’autres facteurs (ou causes).

Audit

C’est une analyse qui vise à vérifier la conformité avec les règles, règlements, procédures ou mandats établis. Un audit diffère d’une évaluation en ce sens qu’il met l’accent sur le contrôle et la conformité aux exigences plutôt que sur un jugement de valeur.

Appréciation

Terme large qui peut englober les appréciations initiales, les évaluations, les examens… De façon plus spécifique, c’est la collecte, l’examen et l’utilisation systématique de l’information relative aux projets/programmes aux fins d’améliorer l’apprentissage et la mise en œuvre.

Bénéficiaires directs

Ce sont les bénéficiaires dénombrables recevant des services d’un fournisseur au point de livraison.

Bénéficiaires indirects

Ce sont les bénéficiaires qui ne peuvent pas être directement dénombrés parce qu’ils reçoivent des services en dehors du point de livraison et de quelqu’un d’autre que le fournisseur de services.

Bénéficiaires

Ce sont les individus, groupes ou communautés qui bénéficient d’une intervention (projet/programme), directement ou non, intentionnellement ou non (CAD/OCDE 2002).

Biais

Des biais se produisent lorsque l’expérience, les perceptions et les hypothèses de l’analyste, ou les outils et les approches utilisés pour la mesure et l’analyse interfèrent avec l’exactitude et la précision d’une mesure. Le biais de sélection découle d’une mauvaise sélection de l’échantillon de la population à mesurer/étudier, et se produit lorsque les personnes, le lien ou la période choisis ne sont pas représentatifs de l’ensemble de la population ou de la situation à l’étude. Le biais de mesure découle d’une mauvaise mesure des données imputable soit à une défaillance de l’instrument de mesure, soit à la personne chargée de la collecte de données. Le biais d’analyse découle d’une mauvaise analyse des données collectées.

Cadre de l’échantillon

28

Liste de tous les membres de la population à partir de laquelle un échantillon doit être sélectionné. Par exemple, les communautés ou catégorie de personnes : femmes, enfants, refugiés, etc.)

Cadre logique

Tableau (matrice) résumant la conception opérationnelle d’un projet/programme, y compris l’enchaînement logique des objectifs à réaliser ou à atteindre, les résultats attendus du projet/programme (activités, produits, réalisations et finalités), les indicateurs et les moyens de vérification à utiliser pour mesurer ces objectifs, ainsi que toutes les hypothèses clés.

Cible (norme)

Lorsqu’elle est utilisée dans le suivi des indicateurs, une cible est le niveau envisagé (quantitativement) pour considérer que l’indicateur est atteint.

Coûts imprévus

Il s’agit des coûts non prévus qui peuvent survenir lors de la mise en œuvre du projet/programme.

Couverture

Mesure dans laquelle des groupes de population soit inclus soit exclus d’une intervention, et l’impact différentiel sur ces groupes.

Croisements

Mesure la force d’association entre deux catégories de facteurs. Mesure comment la fréquence de survenance d’un facteur est lié à l’autre.

Données

Faits ou chiffres desquels vous pouvez tirer des conclusions.

Données primaires

Données recueillies directement par l’équipe du projet/programme ou qu’il a été spécifiquement demandé de collecter pour le projet/programme.

Données et méthodes qualitatives

Les méthodes qualitatives analysent et expliquent ce qui est étudié avec des mots (rapports d’observations, descriptions de cas représentatifs, perceptions, jugements de valeur, etc.). Elles utilisent des techniques semi-structurées (par exemple, les observations, les entretiens) pour permettre une compréhension en profondeur des attitudes, des croyances, des motivations et des comportements. Elles sont généralement plus participatives et reflètent mieux la réalité.

Données et méthodes quantitatives

Les méthodes quantitatives mesurent et expliquent ce qui est étudié avec des chiffres (par exemple, les comptes, les coefficients, les pourcentages, les proportions, les scores moyens, etc.). Les méthodes quantitatives utilisent généralement les approches structurées (par exemple, les réponses codées aux

29

enquêtes) qui fournissent des données précises pourront être analysées du point de vue statistique et reproduites (répliquées) aux fins de comparaison.

Données secondaires

Données qui ne sont pas collectées directement pour et par le projet/programme, mais qui peuvent néanmoins répondre à ses besoins en informations.

Durabilité (viabilité)

La mesure dans laquelle les apports d’une intervention sont susceptibles de se pérénniser.

Échantillon

Un sous-ensemble d’une population entière, sélectionné pour être étudié et pour tirer des conclusions sur la population dans son ensemble. L’échantillonnage est le processus de sélection d’un échantillon. C’est un aspect essentiel de l’organisation de la collecte de données primaires. Les échantillons aléatoires (probabilités) sont déterminés de manière quantitative et permettent sur la base des statistiques, de réaliser des généralisations plus précises sur l’ensemble de la population. Les échantillons par choix raisonné (non aléatoire) sont composés de manière qualitative et ne font pas appel aux statistiques ; ils comprennent généralement des échantillons ciblés, plus petits, de la population, mais sont insuffisamment fiables du point de vue statistique pour permettre des généralisations sur l’ensemble de la population.

Efficacité

Mesure dans laquelle une intervention a atteint, ou est susceptible d’atteindre les résultats immédiats escomptés.

Efficience

Mesure dans laquelle les résultats ont été obtenus de la manière la moins coûteuse possible. C’est aussi la mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en résultats de façon économe (OCDE/CAD 2002).

Ensemble des personnes couvertes

Personnes qui sont ciblées par un programme dont les avantages ne sont pas immédiats, mais dont elles peuvent bénéficier si un évènement indésirable se produit (par exemple, système d’alerte précoce).

Évaluation

Une appréciation qui vise à identifier les effets de ce qui a été réalisé, qui s’interroge à leur sujet et en estime la valeur. « Une appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou terminé, de sa conception, de sa mise en œuvre et de ses résultats. Le but est de déterminer la pertinence et l’accomplissement des objectifs, l’efficience en matière de développement, l’efficacité, l’impact et la durabilité. Une évaluation devrait fournir des informations crédibles et utiles permettant d’intégrer des leçons de l’expérience dans le processus de décision des bénéficiaires et des bailleurs de fonds » (OCDE/CAD 2002)

Évaluation à mi-parcours

30

Évaluation formative conduite au milieu de la phase de mise en œuvre de l’action.

Évaluation conjointe

Menée généralement en collaboration par au moins deux partenaires engagés dans la mise en œuvre, l’évaluation conjointe a l’avantage de fournir le consensus à différents niveaux, la crédibilité et un soutien conjoint.

Évaluation en temps réel

Menée pendant la mise en œuvre du projet/programme, en général lors d’une opération d’urgence l’ETIR assure une remontée d’information permettant d’apporter des améliorations à la mise en œuvre.

Évaluation ex-post

C’est une évaluation menée quelque temps après la mise en œuvre pour estimer l’impact et la durabilité à long terme.

Évaluation externe ou indépendante

Elle est menée par des évaluateurs qui ne font pas partir de l’équipe de mise en œuvre du projet/programme et apportant ainsi un certain degré d’objectivité et, bien souvent, un savoir-faire technique.

Évaluation finale

Évaluation récapitulative (et souvent externe) menée au terme de la mise en œuvre du projet/programme pour évaluer la mesure dans laquelle les objectifs prévus du projet/programme ont été atteints.

Évaluation formative

Elle est menée au cours de la mise en œuvre du projet/programme pour améliorer la performance et vérifier la conformité aux règles.

Évaluation d’impact

Elle est axée sur l’effet plutôt que sur la gestion et la mise en œuvre d’un projet/programme. De ce fait, elle est généralement réalisée après l’achèvement du projet/programme, dans le cadre d’une évaluation finale ou/et d’une évaluation ex-post.

Évaluation interne ou auto-évaluation

Réalisée par les responsables de la mise en œuvre d’un projet/programme, elle est en général plus participative et aide le personnel du projet/programme à s’approprier et à comprendre le projet/programme.

Évaluation par secteur/groupe sectoriel (cluster)

Elle met l’accent sur un ensemble d’activités, de projets ou de programmes connexes généralement menés dans des lieux différents et mis en œuvre par plusieurs organisations (par exemple, les Sociétés Nationales, les Nations Unies, des ONG).

Évaluation participative

31

Elle est menée avec les bénéficiaires et d’autres parties prenantes clés. Elle peut contribuer à la rendre plus autonomes, à renforcer leurs capacités, ainsi qu’à les aider à s’approprier et à soutenir le projet/programme.

Évaluation sommative

Elle est menée à la fin de la mise en œuvre du projet/programme afin d’en évaluer l’efficacité et l’impact.

Évaluation thématique

Elle se concentre sur un seul thème comme la problématique du genre, et porte sur différents projets/programmes ou sur l’ensemble de l’organisation.

Exactitude

Les données collectées sont exactes lorsqu’elles mesurent ce qu’elles sont censées mesurer.

Examen

C’est une opportunité structurée de mener une réflexion pour mettre en évidence les principaux problèmes et préoccupations, et prendre des décisions éclairées en vue d’une mise en œuvre efficace du projet/programme.

Finalité

La finalité est le résultat à long terme qu’une intervention vise à atteindre. Par exemple, un programme institutionnel peut avoir comme finalité, celle d’améliorer la santé dans une communauté, parmi d’autres programmes comme un programme de prévention du paludisme qui y contribue également.

Fréquence

Nombre de circonstances ou d’occasions.

Généralisable

Les résultats sont dits généralisables lorsqu’ils peuvent être considérés comme justes par toute la population ciblée, et pas seulement pour l’échantillon de population étudiée.

Gestion axée sur les résultats (GAR)

C’est une approche de la gestion de projets/programmes fondée sur des résultats clairement définis, ainsi que les méthodologies et les outils à utiliser pour obtenir ces résultats et les mesurer.

Gestion de données

Elle fait référence aux processus et aux systèmes grâce auxquels un projet/programme stocke et gère les données du suivi et de l’évaluation de manière systématique et fiable, et y accède.

Groupe cible/population

32

Individus ou organisations spécifiques au profit desquels une intervention (projet/programme) est entreprise.

Hypothèse

Une hypothèse est une condition qui doit être remplie pour que les objectifs puissent être atteints. L’hypothèse décrit les risques qui devraient être évités en les reformulant sous forme de conditions positives qui doivent être recherchées. Par exemple, le risque : « la situation politique en matière s’aggrave », peut être reformulé sous forme d’une hypothèse : « la situation politique en matière de sécurité devient stable ». L’hypothèse traite des dangers possibles mais incertains, elle doit faire l’objet d’une identification préalable et d’un suivi.

Impact

Effets à long terme, positifs ou négatifs, primaires et secondaires, induits par une action de développement directement ou non, intentionnellement ou non (OCDE/CAD 2002).

Indicateur

Signal qui révèle les progrès réalisés (ou non) vers l’atteinte des objectifs ; c’est aussi un moyen de mesurer ce qui se produit effectivement par rapport à ce qui a été planifié en termes de quantité, de qualité et d’actualité des données.

Informations

Ce sont des données qui ont été enregistrées, classifiées, reliées ou interprétées dans un cadre (comme celui d’un projet) afin d’en faire ressortir une signification.

Intervenants

Personnes ou organismes qui ont un intérêt dans un projet ou un programme. Il peut s’agir entre autres de personnes ou organismes qui prennent des décisions, participent au projet ou qui sont touchés par les activités du projet/ou du programme.

Mandat (terme de référence)

Document écrit présentant le but et le champ de l’évaluation, les méthodes à utiliser les références permettant d’apprécier les performances ou de conduire les analyses, les ressources et le temps nécessaires, ainsi que les conditions de présentation des résultats (CAD/OCDE 2002).

Méta-évaluation

Elle est menée pour évaluer le processus même de l’évaluation. Elle peut prendre l’une ou plusieurs des formes suivantes :

- inventaire des évaluations réalisées pour aider au choix des évaluations futures ;

- synthèse des résultats des évaluations passées ;- vérification de la conformité avec les bonnes pratiques en matière

d’évaluation ;- analyse la façon dont les évaluations sont diffusées et utilisées pour

l’apprentissage organisationnel et le changement.

33

Objectif

L’objectif se réfère aux termes utilisés pour résumer les résultats clés qu’un projet/programme cherche à atteindre : apports (ressources), activités, produits, réalisation et finalité.

Outil d’évaluation

Instrument ou mécanisme qui fournit des données sur la quantité ou la qualité du projet évalué. On peut également l’appeler une mesure.

Partie prenante

Une personne ou un groupe de personnes ayant un rôle ou un intérêt direct ou indirect dans les objectifs et la mise en œuvre d’une intervention (projet/programme et/ou son évaluation).

Personnes atteintes

Ce sont les bénéficiaires directs ou indirects et personnes couvertes par les autorités du projet/programme.

Pertinence

La mesure dans laquelle une intervention est adaptée aux priorités des parties prenantes (par exemple, la population locale et les donateurs). Elle étudie aussi les autres approches qui auraient pu être plus adaptées pour répondre aux besoins identifiés.

Plan de suivi et d’évaluation

Un tableau qui s’appuie sur le cadre logique d’un projet/programme pour détailler les principales exigences en ce qui concerne le suivi et l’évaluation de chaque indicateur et hypothèse. Les principales informations détaillant la façon de mesurer les indicateurs clés sont résumées dans le tableau : définition détaillée des données, sources, méthodes et calendrier de la collecte, personnes responsables et public ciblé et utilisation des données.

Point de référence finale

Une mesure effectuée au terme d’un projet/programme (généralement dans le cadre de l’évaluation finale) pour faire des comparaisons avec la situation initiale et mesurer le changement.

Point de référence initiale

C’est un point de référence avant le lancement d’une intervention et par rapport auquel il sera possible de mesurer les progrès réalisés ou de faire des comparaisons. C’est une analyse ou une étude décrivant la situation initiale (via les indicateurs appropriés) avant le lancement d’un projet/programme, afin de pouvoir faire des comparaisons à une date ultérieure.

Précision

La mesure des données collectées est précise lorsqu’elle peut ^tre fidèlement répétée avec précision et constance dans le temps et par différentes personnes.

Produit (extrant)

34

Les extrants sont des produits des activités, biens et services produits ou autres résultats immédiats qui mènent à l’accomplissement des réalisations.

Programme

Un ensemble de projets coordonnés mis en œuvre pour réaliser des objectifs spécifiques dans les délais et selon les paramètres de coût et de performance définis à l’avance. Les projets visant à atteindre une finalité commune forment un programme.

Questions d’évaluation

Questions clés auxquelles vous devez répondre pour mener à bien une partie du projet ou atteindre un objectif. C’est en posant et en répondant aux bonnes questions qu’une évaluation de projet sera utile.

Rapport (établissement de)

Processus consistant à fournir des données analysées sous forme d’information pouvant être utilisées par les principales parties prenantes, par exemple, pour améliorer la gestion du projet/programme, rendre compte aux donateurs, mener des activités de sensibilisation. Les rapports à usage interne sont élaborés pour améliorer la mise en œuvre du projet/programme. Ils jouent un rôle crucial dans l’apprentissage et facilitent la prise de décision et, en dernière analyse, sont utiles pour définir ce qui peut être communiqué à l’extérieur. Les rapports à usage externe sont élaborés pour informer les parties prenantes, hors de l’équipe du projet/programme et de l’organisation de mise en œuvre. Ils constituent un élément important de la redevabilité.

Réalisation

Les réalisations font référence aux résultats primaires qui mènent à la réalisation de la finalité (le plus souvent en termes de connaissances d’attitudes ou de pratiques du groupe cible).

Référence

Un point ou norme de référence auquel le progrès ou les réalisations peuvent être comparés.

Redevabilité (responsabilité de rendre compte)

Obligation de démontrer aux parties prenantes la mesure dans laquelle les résultats ont été obtenus selon les plans établis. Volonté de formuler des normes explicites, de faire preuve de transparence dans les processus de suivi et de compte-rendu et dans la circulation des informations, de favoriser la participation véritable des bénéficiaires, d’utiliser les ressources de manière efficace et rationnelle, de mettre en place des systèmes pour tirer des enseignements et répondre aux préoccupations et réclamations.

Responsabilité

35

C’est la capacité de rendre des comptes pour des plans, des promesses. Être responsable c’est répondre de ses actes et les expliquer.

Résultats

Impacts ou changements pouvant être attribués aux activités du projet (par exemple, les changements dans les connaissances des participants, changement dans les conditions et les services de l’organisme). Les résultats sont habituellement progressifs et donc difficiles à observer ou à mesurer.

Source

L’origine (à savoir des personnes ou des documents) d’informations collectées pour le suivi et l’évaluation.

Suivi

Action continue selon laquelle les directeurs et autres intervenants du projet reçoivent de l’information sur la progression du projet. Elle permet de s’assurer que les activités qui doivent se faire le sont effectivement et que les procédures sont mises en place comme prévu. Il permet d’identifier les tendances et les schémas qui se dessinent, d’adapter les stratégies et de guider la prise de décisions relatives à la gestion du projet/programme.

Suivi de la conformité

Vérifie la conformité avec les règlements des donateurs et les résultats attendus, les conditions requises dans les contrats et pour les subventions, les lois et les règlementations locales, les normes et éthiques.

Suivi des bénéficiaires

Vérifie la perception que les bénéficiaires ont du projet/programme. Il comprend la satisfaction ou les réclamations des bénéficiaires par rapport au projet/programme, à propos notamment de leur participation, de façon dont ils ont été traité, de l’accès aux ressources et de leur perception globale de ce qui a changé.

Suivi des résultats

Suit les effets et les impacts, relève tout progrès vers la réalisation des résultats escomptés (objectifs) ainsi que tout impact non prévu (positif ou négatif).

Suivi du contexte (de la situation)

Surveille l’environnement dans lequel le projet/programme évalue, en particulier son influence sur les risques identifiés et les hypothèses mais aussi d’éventuels évènements inattendus. Ce suivi porte sur le champ de l’intervention, mais aussi, plus largement, sur le contexte politique, institutionnel et financier influent sur le projet/programme.

Suivi du processus (des activités)

Vérifie l’utilisation des apports et des ressources, le progrès des activités et la réalisation des produits. Il examine comment les activités sont exécutées, l’efficience en termes de temps et de ressources.

Suivi financier

36

Vérifie et garantit les comptes par rapport et par activité dans des catégories de dépenses prédéfinis.

Suivi organisationnel

Examine la viabilité, le développement et le renforcement des capacités dans le cadre du projet/programme et au niveau de ses partenaires.

Sujet évalué

Ce qui fait l’objet de l’évaluation. Il peut s’agir d’un programme, d’un projet, d’un personnel, de produits, de politiques, de propositions, de procédures.

Tableau de suivi des indicateurs (TSI)

Un outil de gestion de données qui permet d’enregistrer et de suivre la performance des indicateurs (objectifs, performance réalisée et pourcentage de l’objectif atteint) et ainsi d’orienter la mise en œuvre et la gestion du projet/programme.

Triangulation

La triangulation est le processus constant à utiliser différentes sources et/ou pour la collecte de données. Associer différentes sources et méthodes (méthodes mixtes) permet de croiser les données et de réduire les biais afin de mieux garantir que les données soient valides, fiables et complètes.

Validité

Dans la méthodologie de l’évaluation, les stratégies et les instruments de collecte de données sont valides lorsqu’ils mesurent ce qu’ils ont l’intention de mesurer. La validité interne se réfère à la capacité des données de bien refléter la réalité du programme, tandis que la validité externe porte sur la capacité des résultats d’une étude à être généralisés à d’autres groupes, contexte, traitements et réalisations.

Volontariat

Activité motivée par le libre arbitre de la personne qui la pratique et non par un désir matériel, ou la promesse d’un gain financier, ou d’une pression sociale, économique ou politique externe, menée en faveur des personnes vulnérables et de leurs communautés en conformité avec les principes fondamentaux de la Croix-Rouge et du Croissant –Rouge, et organisée par des représentants reconnus d’une société nationale de la Croix-Rouge et du Croissant-Rouge.

Volontaires

Personnes qui ont offert au moins quatre heures de leur temps à la Croix-Rouge et au Croissant-Rouge durant la période annuelle considérée.

Variance (écart)

Lorsqu’elle est utilisée pour mesurer la performance des indicateurs, la variance est la différence entre les cibles définies et les résultats réels de l’indicateur. Le pourcentage de l’objectif atteint (réel par rapport à la cible). Par exemple, si dix communautés doivent mener une évaluation, mais que seules cinq le font effectivement, la variance sera de 50% (5 communautés/10 communautés = 50%).

37

ANNEXES

ANNEXE 1

Exemples de questions d’évaluation.

Indiquer à quels types de suivi et évaluation s’adressent ces questions ?

EX 1

- les activités sont-elles effectuées tel que planifié ?- le projet touche-t-il la population ciblée ?- à quel point les participants sont-ils satisfaits de leur intervention dans le

projet ?- comment les activités prévues peuvent-elles être modifiées pour mieux

fonctionner ?- quels enseignements peut-on tirer de la façon dont se déroule le projet ?

EX 2- le projet touche-t-il le nombre de participants visé ?- le projet procure-t-il les services prévus ?- les activités mènent-elles aux produits attendus ?- y-a-t-il des produits inattendus ?

EX 3

- les participants ont-ils eu des changements dans leurs compétences, leurs connaissances, leurs attitudes ou leurs comportements ?

- à quels changements s’attend-t-on ?- quels sont les effets du projet sur l’organisme (par exemple, la fierté de

l’organisme, un meilleur réseautage et de meilleurs partenariats…) ?- le projet a-t-il répondu aux besoins pour lesquels il a été créé ? Les besoins

existent-ils toujours ?- d’autres besoins apparentés sont-ils ressortis mais dont il n’a pas été tenu

compte dans le projet ?

38

- a-t-on vu des changements à la suite du projet ? Les changements sont-ils positifs ?

- quels pourraient être les effets à plus long terme de ces travaux ?

EX 4

- qu’est-ce-qui auraient pu être fait différemment pour que le projet puisse être réalisé de manière efficace ?

- quels changements importants devraient être apportés au projet pour mieux réaliser ses objectifs ?

- quels sont les enseignements tirés pour l’avenir ?- quels résultats faut-il envisager si une organisation veut répéter ce projet ou

en entreprendre un autre semblable ?

Selon les outils d’évaluation utilisés on peut recueillir les données quantitatives ou qualitatives.

ANNEXES 2

Dans quels types d’indicateurs s’inscrivent les indicateurs suivants

Taux de réponse à une annonce, un avis… ; nombre de visites au site web du projet ; nombre de demandes de renseignements ; niveau de satisfaction ou d’engagement des participants (par exemple sur une

échelle de 1 à 4) fréquence de communications ; nombre de ressources utilisées ; pourcentage d’utilisation des différents services ; âge ou niveau de scolarité moyen des répondants à une annonce ; notes ou classement de tests de reconnaissance. Types de réponses à une annonce, un avis… ; types de demandes de renseignements ; rétroaction sur l’efficacité des services, les bienfaits d’un programme,

l’intégralité de la documentation… ; changements observables dans les attitudes, les comportements, les

compétences, les connaissances, les habitudes ; types de communications ; types de problèmes, plaintes à propos des services, des programmes ; types de ressources utilisées ; perception des programmes, des services, du projet par les participants… Nombre d’ateliers tenus ; une foire du bénévolat tenue, nombre de bénévoles formés ; nombre d’organismes de bienfaisance mobilisés ; un site web ouvert ; boîtes à outils de formation ou d’atelier.

39

ANNEXES 3

Grille d’évaluation

La grille d’évaluation permet de définir les méthodes d’évaluation, les responsabilités, le temps de réalisation des objectifs de projet, les indicateurs et les questions de l’évaluation.

1- Situation initiale- Brève description du projet : décrit les aspects fondamentaux du projet.- Objectif du projet : reprend les activités du projet.- Activités du projet : reprend les activités du projet.

2- But de l’évaluation- Objectif de l’évaluation : pourquoi faut-il évaluer le projet ? quelles partie faut-il

évaluer ? quels sont les aspects à creuser ?- Questions de l’évaluation : à quelles questions doit répondre l’évaluations ? le

but de l’évaluation est-il atteint en répondant à ces questions ?

3- Planification et méthodes - Type d’évaluation : s’agit-il d’une évaluation interne ou externe ?- Calendrier : quelles sont les phases et les délais de l’évaluation ?- Méthodes d’analyse : les données seront-elles collectées ? comment sont

discutées les données, des statistiques sont-elles élaborées ?- Activités de l’évaluation : est-ce que des activités spécifiques sont prévues pour

l’évaluation ?

4- Organisation

Responsabilité et fonction

- Qui est responsable de l’évaluation ?- Qui participe, et à quelle fonction ?

5- Budget

40

- Budget du projet et de l’évaluation : l’évaluation a-t-elle été prévue dans le budget.