Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Decentralized evaluation for evidence-based decision makingWFP Office of Evaluation
Système d’Assurance Qualité des Evaluations Décentralisées
Liste de Vérification pour un Rapport de Démarrage de évaluation Décentralisée
Version Juin 2018
[titre de la ’évaluation décentralisée]Général
Général Commentaire/Statut
Longueur: Le rapport n’excède pas 20 pages (hors Annexes) Accessibilité Ecrit de façon claire et accessible Le rapport clarifie et s’appuie sur les Termes de
Référence, élargissant sa base de données et son analyse
Le rapport fournit un plan opérationnel clair pour la façon dont l’équipe mènera l’ évaluation décentralisée
Le rapport reflète une compréhension commune entre l’équipe d’ évaluation et le Responsable d’ évaluation sur les attentes et les standards
Le rapport démontre la prise en main du processus par
l’équipe d’ évaluation.
Vérification
Le format et les modèles ont été suivis Le sommaire est inclus et liste les tableaux, les
graphiques, les chiffres et les annexes Les tableaux et diagrammes sont utilisés si nécessaire Une liste des acronymes est incluse.
Page de Couverture
Utilise le Modèle pour la page de couverture Le titre de l’évaluation décentralisée est identique à
celui dans le TDR La date et le statut du rapport (ébauche/final) sont
indiqués sur la page de couverture
1. IntroductionGénéral: Les informations importantes sur l’évaluation et le sujet sont incluses en 1-2 pages.
Contenu Attendu Critères de revue Commentaire/statut
Objectifs principaux de la évaluation clairement décrits (responsabilité et apprentissage)
But du Rapport de Démarrage clairement décrit
Utilisateurs ciblés du Rapport de Démarrage clairement décrits
L’introduction prépare clairement le terrain pour la revue, y compris son sujet, calendrier et objectifs
But du Rapport de Démarrage clairement décrit, et utilisateurs ciblés spécifiés
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 2 | 15
2. Contexte Général: Vue d’ensemble du contexte alentour qui est directement pertinent pour l’évaluation, préparant le terrain pour l’évaluation, en 3-4 pages.
Contenu Attendu Critères de revue Commentaire/statut
Vue d’ensemble du contexte géographique qui est directement pertinent pour l’ évaluation, y compris :
La pauvreté, le manque de nourriture
Les politiques et priorités des gouvernements, y compris les lacunes dans les politiques
Les données et tendances clés liées aux ODDs 2 / ODDs 17 dans le contexte (région, pays au niveau sous-national/local).
La situation humanitaire La situation
sexospécifique dans le contexte de la sécurité alimentaire, de la situation nutritionnelle, de l’architecture dans le pays et les indicateurs
Les informations contextuelles sont ciblées et concises
Les informations sont pertinentes et nécessaires pour comprendre les implications pour le sujet d’ évaluation
Les informations sont explicitement tournées vers le sujet d’ évaluation, plutôt que présentées de façon générique.
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 3 | 15
Aide internationale dans la région
Les évènements extérieurs importants
Autre travail du PAM Le travail d’autres
organisations
3. Sujet de l’ évaluation
Général: Description exhaustive du sujet d’ évaluation en 1-2 pages.
Contenu Attendu Critères de revue Commentaire/statut
Les caractéristiques principales de l’ évaluation devraient être incluses :
Le type d’intervention (opération, activité, champ thématique, modalités de transfert, projet pilote)
Zone géographique du sujet d’évaluation
Dates pertinentes : date d’approbation ; date de début ; date de fin
Les produits visés par rapport à ceux réalisés :
o Nombre de bénéficiaires (prévu et effective) désagrégé par sexe/âge/ année et activité/s.
o Montant des transferts (planifié et effective) des
Les informations sont pertinentes et importantes pour la compréhension du sujet de l’ évaluation
o Ce que c’est o Quand il a été
conçu o Quels sont les
contributions importantes (valeur en $)
o Quels sont les produits prévus et effectives? (bénéficiaires, MT, liquide et coupons en $)
o Quelle est la cible/ quel est le champ ?
o Quels sont les résultats prévus et
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 4 | 15
produits alimentaires, des espèces ou des bons distribués, désagrégé par année et par activité/s
o Tout autre produit Résultats prévus lors de la
conception et resultats effectives
Activités principales Partenaires principaux
(Gouvernement; ONG; Bilatéral; Multilatéral)
Ressources (% financé des exigences totales) et donateurs clés, si le sujet est financé à partir de fonds mis en commun ou est un composant/une activité d’une opération, montrez les ressources allouées au sujet de l’ évaluation
Revue du Cadre de Travail Logique ou outil similaire de la perspective de l’ évaluation
Autres activités/interventions/opérations précédentes/se déroulant en même temps
Tout amendement à la conception d’origine
Les questions d’égalité des sexes et d’émancipation des femmes pertinentes au sujet d’ évaluation et au contexte
Revue pour savoir si les
effectives? o Qui est impliqué
dans sa mise en oeuvre ?
Revue de la solidité du cadre de travail logique. Si reconstruit, il a été discuté et agréé avec la personne qui a commandé l’évaluation.
Souligne les questions pertinentes provenant d’ évaluations et études passées qui concernent l’ évaluation
Les dimensions sexospécifiques sont expliquées
Les différences entre conception d’origine et mise en oeuvre sont expliquées si nécessaire
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 5 | 15
analyses sexospécifiques ont été entreprises et si cette analyse a été correctement intégrée dans la conception du programme
Inclure des références aux: Évaluations passées/études
liées au sujet Cartes/graphiques pour
illustrer.
4. Analyse des Participants Général: Cartographie exhaustive des participants, y compris leurs intérêts et leur implication et besoins pertinents à l’ évaluation, en 1-2 pages.
Contenu Attendu Critères de revue Commentaire/statut
En s’appuyant sur la section du TDR liée, l’analyse des participants devrait identifier : o Qui sont les différents
groupes impliqués dans le sujet d’ évaluation (y compris les bénéficiaires)
o Pourquoi ils ont un enjeu lié au sujet d’ évaluation ‘et à l’ évaluation elle-
Tous les participants concernés ont été identifiés
Une analyse pertinente de qui devrait être impliqué dans l’ évaluation est incluse, ainsi que les intérêts respectifs des différents groupes de participants
Les outils analytiques pertinents sont appliqués
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 6 | 15
même o Comment ils seront
impliqués dans le processus d’ évaluation
Les considérations concernant les perspectives des bénéficiaires sont incluses
L’analyse des bénéficiaires est divisée par genre
L’analyse des participants est en conformité avec la méthodologie proposée et la matrice d’ évaluation
5. Approche et Méthodologie de l’ évaluation
Général: La méthodologie et les méthodes spécifiques présentent une approche exhaustive et systématique qui suffit à donner confiance en la crédibilité de l’ évaluation, ainsi qu’en son indépendance et son impartialité, en 3-4 pages.
Contenu Attendu Critères de revue Commentaire/statut
5.1 Approche proposée et Méthodologie Explication et
justification des critères de sélection sélectionnés,
Inclusion des
L’approche méthodologique est cohérente, logique, et en conformité avec le TDR L’approche
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 7 | 15
questions d’ évaluation devant être abordées
Description complète de l’approche méthodologique, y compris une approche de méthodes mixtes
Description claire de la matrice d’ évaluation et de la façon dont elle sera utilisée
Description claire de la façon dont le genre sera abordé dans la méthodologie
Décrivez la disponibilité et la fiabilité des données désagrégées par sexe, y compris l'existence (ou les lacunes) des données relatives aux résultats sexospécifiques.
méthodologique est exhaustive et présente une approche systématique qui induit de la confiance en la crédibilité de l’ évaluation
L’approche mixte est spécifiée
La matrice d’ évaluation est présente : elle contient les éléments requis (voir « contenu attendu », ci-dessous) et est conforme aux critères de qualité standards ;
Les propositions pour intégrer les questions sexospécifiques dans la méthodologie sont suffisantes pour assurer une approche crédible et exhaustive
5.2 Cartographie du Site
Présentation de la couverture géographique de l’ évaluation
Explication de
Les outils cartographiques appropriés ont été utilisés pour présenter l’analyse si nécessaire
La cartographie du site
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 8 | 15
l’échantillonnage pour les zones à visiter sélectionnées (critères de sélection explicites)
Assurance de l’impartialité du processus de sélection
est lité à l’analyse de l’opération
Les considérations sexospécifiques sont expliquées
L’analyse renseigne la sélection de zones à visiter pendant la mission, selon une logique valable et une approche impartiale
5.3 Méthodes de collecte des données et outils
Description et justification des méthodes spécifiques devant être appliquées
Les méthodes choisies sont liées de façon explicite à la Matrice d’ évaluation et renseignées par l’analyse des participants
Il doit y avoir une considération particulière pour la façon dont les méthodes proposés aborderont les questions sexospécifiques
Les approches pour aborder toute lacune dans les données sont
Les méthodes de collecte de données devant être appliquées dans la évaluation sont justifiées et décrites de façon exhaustive, avec description des stratégies pour aborder les lacunes dans les données
Considération de la façon dont les méthodes de collecte des données aborderont les questions sexospécifiques
Considération de la façon dont les activités de collecte de données seront entreprises de façon à respecter les différences de genre
Présentation transparente des outils de collecte de données
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 9 | 15
identifiées au stage de Démarrage
Outils de collecte de données décrits et fournis (en Annexes)
Description de la stratégie d’échantillonnage
Explication des méthodes analytiques devant être appliquées, y compris la façon dont les données seront recoupées pour tirer des conclusions
La façon dont les données seront nettoyées, si nécessaire
Les méthodes d’échantillonnage sont fortes et impartiales
Il est probable que les propositions pour l’analyse, y compris les méthodes de triangulation (recoupement) arrivent à des conclusions crédibles
5.4 Limitations et risques Les limitations ou les
lacunes dans les données sont présentées
Indication de la façon dont l’équipe de évaluation atténuera les limitations
Les risques sont identifiés et des stratégies d’atténuations sont
Les risques sont identifiés correctement, et les stratégies d’atténuation sont réalistes
Les limitations anticipées dans la évaluation, par exemple à cause de la disponibilité des données, du calendrier de visites sur le terrain, ou des considérations de sécurité, sont clairement décrites, ainsi que la façon dont ces limitations seront
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 10 | 15
proposées atténuées.
5.5 S’assurer de la qualité
Description des processus d’assurance qualité pour s’assurer de l’impartialité, de l’indépendance, de la crédibilité et de l’utilité de la évaluation
Décrivez comment la phase de démarrage a pris en compte les questions d’éthique, et quels mécanismes de protection seront mis en place pendant l’évaluation.
Les processus pour s’assurer de l’utilité (par ex., plan de communication et d’apprentissage en place), de la crédibilité (méthodologie forte, processus clairs pour minimiser les prises de partie, c.à.d. l’impartialité) et indépendance (utilisation d’une équipe de évaluation externe) sont clairs et explicites
La façon don’t l’évaluation a pris en compte les questions d’éthique, et quels mécanismes de protection seront mis en place pendant l’évaluation
6. Organisation de la évaluation Général: Un plan organisationnel exhaustif qui donne confiance dans le fait que la revue peut être mise en oeuvre comme prévu, peut faire jusqu’à 6 pages.
Contenu Attendu Critères de revue Commentaire/statut
6.1 Composition de l’équipe et plan de travail
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 11 | 15
Description de l’expertise de chaque membre d’équipe en conformité avec les exigences du TdR (y compris expertise sexospécifique) et leurs rôles et responsabilités respectifs
Inclusion d’un plan de travail pour chaque membre de l’équipe en conformité avec les produits à délivrer si nécessaire
Processus prévus pour s’assurer du travail d’équipe et de la coordination
L’expertise de l’équipe correspond aux compétences requises dans le TdR (y compris le genre)
Il y a une complémentarité claire dans l’ensemble de compétences des membres de l’équipe
Une expertise sexospécifique est incluse
Les tâches devant être entreprises par chaque membre de l’équipe sont claires et en conformité avec les profils des conseilleurs
Il y a un plan clair pour s’assurer de la coordination et du travail d’équipe entre les membres de l’équipe
6.2 Calendrier
Présentation claire du calendrier, révisée le cas échéant, avec les produits à délivrer associés
Le calendrier (révisé) respecte le temps requis pour chaque phase de la évaluation
Le calendrier (révisé) a été agrée avec le Responsable de la évaluation
Les produits à délivrer associés, avec les dates spécifiques, sont inclus
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 12 | 15
6.3 Calendrier de la collecte de données de la mission
Calendrier de la mission de évaluation (par jours/membres d’équipe/locations/participants, etc.)
Le calendrier de la mission de évaluation fournit un outil pratique pour faciliter la planification du PAM
La liste des participants est conforme à l’analyse des participants
Un plan détaillé est présenté en annexe
6.4 Informations/Aide requise
Description de l’aide (logistique/opérationnelle) requises durant la évaluation
La liste d’aides requises est claire et a été agréé avec le Responsable de évaluation PAM
Annexes Commentaires Commentaires/Statut
Les annexes devraient appuyer et développer le texte dans le rapport principal. Y compris : Carte de
l’intervention/zone du projet
Matrice de évaluation
Outils de collecte de données
Calendrier de la Mission de évaluation
Une carte pertinente et mise à jour est incluses
Les annexes sont listées et numérotées
Les annexes sont référencées, là où c’est approprié dans le rapport
Les outils de collecte de données sont inclus
Tous les documents de travail ne sont pas inclus
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 13 | 15
Documents Réunis
Revue Qualité – Matrice de revue
Matrice de revue – Contenu Attendu
Critères de revue Commentaire/statut
La Matrice de revue devrait fournir une vue d’ensemble de la façon dont chacune des questions clés de l’évaluation, telles qu’elles sont identifiées dans les Termes de Référence, seront abordées. Cela devrait inclure : Une répartition des
questions principales en sous-questions
Un ensemble d’indicateurs pour mesurer la performance, faisant explicitement référence au modèle logique utilisé
Des repères possibles (y compris des standards de meilleure pratique, la revue de performance d’agences de
La matrice résume la méthodologie de l’ évaluation et aborde chacune des questions de revue dans les TdRs
Le nombre de sous-questions est adéquat pour que l’équipe de revue reste concentrée sur les réponses aux questions principales, et fasse une analyse en profondeur (c.à.d. pas trop nombreuses et pas trop peu)
Les sous-questions sont développées pour guider l’équipe de revue, mais ne sont pas aussi détaillées qu’un instrument d’étude ou un guide d’interview
Pour chaque question de revue, sous-questions, indicateurs de performance (en s’appuyant sur ceux dans le modèle logique ou le cadre logique), des repère possibles et des sources
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 14 | 15
référence, etc.) Liens vers les parties
pertinentes de la méthodologie qui contribueront à répondre aux sous-questions
Explication de la façon dont les observations seront triangulées (recoupées)
Les sources d’information (spécifier si des données secondaires seront utilisées et là où des données primaires sont nécessaires)
d’informations sont spécifiés La matrice démontre
clairement qu’une triangulation (recoupement) aura lieu
La matrice de revue est renseignée par l’analyse des participants
La matrice fait référence aux critères de revue pertinents (y compris pertinence, cohérence (interne et externe), couverture, efficience, efficacité, impact, durabilité, et exactitude) et aux standards (par ex., standards SPHERE)
I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 15 | 15