De la note Conceptuelle aux

réalités sur le terrain?

Défis et leçons tirées de la mise

en œuvre des évaluations

d'impact de RBF

Étapes de l'évaluation de l'impact

Note Concept

uelle

Finaliser conception

du programme

et EI

Enquête de base

Mise en œuvre de RBF

Enquête final

Analyse et la diffusion

RCA

Cameroun

Benin

India

Impact de la crise sur la Mise en

Œuvre de l’évaluation d’impact

en Centrafrique: Phase: Enquête de base

Gervais Yama

Projet pilote de FBR prévu en

République Centrafricaine • FBR dans les FOSAs publics, confessionnelles et ONG de 9 préfectures

des régions 2, 3, 4 et 6 de la RCA

• Une population d'environ 2,5 millions d’habitants

4

Questions de recherche de l’EI

• L'évaluation d'impact portera

essentiellement sur les questions de

recherche suivantes: o Est-ce que la variation du niveau des paiements pour les

services de santé maternelle et infantile PBF livré entraînent

des variations dans la couverture des services de SMI et de la

qualité des résultats?

o Ou peut-être des résultats similaires obtenus à moindre coût?

o Quel est le barème optimal (niveau des paiements PBF) pour

améliorer la santé maternelle et infantile de couverture du

service et de la qualité?

5

Groupes d’intervention de l’EI

T1: Paquet PBF complet C1: Paquet PBF complet mais

avec des niveaux de paiement

PBF à 50% des niveaux de

paiement Groupe T1

C2: Statut quo

6

Mise en œuvre de l’EI

7

• L’enquête de base de l’évaluation d’impact est mise en œuvre

en deux tranches:

(i) L’Enquête auprès de la formation sanitaires a été réalisée en

mars 2012 et celle de ménage en novembre-décembre 2012;

(ii) 351 Formations sanitaires ont été enquêtées et un échantillon

de 5464 ménages a été visité au cours de cette enquête.

Impact de crise sur la mise en œuvre

8

• Trois événements sont à l’origine de modification

des indicateurs de l’enquête de base de l’évaluation

d’impact :

(i) La première est due à l’offensif des groupes armés en

décembre 2012, juste à la fin de la collecte de l’enquête de

base;

(ii) La deuxième est en mars 2013 avec le coup d’Etat qui a

provoqué le départ de président BOZIZE du pouvoir par les

groupes armés,

(iii) La Troisième c’est celle de 5 décembre 2013 par un autre

groupe armé« anti-Balaka ».

Les données collectées sont-elles

encore valide pour l’analyse d’impact?

9

Au niveau des FOSA

• la fuite du personnel vers le niveau central principalement à

Bangui ;

• le pillage des médicaments et de matériels dans la plus part

des Fosa;

• Très peu des formations sanitaires qui son fonctionnel, dans

la majorité cas, ce sont celle qui ont bénéficié l’appui des

ONG notamment les Médecin sans frontière.

• Le niveau de la plupart des indicateurs obtenus lors de

l'enquête de 2012 s'est détérioré dans toutes les pyramides

sanitaires, surtout dans la zone du projet qui constitue

principalement les zones des attaques des groupes armés.

10

Au niveau de ménage

• La crise détérioration les conditions de vie des ménages :

problème d’axe aux nourritures, leur grenier pille ou brûler, et

les leur champ sont devenus les lieux des pâturages ;

• Leurs maisons sont saccagées ou brulées, leurs biens sont

emportés par les groupes armés ;

• Inexistence des certains villages à cause déplacement

permanant dans tous les pays dû au attaque des groupes

armés ;

• Vulnérabilité aux maladies à cause de l’inaccessibilité au

centre des soins d’une part et la mauvaise condition de vie

d’autre part.

Les données collectées sont-elles

encore valide pour l’analyse d’impact?

Comment le PBF se comportera vis-à-

vis de la Crise?

11

• Avec l’état actuel des choses, comment le PBF vas se

comporter vis-à-vis de la crise? Etant donné que:

(i) Au niveau de FOSA, la majorité ne sont pas opérationnelles,

même quelques peu qui sont appuyées par les MSF ne

dispose pas assez des personnels, des matériels et les

médicaments ?

(i) Au niveau de ménage on note un grand changement de niveau

de vie de la population affectée par la crise ?

Thank you for your kind attention

12

De la note conceptuelle à la réalité sur

le terrain : difficultés à surmonter et

leçons à tirer de l'exécution des

évaluations d'impact du FBR au

Cameroun

Joseph Shu Atanga

M.D. MPH

ZONE

D'INTERVENTI

ON

CAMEROUN CAMEROUN

Grandes étapes de l'évaluation d’impact

• Lancement public du projet

• Répartition aléatoire publique des établissements sanitaires dans le groupe

d'intervention et le groupe témoin avec des caractéristiques prédéfinies

• Identification de l'ensemble des communautés et des établissements sanitaires

légalisés dans les circonscriptions hospitalières

• Cartographie des communautés desservies par chaque établissement sanitaire

• Collecte de données de référence (enquêtes auprès des formations sanitaires et

des ménages)

• Formation des différentes parties prenantes au financement basé sur la

performance (FBP)

• Élaboration de plans d'activité et signature de différents types de contrats

• Production et déclaration des différentes formations sanitaires

• Vérification et validation de l'organisme d'achat

• Paiement aux établissements

T1

FBP complet assorti

de primes liées aux

résultats pour le

personnel médical

C1

FBP doté de subventions

sans rapport avec la

performance

C2

Suivi renforcé seulement

comme dans T1 et C1.

C3

Statu quo: aucune

forme d'intervention

Evaluation d’impact et

enquête de suivi

Oui Oui Oui Oui

Contrat Contrat classique pour

le FBP

Contrat stipulant les

conditions du FBP en

termes de contrôle/audit/

surveillance

Contrat fournissant un appui

technique en termes de

surveillance renforcée

Aucun contrat

Plans d’activité Oui, à élaborer Oui, à élaborer Plan d'activité allégé, fondé

sur la surveillance renforcée

Aucun plan d'activité

Évaluation de la

qualité

Évaluation de la

qualité, appréciations

et prise en compte

dans le paiement.

Évaluation de la qualité

avec appréciations comme

dans T1, mais sans effet

sur le paiement.

Évaluation de la qualité

avec appréciations comme

dans T1.

Aucune évaluation de la

qualité

Déclaration/vérificatio

n des quantités de

services

Déclaration et

vérification des

quantités de services

produites

Déclaration et vérification

des quantités de services

produites comme dans T1

Déclaration et vérification

des quantités de services

produites comme dans T1

Aucune enquête, aucun

audit

Paiement Lié à la performance Paiement sans rapport

avec la performance

Aucun paiement Aucun paiement

Autonomie de gestion Autonomie de gestion

avec rétention de tout

le produit réalisé

Autonomie de gestion avec

rétention de tout le produit

réalisé

Aucune autonomie de

gestion, maintien du

système existant de quote-

part (incitations)

Aucune autonomie de

gestion, maintien du

système existant de

quote-part (incitations)

Rapport d'activité

mensuel soumis au

district sanitaire

Oui Oui Oui Oui

Principaux enseignements

• Groupe d'intervention et groupe témoin différents o Paiement de subventions (T1 ou C1)

o Autonomie de gestion T1, C1 ou C2,C3

o Suivi renforcé T1,C1,C2 ou C3

• Caractéristiques identiques pour le groupe d'intervention et le groupe témoin durant la sélection aléatoire o Urbain ou rural

o Public ou privé

• Paiements de même montant pour les groupes T1 et C1 o Établissements sanitaires T1 payés en fonction des résultats

o Établissements sanitaires C1 payés en fonction de la contribution en % de la population à la population totale de tous les établissements C1

• Étroit suivi de l’exactitude des services déclarés et de la façon dont la communauté perçoit la qualité des soins

• Collecte de données d’enquête de base et finale et collecte régulière de données visant à informer le S&E

• Suivi de l'utilisation des subventions par les établissements sanitaires (bénéficiaires finals)

Grands défis à relever

• Autonomie de gestion vis-à-vis des groupes T1 et C1

• Détermination du nombre d’habitants desservis par chaque établissement sanitaire, surtout en milieu urbain

• Collaboration entre PPA et les établissements sanitaires C2 o Collaboration minime voire nulle pour élaborer les plans d'activité et signer les

contrats (faute de motivation financière)

o Pas toujours prêts à déclarer les résultats aux fins de leur validation en raison de l’absence d’incitations financières

• Achat de services fournis aux clients en dehors de la circonscription hospitalière. Cas des hôpitaux de référence desservant d'autres régions et d'autres pays

• Niveau initial de développement des établissements sanitaires

De l’élaboration à la mise en

oeuvre de l’intervention

“autonomie de gestion” au Bénin Phase: Préparation et mise en oeuvre

Maud Juquois

Contexte au Bénin avant le pilote FBR

• Avant la mise en œuvre du FBR (Mars 2012): o Autonomie limitée des FS pour dépenser leurs revenus (des recettes

communautaires);

o Le Médecin Coordonateur de Zone doit approuver les dépenses proposées avec les recettes communautaires (les fonds peuvent rester quelques mois dans le compte en banque s’il n’y a pas de supervision du Médecin Coordonateur)

• A partir des succès du FBR dans d’autres pays: o Le FBR peut avoir un plus grand impact si les responsables sont plus

autonome;

o Proposition pour l’EI au Bénin : tester cet aspect spéficique à travers une évaluation randomisée .

Design de l’Evaluation d’Impact au Benin

• Une combinaison de deux interventions est testée:

o FBR “financements conditionnels” (crédits liés aux résultats atteints

par les centres de santé) versus “financements inconditionnels”

(crédits non liés aux résultats atteints).

o Autonomie de gestion versus pas d’autonomie de gestion.

• Par conséquent, il y a actuellement 5 groupes dans l’EI:

FBR traitement

(85 FS)

FBR contrôle (financement

additionnel)

(87 FS)

Pas intervention

Autonomie de gestion traitement

(84 FS)

T1

40 FS

T2

44 FS

-

Autonomie de gestion contrôle

(88 FS)

T3

45FS

T4

43FS

-

Pas intervention - - C

46 FS

Mise en œuvre de cette intervention

• Avec le FBR:

o Un groupe de FS a une autonomie de gestion accrue: transmission pour

information des business plans au Médecin Coordonateur de Zone

Sanitaire;

o Un groupe de FS sans autonomie de gestion accrue: le business plan et les

dépenses doivent être approuvés.

• Mais les fonds du FBR ne peuvent être utilisés pour le

recrutement de personnels de santé ou pour réaliser des

travaux;

• Cette intervention était perçue comme une 1ère étape pour

ensuite accroitre davantage l’autonomie des FS.

Pas de différence réelle entre les

deux groupes (centres de santé)

0

100

200

300

400

500

600

700

800

Nombre de CPN4

RBF+managerial autonomy

RBF only

0100200300400500600700800900

1000

Suivi de la croissance des moins de 5 ans

RBF+managerial autonomy

RBF only

Explications • 1. L’autonomie de gestion dans les centres de

santé contrôle et traitement demeure très limitée,

la différence entre les deux bras de l’intervention

est faible;

• 2. Analyse de l’utilisation des financements au

niveau des centres de santé o Utiliser la partie des fonds FBR pour les dépenses de fonctionnement

apparaît un processus lourd et nécessite davantage de documentation que

pour utiliser les ressources générées par les recettes communautaires;

o Les personnels craignent également les audits sur les fonds du FBR.

Conclusion • Il est difficile de mettre en œuvre une intervention telle que

« l’autonomie de gestion », même à un niveau limité

lorsqu’elle n’est pas pleinement portée par les autorités

aux niveaux de la zone sanitaire et national;

• Comment augmenter l’autonomie de gestion désormais au

Bénin? o Développer et disséminer les meilleurs exemples des centres de santé les plus

autonomes qui ont de meilleurs résultats FBR;

o Coacher les formations sanitaires;

o Former les coordinateurs de zone sur « la gestion axée sur les résultats » qui pourrait

aider à leur démontrer les avantages d’une plus grande autonomie de gestion des FS

pour améliorer leur performance.

o Mieux aligner les mécanismes de contrôle des ressources générées à la fois par le

FBR et les recettes communautaires

Étude de cas : Karnataka, Inde Phase: Analyse et dissemination

Neeraj Sood

L'intervention :

Programme Vajpayee Aarogyashri (VAS)

• Les ménages pauvres sont automatiquement inscrits au VAS

o Ils bénéficient de soins gratuits dans les hôpitaux publics et

privés

o L'objectif est de réduire les besoins non satisfaits de soins

coûteux et d'améliorer les résultats en termes de santé

• Le VAS prend en charge les soins tertiaires pour les conditions

suivantes

o Soins cardiaques

o Cancer

o Maladies neurologiques

o Maladie rénale

o Problèmes néonatals/anomalies congénitales

o Brûlures

o Multiples traumatismes

• Les hôpitaux reçoivent un remboursement fixe pour un ensemble

prédéfini de services

o 402 ensembles de services de soins tertiaires

Stratégie empirique applicable aux

données de l’enquête de Base

0 80 16040 Kilometers

VAS

Non-VAS

BellaryHaveriUttara

Kannada

Shimoga

Davangere

Chitradurga

Discontinuité de la régression

géographique

• En 2010, le régime VAS a été

arbitrairement mis en place dans

seulement la moitié de l'État de

Karnataka (partie nord)

• Enquêtes réalisées auprès des

ménages près de la frontière

d'éligibilité nord-sud

• Stratégie d’appariement utilisée pour

garantir la comparabilité des données

entre zone éligible et non éligible

• Comparer les résultats entre zones

éligible et non éligible

Zone éligible

Zone non éligible

Le Régime VAS a réduit la mortalité

pour les conditions prises en charge

Pauvres Riches

Ta

ux d

e m

ort

alit

é

Débat • Question liées à l’exécution

o Calendrier

o Rétention

o Suivi

• Innovation o Énumération de données

o Utilisations potentielles des données de l’enquête de base

o Tests indirects de la stratégie empirique

• Difficultés liées à la diffusion

Perspectives des responsables

sur l'évaluation d'impact

• Principales difficultés inhérentes à la réalisation

d‘une évaluation d'impact

• Ambition d’utiliser l'évaluation d'impact pour

améliorer la prise de décision

Étapes de l'évaluation de l'impact

Note Conceptuelle

Finaliser conception

du programme

et EI

Enquête de base

Mise en œuvre de

RBF

Enquête final

Analyse et la diffusion

RCA

Cameroun

Benin

India

Discussion • Quels sont les principaux leçons tirés de ces études de

cas?