Evaluation d’impact du FBP dans le district du Haut-Katanga en RDC

Résultats, leçons et recommandations pour les futurs programmes

Design du projet du PARSS

•  Objectif de développement du projet (ODP): sʼassurer que la population cible dans les zones de santé du projet a accès à un paquet bien défini de services de santé essentiels de qualité et en fait usage"

•  Population cible: 10 millions dʼindividus dans 5 provinces"•  Horizon temporel: 2007-2014"•  Paquet dʼintervention exhaustif:"

–  Construction et réhabilitation de formations"–  Fourniture dʼéquipements et de médicaments"–  Formation des agents de santé et du district"–  Supervision renforcée"–  Renforcement du système dʼinformation et de gestion sanitaire (SIGS)"–  Politique de réduction du ticket modérateur"

•  Lʼintervention est devenue opérationnelle en avril 2007"–  Bonus liés à la performance introduits en juin 2010"

•  BUDGET PARSS TOTAL: $335 millions"–  Pilote de FBP en Haut-Katanga: $1.2 million"

District du Haut-Katanga

Questions de recherche de l’évaluation d’impact • Paiement fixe: "

– Basé sur le personnel (nombre dʼagents de santé sur les registres du personnel du gouvernement)"– Pas dʼautonomie dans lʼallocation des paiements"

• Paiement basé sur la performance: "– Basé sur la quantité de patients pour une liste donnée de services de santé"– Autonomie dans lʼallocation du paiement"– Vérification de la performance"

Questions de recherche (2)

Les paiements à la performance:"

• Incitent-ils les agents de santé à accroître leur efforts plus que ne le fait un paiement fixe? "

– Plus dʼoffre de services de santé?"– Plus de présence du personnel?"– Des services de santé plus intéressants (prix, qualité)?"

• Augmentent-ils lʼutilisation des services de santé? "

• Ecartent-ils les services non ciblés? "

Stratégie empirique

• Nous souhaitons comparer les résultats des formations sanitaires qui sont sous le régime de paiements à la performance à ce quʼils seraient advenus si les formations étaient sous un régime de paiement fixe. "

• 96 zones de santé dans le Haut-Katanga ont été assignées à deux groupes: "

– Paiements basés sur la performance (groupe FBP, 48 zones de santé)"– Paiements fixes (groupe de comparaison, 48 zones de santé)"– Assignation aléatoire => deux groupes identiques pour commencer "

• Le groupe de comparaison fournit un bon contrefactuel: ce quʼil serait advenu du groupe FBP si les paiements avaient été fixes, plutôt que basés sur les performances"

Diagramme de flux de l’étude

Enquête  de  base    

Données  administra3ves    

Entre3ens  qualita3fs  

Inspec3on  surprise  de  la  présence  

Enquête  finale  

Paiements  

Vérifica3ons  communautaires  

Design contre mise en œuvre

Design du pilote contre mise en œuvre Design  prévu   Design  de  fait  

Groupe  Incita5ons  financières  

Groupe  de  comparaison  

Groupe  Incita5ons  financières  

Groupe  de  comparaison  

Volume  du  Paiement   Pareil  

Pas  de  différence  dans  le  volume  des  paiements  au  total  –  bien  que  paiements  plus  élevés  dans  le  groupe  de  comparaison  pendant  les  six  premiers  mois,  neutralité  du  budget  respectée  pour  le  

reste  du  pilote  

Mécanisme  de  

Paiement  

Paiement  basé  sur  la  quan3té  de  services  de  santé  fournis  par  la  

forma3on  =    

Mécanisme  de  Paiement  à  l’acte  

Paiement  basé  sur  la  taille  de  la  forma3on  (le  nombre  d’agents  de  santé  sur  le  registre  de  

paiements  gouvernemental)  

Paiement  basé  sur  la  quan3té  de  services  de  santé  fournis  par  la  

forma3on  avec  un  budget  total  

fixe    =    

Système  de  Points  

Comme  prévu  

Vérifica5on  technique  

Une  visite  chaque  mois  par  les  superviseurs  IRC/PARSS  et  l’administra3on  de  la  zone  de  santé  –  pour  vérifica3on  de  la  concordance  entre  les  registres  de  la  forma3on  et  les  

données  déclaréees  

Comme  prévu  (pas  de  visite  quand  il  n’y  avait  pas  de  paiement)  

Design du pilote contre mise en œuvre (2)

Design  prévu   Design  de  fait  

Groupe  Incita5ons  financières  

Groupe  de  comparaison  

Groupe  Incita5ons  financières  

Groupe  de  comparaison  

Vérifica5on  communau-­‐

taire  

Une  vérifica3on  par  mois  de  30  pa3ents  par  zone  de  santé  dans  un  sous-­‐

échan3llon  de  zones  de  santé  –  pour  

vérifier  la  véracité  des  registres  et  détecter  les  pa3ents  fantômes.  Sanc3ons  au  cas  par  

cas.    

Pas  de  vérifica3on  prévue    

Bien  que  28  vérifica3ons  étaient  an3cipées,  seules  6  

furent  menées.  Pas  de  sanc3on  excepté  l’ajustement  du  

paiement  propor3onnel  aux  

divergences.    

2  vérifica3ons  communautaires  dans  

un  objec3f  de  comparaison  (pas  de  conséquence  sur  les  

paiements)  

Autonomie  

Le  manager  de  la  forma3on  pouvait  

décider  de  l’alloca3on  du  paiement  dans  la  

forma3on  

Le  manager  de  la  forma3on  suivait  le  registre  de  paiements  gouvernemental  qui  indique  qui  doit  recevoir  quoi  

Comme  prévu  

Design du pilote contre mise en œuvre (3)

Design  prévu   Design  de  fait  

Groupe  Incita5ons  financières   Groupe  de  comparaison   Groupe  Incita5ons  

financières   Groupe  de  comparaison  

Sou5en  d’inves5ssem

ent  en  équipement    

Certains  équipements  fournis  par  le  PARSS   Comme  prévu  

Médicaments   Médicaments  pour  le  stock  de  la  pharmacie  fournis  par  le  PARSS   Comme  prévu  

Forma5on   Forma3on  clinique  des  agents  de  santé  (par  IRC)   Comme  prévu  

Ticket  modérateur  

Toutes  les  forma3ons  sanitaires  du  pilote  engagées  à  réduire  la  réduc3on  du  3cket  modérateur  

Plus  grande  réduc3on  du  3cket  modérateur  dans  le  groupe  Incita3ons  financières  que  dans  le  groupe  de  comparaison,  malgré  des  varia3ons  substan3elles  dans  le  niveau  de  réduc3on  entre  forma3ons  

sanitaires  

Enquête  de  base   Oui  

Du  fait  de  délais  dans  le  lancement  du  projet  et  de  changements  des  forma3ons  sanitaires  inclues  dans  le  pilote,  l’échan3llon  de  l’enquête  de  base  n’était  

pas  exactement  le  même  que  l’échan3llon  du  pilote.  L’enquête  de  base  a  été  u3lisée  pour  contrôler  l’équilibre,  mais  pas  pour  es3mer  l’impact  

Enquête  finale   Oui   Comme  prévu  

Résultats de l’évaluation d’impact

Résultats: Impact sur l’effort du personnel et l’offre de services

• Les formations sanitaires dans le groupe FBP ont fourni plus des services ciblés que les formations dans le groupe payé sur une base fixe:"

– La présence du personnel sʼest révélée 14% supérieure"– Le nombre de sessions de prévention pour les services ciblés dans la formation sʼest révélé 43% supérieur"– Le nombre dʼactivités de sensibilisation liées aux services ciblés dans la communauté sʼest révélé de 30% à 50% supérieur"

• Les formations ont aussi essayé de rendre les services ciblés plus intéressants"

– de 20% à 60% de réduction du ticket modérateur pour les services ciblés et les médicaments"

• Les services non ciblés nʼont pas été écartés: "– Pas de réduction dans lʼoffre de services non ciblés"– Pas de réduction dans la qualité des services (mais pas dʼaugmentation non plus)"

Résultats: Impact sur l’utilisation des services

Lʼutilisation des services sʼest révélée similaire quel que soit le mécanisme de paiement"

• Même nombre de patients lors du dernier mois (800 par formation sanitaire) "

• Même utilisation des services lors des 12 derniers mois:"– Accouchement en institution (82%)"– Enfants immunisés contre la TB (60%)"– Visites prénatales par femme enceinte (3,4)"

• Même résultats de santé lors des 12 derniers mois: "– Nouveau-né toujours vivant = 98% contre 99%"– Nombre de décès par ménage = 0.14"– Ratio poids-pour-taille des moins de cinq ans "

Résultats: Impact sur les ressources des formations sanitaires

• Le revenu total sʼest révélé 42% plus faible dans le groupe de FBP lors du dernier mois"

– Revenus du ticket modérateur plus faibles"– Revenus de la vente de médicaments plus faibles"

• 28% de salaire en moins pour les agents de santé du groupe de FBP "

• Indices dʼéquipement plus faibles (à la fois en matière de quantité et de qualité) (écart type -0.6)"

Résultats: Impact sur la motivation du personnel

• La motivation du personnel a augmenté sous le régime de FBP"

• Mais quatre mois après la fin du pilote:"– La présence du personnel sʼest révélée plus faible dans lʼancien groupe de FBP comparée à celle de lʼancien groupe de comparaison (-25%)"– La satisfaction vis-à-vis de lʼemploi était plus faible (-14%)"– Les directeurs de formation sanitaire étaient plus inquiets vis-à-vis de la volatilité du financement (+72%)"– Les agents de santé se sont révélés plus enclins à attacher de lʼimportance dans la rémunération de leur emploi (+34%)"

Liens potentiels entre le design du FBR et les résultats

Effets potentiels des caractéristiques du design Design et mise en œuvre conseillée"

Pilote du Haut-Katanga, RDC" Effets potentiels dʼun design et dʼune mise en œuvre faibles"

Paquet  de  bénéfices  équilibré  à  tous  les  niveaux  

Seul  un  niveau  couvert  et  qui  plus  est  couvert  de  manière  incomplète  (seulement  7  services).  Trois  services  addi3onnels  au  centre  de  santé  de  référence.    

Poten3el  pour  les  prestataires  de  se  focaliser  sur  certains  services  au  détriment  des  autres;  moins  de  lien  et  de  référence  entre  centre  de  santé  et  le  niveau  hospitalier  

Vérifica5on  des  résultats  rigoureuse  

Vérifica3on  ex-­‐ante  très  limitée;  au  lieu  de  28*  (une  par  mois);  seulement  6*.  Les  sanc3ons  pour  les  divergences  étaient  légères.  Pas  de  contre-­‐vérifica3on.    

Opportunités  pour  l’accroîssement  des  pa3ents  fantômes;  des  mécanismes  de  vérifica3on  incomplets  ou  faibles  peuvent  entraîner  un  manque  de  confiance  dans  les  résultats  

Usage  de  la  vérifica5on  communautaire  et  d’enquêtes  de  sa5sfac5on  clients  

Enquêtes  de  sa3sfac3on  auprès  de  la  communauté/des  clients  très  limitées;  résultats  peu  clairs  et  inconnus  

Manque  de  confiance  dans  les  résultats;  augmenta3on  des  pa3ents  fantômes;  pas  de  retour  sur  la  percep3on  des  clients  sur  les  services  rendus  

Usage  d’une  checklist  de  qualité  quan5fiée  dont  les  résultats  sont  liés  aux  paiements  

Pas  d’usage  d’une  checklist  de  qualité  quan3fiée;  pas  de  mesure  de  la  qualité  liée  au  paiement  

Pourrait  poten3ellement  entraîner  une  augmenta3on  de  la  quan3té  combinée  à  une  augmenta3on  plus  faible  de  la  qualité,  pas  d’augmenta3on  de  la  qualité,  ou  même  une  réduc3on  de  la  qualité  

Effets potentiels des caractéristiques du design (2) Design et mise en œuvre conseillée"

Pilote du Haut-Katanga, RDC" Effets potentiels dʼun design et dʼune mise en œuvre faibles"

Usage  d’un  mécanisme  de  paiement  à  l’acte  pour  le  paiement  des  prestataires  

Pas  un  vrai  paiement  à  l’acte;  plutôt  une  pondéra3on  pour  la  valeur  rela3ve,  et  ensuite  une  répar33on  du  budget  disponible  sur  la  base  de  la  valeur  obtenue.    

Récompense  pour  l’effort  pas  clair,  accroître  la  produc3vité  pourrait  conduire  à  une  déprécia3on  de  la  valeur  de  chaque  service  fourni.  Peut  être  interprété  par  les  prestataires  comme  être  pénalisé  pour  une  performance  élevée  

Tarifs  individuels  et  gains  totaux  qui  sont  significa5fs  et  payés  régulièrement  

Paiements  irréguliers;  les  gains  totaux  sont  restés  les  mêmes  pendant  l’interven3on  à  $550  par  mois  par  forma3on  sanitaire  en  moyenne  

De  pe3ts  paiements  de  bonus  peuvent  se  révéler  insuffisants  pour  remédier  aux  mécanismes  d’adapta3on  du  personnel;  pour  acheter  des  médicaments,  de  l’équipement  et  faire  des  répara3ons  mineures.  Des  récompenses  plus  

faibles  donnent  moins  d’opportunité  d’inves3r  dans  l’améliora3on  de  la  quan3té  et  la  qualité  des  services  

Recommandations pour un design du FBP amélioré

1.  Augmenter les budgets pour les résultats pour des opérations dans des contextes similaires à environ $3 par tête par an;"

2.  Utiliser un mécanisme de paiement des prestataires de paiement à lʼacte; "

3.  Introduire la checklist de qualité au niveau de la formation sanitaire et de lʼhôpital et rendre les paiements à la performance dépendants de la qualité;"

4.  Introduire des outils de gestion de la formation sanitaire (plan dʼactivité, outils dʼindice, évaluations de la performance individuelle);"

5.  Renforcer la vérification communautaire et la contre-vérification;"

6.  Renforcer la vérification ex-ante et le coaching;"

Merci"