91772 H N P D I S C U S S I O N P A P E R VÉRIFICATION DE LA PERFORMANCE DANS LE CADRE DU FINANCEMENT BASÉ SUR LES RÉSULTATS (FBR) Le Cas du FBR communautaire et du FBR du côté de la demande au Rwanda Adrien Renaud et Dr. Jean-Paul Semasaka Juin 2014 ` Vérification de la Performance dans le cadre du Financement Basé sur les Résultats (FBR) : Le Cas du FBR communautaire et du FBR du côté de la demande au Rwanda Adrien Renaud et Dr. Jean-Paul Semasaka, Consultants Juin 2014 2 DOCUMENT DE DISCUSSION, SANTE, NUTRITION ET POPULATION (HNP) Cette série est produite par la branche Santé, Nutrition et Population (HNP) du Réseau pour le Développement Humain (HDN) de la Banque Mondiale. Les documents de cette série visent à permettre la publication de résultats sur les thèmes de la HNP, et cela, pour encourager des discussions et des débats. Les résultats, interprétations et conclusions exprimés dans ce document appartiennent exclusivement à l’auteur ou aux auteurs et, ne doivent d’aucune façon être attribués à la Banque Mondiale, à ses organisations affiliées, aux membres de son Conseil d’Administration ou aux pays qu’ils représentent. Toute citation et toute utilisation du matériel présenté doivent tenir compte de cette caractéristique provisoire. Pour toute information sur la Série de Documents de Réflexion, veuillez contacter l’Editeur, Martin Lutalo, à l’adresse suivante : mlutalo@worldbank.org ou Erika Yanick à l’adresse suivante : eyanick@worlbank.org © 2014 La Banque Internationale pour la Reconstruction et le Développement/La Banque Mondiale 1818 H Street, NW, Washington, DC 20433 Tous droits réservés. 3 4 DOCUMENT DE DISCUSSION, SANTE, NUTRITION ET POPULATION (HPN) Vérification de la performance dans le cadre du Financement Basé sur les Résultats (FBR) : Le Cas du FBR communautaire et du FBR du côté de la demande au Rwanda Adrien Renaud et Dr. Jean-Paul Semasaka, Economiste de la santé indépendant Consultant Grâce au financement fourni par le Fonds Fiduciaire pour l’Innovation en Matière de Résultats de Santé (HRITF) Résumé : Le Rwanda, mené par son Ministère de la Santé, a été le premier pays africain à implémenter le Financement basé sur la Performance (PBF) dans ses centres de santé et dans ses hôpitaux et cela, à l’échelle nationale. Le pays a ensuite piloté le Financement Basé sur les Résultats (FBR) au niveau communautaire. Récompenser les membres de la communauté qui fournissent et utilisent les services de Santé Maternelle et Infantile (SMI) représente une forme novatrice de FBR. Le côté de l’offre de ce FBP communautaire se concentre sur des coopératives d’Agents de Santé Communautaire (ASC). Il les paie pour la prestation de services de SMI et les récompense pour la qualité de leur rapportage ainsi que pour leur bonne gestion. En outre, le côté de la demande de ce programme de FBP communautaire fournit des incitations en nature aux femmes lorsqu’elles utilisent trois services prédéfinis de SMI dans les centres de santé. Vérifier la performance de ces interventions fait partie intégrante de la mise en œuvre du FBR. Cette étude de cas vise à décrire les mécanismes utilisés au Rwanda, incluant une vérification mensuelle de la quantité des services prestés par les ASC, une évaluation qualitative trimestrielle du fonctionnement des coopératives (y compris le rapportage), une vérification moins systématique de la quantité des incitations en nature distribuées ainsi qu’une contre-vérification de ces trois processus. Ce document présente les résultats obtenus par ces méthodes de vérification et traite des obstacles rencontrés, de la manière dont ils ont été surmontés et, des défis qu’il reste à relever. Mots clés : FBP Communautaire, Financement Basé sur les Résultats, Santé Maternelle et Infantile, Vérification, Côté de la Demande. Avis de non-responsabilité : Les résultats, interprétations et conclusions exprimés dans ce document appartiennent exclusivement aux auteurs et, ne représentent d’aucune façon le point de vue de la Banque Mondiale, de ses Directeurs Exécutifs ou des pays qu’ils représentent. Coordonnées de correspondance : Petra Vergeer, la Banque Mondiale, 1818 H Street, NW Washington, DC 20433, Etats-Unis ; email : pvergeer@worldbank.org 5 6 TABLE DES MATIERES Remerciements ........................................................................................................................................ 8 Liste d’acronymes ................................................................................................................................... 9 Résumé exécutif .................................................................................................................................... 10 Introduction ........................................................................................................................................... 13 1. Méthodologie................................................................................................................................. 15 2. Contexte : interventions de FBR communautaire, Rwanda .......................................................... 17 3. Caractéristiques principales des méthodes de vérification ............................................................ 21 3.1. Comment la quantité de services prestés par les ASC est-elle vérifiée ? .............................. 22 3.2. Comment la qualité des coopératives d’ASC est-elle évaluée ? ........................................... 24 3.3. Comment la quantité d’incitations en nature distribuées est-elle évaluée ? .......................... 25 3.4. Comment les données sont-elles contrevérifiées ? ................................................................ 26 4. Résultats de l’application des méthodes de vérification................................................................ 28 4.1. Quels ont été les résultats de la vérification de la quantité des services prestés par les ASC ?28 4.2. Quels ont été les résultats de l’évaluation de la qualité des coopératives d’ASC ?............... 32 4.3. Quels ont été les résultats de la vérification de la quantité des incitations en nature distribuées ? 34 4.4. Quels ont été les résultats des contre-vérifications effectuées à différents niveaux ? ........... 35 4.5. Utilisation des résultats de la vérification ............................................................................. 36 5. Les coûts de la vérification ............................................................................................................ 39 6. Leçons Apprises ............................................................................................................................ 40 REFERENCES ...................................................................................................................................... 43 ANNEXES ............................................................................................................................................ 44 7 REMERCIEMENTS Les auteurs remercient la Banque Mondiale d’avoir publié ce rapport en tant que Document de Réflexion du HPN. Les auteurs de cette étude voudraient également remercier le Ministère de la Santé du Rwanda pour sa coopération au cours de la collecte des données. Ils tiennent particulièrement à exprimer leur gratitude envers la direction de la SMI et son directeur, Dr. Fidèle Ngabo ainsi qu’envers le bureau de la santé communautaire et sa directrice, Cathy Mugeni. Les auteurs voudraient également remercier Management Science for Health (MSH) et, plus particulièrement, le Dr. Cédric Ndiziye, qui a soutenu la collecte de données et fourni de précieux conseils dans le contexte d’une version antérieure à ce document. Afin d’assurer l’exactitude des données présentées, le document a également été revu par la Direction de la SMI. Enfin, cette étude n’aurait pas été possible sans l’aide, le soutien, les conseils et les contributions du personnel de la Banque Mondiale. Les auteurs remercient particulièrement Petra Vergeer, Anna Heard, et Elisa Rothenbuhler. 8 LISTE D’ACRONYMES ASC Agent de Santé Communautaire CAAC Cellule d’Appui à l’Approche Contractuelle CDV Conseil et Dépistage Volontaire DOTS Directly Observed Therapy (Thérapie sous Observation Directe) FBP Financement Basé sur la Performance FBR Financement Basé sur les Résultats FMSTP Fonds Mondial de lutte contre le Sida, la Tuberculose et le Paludisme MS Ministère de la Santé MSH Management Sciences for Health ONG Organisation Non-Gouvernementale PIB Produit Intérieur Brut PTME Prévention de la Transmission Mère-Enfant SIS Système d’Information Sanitaire SMI Santé Maternelle et Infantile TB Tuberculose UNRESP Université Nationale du Rwanda, Ecole de Santé Publique Le taux de change utilisé dans cette étude de cas est celui du 15 février 2013 : 1 US$ = 624.101 RF 9 RESUME EXECUTIF Le Rwanda est un pays à faible revenu situé dans la région des Grands Lacs africains. Depuis le génocide de 1994, le pays a réalisé des progrès impressionnants dans le domaine du développement. Cependant, ses indicateurs restent faibles bien qu’en général meilleurs que dans les pays voisins. Le Financement Basé sur les Résultats (FBR) est très développé au Rwanda et, presque toutes les unités administratives opèrent dans le cadre d’accords de performance. Le Rwanda a été le premier pays africain à implémenter le Financement basé sur la Performance (FBP) à l’échelle nationale. Les interventions réalisées dans les centres de santé et dans les hôpitaux ont été prises comme exemples par de nombreux pays sur le continent. En 2010, le Rwanda a piloté deux interventions de FBR au niveau de la communauté :  Un programme du côté de l’offre, le FBP communautaire, qui rémunère les coopératives d’Agents de Santé Communautaire (ASC) pour la prestation de 10 services spécifiques de Santé Maternelle et Infantile (SMI) ainsi que pour la qualité de leur rapportage et de leur gestion.  Un programme du côté de la demande qui encourage les femmes à utiliser trois services de SMI spécifiques et cela, en leur fournissant des incitations en nature lorsqu’elles le font. Cette étude vise à décrire les systèmes de vérification mis en œuvre dans le cadre de ces deux interventions, mais aussi à identifier les résultats obtenus, les obstacles rencontrés, la manière dont ils ont été dépassés et les défis qu’il reste à relever. Les interventions de FBR communautaire au Rwanda comportent quatre types de vérification (voir l’Illustration 1.1) :  Une vérification de la quantité des services prestés par les ASC, effectuée mensuellement pour chaque coopérative par le centre de santé auquel elle est affiliée et, validée trimestriellement par le comité de pilotage, présidé par l’administration du gouvernement local.  Une évaluation de la qualité des coopératives d’ASC, y compris la qualité des rapports (promptitude, complétude, exactitude), menée mensuellement par le centre de santé et validée trimestriellement par le comité de pilotage local ; et une évaluation de la qualité de gestion des coopératives, effectuée trimestriellement par l’hôpital du district et validée par le comité de pilotage du district.  Vérification de la quantité des incitations en nature distribuées, menée par l’hôpital du district (optionnel) au cours de ses visites mensuelles de routine dans les centres de santé.  Contre-vérification de l’information fournie par ces trois mécanismes, conduite par le centre de santé, le secteur, l’hôpital du district ou le Ministère de la Santé (MS) et cela, de manière ciblée ou systématique. 10 Illustration 1.1 : Vérification du programme de FBR communautaire au Rwanda Validation Evaluation trimestrielle de trimestrielle de la Niveau la qualité de la gestion des Comité de Hôpital du qualité de la gestion Pilotage du du coopératives District des coopératives District District Vérification mensuelle de la quantité des incitations en nature Contrat Vérification mensuelle Validation trimestrielle de la quantité de la quantité Formation sanitaire Comité de Coopérative Evaluation mensuelle Validation trimestrielle Pilotage du Niveau Centre de d’ASC de la qualité du rapport de la qualité du rapport Secteur du santé chargé Secteur des ASC ~100 ASC Centre de santé chargé des ASC Contrat Source : Auteurs, 2014. L’étude a permis d’identifier les résultats suivants en ce qui a trait à ces mécanismes de vérification :  Vérification de la quantité de services prestés par les ASC : dans le cadre de huit indicateurs qui ont pu être récoltés au cours des quatrièmes trimestres de 2010, 2011 et de 2012 dans les quatre secteurs visités dans le cadre de cette étude, 48 pour cent des indicateurs ont été évalués correctement par les ASC (c’est-à-dire que la vérification n’a pas détecté d’erreur). En outre, 24 pour cent des indicateurs ont été surestimés (surestimation moyenne de 23 pour cent) et, 28 pour cent étaient sous-estimés (sous-estimation moyenne de 8 pour cent). Bien que les taux d’erreur n’aient pas véritablement diminué durant la période, le niveau moyen d’erreurs s’est fortement réduit (par exemple, la surestimation moyenne a chuté de 147 à 7 pour cent).  Evaluation de la qualité des coopératives d’ASC : entre le quatrième trimestre 2010 et le quatrième trimestre 2011, les 435 coopératives d’ASC ont en moyenne reçu entre 85 et 94 pour cent des points disponibles pour la promptitude et la complétude de leurs rapports, entre 68 et 79 pour cent pour l’exactitude de leurs rapports et, entre 81 et 89 pour cent pour la qualité de leur gestion.  Vérification des incitations en nature distribuées : n’étant pas enregistrés, les résultats de cette vérification n’ont pas pu être analysés dans le cadre de cette étude.  Contre-vérification : n’étant pas enregistrés non plus, les résultats des contre-vérifications ciblées menées aux niveaux des centres de santé, des comités de pilotage de secteur et des districts n’ont pas pu être analysés. Une étude de contre-vérification a trouvé que, sur un échantillon aléatoire de 60 secteurs inclus dans le programme du côté de l’offre, 97 pour cent des patients déclarés comme bénéficiaires des services des ASC ont pu être retrouvés dans la communauté. Dans une autre étude, conduite dans le cadre du FBR du côté de la demande, une proportion similaire de patients identifiés comme bénéficiaires par les centres de santé a confirmé avoir effectivement reçu des incitations. 11 Les différences détectées par le système de vérification semblent plutôt relever d’erreurs involontaires que de tentatives de fraudes visant à accroître le revenu des ASC. Les causes principales de ces erreurs étaient :  Des erreurs d’enregistrement : les ASC peuvent mal interpréter les définitions liées aux indicateurs et, déclarer avoir référé des patients qui en fait ne correspondaient pas aux critères permettant de recevoir des subsides.  Des erreurs de compilation : des erreurs de calcul peuvent être faites entre les différents niveaux lors de la compilation des rapports. Le système de vérification des interventions de FBR communautaire au Rwanda est très intégré au reste du système de santé : la vérification est effectuée par des acteurs qui sont également chargés de superviser ceux qui sont vérifiés. Ceci a permis d’atteindre un niveau satisfaisant de détection des fraudes, de maintenir les coûts à des niveaux relativement bas, favoriser l’appropriation et, de renforcer le Système d’Information Sanitaire (SIS). Cependant, ce degré élevé d’intégration, combiné avec une forte décentralisation, a mené à des résultats déconcentrés ainsi qu’à des standards variables : les processus mis en œuvre peuvent différer d’un district à un autre ou d’un centre de santé à un autre. En outre, la nature intégrée du système de vérification du FBR communautaire au Rwanda met l’accent sur des résultats vérifiés qui déclenchent des paiements. La différence entre les résultats autoévalués et les résultats vérifiés n’est pas prise en compte : il n’existe aucune incitation réelle pour un rapportage précis et aucune sanction pour un rapportage inexact. Enfin, les niveaux de documentation et d’enregistrement des résultats sont faibles et cela, particulièrement pour le programme du côté de la demande. Une meilleure documentation et une meilleure utilisation des données sont nécessaires. Il semble symptomatique qu’une grande partie des difficultés rencontrées dans le cadre de cette étude ait été due au manque de données. A l’avenir, le gouvernement rwandais devrait également envisager d’augmenter la fréquence et la rigueur des activités de contre-vérification afin de mieux évaluer la performance des interventions et, identifier les domaines qui peuvent être améliorés. En dépit de ces défis, le système de vérification des interventions du FBR communautaire a produit d’excellents résultats dans un environnement très difficile, caractérisé par un accès physique limité aux ASC et aux bénéficiaires et, par la faible capacité de rapportage des coopératives. Des améliorations sont nécessaires, mais elles ne pourront être que lentes et progressives. 12 INTRODUCTION Le Rwanda est un pays à faible revenu situé dans la région des Grands Lacs africains d’Afrique comptant environ 10,9 millions d’habitants. Son histoire récente a été marquée par le génocide de 1994 . Depuis, le pays a réalisé des progrès remarquables dans le domaine du développement (croissance économique, infrastructures, etc.). En dépit de ces réalisations, ses indicateurs économiques et de développement restent faibles. En 2011, son Produit Intérieur Brut (PIB) par habitant était d’environ 580 US$1 et 58 pour cent de sa population vivait en dessous du seuil national de pauvreté. Avec un Indice de Développement Humain de 0,429, le Rwanda était classé en 166ème position sur 187 pays dans le Rapport sur le Développement Humain établi par le Programme des Nations Unies pour le Développement (PNUD, 2011). Les indicateurs de santé y sont relativement faibles, bien qu’en moyenne plus élevés que dans les pays voisins : la dépense totale de santé se situe autour de 55 US$ par habitant, l’espérance de vie à la naissance est de 55 ans, le taux de mortalité des enfants de moins de cinq ans est de 54 pour 1 000 naissances vivantes et, le taux de mortalité maternelle est estimé à 340 pour 100 000 naissances vivantes. Tableau 1.1 : Données de base sur le Rwanda Données de base sur le Rwanda Population (millions) 10,9 PIB par habitants (US$ courants) 580 Pourcentage de la population sous le seuil national de pauvreté 58 Dépense totale de santé par habitant (US$ courants) 55 Espérance de vie à la naissance (années) 55 Mortalité enfants de moins de 5 ans (pour 1 000 naissances vivantes) 54 Taux de mortalité maternelle (pour 100 000 naissances vivantes) 340 Source : Banque Mondiale, 2011. Le Financement Basé sur les Résultats (FBR) est très développé au Rwanda : du village aux ministères, presque toutes les entités administratives signent un contrat de performance avec leur hiérarchie. Dans le secteur de la santé, le Rwanda a été le premier pays africain à mettre en œuvre le Financement Basé sur la Performance (FBP) à l’échelle nationale. Les programmes de FBP dans les centres de santé et les hôpitaux ont été pris comme exemples dans de nombreux autres pays du continent et ils ont été largement documentés (Rusa et al. 2009, Basinga et al. 2010). Plus récemment, le Rwanda a piloté deux interventions pilotes de FBR communautaire dans une partie du pays :  Un programme du côté de l’offre, le FBP communautaire, qui se concentre sur les Agents de Santé Communautaires (ASC)  Un programme du côté de la demande au niveau communautaire Les deux interventions se concentrent sur la Santé Maternelle et Infantile (SMI). Ils sont innovants puisque la plupart des interventions de FBR dans les pays à faible et moyen revenu se focalisent sur les services cliniques, laissant la communauté de côté ou limitant son rôle à des activités spécifiques (comme l’enquête auprès des ménages dans le programme du Burundi). Ces interventions de FBR communautaire, au contraire, récompensent directement les membres de la communauté en tant qu’acteurs de leur propre santé. En matière de vérification, les interventions de FBR au niveau communautaire au Rwanda posent des problèmes spécifiques en raison de leur dispersion géographique. Tout d’abord, elles impliquent un très grand nombre de prestataires par rapport à la population ciblée : par exemple, alors qu’au Rwanda, un centre de santé couvre une zone géographique d’environ 10 000 personnes, trois ASC ne couvrent en moyenne que 750 personnes. En parallèle, le niveau d’éducation de ces ASC est souvent très faible, ce qui constitue 1 En dollars américains de 2011. Ce montant, comme les autres chiffres présentés dans cette section, est tiré de la Base des Indicateurs du Développement dans le Monde, 2011 (sauf mention contraire). 13 un défi en ce qui a trait à leurs capacités de rapportage. Les questions d’accès physique compliquent souvent la relation des ASC (ou des bénéficiaires dans le cadre du programme du côté de la demande) avec les prestataires. Lorsque les systèmes de vérification ont été conçus et mis en œuvre, toutes ces contraintes ont dû être traitées par le FBP communautaire et par le programme de FBP du côté de la demande. Cette étude vise à décrire ces systèmes de vérification, mais aussi à identifier les résultats obtenus, les obstacles rencontrés, la manière dont ils ont été résolus et les défis qu’il reste à relever. Illustration 1.2 : Le Rwanda en Afrique Source : Banque Mondiale, 2013. 14 1. METHODOLOGIE La collecte de données pour cette étude a été conduite en deux étapes. D’abord, les documents pertinents (voir les références) ont été analysés et des entretiens téléphoniques ont été menés avec des informateurs clés. Ensuite, en 2013, des données quantitatives et qualitatives ont été récoltées au cours d’une visite de deux semaines au Rwanda. En ce qui concerne les données qualitatives, les acteurs importants au niveau central et les acteurs pertinents au niveau du terrain ont été interrogés. Un échantillon de quatre districts a été sélectionné en accord avec le Ministère de la Santé (MS). Un échantillonnage aléatoire n’étant pas faisable, nous avons par conséquent tenté d’obtenir un échantillon représentatif de la diversité géographique du pays en sélectionnant des districts situés dans trois des cinq provinces du pays et cela, tout en prenant en compte les contraintes liées à l’accessibilité physique. Dans chacun des districts choisis, des entretiens ont été menés avec le personnel administratif et hospitalier du district chargés du FBR. Un centre de santé par district a également été sélectionné en accord avec le MS (là aussi, en prenant en compte les contraintes liées à l’accessibilité physique) et des entretiens ont été menés avec la personne responsable du centre de santé, le chargé des ASC, le président de la coopérative des ASC ainsi qu’avec le chargé des affaires sociales (comprenant la santé) au niveau du secteur (c’est-à-dire l’administration locale). Aucune information n’était connue sur la performance ou la réputation des coopératives sélectionnées avant la sélection. La liste des personnes rencontrées est présentée en annexe 1 et, le tableau 1.2 résume les zones et les structures de soins visitées. Tableau 1.2 : Districts et structures visités District Hôpital visité Centre de Santé visité Kamonyi Remera Rukoma Kamonyi (secteur de Gacurabwenge) Gicumbi Byumba Mulindi (secteur de Kaniga) Rwamagana Rwamagana Rubona (secteur de Rubona) Kirehe Kirehe Kirehe (secteurs de Kirehe, Gatore et Kigina) Source : Auteurs, 2013. En ce qui concerne les données quantitatives, les sources de données diffèrent en fonction des mécanismes de vérification. Les interventions de FBR communautaire au Rwanda comportent quatre types de vérification :  La vérification de la quantité de services prestés par les ASC : comme cela sera expliqué plus tard (voir les sections 3.1 et 4.1), seules les données sur les services vérifiés sont enregistrées dans la base de données nationale. Afin d’évaluer la différence entre les données avant et après vérification, nous avons dû utiliser les rapports au format papier des coopératives d’ASC visitées. En l’absence d’une solution alternative, nous avons comparé les données sur la performance initiale telle qu’autoévaluée par les ASC de cet échantillon avec les données vérifiées disponibles au niveau national. Il n’y a que quatre coopératives d’ASC dans cet échantillon et elles n’ont pas été sélectionnées aléatoirement : les résultats ne peuvent donc pas être considérés comme représentatifs. Cependant, nous les avons considérés comme pertinents pour cette étude de cas, car ils sont corroborés par d’autres études (voir les sections les 4.1 et 4.4).  La qualité des rapports des ASC et de la gestion des coopératives d’ASC : les données ont pu être extraites de la base de données nationale, mais elles n’étaient disponibles que jusqu’en fin 2011, en raison d’un changement de logiciel utilisé par le Système d’Information Sanitaire (SIS) communautaire.  La quantité d’incitatifs en nature distribués : comme cela sera expliqué plus tard (voir les sections 3.3 et 4.3), le programme de soutien à la demande n’enregistre pas du tout les données avant que la vérification ne soit effectuée. Ceci a rendu impossible l’étude quantitative des résultats de vérification. 15  La contre-vérification : deux rapports de contre-vérification ont été produits dans le cadre des interventions de FBR communautaire, l’un sur le FBR du côté de la demande (MS, 2012a) et l’autre sur le FBP communautaire (MS, 2012b). Les données de ces rapports ont été analysées. En outre, les comités de pilotage au niveau du secteur ont commencé, à partir du dernier trimestre 2011, à effectuer des visites de contre-vérification dans la communauté et, les rapports de ces visites dans les quatre secteurs visités dans le cadre de cette étude ont également été examinés. De plus, les données portant sur le coût de la vérification ont été collectées à travers le service comptable de la direction de la SMI du MS. L’analyse des données quantitatives et qualitatives a été effectuée d’après un cadre d’analyse déjà utilisé par plusieurs autres études de cas centrées sur les mécanismes de vérification dans divers pays (annexe 2). Ce cadre d’analyse a été conçu pour permettre des comparaisons entre les systèmes. Il comprend cinq grands thèmes qui ont déterminé les principales sections de cette étude de cas : vue d’ensemble des interventions de FBR (section 2), description des mécanismes de vérification mis en œuvre (section 3), résultats des méthodes de vérification (section 4), coût de la vérification (section 5) et enfin leçons pouvant être tirées de l’application des méthodes de vérification (section 6). 16 2. CONTEXTE : INTERVENTIONS DE FBR COMMUNAUTAIRE, RWANDA L’origine des interventions actuelles de FBR communautaire remontent à 2005, lorsqu’un autre projet fut mené avec l’appui de la Banque Mondiale, mais cela sans donner de résultats satisfaisants. D’après la stratégie nationale de santé communautaire (MS, 2008), ce projet contractualisait les ASC pour atteindre cinq objectifs :  Réduire la mortalité maternelle en augmentant le nombre d’accouchements dans les institutions de santé  Réduire les décès dus au paludisme en augmentant l’utilisation des moustiquaires  Réduire les décès des enfants de moins de cinq ans causés par la déshydratation en augmentant le nombre de solutions de réhydratation orale  Une hygiène personnelle améliorée  Les ASC fournissent des rapports exacts et cela, dans les délais impartis Cette stratégie a été mise en œuvre dans 30 districts, mais les résultats n’ont pas été jugés satisfaisants. D’après les personnes interrogées dans le cadre de cette étude, les raisons identifiées étaient les suivantes :  Le programme était mis en œuvre au niveau des districts afin de renforcer le processus de décentralisation, mais une partie des fonds a été utilisée pour financer d’autres priorités des districts.  Les indicateurs n’étaient pas assez précis et vérifiables.  Le système de vérification et les outils n’étaient pas adéquats. Cet échec relatif aurait pu conduire à l’arrêt des interventions de FBR communautaire au Rwanda. Cependant, l’évaluation d’impact du FBP effectuée en 2006 et en 2008 dans les « structures sanitaires » (contrairement au FBP « communautaire ») avait identifié des faiblesses au niveau des activités communautaires et, cela a mené à continuer le FBR communautaire et non à son arrêt. En effet, cette étude avait tout particulièrement montré que l’impact du FBP pour les « structures sanitaires » sur la santé était bon, sauf pour certains services de SMI comme les Consultations Prénatales ou la Planification Familiale, pour lesquelles des changements de comportement et une implication communautaire étaient nécessaires (Basinga et al, 2009). La conception et la gestion des nouvelles interventions ont impliqué de nombreux acteurs à différents niveaux, parmi lesquels :  Le Gouvernement : le MS est impliqué par sa direction de la SMI qui gère le programme et, à travers son unité FBP (Cellule d’Appui à l’Approche Contractuelle, CAAC), qui s’assure de la cohérence du FBP avec la politique nationale.  Les bailleurs de fonds : le Fonds Mondial contre le SIDA, la Tuberculose et le Paludisme (FMSTP) et la Banque Mondiale financent les programmes avec le gouvernement.  Les partenaires techniques : certaines Organisations Non-Gouvernementales (ONG) ont été impliquées ; Management Sciences for Health (MSH), par exemple, a fourni une assistance technique  Les chercheurs : l’Université Nationale du Rwanda/Ecole de Santé Publique (UNRESP) est engagée dans l’évaluation d’impact du programme et cela, en collaboration avec la Banque Mondiale. Comme indiqué précédemment, les interventions du FBR au Rwanda comprennent en réalité deux programmes, ciblant tous les deux la SMI :  Un programme de soutien à l’offre, appelé FBP communautaire, qui fournit des incitations financières aux ASC ;  Un programme de soutien à la demande, qui donne des incitations en nature aux femmes qui utilisent certains services de SMI au niveau des centres de santé. 17 La mise en œuvre simultanée de ces deux programmes visait à déterminer quelle intervention a le meilleur impact sur les résultats. Les interventions ont en effet été menées dans le cadre d’une évaluation d’impact, ce qui a influé sur leur conception : 200 secteurs ont été sélectionnés et chacun d’entre eux a été aléatoirement affecté au groupe de traitements ou au groupe de contrôle. Il existe cinq types de secteurs dans le pays :  Les secteurs inclus dans le programme du côté de l’offre  Les secteurs inclus dans le programme du côté de la demande  Les secteurs inclus à la fois dans le programme du côté de l’offre et dans celui du côté de la demande  Les secteurs inclus dans le groupe de contrôle  Les secteurs non inclus dans l’étude. La participation était obligatoire pour les institutions incluses dans un des groupes de traitement de l’évaluation d’impact. Le Tableau 3 fournit un résumé des données démographiques relatives aux cinq groupes : Tableau 1.3 : Population dans chaque branche d’étude de l’étude Branche Nombre de secteurs Population Population (%) Offre 50 1 276 024 12 Demande 50 1 123 608 11 Offre et demande 50 1 248 060 12 Contrôle 50 1 153 748 11 Secteurs non inclus dans l’étude 216 5 735 782 54 Total 416 10 537 222 100 Source : Recensement de la population, 2012. Les ASC sont des travailleurs bénévoles qui vivent dans la communauté et qui fournissent des services de santé ciblés. D’après la politique nationale de santé communautaire (MS, 2008), ils « constituent le lien entre les centres de santé et la communauté, servant de porte-parole du service sanitaire au niveau communautaire. Ils connaissent bien les communautés car ils vivent en leur sein et, sont souvent des personnes respectées ». Les ASC ne sont pas individuellement contractualisés. Ils sont organisés en coopératives de trois personnes par village. La coopérative signe un contrat avec le secteur (administration locale qui joue le rôle d’acheteur de services) qui la rémunère au travers de deux activités distinctes :  Elle reçoit une rémunération de services mensuelle pour une série de 10 indicateurs de résultat de SMI (tableau 1.4), sélectionnés d’une part pour leur impact direct sur les activités du centre de santé et, d’autre part, pour leur facilité de vérification. Cet aspect était particulièrement important puisque les activités sont effectuées au niveau communautaire rendant la vérification difficile. C’est pourquoi, des indicateurs de référence ont été privilégiés en lieu d’indicateurs de sensibilisation. En effet, les premiers laissent une trace au niveau des centres de santé (les patients référés sont vus au centre de santé) et sont donc plus faciles à vérifier. Un subside est rattaché à chaque indicateur : le montant total n’étant pas plafonné, plus une coopérative réfère des patients aux centres de santé, plus elle reçoit de l’argent.  Elle reçoit un subside trimestriel pour la qualité de la coopérative. Son montant représente un pourcentage d’une somme forfaitaire (proportionnelle à la taille de la population) déterminé par une évaluation effectuée par les comités de pilotage des secteurs et des districts et cela, en s’appuyant d’une part sur une liste de contrôle de neuf indicateurs pour l'évaluation de la qualité (tableau 1.4) 18 et, d’autre part, sur l’exactitude, la promptitude et la complétude de leur participation au SIS communautaire. Les paiements pour les ASC ne sont pas individuels ; ils sont versés aux coopératives (chaque coopérative est composée d’environ 100 ASC). Dans les quatre coopératives rencontrées dans le cadre de cette étude, les paiements de FBR variaient de 1 800 000 RWF à 6 000 000 RWF (2 795 US$ à 9 317 US$) par trimestre. Ce paiement de FBR ne constitue qu’une part des revenus des coopératives : celles-ci sont supposées implémenter des activités génératrices de revenus afin de ne pas être entièrement dépendantes des revenus du FBR. Les coopératives rencontrées dans le cadre de cette étude ont déclaré que les activités génératrices de revenus représentaient entre 6 et 13 pour cent de l’ensemble de leurs ressources financières, le reste provenant du FBR. Le programme du côté de la demande vise à encourager les femmes à utiliser les services de SMI prestés par les centres de santé. Quand une femme se rend au centre de santé pour accéder à l’un des trois services sélectionnés dans le cadre du programme (ces indicateurs sont listés dans le tableau 1.4 ; ils ont été sélectionnés à cause de leur faible taux d’utilisation), elle reçoit une incitation en nature prédéfinie (comme des vêtements pour les adultes ou pour les enfants, des comprimées de traitement de l’eau, du savon, des châles, des draps, des parapluies). Le centre de santé est responsable de la distribution de ces incitations ainsi que pour le renouvellement des stocks qu’il gère via un compte spécial approvisionné par le MS. Les indicateurs qui sont récompensés au Rwanda à travers le FBP communautaire et le programme côté de la demande sont résumés dans le tableau 1.4. 19 Tableau 1.4 : Indicateurs dans le FBP communautaire et le programme du côté de la demande au Rwanda Côté de l’offre Rémunération du Rémunération du Rémunération des Côté de la demande rapportage : rapportage : Indicateurs Qualité du rapport Qualité de coopérative 1. Enfants (6 à 59 mois) 1. Promptitude 1. Contrat signé 1. Femmes enceintes suivi pour leur statut 2. Complétude 2. Autorisation du district fréquentant le centre de nutritionnel 3. Exactitude obtenue santé pour des CPN 2. Femmes accompagnées 3. Stock adéquat de SIS (incitations en nature au centre de santé pour communautaires et de fournies une fois par des soins anténataux formulaires de rapportage grossesse) avant ou au cours du 4. Présence d’un livre de 2. Femme accouchant quatrième mois de caisse et preuve d’au dans des institutions de grossesse moins trois transactions santé 3. Femmes accompagnées durant la période 3. Couples mère-enfant dans un centre de santé 5. Une réunion des recevant des soins au pour accoucher membres de la centre de santé dans les 4. Nouveaux utilisateurs coopérative tenue au 10 jours suivant la de planification familiale cours du trimestre et son naissance référés au centre de santé compte-rendu disponible par les coopératives 6. Un président de d’ASC coopérative nommé 5. Utilisateurs réguliers de 7. Un statut légal obtenu la contraception moderne 8. Informations bancaires dans le centre de santé complètes présentes 6. TB2 – Cas suivis 9. Le plan d’affaires mensuellement à domicile disponible pour la période dans la communauté – programme DOTS3 7. Cas “réels”4 de TB suspectés référés au centre de santé 8. Femmes accompagnés pour des soins postnataux 9. Femmes accompagnées pour la PTME5 10. Patients référés pour le CDV6 Source : MS, 2011. 2 Tuberculose. 3 Directly Observed Therapy (Thérapie Directement Observée) 4 « Réel » signifie que le prestataire de santé au centre de santé a effectué des tests en laboratoire pour la TB puisque le cas était légitimement considéré suspect ; données extraites des données du centre de santé. 5 Prévention de la Transmission de la Mère à Enfant. 6 Conseil et Dépistage Volontaire. 20 3. CARACTERISTIQUES PRINCIPALES DES METHODES DE VERIFICATION La méthode de vérification ainsi que le programme dans son ensemble ont été conçus de façon à fonctionner au sein des systèmes administratif et sanitaire rwandais et cela, afin d’éviter de créer de nouvelles structures. Pour comprendre ce système de vérification, il est d’abord nécessaire de comprendre le système administratif rwandais :  Le pays est divisé en cinq provinces.  Chaque province est divisée en districts (30 districts dans le pays, environ six districts par province) : ceci représente le niveau de l’hôpital du district.  Chaque district est divisé en secteurs (416 secteurs dans le pays, environ 14 secteurs par district) : ceci représente le niveau du centre de santé et des coopératives d’ASC.  Chaque secteur est divisé en cellules (2 148 cellules dans le pays, environ cinq par secteur).  Chaque cellule est divisée en villages (14 842 villages dans le pays, environ sept par cellule) : ceci représente le niveau des ASC (trois ASC par village). Le système de vérification remonte cette pyramide administrative étape par étape, n’omettant que le niveau provincial, qui n’est pas encore entièrement opérationnel ; pour les activités de vérification ainsi que pour d’autres activités, les ASC sont supervisés par le centre de santé ; les centres de santé sont supervisés par l’hôpital du district ; et, les hôpitaux de district sont supervisés par le niveau central. Quatre types de vérification sont mis en œuvre dans le cadre des interventions de FBR (voir Illustration 1.1) :  Une vérification de la quantité des services prestés par les ASC, effectuée mensuellement pour chaque coopérative par le centre de santé auquel elle est affiliée et, validée trimestriellement par un comité de pilotage présidé par l’administration locale.  Une évaluation de la qualité des coopératives d’ASC, y compris la qualité des rapports (promptitude, complétude, exactitude), menée mensuellement par le centre de santé et validée trimestriellement par le comité de pilotage local ; et, une évaluation de la qualité de gestion des coopératives, évaluée trimestriellement par l’hôpital du district et validée par un comité de pilotage au niveau du district.  Une vérification de la quantité d’incitations en nature distribuées, théoriquement effectuée mensuellement par l’hôpital du district au cours de visites de supervision de routine faites aux centres de santé.  Une contre-vérification des informations fournies par ces trois mécanismes, effectuée par le centre de santé, le secteur, l’hôpital du district ou le MS et cela, de manière ciblée ou systématique. 21 3.1. Comment la quantité de services prestés par les ASC est-elle vérifiée ? La vérification de la quantité de services prestés par les ASC est effectuée chaque mois pour chaque coopérative, sans échantillonnage. D’abord, au niveau du village, les ASC remplissent men suellement le formulaire de routine du SIS communautaire (au format papier, voir l’annexe 3), comprenant environ 50 indicateurs et incluant les dix indicateurs du programme de FBP communautaire. Il convient de souligner que ce formulaire est destiné au SIS et, qu’il n’est utilisé que pour le FBP qu’afin d’éviter toute duplication inutile. Puisque la taille de la population desservie par les ASC est très limitée (250 personnes par ASC en moyenne), il n’est pas nécessaire de noter le nom ou le numéro d’identification unique des patients dans les formulaires ou dans la base de données. Au cas où un patient doit être retrouvé, cela peut être fait facilement en utilisant les registres des ASC. Ce formulaire SIS est ensuite compilé par les ASC au niveau de la cellule (au moins un ASC par village participe à cette compilation) et, un rapport SIS mensuel communautaire au niveau de la cellule est établi. Il se base sur le même formulaire que pour le rapport du SIS communautaire au niveau du village. Le centre de santé, qui joue le rôle de vérificateur, n’entre en jeu qu’une fois cette compilation au niveau de la cellule effectuée. Une réunion, à laquelle tous les ASC peuvent assister, est organisée au centre de santé à la fin du mois. Cependant, dans les secteurs visités dans le cadre de cette étude, seuls les membres du conseil d’administration de la coopérative y participent et cela, avec la personne chargée des ASC au niveau du centre de santé7, parfois assisté par le gestionnaire de données du centre de santé. Une compilation des rapports SIS communautaires des cellules est effectuée et, un rapport du SIS communautaire au niveau du secteur est établi en utilisant le même formulaire. Pour chaque indicateur, les calculs sont contrôlés et les incohérences potentielles sont suivies. Pour les dix indicateurs liés aux paiements de FBP, les membres de la coopérative et le personnel du centre de santé vérifient également si le nombre de prestations compilé correspond au nombre de prestations enregistré au centre de santé. Les sources utilisées pour cette vérification sont les formulaires de référence qui sont donnés aux patients par les ASC ainsi que les registres du centre de santé. A la fin de la réunion, le centre de santé formule des recommandations à la coopérative, si cela est nécessaire. On peut remarquer que la relation entre les ASC et le vérificateur va bien au-delà du processus de vérification : le centre de santé est aussi responsable de la planification et de la supervision des activités des ASC, de leur formation, etc. La vérification de la quantité n’est qu’une activité supplémentaire qu’ils effectuent ensemble. Cette coopération quotidienne, couplée au fait que le centre de santé peut dans une certaine mesure être considéré comme le supérieur de la coopérative d’ASC et qu’il est évalué sur sa capacité à superviser ses activités, illustre la nature très intégrée et complémentaire du système de vérification du FBP communautaire. Les centres de santé disposent de beaucoup d’autonomie en ce qui concerne la façon dont ils mettent en œuvre la vérification de la quantité des services prestés par les ASC. C’est pourquoi la méthodologie exacte et le temps utilisé pour cette activité varient considérablement dans les quatre structures sanitaires visitées dans le cadre de cette étude : dans l’une de ces structures, le personnel chargé des ASC et le gestionnaire de données ont stipulé qu’ils comparaient seuls les rapports des cellules et les sources de données alors que d’autres structures ont révélé entreprendre cette tâche en collaboration avec les ASC. Dans une des structures, le personnel chargé du centre de santé a déclaré qu’il aidait parfois à la vérification de la quantité alors que dans d’autres structures, c’est le gestionnaire de données qui fournissait ce soutien. A cause de cette grande variabilité et selon les personnes interrogées dans le cadre de cette étude, la durée des réunions pouvait s’étendre de trois heures à deux jours entiers. 7 La personne chargée des ASC au niveau du centre de santé est un infirmier hautement qualifié ou équivalent, comme un expert en santé environnementale. Dans tous les cas, il s’agit toujours d’une personne di plômée. 22 Une fois la réunion entre les ASC et le personnel du centre de santé terminée, le rapport mensuel du SIS communautaire du secteur est saisi dans une base de données en ligne par le gestionnaire de données du centre de santé. Auparavant, cette tâche incombait à l’hôpital du district, mais elle a été transférée au centre de santé au cours du projet afin d’alléger la charge de travail des gestionnaires de données des hôpitaux. Les données sont ensuite analysées au niveau national et, une rétroaction est fournie à l’hôpital du district, si cela s’avère nécessaire. Tous les trois mois, le comité de pilotage du secteur tient une réunion afin de valider les données et autoriser les paiements. Ce comité a été principalement créé pour inclure d’autres acteurs entre le centre de santé et la coopérative d’ASC. Le comité de pilotage du secteur est composé de sept membres :  La personne chargée de la santé et des affaires sociales au niveau du secteur administratif (président)  La personne responsable du centre de santé (vice-président)  Le président de la coopérative d’ASC (membre non-votant)  La personne responsable des ASC au niveau du centre de santé (secrétaire)  Le comptable du centre de santé (ajouté au cours du projet puisqu’il gère le compte secondaire dédié à la coopérative d’ASC ; il est important qu’il ait une bonne compréhension des mouvements de fonds)  Un membre de la communauté (qui n’est pas un membre de l’une des institutions déjà représentées)  Un représentant des ONG appuyant les coopératives d’ASC  La personne responsable de la santé environnementale au niveau du centre de santé (membre sans droit de vote) On peut remarquer que la composition de ce comité est dominée par le personnel du centre de santé. La capacité du comité de pilotage à jouer son rôle de superviseur externe entre le centre de santé et la coopérative d’ASC dépend du dynamisme et de l’intérêt de son président, c’est-à-dire la personne responsable de la santé et des affaires sociales au niveau du secteur. Ce dernier signe le contrat avec les coopératives d’ASC et agit en tant qu’acheteur dans le programme de FBP communautaire, mais les ressources humaines sur lesquelles il peut compter pour mettre en œuvre les décisions du comité de pilotage sont composées de membres du personnel du centre de santé. Ceci illustre à nouveau le fait que le système de vérification du FBP communautaire au Rwanda est très intégré : non seulement la performance des ASC est évaluée par leur « supérieur », mais la validation de cette vérification est également effectuée par un comité dominé par le même acteur. Aucun conflit d’intérêt lié à cette situation n’a été communiqué aux auteurs de cette étude, mais cela ne signifie pas que cela ne s’est jamais produit ou que cela ne peut pas se produire dans d’autres contextes. Au cours de la réunion du comité de pilotage, les participants vérifient que les compilations effectuées dans les trois rapports mensuels du SIS communautaire du secteur sont correctes et, ils analysent l’évolution de la performance pour détecter toute incohérence potentielle. Comme cela sera explicité plus loin, ils analysent également les résultats de l’évaluation de la qualité des rapports du SIS (voir la section 3.2). Si à la suite de cette réunion des corrections doivent être apportées dans la base de données en ligne, elles seront réalisées par le gestionnaire de données du centre de santé. Si des problèmes spécifiques liés à la qualité des données sont identifiés, le comité de pilotage peut décider d’effectuer des visites de contre -vérification dans un ou plusieurs villages (voir la section 3.4). Dans les structures visitées, les comptes rendus de réunions montrent que leur durée moyenne est de trois heures. Le paiement ne peut être déboursé qu’une fois la réunion du comité de pilotage tenue. Le montant qui est dû à la coopérative (en fonction de sa performance) est d’abord versé par le MS sur le compte du centre de santé dédié au FBP communautaire. Ensuite, le centre de santé transfère ce montant sur le compte de la coopérative. La durée moyenne entre la réunion et le paiement effectif pour la coopérative est de deux mois d’après les centres de santé visités dans le cadre de cette étude ; cette durée relativement longue peut être expliquée par le fait que le système de paiement comporte deux étapes. 23 3.2. Comment la qualité des coopératives d’ASC est-elle évaluée ? Deux aspects de la qualité des coopératives d’ASC sont évalués :  La qualité des rapports du SIS communautaire  La qualité de gestion de la coopérative La qualité des rapports mensuels du SIS communautaire soumis par les coopératives d’ASC est évaluée trimestriellement par le comité de pilotage du secteur. Comme dans le cadre de la vérification de la quantité des services, l’évaluation de la qualité des rapports est effectuée chaque trimestre pour chaque coopérative et, il n’y a pas d’échantillonnage. Il convient de noter que c’est l’ensemble du rapport du SIS communautaire qui est évalué et, non pas uniquement les indicateurs liés à des incitations pour la quantité. L’évaluation est préparée par le personnel du centre de santé chargé des ASC (parfois avec l’assistance du président de la coopérative) qui vérifie que :  Tous les rapports sont complets (complétude)  Leur date de soumission se conforme aux délais impartis (promptitude)  Leur contenu est cohérent (exactitude), c’est-à-dire que l’exactitude des sommes est vérifiée ; par exemple, on s’assure que le nombre total d’enfants vus pour la malnutrition correspond à la somme des enfants traités, guéris et référés Le guide de l’utilisateur du FBP communautaire (MS, 2009) offre des lignes directrices pour les critères à utiliser afin d’évaluer la promptitude, la complétude et l’exactitude des rapports. Par exemple, il précise que si l’un des trois rapports mensuels du secteur est en retard, la coopérative perd la moitié de ses points pour la promptitude. Si deux reports sont en retard, la coopérative perd tous ses points pour cet indicateur. Ces lignes directrices étaient appliquées avec un certain degré de variabilité parmi les quatre structures sanitaires visitées dans le cadre de cette étude. Par exemple, certaines de ces structures appliquaient une règle plus stricte, considérant les rapports de cellules et, même ceux de villages, au lieu de se concentrer sur les rapports de secteurs. Le seuil établi pour perdre la moitié des points (un rapport en retard) restait le même, mais étant donné qu’un nombre plus important de rapports étaient évalués, il s’avérait plus difficile pour les coopératives d’obtenir un score important pour la qualité des rapports. Le temps consacré à cette activité variait également entre les structures visitées : certaines préparaient l’évaluation de la qualité des rapports au cours de la réunion et cela, à mesure qu’elles avançaient ; d’autres faisaient cela au cours d’une réunion séparée à laquelle n’assistaient que le président de la coopérative et la personne chargée des ASC au niveau du centre de santé ; et, dans un cas, l’évaluation était préparée par la personne chargée des ASC et cela, sans assistance. Bien que le comité de pilotage soit responsable de l’évaluation, la majorité du travail est effectuée au cours de la préparation de la réunion et cela, par le personnel chargé des ASC au niveau du centre de santé. Le centre de santé est donc chargé d’évaluer un rapport qu’il a contribué à établir : comme cela a été explicité plus haut (voir la section 3.1), le rapport du SIS communautaire du centre de santé est élaboré dans le cadre d’une collaboration entre la coopérative d’ASC et le centre de santé. Encore une fois, aucun conflit d’intérêt lié à cette situation n’a été communiqué aux auteurs de cette étude, mais cela ne signifie pas que cela ne se produit jamais ou que cela ne peut se produire dans d’autres contextes. Une fois que cette préparation est faite par le personnel chargé des ASC au niveau du centre de santé, le comité de pilotage n’a plus qu’à valider les résultats et formuler des recommandations si un problème particulier est détecté dans un village ou dans une cellule spécifique. Les résultats de l’évaluation sont également saisis au niveau du centre de santé par le gestionnaire de données. La qualité de gestion de la coopérative n’est pas évaluée par le comité de pilotage du secteur, mais par l’hôpital du district. De même que dans la vérification de la quantité et de l’évaluation de la qualité des rapports, il n’y a pas d’échantillonnage ; l’évaluation de la qualité de la gestion des coopératives est effectuée chaque trimestre pour chaque coopérative d’ASC. Il existe une personne chargée des activités de 24 santé communautaire au niveau de l’hôpital du district8. Cette personne appartient à l’équipe de suivi et d’évaluation de l’hôpital et, elle est chargée de cette activité. Elle peut être appuyée par une ONG qui suit les coopératives d’ASC (si une telle ONG existe) ; et, dans certains hôpitaux qui ont été visités, elle peut être soutenue par d’autres membres de l’équipe de suivi et d’évaluation. L’évaluation de la qualité de gestion de la coopérative est effectuée lors d’une visite au centre de santé qui peut avoir lieu au cours d’autres activités de suivi effectuées par l’hôpital au centre de santé, mais elle est toujours menée par un membre du personnel qui ne fera que cela au cours de la visite. Le calendrier d’évaluation est défini par l’hôpital et, les coopératives sont averties à l’avance. Les visites impromptues ne sont pas possibles puisque les ASC ne sont pas considérés comme des membres du personnel de santé. Une prise de rendez-vous est nécessaire puisque les ASC sont des personnes bénévoles qui ont d’autres activités et qui ne sont pas censées être présentes au centre de santé de manière permanente. Au cours de l’évaluation, l’évaluateur tient une réunion avec le conseil d’administration de la coopérative ainsi qu’avec le chargé des ASC au niveau du centre de santé ; et, il utilise une liste de contrôle de neuf indicateurs (annexe 4). Ensemble, ils s’assurent que tous les documents sont disponibles et actualisés et, fournissent un score à chaque indicateur. A la fin de la visite, l’évaluateur communique le score à la coopérative et formule des recommandations lorsque cela s’avère nécessaire. Il est à noter que certains des indicateurs pris en compte lors de l’évaluation de la qualité de gestion des coopératives (tableau 1.4) ne varieront pas à travers le temps (par exemple : contrat signé, autorisation du district obtenue, statut légal obtenu). La présence de ces indicateurs se justifiait au début du programme lorsque les coopératives étaient en train de se constituer. Ils doivent maintenant évoluer pour mieux se corréler aux capacités croissantes des coopératives d’ASC. Dans les hôpitaux visités, les membres du personnel chargé de cette évaluation ont déclaré que l’évaluation pouvait durer d’une à trois heures. Les résultats de l’évaluation sont validés par les comités de pilotage des districts et sont saisis dans la base de données en ligne par le gestionnaire de données de l’hôpital. 3.3. Comment la quantité d’incitations en nature distribuées est-elle évaluée ? Le système de vérification des incitations en nature distribuées aux femmes utilisant des services de SMI (femmes enceintes consultant pour des soins anténataux, pour accoucher et pour des soins pour la mère et l’enfant au cours des dix jours suivants la naissance et cela, au centre de santé) est moins développé que le système de vérification du programme de côté de l’offre. Ceci peut être en partie expliqué par le fait que les programmes de côté de la demande nécessitent généralement moins de vérification : leur principal objectif n’est pas de détecter des surestimations potentielles de la part des prestataires mais de confirmer que les biens qui doivent être distribués ne sont pas détournés et qu’ils sont adéquatement distribués et cela aux groupes ciblés et, selon les conditions prédéfinis pour l’activité. La présence physique de ces biens peut être vérifiée à tout moment par la hiérarchie facilitant ainsi le processus de vérification. La vérification des incitations en nature est intégrée au suivi des centres de santé effectué par l’hôpital du district. L’équipe de suivi et d’évaluation de l’hôpital procède à des visites mensuelles de routine aux centres de santé au cours desquelles de nombreux aspects du travail du centre de santé sont discutés. L’objectif principal de ces visites n’est ni de contrôler ni de sanctionner mais de renforcer les capacités des centres de santé. L’équipe de l’hôpital utilise une liste de contrôle préétablie dans laquelle elle sélectionne les thèmes à aborder en fonction des problèmes ou des faiblesses détectés à travers le SIS ou à travers des visites antérieures. Ainsi, la vérification de la quantité des incitations en nature distribuées aux femmes utilisant les services de SMI n’est pas l’objectif principal de ces visites et, il est probable que cela soit un sujet qui n’est même pas abordé au cours des visites. 8 Comme dans les centres de santé, ce responsable est un infirmier hautement qualifié ou équivalent, comme un expert en santé environnementale. 25 Lorsque le sujet est abordé, les membres de l’équipe de suivi de l’hôpital s’attachent à contrôler les registres où sont enregistrés les noms, les adresses et les informations personnelles des femmes ayant bénéficié d’incitations et, vérifient si leurs résultats correspondent aux stocks physiques de la structure sanitaire. Ils s’assurent que ces femmes sont également inscrites dans d’autres registres (naissances, visites anténatales) et que toute femme éligible a effectivement reçu des incitations. Pour ce faire, ils choisissent aléatoirement cinq femmes dans les registres du centre de santé et vérifient qu’elles figurent également dans le registre du programme. Les résultats de cette vérification (par exemple, le nombre de femmes qui étaient dans les registres du centre de santé, mais qui n’ont pas été retrouvées dans le registre du programme) sont enregistrés en utilisant un formulaire au format papier (annexe 5), fourni aux auteurs de cette étude par le MS du niveau central, mais qui n’a pas été retrouvé sur le terrain dans les quatre hôpitaux visités. Par conséquent, aucune étude des résultats du processus de vérification n’a été possible. 3.4. Comment les données sont-elles contrevérifiées ? Aucun des processus de vérification décrits jusqu’ici n’implique de rencontres physiques avec les patients, qui représentent les véritables bénéficiaires de ces programmes. Tous les processus se cantonnent aux registres des structures sanitaires. C’est pourquoi des contre-vérifications – impliquant de rencontrer des patients et de leur demander de confirmer s’ils ont effectivement reçu les soins tels que l’indiquent les registres de la structure – sont conduites à différents niveaux. Il existe deux types de contre-vérifications dans les interventions de FBR communautaire au Rwanda :  Les contre-vérifications ciblées (par exemple, lorsqu’un problème spécifique est détecté)  Les contre-vérifications systématiques (par exemple, avec un échantillonnage aléatoire) Les contre-vérifications ciblées peuvent être menées par les centres de santé, les comités de pilotage de secteurs ainsi que par les hôpitaux de district. Au niveau des centres de santé, la personne chargée des ASC rencontre régulièrement les ASC au niveau des villages au cours des visites de supervision ou des visites aux ménages. Ces visites sont effectuées en utilisant un guide prédéfini (annexe 6). Les personnes chargées des ASC rencontrées dans le cadre de cette étude au niveau des centres de santé ont déclaré qu’elles pouvaient demander aux ASC de leur montrer des patients qu’ils avaient déclaré avoir référé de manière à s’entretenir avec eux ou voir les incitations en nature distribuées afin de confirmer l’exactitude des déclarations de l’ASC. Cependant, ces questions ne sont pas définies dans le guide de supervision et, aucun enregistrement ne peut être créé concernant ces contre- vérifications menées par les centres de santé. Le comité de pilotage du secteur peut également effectuer des visites de contre-vérification. Chaque trimestre, il cible un ou plusieurs villages dans le ou lesquels des problèmes spécifiques ont été détectés et, certains de ses membres (deux à quatre d’après les rapports de contre-vérification des structures sanitaires visitées dans le cadre de cette étude) visitent des ASC dans leurs communautés. Dans les secteurs visités, il a été remarqué que l’administration du secteur utilisait parfois la contre -vérification comme un outil pour réaliser leurs propres objectifs (maintien de l’ordre public et santé publique dans le secteur) plutôt que pour assurer la qualité des données. Les membres qui se rendent sur le terrain contrôlent l’exactitude des rapports et peuvent demander à voir un ou plusieurs des patients figurant dans ces rapports (pour des indicateurs payés ou pour d’autres indicateurs). L’équipe formule ensuite des recommandations afin d’améliorer la qualité des données et, un rapport est écrit (aucun format standard n’existe et, aucune compilation des données n’est effectuée). Dans les rapports qui ont pu être étudiés, aucune mention n’a été faite de la durée des visites. Cette activité est supposée être menée par les comités de pilotage des secteurs depuis le début du projet, mais après quelques trimestres, il est apparu que ces comités n’effectuaient pas ou que peu de contre- vérifications. C’est l’une des raisons pour lesquelles l’évaluation de la performance des comités de pilotage a été modifiée. Jusqu’au deuxième trimestre de 2012, leur rémunération s’illustrait par une somme forfaitaire calculée en fonction du nombre de centres de santé du district, mais cela a été changé pour devenir 26 un paiement basé sur la performance afin d’améliorer les incitations, particulièrement pour les contre- vérifications. La performance du comité de pilotage du secteur est évaluée par le comité de pilotage du district qui déclenche un paiement trimestriel (100 000 RWF/trimestre, soit 160 US$, et cela, pour payer l’organisation de réunions, des contre-vérifications, la supervision, les fournitures et d’autres matériaux). La contre-vérification représente à présent un indicateur à part entière de l’évaluation des comités de pilotage des secteurs. Néanmoins, il s’agit encore d’un processus nouveau : dans chacun des quatre secteurs visités dans le cadre de cette étude, seulement une visite de contre-vérification avait été effectuée au moment de la visite. Les comités de pilotage de district peuvent également mener des visites de contre-vérification. Parmi les quatre districts visités, deux comités de pilotage de district ont mentionné cette activité. L’un a déclaré que deux visites avaient été effectuées en un an dans deux secteurs sélectionnés et cela, pour des problèmes spécifiques liés à la fiabilité des données. Chaque visite comprenait un échantillonnage aléatoire de 20 patients interrogés afin de contrôler s’ils avaient effectivement utilisé les services prestés par les ASC comme cela est stipulé dans les rapports mensuels du SIS communautaire. L’autre district a mentionné avoir mené des activités de contre-vérification à travers des visites plus systématiques et cela, avec l’appui d’une ONG internationale visant à renforcer la qualité des données sanitaires dans le district. Encore une fois, il n’existe pas de compilation nationale de ces données de contre-vérification. Ces visites de contre-vérification, effectuées par les centres de santé ainsi que par les comités de pilotage des districts et par ceux des secteurs, doivent être considérées comme des outils pédagogiques visant à renforcer les capacités des ASC plutôt qu’à améliorer la qualité des données et cela, pour diverses raisons :  Elles font partie d’un processus de suivi plus large : la contre-vérification n’y représente qu’une activité parmi d’autres.  Elles peuvent être effectuées sur n’importe quel indicateur du rapport mensuel du SIS communautaire, pas seulement sur les indicateurs rémunérés.  Il y a peu ou pas d’enregistrement des résultats.  Il est possible que les patients soient sélectionnés pour leur facilité d’accès plutôt qu’aléatoirement ou sur la base de risques.  Certains centres de santé visités ont indiqué que, s’ils manquaient de temps, la contre- vérification pouvait se limiter à un contrôle des documents de l’ASC ce qui n’implique pas de rencontres physiques avec les patients. En plus des contre-vérifications ciblées effectuées au niveau local, les interventions de FBR communautaire au Rwanda incluent deux études de contre-vérification qui requièrent de physiquement rencontrer les patients. Le MS et ses partenaires ont mené :  Une étude de contre-vérification pour le programme du côté de l’offre : bien que cette étude ait été appelée contre-vérification, elle était très différente des contre-vérifications ciblées décrites plus haut. En plus de retrouver les patients dans la communauté, elle s’est attachée à contrôler l’exactitude des vérifications portant sur la quantité des services prestés par les ASC. Cela a impliqué une évaluation globale du programme.  Une évaluation du programme du côté de la demande qui a impliqué, parmi bien d’autres choses, de retracer les incitations en nature fournies aux patientes au sein de la communauté. Les deux études ont inclus un échantillon aléatoire de secteurs (40 pour le programme du côté de la demande, 53 pour celui du côté de l’offre). La portée de ces contre-vérifications au niveau national s’étendait au-delà d’un simple contrôle d’exactitude de la vérification ; et, elle visait à évaluer les forces ainsi que les faiblesses des deux programmes. Cependant, contrairement aux contre-vérifications effectuées au niveau local, elles impliquaient une étude détaillée et un rapportage des données. 27 4. RESULTATS DE L’APPLICATION DES METHODES DE VERIFICATION Les données sur les résultats n’ont pu être collectées de la même manière pour chaque processus de vérification :  Les résultats pour la vérification de la quantité de services prestés par les ASC ont été évalués au travers d’un échantillon de quatre secteurs, visités dans le cadre de cette étude.  Les résultats de l’évaluation de la qualité des rapports et de la gestion des coopératives d’ASC ont pu être évalués à travers la base de données nationale.  L’analyse des résultats de la vérification de la quantité des incitations en nature prestées aux patientes à travers le modèle du côté de la demande n’a pas été possible en raison du manque de données enregistrées.  Les résultats réalisés par les contre-vérifications au niveau des secteurs ont pu être collectés à travers les rapports de contre-vérifications des secteurs visités.  Les résultats réalisés par les contre-vérifications aux niveaux des programmes ont été évalués à travers leurs rapports respectifs (MS, 2012a et MS, 2012b). 4.1. Quels ont été les résultats de la vérification de la quantité des services prestés par les ASC ? Tel que mentionné plus haut (voir la section 3.1), seules les données validées trimestriellement par le comité de pilotage du secteur sont enregistrées dans la base de données nationale. La performance telle qu’autoévaluée par les ASC aux niveaux des villages et des cellules est enregistrée dans des rapports au format papier qui ne sont ni compilés au niveau du district ni au niveau national. Ainsi, il n’a pas été possible d’évaluer de manière exhaustive la différence entre la performance autoévaluée et la performance vérifiée (pour l’ensemble du programme) – cela aurait impliqué de collecter tous les rapports au format papier des villages ou des cellules, de les saisir dans une base de données et de les comparer avec la base de données nationale. Ainsi, nous avons décidé de concentrer notre étude sur les résultats de la vérification de la quantité des services prestés par les ASC sur les quatre secteurs qui pouvaient être visités. Il faut ici réitérer que cet échantillon ne peut être considéré comme représentatif. Bien que les conclusions qui suivent soient corroborées par des études nationales (MS, 2012b), elles doivent néanmoins être interprétées en gardant à l’esprit la taille restreinte de l’échantillon sur lequel elles sont fondées. Nous avons collecté des rapports de cellules (c’est-à-dire les rapports établis avant que le centre de santé ne commence le processus de vérification) et nous avons enregistré la performance pour les indicateurs incités telle qu’autoévaluée par les ASC dans une feuille de calcul Excel. Nous les avons comparés avec les résultats tels qu’ils sont enregistrés dans la base de données nationale (c’est-à-dire une fois le processus de vérification terminé). Afin de détecter les effets d’apprentissage, nous avons effectué cet exercice à 3 reprises : au quatrième trimestre 2010, au quatrième trimestre 2011 et au quatrième trimestre 2012. Malheureusement, deux indicateurs ont dû être exclus : « soins postnataux» et « utilisateurs réguliers de la planification familiale référés », puisqu’il est apparu qu’ils étaient directement évalués à travers les registres des centres de santé et non à travers les rapports des ASC. Les résultats de la comparaison effectuée entre la performance telle qu’autoévaluée par les ASC au niveau des cellules et la performance une fois le processus de vérification complété (résultats de la base de données nationale) sont présentés dans le tableau 1.5. 28 Tableau 1.5 : Différences entre la performance autoévaluée et la performance enregistrée dans 4 secteurs - 4ème trimestres 2010, 2011 et 2012 (agrégées par indicateur) Sous- Evaluat Sous- Différe Suresti Suresti estima Nb. ion estimati nce mation mation tion Indicateur rapports correct on Moy. des ASC Moy. des dispos. e par Moy. (%)9 (%)11 (%)12 ASC ASC (%)14 (%)13 (%)10 Femme accompagnée pour 35 2 49 23 6 29 13 l’accouchement Femme accompagnée pour 35 1 54 20 14 26 9 des soins anténataux Patients accompagnés pour un conseil et un 35 0 60 14 6 26 35 dépistage volontaire Enfants suivis - statut 34 -2 26 26 24 47 6 nutritionnel Nouveaux utilisateurs 35 8 60 20 246 20 244 référés pour la PF TB – cas suivis 35 -13 54 34 143 11 93 mensuellement (DOTS) Cas suspectés de TB 34 3 38 35 76 26 44 référés Femmes référées pour la 33 40 42 18 150 39 150 PTME Total 276 -1 48 24 23 28 8 Source : Rapports des cellules et base de données nationale, MS 2013. Note : Différences entre la performance telle qu’autoévaluée par les ASC au niveau de la cellule et la performance telle qu’enregistrée dans la base de donnée nationale pour huit indicateurs rémunérés dans les quatre secteurs visités dans le cadre de cette étude pour le quatrième trimestre de 2010, quatrième trimestre de 2011 et le quatrième trimestre de 2012 (agrégée par indicateur). 9 Différence entre la performance telle qu’autoévaluée par les ASC au niveau de la cellule et la perform ance telle qu’enregistrée dans la base de données nationale. Une différence positive signifie que la coopérative d’ASC a en moyenne surestimé sa performance. Une différence négative signifie que la coopérative d’ASC a sous -estimé sa performance. 10 Pourcentage de rapports où, pour cet indicateur, la performance telle qu’autoévaluée par les ASC au niveau de la cellule était la même que la performance enregistrée dans la base de données nationale. 11 Pourcentage de rapports où, pour cet indicateur, la pe rformance telle qu’autoévaluée par les ASC au niveau de la cellule était plus grande que la performance enregistrée dans la base de données nationale. 12 Pour les indicateurs qui étaient surestimés par les ASC, différence moyenne entre la performance telle qu’autoévaluée par les ASC au niveau de la cellule et la performance enregistrée dans la base de données nationale. 13 Pourcentage de rapports où pour cet indicateur, la performance telle qu’autoévaluée par les ASC au niveau de la cellule était plus petite que la performance enregistrée dans la base de données nationale. 14 Pour les indicateurs qui étaient sous-estimés par les ASC, différence moyenne entre la performance telle qu’autoévaluée par les ASC au niveau de la cellule et la performance enregistrée dans la base de données nationale. Au cours des quatrièmes trimestres de 2010, de 2011 et de 2012, dans les quatre secteurs visités et pour les huit indicateurs pour lesquels des données ont pu être collectées dans le cadre de cette étude, la performance telle qu’autoévaluée par les ASC était surestimée à raison d’un pour cent par rapport à la performance enregistrée dans la base de données nationale (c’est-à-dire une fois le processus de vérification complété). Ce chiffre agrège des surestimations et des sous-estimations, ce qui explique pourquoi il est préférable d’étudier les résultats séparément. Nous avons donc effectué une distinction entre une performance correctement évaluée, une performance sous-estimée et une performance surestimée. Au cours de la période, 48 pour cent des indicateurs étaient correctement évalués par les ASC au niveau des cellules ; 24 pour cent étaient surestimés (la surestimation moyenne était de 23 pour cent) et 28 pour cent étaient sous-estimés (la sous-estimation moyenne était de 8 pour cent). L’indicateur pour lequel le taux d’évaluation exacte était le plus bas était le suivi de la malnutrition (26 pour cent d’évaluations exactes) – cela peut être dû au nombre considérable d’enfants suivis, multipliant les risques liés aux erreurs de comptage et de compilation. Les autres indicateurs pour lesquels le taux d’exactitude s’est révélé faible sont les cas suspectés de TB référés et les femmes référées pour une Prévention de la Transmission de la Mère à l’Enfant (PTME). Cela peut découler du fait que les définitions de ces indicateurs sont légèrement plus complexes que celles des autres indicateurs : par exemple, les cas suspectés de TB doivent être référés si certains symptômes sont observés (par exemple, le patient doit tousser pendant plus de deux semaines). Ces définitions relativement plus compliquées peuvent expliquer pourquoi les ASC font davantage d’erreurs. Afin de détecter des effets possibles d’apprentissage, une analyse des différences entre la performance telle qu’autoévaluée par les ASC au niveau de la cellule et la performance établie après la fin du processus de vérification a également été effectuée à travers le temps. Il n’a pas été possible d’analyser ces différences de manière continue, mais nous avons pu les comparer à différents moments : au quatrième trimestre 2010, au quatrième trimestre 2011 et quatrième trimestre 2012. Les résultats sont présentés dans le tableau 1. 6. Tableau 1.6 : Différences entre la performance autoévaluée et la performance enregistrée dans 4 secteurs – 4ème trimestres 2010, 2011 et 2012 (agrégées par trimestre) Evaluation Sous- Différence Surestimat Surestimat Sous- 15 correctes estimation Indic. n Moyenne ions des ion Moy. estimation des ASC des ASC (%) ASC (%) (%) Moy. (%) (%) (%) 2010 86 -1 49 22 147 29 16 T4 2011 95 -6 45 26 23 28 4 T4 2012 95 3 51 23 7 26 12 T4 Total 276 -1 48 24 23 28 8 Source : Rapports Des cellules et base de données nationales, MS 2013. Note : Différences entre la performance telle qu’autoévaluée par les ASC au niveau des cellules et la performance telle qu’enregistrée dans la base de données nationale pour les huit indicateurs rémunérés dans les quatre secteurs visités pour les quatrièmes trimestres de 2010, 2011 et 2012 (agrégées par trimestre). T4 signifie « quatrième trimestre ». Contrairement à ce qui était escompté, le taux d’erreur entre la performance telle qu’autoévaluée par les ASC et la performance à la fin du processus de vérification n’a pas diminué de manière notable au cours de la période d’observation dans les quatre secteurs visités dans le cadre de cette étude : le taux d’exactitude était de 49 pour cent au quatrième trimestre 2010, de 45 pour cent au quatrième trimestre 2011 et de 51 pour cent au quatrième trimestre 2012. Cependant, la taille moyenne des erreurs a diminué 15 Nombre d’indicateurs inclus dans le calcul. Pour simplifier, les huit indicateurs pour lesquels des paiements sont effectués ont été exprimés en moyenne. 30 (de 147 à 7 pour cent pour les surestimations et, de 16 à 12 pour cent pour les sous-estimations). Pour expliquer cette évolution contradictoire, on peut émettre l’hypothèse que les effets d’apprentissages peuvent également avoir concerné le vérificateur (le centre de santé) : le processus de vérification peut avoir progressivement été capable de détecter de plus petites erreurs, ce qui pourrait avoir eu un effet négatif sur le taux d’erreurs, tout en diminuant la taille moyenne des erreurs. Etant donné que le processus de vérification est manuel, il serait très difficile, voire impossible, d’atteindre un taux d’erreur nul. C’est pourquoi l’évaluation du niveau d’erreur requiert la prise en compte à la fois du taux d’erreur et de la taille moyenne des erreurs commises. Comme expliqué plus haut (voir la section 3.1), la vérification de la quantité de services prestés par les ASC est effectuée en deux temps : une première étape est menée par le centre de santé en collaboration avec les coopératives d’ASC et, une seconde étape est conduite par le comité de pilotage du secteur. Le tableau 1.7 présente pour chaque indicateur le pourcentage de rapports inexacts détectés pour chacune de ces étapes. Tableau 1.7 : Pourcentage de rapports inexacts dans 4 secteurs – 4ème trimestres de 2010, 2011 et 2012, respectivement Erreurs détectées par le Erreurs détectées par le comité de pilotage du secteur centre de santé (comparaison (comparaison entre les entre les rapports des cellules Indicateurs rapports des secteurs et la et ceux des secteurs) base de données nationale) Indicateurs Nombre de Indicateurs Nombre de inexacts (%) rapports inexacts (%) rapports Femme accompagnée pour 51 35 14 35 l’accouchement Femme accompagnée pour des soins 43 35 14 35 anténataux Patients accompagnés pour un conseil 49 35 20 35 et un dépistage volontaire Enfants suivis - statut nutritionnel 59 34 29 34 Nouveaux utilisateurs référés pour la 23 35 23 35 PF TB – cas suivis mensuellement (DOTS) 23 35 37 35 Cas suspectés de TB référés 37 35 41 34 Femmes référées pour la PTME 52 33 36 33 Total 42 277 27 276 Source : Rapports des cellules et des secteurs et base de données nationales, MS 2013. Note: Pourcentage de rapports inexacts détectés par le centre de santé et par le comité de pilotage de secteurs pour huit indicateurs rémunérés dans les quatre secteurs visités dans le cadre de cette étude pour le quatrième trimestre de 2010, le quatrième trimestre de 2011 et le quatrième trimestre de 2012 Dans les quatre secteurs visités dans le cadre de cette étude, pour les huit indicateurs et pour les trois trimestres pour lesquels des données ont été collectées, 42 pour cent des indicateurs étaient considérés comme inexacts par le centre de santé au cours de la première étape du processus de vérification. Ensuite, 27 pour cent de ces indicateurs ont été à nouveau corrigés par le comité de pilotage du secteur. Bien que la majorité des erreurs soient détectées par le centre de santé, la seconde étape semble indispensable afin d’assurer la qualité des données. D’après les acteurs interrogés, les erreurs corrigées par le comité de pilotage du secteur sont principalement des erreurs de calcul et de compilation ; le comité « refait » parfois ce que les rapports des centres de santé ont fait en rétablissant la première version effectuée par les ASC. Il est important de considérer deux limites liées à l’analyse ci-dessus lorsque l’on interprète ces résultats. Tout d’abord, la taille de l’échantillon ne permet pas de généralisation. D’autre part, il n’y a pas de 31 réelles « déclarations » de performance dans le programme de FBP communautaire : les rapports des villages ou des cellules sont établis par les ASC sachant qu’ils seront corrigés lors de la compilation au niveau du secteur et qu’aucune sanction n’est prévue contre eux si les données sont inexactes. Ceci peut être l’une des raisons du niveau d’erreur relativement élevé présenté dans les tableaux 1.5 à 1.7. D’après les personnes interrogées dans le cadre de cette étude de cas, les erreurs sont principalement causées par deux facteurs :  Erreurs d’enregistrement : les ASC interprètent mal les définitions des indicateurs et, déclarent avoir référé des patients qui ne correspondaient pas aux critères d’éligibilité aux subsides (par exemple, un patient qui tousse et qui est référé comme un suspecté de TB, mais qui en fait ne présente pas tous les symptômes). Une autre source d’erreur d’enregistrement peut découler du fait que les centres de santé n’enregistrent pas correctement les patients référés.  Erreurs de compilation : des erreurs de calcul peuvent être faites lorsque les rapports de villages sont compilés dans le rapport de la cellule et, lorsque les rapports de cellules sont à leur tour compilé dans le rapport du secteur. Toutes les personnes interrogées ont insisté sur le fait que la fraude est extrêmement rare et que presque toutes les erreurs sont involontaires. Cette assertion peut se justifier puisque les indicateurs ont été sélectionnés par le centre de santé pour leur relative facilité de vérification : la structure reçoit les patients qui sont référés et, dispose de tous les documents (registres et bons de référence) qui peuvent dissuader la fraude. 4.2. Quels ont été les résultats de l’évaluation de la qualité des coopératives d’ASC ? Tel que mentionné plus haut (voir la section 3.2), l’évaluation de la qualité des coopératives d’ASC comporte deux volets :  L’évaluation de la qualité des rapports mensuels du SIS communautaire des coopératives d’ASC  L’évaluation de la qualité de gestion des coopératives L’illustration 1.4 montre l’évolution du score moyen des coopératives d’ASC pour le premier de ces deux éléments, incluant la complétude, l’exactitude et la promptitude du rapport. Elle concerne les scores de toutes les structures incluses dans le programme du côté de l’offre ; cependant, les données pour 2012 n’ont malheureusement pas pu être récoltées. Cela s’explique par le fait que la base de données dans laquelle sont compilés les résultats de l’évaluation de la qualité technique a été modifiée au début de l’année 2012 et, par le fait que le MS travaillait encore à la finalisation d’une nouvelle base de données lors de la collecte des données liée à cette étude. Dans ce contexte, seuls les résultats de 2011 ont pu être examinés. 32 Illustration 1.4 : Score moyen pour la qualité des rapports des coopératives d’ASC (n=435) incluses dans le programme du côté de l’offre – entre 4ème trimestre 2010 et 4ème trimestre 2011 (voir Note) 100% 95% 90% 85% 80% Complétude 75% Exactitude Promptitude 70% 65% 60% 55% 50% 2010 T4 2011 T1 2011 T2 2011 T3 2011 T4 Source : Auteurs, 2013. Note : Evolution du score moyen (en pourcentage du nombre total de points disponibles) des coopératives d’ASC incluses dans le programme du côté de l’offre (n=435) pour la complétude, l’exactitude et la promptitude des rapports entre le quatrième trimestre 2010 et le quatrième trimestre 2011. T4 signifie « quatrième trimestre ». Les scores très élevés atteints par les coopératives d’ASC (elles obtiennent entre 85 et 94 pour cent des points disponibles pour la promptitude et la complétude et, entre 68 et 79 pour cent des points pour l’exactitude) montrent que la rigueur de l’évaluation pourrait être renforcée. Les critères actuellement utilisés pour mesurer la qualité des rapports pourraient être davantage améliorés. Bien que les capacités des coopératives d’ASC s’améliorent, les critères n’ont pas été modifiés depuis le début du programme. Les mesures de qualité devraient être ajustées afin de s’aligner avec les capacités des acteurs qui sont évalués et, cela ne semble pas être le cas dans le contexte de l’évaluation de la qualité des rapports. Les mêmes conclusions peuvent être tirées de l’analyse de l’évolution de la qualité de gestion des coopératives d’ASC, présentée dans l’illustration 1.5. 33 Illustration 1.5 : Score moyen pour la gestion des coopératives d’ASC (n=435) incluses dans le programme du côté de l’offre – entre 4ème trimestre 2010 et 4ème trimestre 2011 (voir Note) 95% 90% 85% 80% 75% 70% 65% 60% 55% 50% 2010 T4 2011 T1 2011 T2 2011 T3 2011 T4 Source : Auteurs, 2013. Note : Evolution du score moyen (pourcentage du nombre total de points disponibles) des coopératives d’ASC incluses dans le programme du côté de l’offre (n=435) pour la gestion des coopératives entre le 4ème trimestre 2010 et le 4ème trimestre 2011. T4 signifie « quatrième trimestre ». Au cours de la période d’observation, les 435 coopératives incluses dans le programme du côté de l’offre ont réussi à obtenir entre 81 et 89 pour cent des points disponibles dans le cadre de l’évaluation de leur gestion. Tel que cela a été constaté dans le cadre de la qualité des rapports, les critères d’évaluation devraient être adaptés aux capacités des coopératives. Le fait que le score moyen n’ait jamais été inférieur à 80 pour cent démontre que cette évaluation pourrait également être améliorée. En effet, tel que souligné plus haut (voir la section 3.2), beaucoup d’indicateurs inclus dans l’évaluation de la gestion des coopératives ne peuvent pas varier (comme les contrats signés, l’obtention de l’autorisation du district, l’obtention d’un statut légal). Les indicateurs de l’évaluation devraient être modifiés afin de s’aligner avec les capacités améliorées des coopératives d’ASC. 4.3. Quels ont été les résultats de la vérification de la quantité des incitations en nature distribuées ? Tel qu’explicité plus haut (voir la section 3.3), les hôpitaux de district vérifient la quantité d‘incitations en nature distribuées aux femmes qui utilisent des services de SMI dans les secteurs inclus dans le programme du côté de la demande en sélectionnant aléatoirement cinq femmes dans les registres de la structure sanitaire et, en s’assurant qu’elles figurent également dans le registre du programme. Il a également été expliqué qu’aucune trace écrite des résultats de cette activité n’a pu être trouvée dans les 4 hôpitaux visités dans le cadre de cette étude. Par conséquent, il n’a pas été possible d’étudier les résultats de cette vérification et, de comparer le nombre d’incitations distribuées avant la vérification et après celle-ci. Il est compréhensible que le système prête moins attention à la vérification de la distribution des incitations en nature qu’à celle du programme du côté de l’offre. Néanmoins, dans le système actuel de vérification, seule la contre- vérification semble s’assurer que les incitations en nature bénéficient effectivement aux femmes. Etant 34 donné qu’une seule étude de contre-vérification a été menée dans le programme du côté de la demande (voir la section 4.4), il est possible de conclure que davantage d’attention devrait être portée à cet aspect. En ce qui concerne cette étude, on peut également déplorer une occasion manquée en matière d’analyse du système de santé et de son amélioration étant donné que beaucoup aurait pu être appris à partir des comparaisons que fournit un système adéquat d’enregistrement des données de vérification. 4.4. Quels ont été les résultats des contre-vérifications effectuées à différents niveaux ? Tel qu’explicité plus haut (voir la section 3.4), deux types de contre-vérification sont effectués dans le cadre des interventions de FBR communautaire au Rwanda.  Des contre-vérifications ciblées au niveau des centres de santé ainsi qu’aux niveaux des comités de pilotage des secteurs et de ceux des districts  Des études menées au niveau national comprenant, parmi d’autres éléments, la recherche de patients au sein de la communauté Les résultats des contre-vérifications ciblées ne sont pas toujours documentés et, ne sont jamais compilés au niveau national. Les quatre rapports de contre-vérification, élaborés par les comités de pilotage de secteurs et disponibles dans les secteurs visités dans le cadre de cette étude, montrent que la contre- vérification par les comités de pilotage des secteurs est utilisée en tant qu’outil de soutien pour les ASC – plutôt que comme un outil de détection de la fraude – afin de vérifier qu’ils utilisent correctement les registres et de renforcer leurs capacités. La raison principale qui conduit à sélectionner un village spécifique est la surutilisation (par exemple, le Conseil et le Dépistage Volontaire - CDV) ou la sous- utilisation (par exemple, la Planification Familiale) des services. Les rapports étudiés ont toujours trouvé une explication à la surutilisation (par exemple, les campagnes de sensibilisation) et, ont formulé des recommandations en cas de sous-utilisation. Ils n’ont néanmoins jamais détecté de cas de fraude. L’existence de ces contre-vérifications ciblées représente une des forces du programme ; elles font appel à un échantillonnage basé sur les risques qui constitue une expérience positive à étendre davantage. Cependant, le manque de compilation et d’enregistrement des résultats représente un aspect qui a besoin d’être amélioré. Au niveau national, deux études ont été menées et, elles ont inclus, parmi d’autres éléments, la recherche des patients dans la communauté :  Une étude pour le programme du côté de l’offre  Une étude pour le programme du côté de la demande L’étude pour le programme du côté de l’offre a sélectionné 60 secteurs, c’est-à-dire 60 pour cent des secteurs inclus dans le programme du côté de l’offre. Elle ne s’est pas limitée pas à la recherche de patients dans la communauté. Elle a impliqué une évaluation minutieuse du programme. De plus, pour six indicateurs et cela, pour le second trimestre de 2012, elle a comparé les rapports des cellules tout d’abord avec les compilations effectuées au niveau des secteurs et ensuite, avec les résultats enregistrés dans la base de données nationale (en fonction de laquelle les paiements sont effectués). Les résultats de ces comparaisons sont présentés dans le tableau 1.8. 35 Tableau 1.8 : Pourcentage des secteurs qui connaissent des différences entre la somme des rapports de cellules, de secteurs et la base de données nationale –contre-vérification du 2ème trimestre 2012. Secteurs avec des différences entre les Secteurs avec des différences entre les Indicateur rapports des cellules et ceux des rapports des secteurs et la base de secteurs (%) données nationale (%) TB suspectée 60 57 Prise en charge TB 59 67 Accouchement 27 17 Soins anténataux 24 18 Planification 33 24 Familiale Suivi nutritionnel 70 47 Source : MS, 2012b. Note : Pourcentage des secteurs qui d’après la contre-vérification de 2012 (2ème trimestre) connaissent des différences entre la somme des rapports de cellules, de secteurs et la base de données nationale. L’étude a trouvé des différences entre les rapports des cellules et ceux des secteurs dans 24 à 70 pour cent des secteurs (en fonction des indicateurs) ainsi que des différences entre les rapports des secteurs et la base de données nationale dans 17 à 67 pour cent des secteurs. Les indicateurs pour lesquels des niveaux de discordance plus élevés ont été observés étaient le suivi nutritionnel et les indicateurs liés à la TB. Ce niveau relativement élevé de discordance corrobore les résultats présentés dans la section 4.1, qui ne portent que sur les quatre secteurs visités dans le cadre de cette étude : un peu moins de la moitié des indicateurs a été évaluée correctement par les ASC au niveau des villages et, les indicateurs pour lesquels le taux d’exactitude était plus faible étaient ceux qui concernaient de grands nombres de patients (nutrition) et ceux pour lesquels les définitions étaient plus compliquées (TB). L’étude a également contrôlé que les patients que les coopératives avaient déclaré avoir référés au centre de santé existaient et, a confirmé qu’ils avaient été traités (Contre-vérification). Un total de 240 patients ont été sélectionnés (mais la sélection n’a pas pu être faite de manière aléatoire en raison de problèmes d’accessibilité) parmi lesquels 97 pour cent ont pu être identifiés au sein de la communauté (MS, 2012b). L’étude sur le programme du côté de la demande a également retracé les patients dans la communauté. La période évaluée s’étendait d’avril à septembre 2011, Un total de 107 patientes identifiées par les centres de santé comme ayant bénéficié d’incitations en nature ont été sélectionnés aléatoirement dans les 55 centres de santé de l’étude. Parmi ces 107 patientes, 97 pour cent ont confirmé avoir été traitées dans la structure de soins au cours de la période d’effet. Parmi ces dernières, 97 pour cent ont également déclaré avoir été traitées pour le service pertinent et, 98 pour cent de ces femmes ont confirmé avoir reçu des incitations en nature (MS, 2012a). Ces études suggèrent que la fraude est relativement rare. Néanmoins, afin de conférer un effet dissuasif encore plus fort, la recherche de patients dans la communauté devrait être plus fréquente et inclure un plus grand nombre de coopératives. Il est cependant improbable qu’une telle activité se révèle rentable étant donné le faible nombre de patients n’ayant pas été retrouvés au cours des études menées jusqu’à ce jour. 4.5. Utilisation des résultats de la vérification Les résultats du système de vérification dans le programme du côté de l’offre sont principalement utilisés afin de payer les coopératives d’ASC ; les résultats de la vérification à la fois en matière de qualité et de quantité conduisent au paiement d’un subside trimestriel pour la coopérative. Au cours des sept trimestres du projet, environ 9,5 millions de RWF (15,2 millions d’US$) ont été versés aux coopératives. 36 L’étude des différences existant entre les rapports des coopératives d’ASC et les données extraites du système de vérification nous permet de comparer (pour les huit indicateurs pour lesquels des données ont pu être collectées) les montants qui ont effectivement été payés aux ASC pour la quantité de services prestés dans les quatre structures de soins visitées avec les montants qui auraient été payés en l’absence d’un système de vérification (montants basés sur la performance autoévaluée des ASC). Il aurait été souhaitable d’effectuer ces analyses à plus grande échelle, au niveau national et cela, pour tous les indicateurs ; permettre au système de fournir ce type d’analyse est l’un des domaines pour lesquels des améliorations sont nécessaires dans le cadre du programme de FBP communautaire. Les résultats des comparaisons sont présentés dans le tableau 1.9. Tableau 1.9 : Différences entre les paiements qui auraient pu être gagnés en fonction d’une autoévaluation et les paiements réellement gagnés dans 4 secteurs au 4ème trimestre de 2010, 2011 et 2012, respectivement. Montant qui aurait été Montant gagné en se Différenc Prix unitaire gagné en se fondant sur fondant sur la base de Indicateur e la perf. autoévaluée données RWF US$ RWF US$ RWF US$ % Femme accompagnée 600 1,0 907 200 1 452 929 400 1 487 2 pour l’accouchement Femme accompagnée pour des soins 480 0,8 914 880 1 464 928 320 1 485 1 anténataux Patients accompagnés pour un conseil et un 1 080 0,2 6 757 560 10 812 6 779 160 10 847 0 dépistage volontaire Enfants suivis - statut 40 0,1 4 349 440 6 959 4 251 960 6 803 -2 nutritionnel Nouveaux utilisateurs 630 1,0 1 217 160 1 947 1 327 410 2 124 9 référés pour la PF TB – cas suivis mensuellement 5 048 8,1 837 968 1 341 742 056 1 187 -11 (DOTS) Cas suspectés de TB 12 620 2,0 8 076 800 12 923 8 316 580 13 307 3 référés Femmes référées pour 840 1,3 559 440 895 929 040 1 486 66 la PTME Total 23 620 448 37 793 24 203 926 38 726 2 Source : Auteurs, 2013. Note : différence entre les montants qui auraient pu être gagnés si les paiements étaient effectués en fonction d’une autoévaluation et les montants effectivement gagnés (en se basant sur la base de données nationale) par les coopératives d’ASC visitées dans le cadre de cette étude et cela, pour les huit indicateurs pour lesquels des données ont pu être collectées et pour les trois trimestres étudiés (4ème trimestres de 2010, 2011 et 2012). Dans les quatre secteurs visités, pour les huit indicateurs et pour les trois trimestres pour lesquels des données ont pu être collectées, le montant total qui aurait été payé en l’absence de vérification aurait été de 23,6 millions de RWF (37 793 US$), contre 24,2 millions de RWF (38 726 US$) qui ont été effectivement payés en fonction des résultats du système de vérification. Ceci signifie que le système de vérification a en réalité amélioré le revenu des ASC de 2 pour cent ; en moyenne, il a corrigé plus de sous-estimations que de surestimations. Cela semble contredire les résultats présentés plus haut (voir la section 4.1), qui montraient que la performance autoévaluée était en moyenne surestimée de 1 pour cent par rapport à la performance vérifiée. Cette apparente contradiction peut facilement être expliquée par le fait que les indicateurs ne sont pas tous payés au même taux. 37 Outre les paiements aux coopératives d’ASC, le but principal des résultats du système de vérification est d’améliorer les connaissances et les compétences des ASC afin d’améliorer le SIS ; on s’attend à ce que les ASC rapportent les données plus fréquemment, et cela, avec plus d’exactitude, grâce au soutien du centre de santé au cours des réunions de vérification. Cependant, les résultats des comparaisons entre les données telles qu’autoévaluées et les données à la fin du processus de vérification (voir les sections 4.1 et 4.2) ne permettent pas de déterminer si cela est effectivement le cas. Cependant, les domaines dans lesquels les résultats du système de vérification ne sont pas utilisés donnent peut-être davantage d’information que ceux dans lesquels ils sont utilisés. Par exemple, ils ne sont pas utilisés pour sanctionner les ASC ou les coopératives d’ASC qui ne rapportent pas leur performance correctement. L’exactitude est définie dans le programme de FBR communautaire au Rwanda comme l’exactitude des calculs internes au rapport. L’exactitude dans ce cas ne signifie pas que la vérification confirme ce qui a été communiqué dans le rapport pour les indicateurs ; cela ne signifie pas que la vérification ne mène pas à une modification u rapport. L’exactitude représente un des aspects de la qualité des coopératives d’ASC qui sont récompensés. Néanmoins, du fait de la définition qui lui est donnée dans le FBR communautaire au Rwanda, il n’est pas possible d’utiliser l’évaluation de la qualité des coopératives d’ASC en tant qu’incitation pour éviter les sous-estimations ou les surestimations. Le FBR communautaire tend à appuyer les ASC et à les aider à s’améliorer, plutôt qu’à les contrôler et à les punir. Le manuel de procédures ne prévoit aucune sanction et, les problèmes liés à l’exactitude de l’auto-évaluation de la performance par les ASC sont censés être traités au niveau local. Aucune des structures sanitaires visitées dans le cadre de cette étude n’a mentionné de sanctions à l’encontre d’un ASC pour fraude. Il a néanmoins été mentionné que des sanctions ont été utilisées dans le cadre de comportements inappropriés (un ASC pas assez impliqué dans son travail ou qui déroge au règlement de la coopérative). L’analyse au niveau national représente un autre domaine pour lequel les résultats du processus de vérification pourraient être utiles. Tel qu’explicité plus haut, les différences qui existent entre la performance autoévaluée par les ASC et la performance établie par la vérification ne sont pas enregistrées. Par voie de conséquence, aucune compilation de ces différences et aucune étude de grande envergure ne peuvent être entreprises sans engager un long processus de collecte de données au préalable. Ces différences sont un indicateur important des capacités des ASC ; les enregistrer et les compiler est l’un des défis que le FBP communautaire doit relever au Rwanda. En ce qui concerne le côté de la demande, il a déjà été mentionné que la vérification des résultats est insuffisamment documentée et, qu’aucune analyse n’a pu être menée dans le cadre de cette, hormis pour les résultats d’un rapport de contre-vérification. 38 5. LES COUTS DE LA VERIFICATION Le fait que les activités de vérification soient intégrées aux autres activités du système de santé aux niveaux des centres de santé, des hôpitaux de districts ainsi qu’au niveau central a rendu l’étude des coûts de la vérification des interventions de FBP communautaire au Rwanda difficile. Afin d’estimer le coût réel de la vérification, il aurait été nécessaire d’effectuer une étude détaillée du temps consacré par le personnel de santé à chacune de ses tâches ; une telle analyse n’était pas possible dans le cadre de cette étude. C’est pourquoi, nous avons décidé d’étudier les coûts de la vérification d’un point de vue programmatique. Nous avons analysé les fonds alloués à quatre activités du programme par les bailleurs de fonds ainsi que par le gouvernement :  Les comités de pilotages des secteurs  Les contre-vérifications effectuées au niveau national  Les salaires du personnel chargé des ASC au niveau des centres de santé  Les subsides fournis aux coopératives d’ASC et coûts de financement des incitations en nature Deux de ces quatre activités sont directement liées au processus de vérification : les comités de pilotage des secteurs et les contre-vérifications. Une partie du travail effectué par le personnel chargé des ASC dans les centres de santé est liée à la vérification et, une autre au renforcement des capacités des ASC. Le tableau 1.10 présente les résultats de cette analyse de coûts d’un point de vue programmatique. Tableau 1.10 : Postes de coûts centraux de l’implémentation de l’intervention de FBP communautaire au Rwanda Montant pour sept trimestres % RWF US$ Comités de pilotage 259 625 258 415 400 2 Contre-vérification 141 812 500 226 900 1 Salaires du personnel chargé des 1 341 995 072 2 147 192 10 ASC dans les centres de santé Subsides fournis aux coopératives d’ASC et coût des incitations en 11 071 913 826 17 715062 86 nature Total 12 815 346 656 20 504 555 100 Source : MS 2013. De ces coûts programmatiques, 13 pour cent des fonds sont utilisés pour financer la vérification ou pour renforcer les capacités des ASC. Cependant, pour obtenir une idée exacte des coûts de la vérification, plus d’information est nécessaire, incluant le temps que les chargés d’ASC passent sur des activités autres que la vérification. Il est probable qu’ils passent plus de temps à soutenir les ASC dans leurs activités quotidiennes (hygiène, etc.) qu’à vérifier leur performance. En outre, pour fournir une évaluation exacte des coûts de la vérification, il serait nécessaire de connaître :  Combien de temps consacrent les équipes de suivi et d’évaluation de l’hôpital du district à la vérification de la qualité des ASC  Combien de temps consacre la direction de la SMI du MS à la vérification 39 6. LEÇONS APPRISES Le système de vérification des interventions de FBR communautaire au Rwanda utilise délibérément des acteurs existants. Les résultats de cette étude de cas tendent à indiquer que ce système de vérification interne a maintenu de bas coûts et favorisé l’appropriation ainsi que l’intégration. Les coûts de la vérification sont relativement faibles (environ 13 pour cent) par rapport à d’autres projets de FBR dans la région africaine où les coûts administratifs peuvent s’élever à environ 30 pour cent (mais comme cela a été mentionné dans la section 5, l’étude des coûts n’a pu donner une image satisfaisante des coûts de la vérification dans les interventions de FBR communautaire au Rwanda). En outre, le système est très intégré aux services du MS ; dans les secteurs où le projet est mis en œuvre, la vérification est devenue une activité de routine pour les centres de santé et pour les hôpitaux. La contre-vérification tend également à devenir habituelle aux niveaux des secteurs et des districts (mais ce n’est pas encore tout à fait le cas au niveau national). L’utilisation d’acteurs existants, à la fois dans le programme du côté de l’offre et dans le programme du côté de la demande, cause les activités de vérification ainsi que celle de supervision et de suivi à être très similaires ; parfois, elles fusionnent et sont implémentées par les mêmes acteurs. Cela contredit parfois la séparation requise entre la fonction de financement (dans laquelle les activités de vérification sont incluses) et la fonction de régulation (dans laquelle les activités de suivi et de supervision sont incluses). En dépit de ce faible niveau de séparation des fonctions, le système semble avoir une capacité satisfaisante à détecter et à corriger les erreurs (plus de la moitié des indicateurs autoévalués par les ASC est corrigée par les systèmes de vérification). L’un des effets positifs collatéraux du projet est que sa nature intégrée a renforcé le SIS. L’intégration avec le SIS représente en fait un élément essentiel de la conception du projet. Les indicateurs rémunérés ont été sélectionnés à partir des formulaires du SIS et, ces derniers sont utilisés comme premier outil de vérification. Leur vérification intervient dans le cadre de la vérification du formulaire SIS pour l’ensemble de la communauté. Cependant, le haut degré d’intégration du système de vérification avec le reste du système de santé a également des effets négatifs. Dans un système décentralisé, l’intégration peut entraîner des standards et des processus décentralisés et variables. Avec toutes les décisions et les activités sont entreprises au niveau décentralisé l’utilisation des outils peut varier considérablement d’un centre de santé à un autre ou d’un district à un autre. Par exemple, il a été constaté que les centres de santé visités possédaient un entendement différent des critères utilisés pour évaluer la qualité des rapports du SIS communautaire. Un plus haut degré d’homogénéité serait souhaitable ; bien que cela préoccupe davantage les chercheurs afin d’opérer des comparaisons, que les bénéficiaires. Plus important encore, le haut degré d’intégration concentre l’attention sur des données vérifiées qui déterminent les paiements et qui sont saisies dans le SIS communautaire. Peu d’attention est accordée par les acteurs du MS chargé du processus aux données d’avant la vérification. L’information sur les données avant la vérification n’est pas compilée ; elle demeure au niveau local (secteur). Les leçons que pourrait fournir sur les capacités des ASC sont donc perdues. Alors que les données vérifiées sont utilisées pour déterminer le paiement, les données rapportées et la différence entre les données rapportées et les données vérifiées représente un outil d’apprentissage critique qui ne doit pas 6etre ignoré. De plus, ce manque d’attention aux données d’avant la vérification rend toute modification du système impossible, empêchant de le rendre moins systématique et moins couteux (par exemple, l’échantillonnage). En définitive, si les données d’avant la vérification ne sont pas utilisées, on peut se s’interroger sur le fait que les ASC passent tant de temps à remplir les formulaires de SIS communautaire ; après tout, leur travail sera refait par le centre de santé et par le comité de pilotage. A cause de ce manque d’attention à la différence qui existe entre la performance d’avant et celle d’après la vérification est que les ASC ne sont pas incités à rapporter les données de manière exacte. Il est vrai que la subvention liée au rapportage les rémunère pour l’exactitude, mais cela ne concerne que la « cohérence interne » du rapport (ce qui signifie que les sommes doivent être correctement calculées) et non les résultats de la vérification. Un indicateur devrait être considéré comme exact lorsque la vérification n’aboutit pas à une modification de l’indicateur rapporté, ce qui ne correspond pas à la définition de l’exactitude utilisée dans le programme. En outre, le critère inclus dans le guide 40 d’utilisation du FBP communautaire (MS, 2009), qui devrait être utilisé pour évaluer la promptitude, la complétude et l’exactitude des rapports, n’est pas appliqué de manière uniforme. De plus, cette évaluation de l’exactitude des rapports est en réalité effectuée par le chargé des ASC au niveau du centre de santé, bien qu’il ait également participé à l’élaboration des rapports. Une des raisons pouvant expliquer la proportion relativement élevée d’indicateurs rapportés de manière inexacte est mise en exergue par cette étude : le manque d’incitations pour l’exactitude ainsi que le manque de sanctions pour l’inexactitude. Bien que la plupart des erreurs de rapportages soit involontaire plutôt liée à la fraude (la sous-estimation est aussi fréquente que la surestimation), il n’y a pas d’incitation visant à réduire ces erreurs. C’est pourquoi le MS devrait mettre sur pied un système uniforme afin de collecter et compiler les données telles que rapportées par les ASC et, les comparer systématiquement avec les données vérifiées afin d’identifier les tendances ainsi que les incohérences et, créer des incitations visant l’amélioration. Ce système d’incitations pourrait être mis en vigueur pour récompenser les ASC de manière financière pour qu’ils fournissent des données exactes ou pour financièrement punir un nombre trop important ou une trop grande fréquence d’inexactitudes. Cela pourrait être effectué en transformant l’évaluation de la qualité, qui est actuellement trop focalisée sur la cohérence interne des rapports (par exemple, « l’exactitude » des données) et sur des éléments qui ne sont pas supposés changer dans le temps (par exemple, l’obtention de l’autorisation du district et d’un statut légal). Le degré élevé d’intégration a également des conséquences pour la sélection des indicateurs. Le lien fort qui existe avec le SIS et, notamment le fait que les indicateurs du FBP ont été sélectionnés pour leur facilité de vérification, a poussé le projet à se concentrer sur la partie curative des activités des ASC, négligeant leur rôle en matière de promotion de la santé. La plupart des indicateurs visent à aider les centres de santé à accroître leur taux d’activité ; peu d’attention est portée au rôle que les ASC devraient jouer en matière de communication, de sensibilisation, etc. Par exemple, les ASC sont rémunérés pour accompagner les patients au centre de santé dans le cadre du CDV ou de la PTME, et non pour éduquer la communauté et informer les habitants sur les modes de transmission du VIH. L’un des défis que le FBP communautaire devra lever consistera à trouver le moyen d’inciter les ASC de manière financière à entreprendre plus d’activités de sensibilisation. Ceci ne sera pas facile puisque beaucoup de ces activités sont difficiles à vérifier (elles s’illustrent par des réunions tenues au niveau des villages ou par des visites au niveau des ménages). La sélection des indicateurs doit considérer à la fois la facilité de mise en œuvre et les conséquences potentielles de ces nouveaux incitatifs. Les indicateu rs doivent refléter les buts ainsi que les objectifs centraux du projet tout en étant mesurables et vérifiables. Un grand nombre de personnes interrogées dans le cadre de cette étude a demandé une augmentation du nombre de contre-vérifications. En effet, jusqu’à présent, la contre-vérification a été sous-utilisée. La responsabilité de contrôler les tâches de vérification des centres de santé incombe dans une large mesure au comité de pilotage, qui doit également compléter d’autres tâches et dont les ressources humaines disponibles pour des visites de terrain sont principalement constituées du personnel des centres de santé. Depuis le début du projet, seules deux études incluant des contre-vérifications ont été effectuées au niveau national (l’une pour le côté de la demande et l’autre pour le côté de l’offre). Celles-ci visaient non seulement à vérifier l’exactitude des données, mais aussi à évaluer l’intégralité du programme ; leurs objectifs se rapprochent davantage à ceux des revues à moyen terme plutôt qu’à ceux d’une contre- vérification. En outre, elles ont étudié la qualité du rapportage ainsi que celle de la gestion des coopératives, mais cela sans toutefois comparer leurs résultats à ceux des comités de pilotage du district et du secteur. Une façon plus systématique d’effectuer les contre-vérifications devrait être introduite dans le programme. La première tâche consisterait à fournir des directives et des outils standardisés aux comités de pilotage de secteur afin de les aider à mieux échantillonner les ménages visités et de documenter leurs résultats d’une façon qui permette des compilations aux niveaux du secteur, du district et au niveau national. Un échantillonnage fondé sur les risques pourrait être introduit plus en avant. De manière plus générale, une meilleure documentation et une meilleure utilisation des données sont nécessaires à la fois pour la vérification et pour la contre-vérification et cela, pour le côté de l’offre et pour le côté de la demande. Une grande partie des difficultés rencontrées au cours de la réalisation de 41 cette étude est due au manque de données documentées. Cela s’illustre notamment par le fait qu’aucune analyse des résultats de la vérification du côté de la demande n’a pu être effectuée à cause du manque de données. Bien que les résultats d’une étude de contre-vérification tendent à montrer que les incitatifs atteignent les bénéficiaires, davantage de preuves seraient bienvenues. Dans l’état actuel du système de vérification, il est difficile de mener une analyse à des fins d’apprentissage. Il est nécessaire de mesurer et documenter les résultats afin de savoir ce qui peut être amélioré et comment. En dépit des défis qui ont été mis en exergue dans les paragraphes précédents, le système de vérification des interventions de FBR communautaire a obtenu des résultats appréciables dans un environnement très difficile dans lequel l’accès physique aux ASC et aux bénéficiaires était limité et, dans lequel les capacités de rapportage des coopératives étaient faibles. Des améliorations doivent être apportées au programme, mais elles ne pourront être que lentes et progressives. 42 REFERENCES Basinga, Paulin, Paul J. Gertler, Agnes Binagwaho, Agnes L.B. Soucat, Jennifer R. Sturdy, and Christel Vermeersch. 2010. Paying Primary Health Care Centers for Performance in Rwanda. World Bank Policy Research Working Paper Series, Washington, DC. Rusa, L., Ngirabega, J. d. D., Janssen, W., Van Bastelaere, S., Porignon, D. and Vandenbulcke, W. 2009. “Performance-Based Financing for Better Quality of Services in Rwandan Health Centres: 3- Year Experience.” Tropical Medicine & International Health 14: 830–37. Rwanda. Ministry of Health. 2008. National Community Health Policy. Kigali. ———. 2009. Financement Basé sur la Performance au Niveau Communautaire — Guide de l’Utilisateur, January. Kigali. ———. 2011. The National Community Performance-Based Financing and In-Kind Conditional Cash Transfers — Program Implementation Manual, June. Kigali. ———. July 2012a. Evaluation du Processus du Modèle d’Incitations du Côté de la Demande au Rwanda. Kigali. ———. 2012b. Rapport de la Deuxième Contre-Vérification du Financement Basé sur la Performance au Niveau Communautaire au Rwanda, December. Kigali. United Nations Development Programme (UNDP). 2011. World Development Report 2011 — Sustainability and Equity: A Better Future for All. New York: UNDP. World Bank. 2011. World Development Indicators Database. Washington, DC: World Bank. 43 ANNEXES ANNEXE 1 : LISTE DES PERSONENS RENCONTREES En anglais people met.docx ANNEXE 2 : CADRE D’ANALYSE DES ETUDES DE CAS En anglais Analysis framework ANNEXE 3 : RAPPORT MENSUEL DES ASC En anglais CHWs monthly report ANNEXE 4 : RAPPORT D’EVALUATION DE LA QUALITE DES COOPERATIVES D’ASC En anglais ANNEXE 5 : RAPPORTS DES CENTRES DE SANTE DANS LE PROGRAMME DU COTE demand side scheme supervision report ANNEXE 6 : RAPPORT DE SUPERVISION DES ASC (ETABLI PAR LES CENTRES DE SANTE) En anglais CHW supervision report 44 About this series... This series is produced by the Health, Nutrition, and Population Family (HNP) of the World Bank’s Human Development Network. The papers in this series aim to provide a vehicle for publishing preliminary and unpolished results on HNP topics to encourage discussion and debate. The findings, interpretations, and conclusions expressed in this paper are entirely those of the author(s) and should not be attributed in any manner to the World Bank, to its affiliated organizations or to members of its Board of Executive Directors or the countries they represent. Citation and the use of material presented in this series should take into account this provisional character. For free copies of papers in this series please contact the individual authors whose name appears on the paper. Enquiries about the series and submissions should be made directly to the Editor Martin Lutalo (mlutalo@worldbank.org) or HNP Advisory Ser- vice (healthpop@worldbank.org, tel 202 473-2256, fax 202 522-3234). For more information, see also www.worldbank.org/hnppublications. The world bank 1818 H Street, NW Washington, DC USA 20433 Telephone: 202 473 1000 Facsimile: 202 477 6391 Internet: www.worldbank.org E-mail: feedback@worldbank.org