Javier PauliniPedro Francke
Mariana Ballén
Mesa de SaludXXI Seminario Anual CIES
Diciembre 2010
¿Evaluación de impacto o impacto de la evaluación?
BALANCE DE LAS EXPERIENCIAS DE EVALUACIONES DE PROGRAMAS DE SALUD PÚBLICA EN EL PERÚ
Objetivo y metodologíaObjetivo: Identificar las tendencias en las evaluaciones
a los programas de salud pública en los últimos 20 años y plantear una propuesta
de agenda para la evaluación en salud.
Metodología:
- Tendencias generales
- Marco institucional para evaluar- Capacidad de evaluar- Uso de las evaluaciones
2
Fase 1:Mapeo de programas y políticas de salud.Matriz de evaluaciones
Fase 2:12 procesos de evaluación 3 programas: SIS, CLAS y TBCEntrevistas a evaluadores y operadores
Algunos aspectos conceptualesEvaluación:
Análisis sistemático de una operación y/o los resultados de un programa o una política pública, respecto de un conjunto de estándares explícitos o implícitos, como un medio para contribuir a la mejora de dicho programa o política.
Características de las evaluaciones analizadas: • Evalúan un programa público, no un problema.• Se considera todo tipo de evaluaciones (operación,
resultados e impacto) y métodos.• Se analizan documentos de evaluación de carácter público.• No se analiza la calidad de las evaluaciones ni de los
programas.
3
Políticas y programas en salud 1990-2010
4
Tipología de programas: 1. Mejora de la gestión (CLAS, SIS, PARSA)2. Orientados a problemas específicos (TBC, VIH-SIDA, Inmunizaciones)3. Gestión de los recursos (Gestión de medicinas, PONAME)
Tendencias generales
5
Programas por número de evaluaciones
%
Con sólo una evaluación 8%Con más de 1 evaluación 92%Con más de 2 evaluaciones 69%Con más de 3 evaluaciones 31%
Evaluaciones por tipo de programa %Mejora de la gestión 37%Problemas específicos de salud 63%
Según el tipo de evaluaciones
¿Quién evalúa y quién financia?
6
¿Quién financia?
Capacidad para evaluar
1. Voluntad política2. Autonomía (arreglo organizacional)3. Acceso a recursos 4. Competencias a nivel nacional5. Existencia de herramientas para evaluar:
Sin línea de baseCon sistemas de seguimiento, instrumentos de
generación de informaciónEncuestas nacionales
7
Impacto de la evaluación
Impacto de la evaluación Número de evaluaciones
Si No Total
Validación de resultados con operadores de programa
5 7 12
Evaluaciones difundidas 8 4* 12
Evaluaciones utilizadas para realizar cambios en los programas
5 7 12
- Mayor impacto en programas cuando evaluaciones se originan en el sector público
Obstáculos para evaluar:•Sólo un caso señaló injerencia desde los operadores•Tiempo, Poco acceso a información
* Evaluaciones no difundidas por sensibilidad de resultados pero utilizadas.
8
Conclusiones (i)
• Tendencia creciente a evaluar, 70% de programas con más de 2 evaluaciones.
• Interés por evaluar: Sector público (operadores e instancias con responsabilidad de evaluación).
• Recursos para evaluar: Gran presencia de multilaterales y cooperación. Escaso financiamiento público.
• Influyen para evaluar: liderazgo, voluntad política, acceso a recursos, competencias.
• Herramientas para evaluar: existencia de bases de datos, sistemas de seguimiento, formatos.
• Tipo de evaluación: Resultados. En los 90s nuevos tipos de evaluación (impacto) y evaluaciones multipropósito.
9
Conclusiones: impacto (ii)• Validación. Tiene efecto en apropiación por parte de
operadores. Las del sector público son más validadas.• Difusión: Mayoría fue difundida bajo algún mecanismo.
No necesariamente asociado a uso. • Factores que habrían promovido el uso de las
evaluaciones: – Liderazgo del responsable del programa– Factores políticos y coyunturales – Apropiación y factores organizacionales – Confianza en evaluaciones hechas por “terceros”– Oportunidad en difusión de resultados (cambios al programa o
para ganar legitimidad)
10
Conclusiones: impacto (iii)
• Factores que habrían limitado el uso de las evaluaciones– Débil memoria institucional. – Escaso acceso a recursos y/o personal. – Cambios en la legislación que disminuyeron la
capacidad de hacer cambios desde el nivel nacional.– Escasa difusión de evaluaciones (operadores no
conocen de su existencia).– No contar con versiones cortas y amigables de las
evaluaciones– Oportunidad en la difusión de los hallazgos.
11
Gracias.
12