“Evaluación de políticas y programas de Salud”

Natalia Yavich

Departamento de Economía y Gestión en SaludMaestría de Gestión en Sistemas y Servicios de Salud

Firmat, 20 y 21 de Julio de 2007

Evaluación

Proceso de determinar el valor o significación de una actividad, política o programa. Es una apreciación tan sistemática y objetiva como sea posible de una intervención planeada, en curso o concluida.

Development Assitence Committee. (DAC) Organización para la Cooperación y el Desarrollo (OECD) (2002) Glosario de los principales términos sobre evaluación y gestión basada en resultados.

Primos hermanos

MonitoreoInvestigación

Monitoreo

Función continua que utiliza una recopilación sistemática de datos sobre indicadores especificados para proporcionar a los administradores (…) indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos.

Development Assitence Committee. (DAC) Organización para la Cooperación y el Desarrollo (OECD) (2002) Glosario de los principales términos sobre evaluación y gestión basada en resultados.

Investigación

Realización de actividades intelectuales y/o experimentales de modo sistemático con el propósito de aumentar los conocimientos sobre una determinada materia.

Real Academia Española. Diccionario de la Lengua Española

Trabajo en grupo:

Diferencias entre E&M y E&I

Diferencias entre E & M

Monitoreo EvaluaciónIntervención en marcha Previo, durante o luego de la

implementación.

Actividad continua Tarea situada en un tiempo específico.

Actividad interna Actividad interna, externa o participativa

Feedback continuo Feedback periódico

El uso de resultados es responsabilidad del gerente, generalmente

El uso es responsabilidad conjunta del evaluador y actores involucrados en la implementación

Diferencias entre E & I

Investigación Evaluación

Pura o aplicada Aplicada

Usuarios no necesariamente definido Usuarios definidos

Tiempos académicos Tiempos definidos por las necesidades de los usuarios y el timing de la intervención

Estándares de evaluación: académicos (metodológicos y éticos, principalmente).

Estándares de evaluación:utilidad, factibilidad (realista, “diplomática”)apropiada (ética, legalmente), adecuada (técnicamente adecuada para determinar el valor de una intervención)

Objetivo y forma de la diseminación: dirigida a la comunidad académica y comunicada en formatos académicos

Objetivo y forma de la diseminación: dirigida a usuarios predefinidos y en formatos adaptados a las necesidades del usuario.

Objetos de evaluación Proyectos: una intervención puntual. Programas: conjunto de proyectos. Políticas: conjunto de programas alineados en el

marco de un conjunto de normas o estándares. Organizaciones: intervenciones múltiples

desarrolladas por una misma organización. Sectores: intervenciones relativas a un determinado

campo de acción: salud, educación, etc. Temáticas: temas particulares que cruzan distintas

políticas o intervenciones: equidad de género, pobreza, etc.

Otras: asistencia a países, etc.

Propósitos de la evaluación Éticos: generación de reportes dirigidos a tomadores de

decisiones y ciudadanos. Rendición de cuentas, transparencia.

Gerenciales: mejorar el manejo de los recursos financieros y humanos.

Toma de decisiones: Proveer evidencia para decidir sobre la continuación, finalización o cambio de una política.

Capacitación y motivación: mejora organizacional; diálogo y cooperación entre actores. Capacitación y motivación de los actores vinculados con una política, para lograr un mayor involucramiento y/o comprensión de la relación entre los procesos de trabajo y el logro de los objetivos.

Información provista por las evaluaciones

Sobre la estrategia elegida: ¿Es nuestra estrategia la mejor opción? (justificación del diseño).

Sobre el desempeño de nuestra estrategia: ¿Está siendo nuestra estrategia implementada en la forma adecuada?

Lecciones aprendidas: ¿Hay otras formas mejores de lograr el mismo objetivo?

Usos pragmáticos de la evaluación Asignación de recursos.

Replanteo de las causas de un problema. Identificar problemas emergentes. Apoyar toma de decisiones para

seleccionar las mejores alternativas o elegir entre alternativas competitivas.

Apoyar decisiones de procesos de reforma o innovaciones.

Construir consenso sobre las causas de un problema y los modos de respuesta.

Evaluación focalizada en la utilización

Requerimientos: Compromiso de los usuarios con la evaluación Articulación de evaluadores y usuarios principales

desde la etapa inicial Orientación de la evaluación en función de las

necesidades de los usuarios.

De lo contrario es una pérdida de tiempo y dinero.

Tipos de Evaluación según responsable de su conducción

Evaluación interna Evaluación externa Evaluación participativa: evaluador externo +

stakeholders (decisores y beneficiarios) coordinan acciones durante todo el proceso de evaluación.

Trabajo en grupo

Ventajas de lasevaluaciones interna y

externa

Ventajas de las evaluaciones internas y externas

Interna Externa

Mejor conocimiento del programa Desnaturalización del programa o política (soluciones o problemas invisibles para un miembro de la organización)

Mayor conocimiento de la historia del programa

Mirada más global de la organización

Preguntas más relevantes y pertinentes

Menos susceptible a presiones e influencias de los tomadores de decisiones

Se sabe qué está pasando “realmente”

Mayor credibilidad y percepción de objetividad

Habilidades especializadas, ausentes en la organización

Tipos de evaluación

Ex ante o prospectiva: evaluación de programas o datos previos.

Evaluación formativa: dirigida a mejorar el desempeño de una intervención.

Evaluación sumativa: orientada a determinar el grado en el cual los alcances deseados fueron alcanzados por la intervención.

Prospectiva E. Formativa E. Sumativa

Propósito de la evaluación

Proveer información sobre evaluaciones previas para determinar las chances de éxito de una nueva intervención

Feedback inmediato para mejorar el desempeño

Proveer información sobre el valor o impacto de una intervención.

Objetivo de la evaluación

Determinar si vale la pena la inversión.

Determinar la coherencia entre la “lógica operativa” y el funcionamiento real y sus consecuencias inmediatas.

Determinar el grado en el cual el alcance o impacto anticipado fue realizado.

Momento de ejecución

Antes Durante la implementación

Al final

Foco Planificación Implementación y mejora

Obtener información (Consecuencias o resultados) que ayude a decidir sobre la creación, continuación o ampliación de una intervención.

Pasos básicos de una evaluaciónA. Planificación de la evaluación

o front-end analysisB. Diseño

C. Recolección de datosD. AnálisisE. Diseminación de resultados

Proceso no lineal

A. Planificación de la evaluación o front-end analysis

1. Comprensión de la relación entre las etapas de la intervención y la pregunta general de evaluación general.

2. Comprensión del contexto político de la intervención. Identificación de stakeholders

3. Construcción de la Teoría o Lógica Subyacente del programa.

4. Balance de costos y beneficios de la Evaluación.

A. 1. Comprensión de la relación entre las etapas de la intervención y la pregunta general de evaluación

Etapas de desarrollo de la intervención

Preguntas Identificación

Planificación

Evaluación necesidades y del problema social

¿A qué nivel están siendo las necesidades de la población cubiertas?

Determinación de objetivos ¿Qué debería hacerse para satisfacer esas necesidades?

Análisis de intervenciones alternativas

¿Qué servicios deberían brindarse para producir los cambios deseados?

Selección de una alternativa ¿Qué abordaje es más apropiado?

Programación de la Implementación

¿Cómo debería el programa ser puesto en marcha?

Implementación ¿Está la intervención funcionando de acuerdo con lo planeado?

Resultados ¿Está el programa produciendo los resultados deseados?Eficiencia, eficacia, costo-efectividad, etc.

√

Identificación de stakeholders

Interés en el proyecto Capacidad de influencia

(A, B, C)

Estrategias potenciales para obtener apoyo o reducir

obstáculos

Gerente de la intervención

Del buen desempeño del proyecto depende su crecimiento político personal, fuente de ingreso.

A Involucramiento en el proceso de evaluación desde etapas tempranas.

Beneficiarios Beneficios del proyecto B Organización de talleres de consulta con la población e informativos.

Gerente de otras intervenciones relacionadas

Busca el cese de la intervención dado que es competitiva con su proyecto

A Involucramiento en ciertas instancias del proceso de evaluación.

Población objetivo no beneficiario, etc. …… ….. ……

Management Sciences for Health (MSH) and UNICEF “Stakeholder Analysis” http://erc.msh.org/quality/ittools/

itstkan.cfm

A. 2. Comprensión del contexto político: Identificación de stakeholders

Trabajo en grupo15’

Conformación de grupos en torno a una intervención

Consigna Relación entre las etapas de la intervención y la

pregunta general de evaluación. Comprensión del contexto

político: Identificación de stakeholders.

A. 3. Comprensión de la intervención: teoría del programa

Recolección de evidencia documental y científica

• a. evaluaciones y análisis de otros programas similares

y

• b. documentos del programa en cuestión.

Recolección de evidencia empírica

Cadena de acciones (quien provee recursos, quien los

recibe, cómo se usan, cuáles son los obstáculos para

alcanzar los efectos se busca generar, efectos deseados)

Teoría de cambio

A. 3. Teoría de cambio: Modelos lógicos o teoría de programas

Caja Negra

Teoría o lógica del programa

Explicación sistémica y causal de la influencia del contexto y de la interacción de componentes al interior del sistema. ≠

Caja Negra OutcomesInputs

Inputs Outputs

Evaluación de productos (outputs)

Contexto

3. Teoría de Cambio

Modelos: técnicas visuales que ayudan a establecer una teoría de cambio.

Ejemplos: Teoría del Programa Modelos lógicos Modelo de Efectos del Programa Marco lógico, etc.

Teoría de cambio: es la explicitación de las relaciones de causa efecto de una intervención.

Ventajas:•Muestran los lazos entre una cadena de eventos que explican las relaciones entre causas y efectos.•Ayudan a pensar cómo medir los distintos componentes y comprender su interacción.•Ayudan a identificar gaps en las cadenas de relaciones.•Ayudan a identificar aspectos críticos de la cadena de relaciones.

Teoría del programa (Program Theory)

Descripción del programa que combina: Teoría normativa (lo que debe hacerse) Teoría de los stakeholders (lo que ocurre)en un modelo causal de relaciones (entre el problema, la

intervención y los efectos deseados).

Utilidad: Evaluar la relevancia del programa. Evaluar la lógica del programa. Confrontar el programa con resultados de

investigaciones.Etc.

Teoría del programa (Program Theory)Visitas domiciliarias de enfermeras

a padres de recién nacidos

Enfermeras y padres se conocencomparten visiones e información

Las enfermeras comprenden la cultura de los padres

Los padres reciben información sobre la disponibilidad de vacunas

y servicios ofrecidos en el CS

Las enfermeras identifican problemas en el hogar (violencia, uso de

drogas, padres con discapacidades)

Aumento de < de un año inmunizados y con esquema de vacunación completo

Consejería con psicólogos, trabajadores sociales, ayudas

especiales para padres discapacitados

Conciencia de la importancia de la vacunación y controles,

humanización de la relación profesionales / población

Reconocimiento de necesidades Especiales y humanización de la

relación prof. población

Modelo de Efectos del Programa (Program Outcome Model)

Establece una relación entre: Recursos invertidos, Actividades desarrolladas con esos recursos Servicios provistos a partir de esas actividades

(outputs), Cambios generados a partir de los outputs

(outcomes o efectos) Cambios de largo términos generados por la

intervención (impacto). Utilidad: construcción de sistemas de M & E basadas

en resultados.

Modelo de Efectos del Programa (Program Outcome Model)

Ejemplo relativo a un programa de capacitación

Modelo lógico (Logic Model) Se centra en la comprensión de la relación entre el

programa y sus efectos deseados. Ayuda a identificar presupuestos críticos.

Componentes:

Básicos: actividades, productos (outputs), resultados (outcomes)

Otros componentes: target (grupos o clientes a los cuales se dirigen las activiades), recursos (inputs), resultados (cambios) inmediatos, intermedios (outcomes) y finales (impacto).

Las relaciones entre cuadros se grafican con flechas que deben leerse como: = “si (…) entonces (…)”

Utilidad: planificación, gestión, evaluación y comunicación.

Watson, Diane (2002) “Atención Primaria de Salud (APS): Marco de Rendimiento, Medida & Evaluación” CHSPR.

Contextos sociales, culturales, políticos legislativos-regulatorios, económicos y físicos, características poblacionales y participación pública

Productos y servicios APS: volumen, tipo (ej. referencias, prevención, curación, paliativas) y cualidades (ej. respuesta, comprensión continuidad, coordinación, comunicación interpersonal y efectividad técnica)

Recursos de Salud Humana

Sistema de Salud Sostenible

Actividades y Decisiones a Nivel de Política y Gobernanza

Efi

ca

cia

de

AP

S

Ingresos

Actividades (Permite

entrega de APS)

Egresos (Productos y

Servicios)

Resultados Inmediatos

Mejorar y/o mantener funcionamiento,

resiliencia y salud para individuos

Recursos Materiales

Nivel y distribución mejorada de

salud y bienestar poblacional

Actividades y decisiones en el ámbito de gestión de la atención de salud

Actividades y Decisiones Clínicas

Recursos Fiscales

Reducir riesgos y efectos de condiciones sanitarias continuas

Resultados Finales

Resultados Intermedios

Mantener o mejorar vida laboral de trabajadores en APS

Incrementar conocimiento acerca de la salud y atención

a la salud en la población

Equidad del sistema de salud

Eficacia del sistema de salud

Adecuación de lugar y proveedor

Aceptabilidad

Reducir riesgo, duración y efectos de condiciones

episodios sanitarios agudos

Efe

cti

vid

ad

de

AP

S

Contextos y factores externos

Sitios web CDC Evaluation Working Group: Logic Model Resources http://www.cdc.gov/eval/resources.htm#logic%20model Community Toolbox. A Framework for Program Evaluation: A Gateway to Tools. http://ctb.lsi.ukans.edu/tools/EN/sub_section_main_1338.htm International Development Research Centre (2004). Evaluation Planning in Program Initiatives Ottawa,

Ontario, Canada. Online: http://web.idrc.ca/uploads/user-S/108549984812guideline-web.pdf Carolien Klein Haarhuis (2005). Promoting anti-corruption reforms: Evaluating the implementation of a

World Bank anti-corruption program in seven African countries. Available online at: http://igitur-archive.library.uu.nl/dissertations/2005-0714-200002/full.pdf Management Sciences for Health (MSH) and the United Nations Children’s Fund (UNICEF), “Quality

guide: Stakeholder analysis” in Guide to managing for quality. http://bsstudents.uce.ac.uk/sdrive/Martin%20Beaver/Week%202/Quality%20Guide%20-%20Stakeholder

%20Analysis.htm Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program evaluation tool kit: A blueprint for

public health management. Ottawa, Canada: Ottawa-Carleton Health Department. Available online at http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French) Taylor-Powell, Ellen (2005). “Logic models: A framework for program planning and evaluation”. Madison

WI: University of Wisconsin-Extension, Program Development and Evaluation. http://www.uwex.edu/ces/pdande/evaluation/pdf/nutritionconf05.pdf University of Ottawa Program Evaluation Toolkit. Program Logic Model: http://www.uottawa.ca/academic/med/epid/excerpt.htm University of Wisconsin-Extension (UWEX). Logic Model:http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html University of Wisconsin-Extension examples of logic models. http://www.uwex.edu/ces/pdande/evaluation/evallogicmodelexamples.html W.K. Kellogg Evaluation Logic Model Development Guide: http://www.wkkf.org/pubs/tools/evaluation/pub3669.pdf

Pasos básicos de una evaluación

B. Diseño

1. Definición de preguntas. 2. Selección del diseño.

B. Diseño. Preguntas.

Propósito: Dan sentido / dirección a la evaluación.

Requerimientos: Claras, realistas, medibles, centradas en lo importante, consideración del ciclo político de la intervención (enfocadas en el uso).

B. Diseño. Preguntas. Tipo de preguntas:

Descriptivas: - Qué? Quién? Cómo? Cuánto? Cuándo? Dónde?- Foco en descripción de inputs, actividades, outputs y opiniones.Normativas: - Comparación entre lo que ocurre y lo que debería ocurrir (target u objetivo específico).- Foco en medición de inputs y outputs.Causa-Efecto: - Qué cambios ocurrieron como resultado de la intervención? - Foco en medición Outcomes e impactos.

B. Diseño. Tipos.¿Qué diseño se requiere para responder a las preguntas planteadas?

P. Descriptivas P. Normativas P. Causa – Efecto

Transversal: X O1 Transversal Estudios experimentalesControl de la intervención (Ético?) - Estudios controlados randomizados: Caso control Ex ante – Ex post: O1 O3 On

X O2 O4 On

Cross-sectional: X O1

(respuestas de X O2

distintos sub-grupos) X On

Cross-sectional

Ex ante – Ex post: O1 X O2 Ex ante – Ex post:

Series temporales: (con el mismo tipo de población o con la mismapoblación -longitudinal) O1 X O2 On (antes y después)

ó X O1 O2 On (después)

Series temporales Estudios cuasi-experimentales (Asignación de casos y controles no aleatoria)Control de variables-Casos controles-Cross-sectional, etc.

Estudio de caso: Análisis profundo + información contextual O1

O2

On

Estudio de caso Estudios no experimentalesControl de variables-Estudio de caso-Ex ante – Ex post

X = Intervención; O = Observación

Contexto + intervención

Campbell Collaboration

Información para toma de decisiones sobre efectos de intervenciones no médicas.

Información evaluaciones y diseños. Diseminación de revisiones sistemáticas y

estudios para su uso por decisores, practicantes y investigadores.

http://campbellcollaboration.org

C. Recolección de datos

C. Recolección de datosSitios Web Dunham, Randall B. (1998). The Delphi Technique, from Organizational Behavior, University

of Wisconsin School of Business:

http://instruction.bus.wisc.edu/obdemo/readings/delphi.htm Evaluators' Instruments Exchange. Online: http://141.218.173.232:120/xchange/default.htf Harrell, A. Evaluation Strategies for Human Services Programs: A Guide for Policymakers

and Providers. Online: http://www.bja.evaluationwebsite.org/html/documents/evaluation_strategies.html

Carter McNamara, MBA, PhD, General guidelines for conducting interviews. Online at: http://www.managementhelp.org/evaluatn/intrview.htm#anchor615874

Nielsen, J. (1997). The use and misuse of focus groups. Online: http://www.useit.com/papers/focusgroups.html

Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program evaluation tool kit: A blueprint for public health management. Ottawa, Canada: Ottawa-Carleton Health Department. Available online at

http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or

http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French) The Measurement Group: Evaluation/Research Tools. Online:

http://www.themeasurementgroup.com/evalbttn.htm

Matriz de diseño de la evaluación

Tipo de evalua-ción (P, F, S)

Preguntas Tipo(D, N, C-E)

Tipo de diseño

Métodos de recolección de información

Fuentes (P, S)

Variables / Categorías(Outcomes)

S

¿Qué factores están impidiendo o facilitando la continuidad de la atención?

D Transversal Encuesta a beneficiariosEntrevistas con proveedoresObservaciones en CS

P

P

P

Continuidad de la atención

¿Qué cambios en la coordinación inter e intra institucional produjo el programa x en el sistema Y?

C-E Estudio de caso

EntrevistasRevisión de documentosAnálisis de bases de datos

PS

S

Mecanis-mos de Coordina-ción inter e intraOrga-nizacinal

E. Análisis de información Análisis cualitativo:- Análisis de contenido Ethonograph website at:

http://www.qualisresearch.com/default.htm

Qualpro website at: http://www.qualproinc.com/

Hperqual website at: http://home.satx.rr.com/hyperqual/

Atlas-ti website at: http://www.atlasti.com/

QSR Software, for N^ (formerly NUD*IST) website at: http://www.qsr.com.au/

Loughborough University Department of Social Sciences. New methods for the analysis of media content. CAQDAS- A primer. http://www.lboro.ac.uk/research/mmethods/research/software/caqdas_primer.html#what

Análisis cuantitativo:- Estadística descriptiva (frecuencias, porcentajes, promedios, moda, desvío estándar, etc.)- Estadística inferencial (medidas de asociación y correlación)•Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program evaluation tool kit: A blueprint for public health management. Ottawa, Canada: Ottawa-Carleton Health Department. Available online at •http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or •http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French) •StatSoft, Inc. (2001). Electronic Statistics Textbook. Tulsa, OK: StatSoft. •http://www.statsoft.com/textbook/stathome.html •Statistics at Square One •http://bmj.bmjjournals.com/collections/statsbk/index.shtml •Stat Primer •http://www2.sjsu.edu/faculty/gerstman/Stat Primer •Statistics Computer Programs •SPSS (free 30 day download) •http://www.spss.com •Online tutorials for SPSS •Tutorial for SPSS v. 11.5 •http://www.datastep.com/SPSSTraining.html/ •Getting Started with SPSS for Windows •http://www.indiana.edu/~statmath/stat/spss/win/

Métodos mixtos:-Triangulación de fuentes P y S-Triangulación de técnicas-Triangulación de datosPara corroboración, informar una técnica con otra, complementar

E. Diseminación de resultados.

Feedback continuo y audiencia en mente: mejoran las chances de apropiación de resultados y relevancia de la evaluación.

Estructura “clásica” de un informe final Informes parciales Antecedentes y contexto de la evaluación. Propósito de la evaluación. Alcance de la evaluación y metodología. Resultados (hallazgos). Lecciones aprendidas / Recomendaciones (basadas en los

hallazgos)