Problemas muy serios…
Más de 10 millones de niños alrededor del mundo
mueren a causa de enfermedades prevenibles.
Anualmente, cerca de 23 millones de niños no son
vacunados.
Alrededor de 101 millones de niños no asisten a la
escuela.
¿Qué podemos hacer?
¿Qué podemos hacer?
→ Dar más ayuda internacional y esperar que
funcione
Los países en vías de desarrollo necesitan un
empujón adicional para sobrepasar la pobreza.
→ Reducir la ayuda internacional
Ya se ha dado mucho dinero y no hemos visto
cambios drásticos.
Este es un debate muy importante entre expertos de
desarrollo internacional.
Ayuda Internacional Reducción de la pobreza
Factores geográficos
Desastres naturales Tecnología
Instituciones
Tipo de gobierno
NO OBSERVABLES
Imposible contestar esta pregunta
Recursos naturales
Educación
Salud
¿Qué hacemos?
Si no sabemos si la ayuda
internacional funciona o no
funciona, entonces somos
como la medicina medieval:
A veces los pacientes
mejoraban con las sanguijuelas,
otras veces empeoraban y
morían.
Pero, ¿fue por causa de las
sanguijuelas o por otra cosa?
Reformulemos la pregunta
Estamos haciendo la pregunta equivocada
Tal vez exista otra manera de ver el problema:
Enfoquémonos en preguntas pequeñas –
pero no menos importantes – que sí
podamos contestar de manera científica.
Preguntas que sí podemos contestar
¿Cómo
incrementamos el
acceso al agua
potable para poder
reducir el número de
enfermedades
causadas por agua
contaminada?
Preguntas que sí podemos contestar
¿Cómo incrementamos las
tasas de vacunación?
¿Cómo hacemos para que
los niños reciban todas las
vacunas que necesitan
para estar completamente
protegidos?
¿Cómo contestamos estas preguntas?
Ya no estamos en la era medieval…
Usando experimentos, es posible poner a prueba los
medicamentos para saber si funcionan o no funcionan.
¡Podemos hacer lo mismo con las políticas públicas!
Necesidad de evaluar
Sólo evaluando las políticas públicas
de manera científica sabremos cuál
es el verdadero impacto de una
política.
• Las políticas públicas basadas en
evidencia nos aseguran que nuestros
recursos limitados vayan a programas
que verdaderamente funcionen.
• Las evaluaciones de impacto de las
políticas públicas generan conocimientos
importantes sobre cómo superar la
pobreza.
Diferentes tipos de evaluación
1. Evaluación de
necesidades
2. Evaluación de procesos
3. Evaluación de impacto
4. Análisis costo-
efectividad
a. ¿Cuál es el problema?
b. ¿Se implementó
correctamente el programa?
c. ¿Cuál fue el impacto y de qué
magnitud?
d. ¿Qué tan barato o caro fue el
programa?
Consideraciones importantes
1. Relevancia
1. ¿Es la pregunta a evaluar relevante para las políticas públicas?
2. Madurez del programa a ser evaluado.
3. ¿Se podrán generalizar los resultados?
4. Tomar en cuenta: costos, evaluación de procesos.
2. Confiabilidad del impacto estimado
1. Estrategia de identificación adecuada y bien justificada.
2. Poder estadístico
3. Protocolo de análisis definido ex-ante
3. Calidad de los datos
1. Seleccionar, capacitar y pilotear.
2. Monitoreo y contro de calidad.
Evaluación de Impacto
Nos permiten atribuir causalidad e identificar el impacto de
un programa.
Determinar causalidad es contestar las siguientes
preguntas: ¿Qué hubiera pasado si las unidades que reciben el
programa no lo hubieran recibido?
¿Cómo serían los niveles de esas variables de resultado en
ausencia del tratamiento?
CONTRAFACTUAL.
Contrafactual
Contrafactual: la situación de los participantes que
participaron en el programa si no hubieran participado
en el programa.
• Ya que es hipotético, tenemos que estimarlo.
• Existen diferentes métodos para estimarlo.
• Método experimental
• Métodos cuasi-experimentales
• Diferencia-en diferencia
• Regresiones
• Regresión discontinua
• Evaluación pre/post
Contrafactual
Lo ideal sería que las unidades del grupo de control fueran
iguales a las del grupo de Tratamiento en:
Características observables (ingreso, edad, localización
geográfica, nivel educativo, etc.) que podemos medir.
Características NO observables (motivación, gustos, habilidad,
etc.) que en general no podemos medir.
La única diferencia entre el Grupo de Tratamiento y el Grupo
de Control debería ser la asignación al Tratamiento
Tipo de Escuela Puntaje académico
Aporte Padres
Educación Padres Ingresos
Salud
Pre-Básica
-0.2
6.8
7.4
13.4
8.1
16.6
18.2
NO OBSERVABLES
Medir impacto es complejo
Evaluación Experimental
El mejor método para estimar el contrafactual es el
método experimental.
Nos permite medir: Resultados que los participantes del
programa obtienen un tiempo después
de participar en el programa
Resultados que los mismos participantes
hubieran obtenido en ese mismo momento si
no habrían participado en el programa
IMPACTO
Evaluación Experimental
• Genera grupos de tratamiento y de control de forma
aleatoria,
• Esto nos garantiza que los dos grupos sean
estadísticamente iguales, por lo que cualquier
diferencia después de cierto tiempo se deberá al
programa evaluado.
• Se puede aleatorizar de varias maneras.
• La evaluación debe ser planificada ex-ante.
• Puede medir externalidades y efectos secundarios.
Límites y Oportunidades
• No todos los programas pueden o deben ser evaluados
de manera experimental.
• Difícil evaluar algo como una política monetaria o fiscal.
• Pero, sí podemos evaluar programas dirigidos a
individuos o comunidades o que por falta de recursos
deben ser introducidos paulatinamente.
Límites y Oportunidades
Oportunidades para hacer una evaluación
experimental:
• Programa piloto
• Expansión de un programa
• Programa popular o con exceso de demanda
• Programas que tienen tasas de participación que no
llegan al 100%
Contestemos las preguntas
Usemos evaluaciones experimentales para
contestar las preguntas que nos hicimos antes:
¿Cómo incrementamos el
acceso al agua potable?
¿Cómo incrementamos las tasas
de vacunación?
Agua Potable
Muchas personas en países
en vías de desarrollo no
tienen acceso a agua limpia.
Cada año, más de un millón
de niños menores de 5 años
mueren debido a
enfermedades diarreicas,
normalmente causadas por
agua sucia.
• Encajar pozos con concreto
para protegerlos de
bacterias en el suelo.
• Distribuir cloro
gratuitamente a los hogares
o con vouchers.
• Instalar dispensadores de
cloro junto a los pozos.
Posibles soluciones
• Los investigadores realizaron la
evaluación en Kenia rural, donde
testearon las diferentes formas de
purificar el agua.
• Aleatoriamente, escogieron
comunidades que recibían una de las
diferentes intervenciones y luego las
comparaban con las comunidades
que no fueron seleccionadas.
La evaluación
La evaluación de
impacto también
incorporó una
evaluación de proceso
para saber si los
productos estaban
siendo usados y si no,
para saber por qué no
se usaban
Evaluación de proceso
Encajar pozos en concreto:
Mejora la calidad del agua • Los pozos en las comunidades de
tratamiento tenían 66% menor
contaminación de E.coli que los pozos en
comunidades del grupo de control.
Reduce la incidencia de diarrea • La incidencia de diarrea entre niños
menores de 3 años cayó por 4.7 puntos
porcentuales relativo al grupo de
comparación.
Resultados
Distribuir cloro gratuitamente:
En los hogares
Incrementa el uso del cloro en
los hogares: • Se detectó cloro en el agua de 58% de
los hogares en las comunidades del
grupo de tratamiento (el valor inicial
era de 2%).
Vouchers
Sólo el 10 % de los vouchers
fueron canjeados.
Resultados
Dispensadores de cloro
Incrementa el uso del
cloro en los hogares: • Se detectó cloro en un 60-
70% de los hogares en el
grupo de tratamiento.
• En los hogares del grupo de
comparación, sólo se
detectó cloro en un 5-10%
de los hogares.
Resultados
La evaluación de procesos encontró que la
conveniencia importa mucho:
• Aún los productos gratis pueden no ser usados si
requieren tiempo o esfuerzo adicional.
• Por ejemplo, las personas sí usaban el cloro
cuando se les fue entregado en el hogar pero no
cuando tenían que canjearlo con un voucher.
Uso del Cloro
La evaluación de procesos encontró que la
conveniencia importa mucho:
• Una explicación del éxito de los
dispensadores de cloro es que eran fáciles de
usar:
• Dispensan la cantidad necesaria para
purificar el agua.
• Usar el dispensador representa sólo un
paso extra.
Uso del Cloro
• Existe la tecnología y las
medicinas (vacuna contra
difteria, pertussis y tétano) que
pueden prevenir muchas
muertes infantiles.
• Sin embargo, cada año, por lo
menos 25 millones de niños no
son vacunados o no reciben la
dosis completa de las
vacunas.
Problema de la “última milla”
Vacunación
• India es uno de los países donde muchos niños en
zonas rurales no reciben vacunas o la dosis completa.
• En promedio, un hogar en Udaipur está a dos
kilómetros de un centro de salud, donde se entregan
las vacunas gratuitamente. Muchas veces, estos
centros están cerrados debido a que no llegan las
enfermeras.
• Los niños deben recibir 5 vacunas para estar
completamente protegidos. Esto representa 5 visitas al
centro.
El contexto de India
• Se realizó una evaluación experimental para descubrir
la mejor manera de incrementar las tasas de
vacunación en esta región.
• La muestra consistió de 134 aldeas que fueron
aleatoriamente asignadas a grupos de tratamiento y de
control.
• Habían dos “tratamientos”:
• Centros de vacunación móviles
• Centros de vacunación móviles con incentivos (1 kg
de lentejas).
Evaluación
• Los centros de vacunación
móviles incrementaron el
número de niños que recibían
la primera vacuna al 80%,
pero todavía habían muchos
niños que quedaban sin
recibir todas las vacunas.
• Las tasas de vacunaciones
completas fueron del 18% en
aldeas con un centro móvil
comparado al 6% en aldeas
del grupo de control.
Resultados
La combinación de centros móviles con el incentivo de lentejas
incrementó las tasas de vacunaciones completas al 39%.
Resultados
Los centros móviles con incentivos atendían a más personas que los
centros sin incentivos y las enfermeras vacunaban a más niños. Las
lentejas, entonces, redujeron el costo por vacuna.
¿Es sustentable dar lentejas?
Abdul Latif Jameel Poverty Action Lab (J-PAL)
Red global de 70 académicos, unidos
por el uso de evaluaciones
experimentales para contestar
preguntas esenciales para la
superación de la pobreza.
J-PAL
Misión:
Reducir la pobreza
garantizando que las
políticas públicas
estén basadas en
evidencia científica.
Alcanzando nuestra misión
350 evaluaciones experimentales en la red de J-PAL
Más de 60 millones de beneficiarios de programas influenciados por evidencia
de J-PAL
Más de 1.200 personas capacitadas
J-PAL Latinoamérica y el Caribe
En Latinoamérica y el Caribe,
tenemos evaluaciones en las
siguientes áreas:
• Educación
• Salud
• Finanzas
• Mercados Laborales
• Servicios Urbanos
Promoviendo
políticas públicas basadas en evidencia
Además de evaluar programas específicos, J-PAL
LAC ha propiciado colaboraciones con gobiernos.
Comisión Brújula Chile
Conclusiones
• Las evaluaciones de impacto son un bien
público y benefician a todos.
• Son un guía de inversión para la ayuda
internacional: invertir más en programas que sí
funcionan y para de invertir en programas que
no funcionan.
Conclusiones
Organizaciones internacionales y evaluaciones de
impacto: • Más evaluaciones de procesos.
• No es factible o necesario evaluar el impacto de
todo.
• Enfocarse en preguntas clave:
• Por qué y cómo funciona un programa.
• Usar los conocimientos generados para saber qué
financiar.
• Aprender de las evaluaciones de otros al momento
de diseñar un programa y decidir en qué invertir.