Upload
felicidad-prudencio
View
216
Download
0
Tags:
Embed Size (px)
Citation preview
1
Impact Evaluation 4 Peace24-27 March 2014, Lisbon, Portugal
Métodos No- experimentales Latin America and the Caribbean’s Citizen SecurityTeam
Victor OrozcoBanco Mundial
25 de marzo de 2014
Presentación basada en Impact Evaluation in Practice: www.worldbank.org/ieinpractice
Lecciones de Ayero¿Qué es un contrafactual?
o¿Por qué es Antes-Después un contrafactual incorrecto? (e.g. ambientes de conflicto)
o¿Por qué es inscrito-No inscrito un contrafactual incorrecto? (e.g. inscripcion de pandilleros a programas anti-violencia)
o¿Qué ofrece la asignación al azar o aleatoria?
2Métodos de Evaluación de Impacto
1 Asignación aleatoria / 2 Promoción aleatoria
4 Diseño de discontinuidad
3 Diferencia en diferencias
5 Apareamiento (Matching)
Diseño de discontinuidad
Programas vs la pobreza
Pensiones
Educacion
Indice de Fragilidad?
Muchos programas sociales seleccionan beneficiarios utilizando un índice o puntaje (score):
Dirigido a los hogares por debajo de un índice de pobreza / ingresos
Dirigido a la población por encima de una cierta edad
Becas destinadas a estudiantes con altas puntuaciones en examenes estandarizados
Programa para comunidades o municipalidades de alta violencia?
Ejemplo: Efecto del programa de becas a hogares pobres
Mejorar la asistencia escolar para los estudiantes pobres
Objetivo
• Los hogares con una puntuación (Pa) de los activos ≤ 50 son pobres
• Los hogares con una puntuación (Pa) de activos> 50 no son pobres
Método
Los hogares pobres reciben becas para enviar a los niños a la escuela
Intervención
La discontinuidad de regresión Diseño con la línea base (asistencia escolar)
No elegible
Elegible
La discontinuidad de regresión Diseño-Post Intervención (asistencia escolar)
IMPACTO
Caso 5: Diseño de discontinuidadTenemos un índice de elegibilidad continua
con un corte definido • Los hogares con un punto de corte ≤ puntaje (score) son
elegibles• Hogares con un puntaje> corte no son elegibles• O viceversa
Explicación intuitiva del método:• Unidades justo por encima del punto de corte son muy
similares a las unidades justo debajo de él - buena comparación.
• Comparar los resultados (outcomes) Y para las unidades justo por encima y por debajo del punto de corte.Para un diseño de
discontinuidad, necesita:1) Índice de elegibilidad continua2) Define claramente corte/puntaje de elegibilidad.
Caso 5: Diseño de discontinuidad
• La elegibilidad para Progresa se basa en el índice de pobreza nacional
• Hogar es pobre si score ≤ 750 • La elegibilidad para Progresa:
• Elegible = 1 si puntaje ≤ 750• Elegible = 0 si puntaje> 750
Caso 5: Diseño de discontinuidad Score vs consumo en la línea basal-Ningún tratamiento
Fitt
ed v
alu
es
puntaje estimado en focalizacion276 1294
153.578
379.224
Indice de Pobreza
Gast
o C
onsu
mo
alim
ento
s
Fitt
ed v
alu
es
puntaje estimado en focalizacion276 1294
183.647
399.51
(**) Significativo al 1%
Consu
mo
Valo
res
Aju
stados
Indice de Pobreza
30.58**Impacto estimado en
consumo (Y) | Regresion Lineal Multivariable
Caso 5: Diseño de discontinuidad Score vs consumo después de la intervención
Tener en Mente
Diseño de discontinuidadDiseño de discontinuidad requiere criterios de elegibilidad continua con un claro corte.Da estimación no sesgada del efecto del tratamiento: Observaciones al otro lado de la línea de corte son buenas comparaciones.
No hay necesidad de excluir a un grupo de hogares / individuos elegibles de tratamiento.A veces se puede utilizar para los programas que ya están en curso.
!
Tener en mente
Diseño de discontinuidadDiseño de discontinuidad produce una estimación local:• Efecto del programa
en torno a la línea de corte Punto / discontinuidad.
• Esto no siempre es generalizable.
Potencia:• Necesita muchas
observaciones alrededor del punto de corte.
Evitar errores en el modelo estadístico: A veces lo que parece ser una discontinuidad en el gráfico, es otra cosa.
!
2Métodos de Evaluación de Impacto
1 Asignación aleatoria / 2 Promoción aleatoria
4 Diseño de discontinuidad
3 Diferencia en diferencias
5 Apareamiento (Matching)
Diferencia en diferencias (Diff-en-diff)Y = EmpleadosP = programa de capacitacion para jóvenes
Diff-in-Diff: Impacto=(Yt1-Yt0)-(Yc1-Yc0)
InscritosNo Inscritos
Despues 0.74 0.81
Antes 0.60 0.78
Diferencia +0.14 +0.03 0.11
- -
- =
Diferencia en diferencias (Diff-en-diff)
Diff-in-Diff: Impacto=(Yt1-Yc1)-(Yt0-Yc0)
InscritosNo Inscritos
Despues 0.74 0.81
Antes 0.60 0.78
Diferencia
-0.07
-0.18
0.11
--
-
=
Y = EmpleadosP = programa de capacitacion para jóvenes
Impacto =(A-B)-(C-D)=(A-C)-(B-D)
Em
ple
ad
o
B=0.60
C=0.81
D=0.78
T=0 T=1 Tiempo
Inscritos
No inscritos
Impacto=0.11
A=0.74
Impacto =(A-B)-(C-D)=(A-C)-(B-D)
Em
ple
ad
o
Impacto<0.11
B=0.60
A=0.74
C=0.81
D=0.78
T=0 T=1 Tiempo
Inscritos
No inscritos
Tener en mente
Diferencia en diferenciasDiferencias en Diferencias combina Inscritos y No Inscritos con Antes y Después.
Pendiente: Genera contrafactual para el cambio en el resultadoTendencias-pendientes-son los mismos en los tratamientos y las comparaciones(Supuesto Fundamental).
Para probar vaidez DD, se necesitan a) Al menos 3 observaciones en el tiempo:• 2 observaciones antes• 1 observación
después.b) Placebo de grupo (e.g. clase no afectada por programa) o de resultado (numero hermanos)
!
2Métodos de Evaluación de Impacto
1 Asignación aleatoria / 2 Promoción aleatoria
4 Diseño de discontinuidad
3 Diferencia en diferencias
5 Apareamiento (Matching)
Apareamiento (Matching)Para cada unidad tratada seleccionar la mejor unidad de comparación (par) de otra fuente de datos.
Idea
Pares se seleccionan sobre la base de similitudes de características observadas.
¿Cómo?
Si hay características no observables y esas características no observables influyen en la participación: El sesgo de selección!
Problema?
Puntuacion de la Propension Propensity-Score Matching (PSM)
Grupo de comparación: los no participantes con las mismas características observables que los participantes.
• En la práctica, es muy difícil.• Puede haber muchas características
importantes!Apareamiento (matching) basado en el “propensity score”, Solución propuesta por Rosenbaum and Rubin:
• Calcule la probabilidad de todos los individuos de participar en el programa, en función de sus características observables.
• Elija pares que tienen la misma probabilidad de participación que los “tratamientos”.
Densidad de la puntuacion de la propension (propensity scores)Densidad
Propensity Score
0 1
ParticipantesNo-Participantes
Apoyo Comun
Caso 7: Progresa Matching (P-Score)
Características basales Coeficiente Estimado
Probit Regression, Prob Enrolled=1
Edad de la Cabeza (años) -0.022**Edad del cónyuge (años) -0.017**La educación de la cabeza (años) -0.059**La educación del cónyuge (años) -0.03**La cabeza es mujer = 1 -0.067Indígena = 1 0.345**Número de miembros del hogar 0.216**Piso de tierra = 1 0.676**Baño 1 -0.197**Hectáreas de tierra -0.042**Distancia al Hospital (km) 0.001*Constante 0.664**
Nota: Si el efecto es estadísticamente significativo a un nivel de significación del 1%, etiquetamos el impacto estimado con 2 estrellas (**).
Tener en menteApareamiento (Matching)- Matching requiere grandes muestras y datos de buena calidad.- Validez externa requiere matching de todas unidades de tratamiento. Matching en la línea base puede ser muy útil:• Conocer la regla de asignación
y aparear en base a esa regla• combinar con otras técnicas
(por ejemplo diff-in-diff)
Ex-post matching es arriesgado:• Si no hay línea
de base, tenga cuidado!
• Matching con variables ex post endógenos da malos resultados.
!
Progresa – Recomendaciones de Politica Publica?
Nota: Si el efecto es estadísticamente significativo a un nivel de significación del 1%, etiquetamos el impacto estimado con 2 estrellas (**). Si significativo al nivel del 10%, etiquetamos el impacto con +
Impacto de Progresa en Consumo (Y)
Caso 1: Antes y Después 34.28**Caso 2: Estar inscrito y No Inscrito -4.15Caso 3: Asignación aleatorizada 29.75**Caso 4: Promoción aleatorios 30.4**Caso 5: Diseño de discontinuidad 30.58**Caso 6: Diferencias en Diferencias 25.53**CasO 7: Matching 7.06+
2Métodos de Evaluación de Impacto
Combinació
n de métodos
1 Asignación aleatoria / 2 Promoción aleatoria
4 Diseño de discontinuidad
3 Diferencia en diferencias
5 Apareamiento (Matching)
¿De dónde provienen los grupos de comparación?
Las reglas de operación del programa determinan la estrategia de evaluación.Casi siempre podemos encontrar un grupo de comparación válido si:
• Las reglas operacionales para la selección de los beneficiarios son equitativas, transparentes y respetables (accountable);
• la evaluación se ha diseñado de forma prospectiva.
Reglas de operación y los posibles diseños
Utilice las oportunidades para generar buenos grupos de comparación y de garantizar que la linea base es levantada.
3 preguntas para determinar qué método es el apropiado para un determinado programa • Dinero: ¿el programa tiene los recursos suficientes para
lograr escala y lograr una cobertura completa de todos los beneficiarios elegibles?
• Reglas de targeting: ¿Quién es elegible para recibir los beneficios del programa? Es el programa específico sobre la base de un corte de elegibilidad o está a disposición de todo el mundo?
• Tiempo: ¿cómo son los posibles beneficiarios inscritos en el programa - todos a la vez o por fases con el tiempo?
La elección de su método(s) de IEDinero Exceso de demanda No hay exceso de demanda
Targeting
Tiempo
Focalizado Universal Focalizado Universal
Despliegue en
Fases
1 Asignación Aleatoria
4 Descontinuidad
1 Asignación Aleatoria
2 Promociónaleatoria3 Diff-in-Diff
con5 Matching
1 Asignación Aleatoria
4Descontinuidad
1 Randomizedassignment tophases2 PromociónAleatoria para
inscripcion/toma temprana
3 Diff-in-Diff con5 Matching
Despliegue
Inmediato
1 Asignación Aleatoria
4 Descontinuidad
1 Asignación Aleatoria
2 Promociónaleatoria3 Diff-in-Diff
con5 Matching
4Descontinuidad
Si menos de inscripcion/toma completa:
2 Promociónaleatoria3 Diff-in-Diff con5 Matching
“Recuerde
El objetivo de la evaluación de impacto es estimar el efecto causal o el impacto de un programa sobre los resultados de interés (outcomes).
“Recuerde
oPara estimar el impacto, necesitamos estimar el contrafactual.o lo que habría sucedido en ausencia
del programa youtilizar grupos de comparación o de
control.
“Recuerde
Tenemos 5 métodos para identificar buenos grupos de comparación.
“Recuerde
Elegir el mejor método de evaluación que es factible en el contexto operativo del programa.
Disponible en Inglés, Español y Francés
www.worldbank.org/ieinpractice
Referencia
Anexo : Pasos en el Propensity Score Matching
1. Encuesta representante y altamente comparable de los no afiliados y afiliados.
2. Reunir las dos muestras y se estima un modelo logit (o probit) de participación en el programa.
3. Restringir las muestras para asegurar el apoyo común (fuente importante de sesgo en los estudios observacionales)
4. Para cada participante encontrar una muestra de no participantes que tienen puntajes de propensión similares
5. Comparar los indicadores de resultados. La diferencia es la estimación del efecto debido al programa para esa observación.
6. Calcular la media de estas ganancias individuales para obtener el efecto total promedio.