Upload
others
View
8
Download
0
Embed Size (px)
Citation preview
Marcus Holmlund Development Impact Evaluation
Istanbul, 12 de mayo, 2015
Midiendo impactos: Experimentos
Basado sobre materiales de David Evans, Economista Senior y Laura Ralston, Economista, Banco Mundial
Nuestro objetivo:
Llegar a un diseño de evaluación que nos permite saber
• Si nuestro programa ha logrado los resultados esperados
• Como mejorar los resultados de nuestro programa
gráfico número 1
0
1
2
3
4
5
6
7
8
9
10
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
resu
ltad
o/
ou
tco
me
meses antes / después de la intervención
Intervención
Impacto?
0
1
2
3
4
5
6
7
8
9
10
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
resu
ltad
o/
ou
tco
me
meses antes / después de la intervención
gráfico número 2
Intervención
Impacto?
0
1
2
3
4
5
6
7
8
9
10
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
resu
ltad
o/
ou
tco
me
meses antes / después de la intervención
gráfico número 3
Intervención
Impacto?
Desafío
• Necesitamos un contrafactual
• Métodos no-experimentales requieren supuestos y datos pre-existentes de alta calidad
• Hay otra opción?
6
Criterios de un buen Contrafactual
• Tiene características idénticas (tanto observadas como no observadas) al grupo de tratamiento
• La única diferencia es la participación en el programa
• Así que la única razón para cualquier diferencia en los resultados es la participación
IDEA IMPORTANTE
El
CONTRAFACTUAL
nos dice lo que huberia occurrido sin nuestraintervención. Este forma parte fondamental de
LA INFERENCIA CAUSAL
y de la
EVALUACION DE IMPACTO
¿Una manera factible y simple de encontrar un buen contrafactual?
¡Hacer un experimento!
(ensayo aleatorio controlado, aleatorización, randomización, asignación al azar)
El experimento ideal - diseño
Abelardo “el original” Paco “el clon”
[nada]
El experimento ideal -resultado
Abelardo “el original” Paco “el clon”
[nada]
Ensayo aleatorio controlado
• Identificar a los elegibles
• Asignar cada uno o al grupo de tratamiento o al grupo de control al azar / de manera aleatoria
• Los dos grupos tendrán, en promedio, las mismas características• Características observables y no observables
• Cualquier diferencia observada al final debe ser causado por el programa ( = el impacto)
Como funciona la aleatorización?
TRATAMIENTO
CONTROLTRATAMIENTO
CONTROL
• Con una muestra más grande, las diferencias se promedian
• En promedio, las características observables y no observables son idénticas entre los grupos
• Cualquier diferencia en el resultado debe venir directamente del tratamiento
• La aleatorización con dos no funciona
Una distinción importante:muestra aleatoria
• Se empieza con una población definida
• Recogemos datos de algunos (escogidos aleatoriamente)
• Nos asegura que los datos son representativos de la población
• Pero no es una evaluación de impacto
Una distinción importante:asignación aleatoria:
• Se empieza con una población definida
• Aleatoriamente decidimos quién participa, y quien no
• Nos asegura que los grupos son parecidos (en promedio)
• La comparación entre grupos nos dará el impacto causado por el programa
Contexto
16
• El Gobierno de Marcusia quiere saber cual es el impacto de un programa de capacitación para empleados en el sector de helados
• Nuestro trabajo es de realizar esta evaluación de impacto
• Caso 1: La evaluación se hará dentro de una empresa
• Se selecciona una empresa con 800 empleados • El hipótesis es que el programa de entrenamiento mejorara el
desempeño/productividad de los empleados• Como se puede verificar si realmente el programa esta mejorando
la productividad?
Opción 1: aleatorización a nivel del individuo
• Asignar cada uno de los 800 empleados o al grupo de tratamiento (programa de capacitación) o al grupo de control
– Grupo T: 400 empleados
– Grupo C: 400 empleados
• Todos tienen la misma posibilidad de participar
17
Aleatorización a nivel del individuo
La empresa:800 empleados
Asignar al azar
Grupo “C”:400 empleados
IMPACTO:
(Productividad promedia en el Grupo T) – (Productividad promedia en el Grupo C)
Grupo “T”:400 empleados
Algún problema?
• Los no seleccionados pueden sentir frustración
– Aumentar esfuerzo?
– Disminuir esfuerzo?
• Ejemplo de la “desbordacion” (spillover)
• Cada situación va a sesgar nuestra estimación de impacto
19
Opción 2: Aleatorización por grupos
20
T
T
T
C
C
C
C
TC
• Supongamos que hay equipos de empleados
• Los grupos se asignan al azar al grupo C y al grupo T
• Hay menos riesgo de “spillovers”
• Pero este reduce el tamaño de nuestra muestra
A que nivel se debe aleatorizar?
• Depende del programa
– Individual, empleado, hogar
– Empresa, escuela, centro de salud
– Comunidad, pueblo, ciudad
– Municipio, región
21
Contexto
22
• El Gobierno de Marcusia quiere saber cual es el impacto de un programa de capacitación para empleados en el sector de helados
• Nuestro trabajo es de realizar esta evaluación de impacto
• Caso 2: La evaluación se hará con varios empresas
• Hay 800 empresas que satisfacen los criterios del programa• El hipótesis es que el programa de entrenamiento mejorara el
desempeño/productividad de los empleados• Como se puede verificar si realmente el programa este
mejorando la productividad?
Opción 3: Implementación por etapas
• Falta de capacidad o de recursos para introducir el programa en todas las empresas al mismo tiempo
• Hacer una lotería (= asignar al azar) es una manera justa, transparente, y ética de decidir quienes van primero
23
Implementación por etapas
• Asignar empresas al azar al grupo 1 (T) y al grupo 2 (C)
• A final del 2016, comparar los resultados entre los dos grupos
• Pero no se puede medir impactos al largo plazo
Grupo 1 (Enero 2016): 400 empresas
Grupo 2 (Enero 2017): 400 empresas
Y si hay empresas que tienen que estar en el Grupo 1?
Empresas en sectores prioritarios
Los demásEmpresas que no cumplen con los
requisitos del programa
Pero como hacemos si…
• El gobierno niega negar el programa a cualquier empresa que se postula y que cumple con los requisitos del programa
• Los 800 empresas se presentan
• El gobierno de Marcusia sugiere usar una comparación antes-después
• Esta bien?
• NO PARA NADA!!!
26
Opción 4: Variación del tratamiento
Variar la intensidad
Capacitacion basica
• 400 empresas
Capacitacion basica+ tutoria individual
• 400 empresas
Variar la forma del tratamiento
Capacitacion en el lugar del trabajo
• 400 empresas
Capacitacion enun lugar externo
• 400 empresas
27
1
2
3
4
Variación del tratamiento
• Nos permite evaluar diferentes opciones del diseño
– Muy útil para saber cuales son los elementos los mas importantes y así construir programas mejores
• Pero si aplicamos una variación del tratamiento a todo el mundo, se pierde el contrafactual puro
• Solución: también incluir a un grupo de control
28
Opción 5: diseño de estimulación
• Supongamos que no hay mucho interés por parte de las empresas
– Queremos hacer un piloto con 400, pero solo hubo 100 solicitudes
• Introducir algún tipo de estimulación para aumentar el interés
– Se selecciona las empresas que van a recibir la estimulación de manera aleatoria
– La probabilidad de que participen las empresas que reciben la estimulación es mayor
Opción 5: diseño de estimulación
• La estimulación tiene que servir para aumentar el interés en el programa– Sino, no funciona la estimulación, no habrá variación aleatoria en la
probabilidad que una cierta empresa participe en el programa
• Hay tres tipos de empresas:1. Las que siempre participan
2. Las que nunca participan
3. Las que participan si reciben la estimulación
• Solo se mide el impacto para el tercer grupo
Se puede aleatorizar?• Absolutamente si!
• Asignación aleatoria ≠ negar beneficios
• Normalmente, empezar un programa con cobertura universal es imposible por motivos operacionales
– Oportunidad para usar la asignación aleatoria
• La asignación aleatoria resulta la manera más justa de elegir los primeros participantes
– Mas ético que usar fondos públicos escasos para un programa universal con beneficios inciertos
• Pueden comparar varias intervenciones o varias versiones de la misma intervención
– Construir programas con mejores resultados
¿Y si la aleatorización es imposible?
• Considera de nuevo
– Muchas veces es posible en algún nivel, para alguna parte de proyecto
– Es la mejor forma de medir impacto
• Siempre vale la pena comenzar con la pregunta: “Si yo pudiera aleatorizar, ¿como lo haría?”
33
Experimentos
Si no es posible hacer un experimento, utilizar métodos
no-experimentales validos
Antes-Después
Participantes-No
Participantes
RD
Diff-en-Diff
Variostratamientos
IDEA PRINCIPAL:
La
MEJOR MANERA
de
EVALUAR EL IMPACTO
directamente causado por una intervención es mediante un
ENSAYO ALEATORIO CONTROLADO
Gracias! facebook.com/ieKnow
#impacteval
blogs.worldbank.org/impactevaluations
microdata.worldbank.org/index.php/catalog/impact_evaluation
http://dime.worldbank.orgWEB