Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
Evaluación de Impacto de Políticas Públicas
Fernando Medina H.Asesor Regional
CEPALSantiago de Chile
25 de noviembre de 2005
Políticas Presupuestales y Gestión por Resultados
CEPAL-ILPES
¿Porqué es necesario evaluar?
• Las crecientes inversiones que se hacen en los países, no han podido reducir de manera significativa las tasas de indigencia y pobreza.
• A pesar de los múltiples esfuerzos emprendidos en el ámbito social, la pobreza no cede y la desigualdad es un fenomeno que se ha instalado en todos los países de la región.
• No existe en América Latina y el Caribe una cultura de evaluación integral de políticas públicas.
Existe consenso internacional, de quela superación de la pobreza y ladesigualdad representan el principaldesafío de la humanidad en el umbraldel siglo XXI.
A pesar del progreso alcanzadoel mundo se está polarizando, y la pobreza extrema y la inequidad amenzan con llegar a ser un problema social y político de gran escala.
• Actualmente, el 43% de la población (222 millones)enfrenta alguna situaciónpobreza.
• En tanto que el 19% seubica en extrema pobreza
( 96 millones).
Desde que se asumieron los compromisos de la Declaración del Milenio(2000), la población en pobreza ha aumentado a un ritmo superior al de la población total, a pesar de que se obserava un mayor ingreso por habitante.
La mayoría de países muestran avances insuficientes hacia el cumplimiento de la meta de reducción de la pobreza extrema, y en muchos casos la situación empeoró.
¿Qué es la evaluación integral?• Comprende la evaluación de todas las etapas
asociadas a la operación de un programa.• Diseño• Identificación de la población objetivo• Identificación de beneficiarios• Definición de criterios de elegibilidad• Identificación de beneficios: tipos y montos• Métodos de entrega de beneficios, plazos y
temporalidad.• Corresponsabilidad de los beneficiarios• Impacto
EVALUACIÓN INTEGRAL DE PROGRAMAS PÚBLICOS
EVALUACIÓN DE
COSTO - BENEFICIO
POLÍTICAS PÚBLICAS
EVALUACIÓN DE
IMPACTO
MONITOREO Y
SEGUIMIENTO
EVALUACIÓN DE
PROCESOS
¿Cómo ha sido diseñado el programa?
• Diagnóstico adecuado:¿Porqué es necesario emprender el programa?
• Magnitud del problema: volumen de potenciales beneficiarios, recursos, ubicación geográfica, etc.
• ¿Qué resultados debe producir el programa?:modificar causas, reducir efectos, ambos.
• ¿Cómo se mediran los resultados del programa?
(cont.)
• Monitoreo
• Evaluación de procesos
• Cumplimiento de metas
• Costo-beneficio
• Impacto
Monitoreo• ¿Se actúa conforme a lo planeado?
• La fase de monitoreo es permanente, y se asocia a la necesidad de conocer si el programa funciona de acuerdo a la manera en que se planificó.
• La mejora continua debe ser asumida como objetivo durante el ciclo de vida del programa (Círculo de Deming).
• Se requiere de un sistema de información oportuno para apoyar la toma de decisiones.
Control de Procesos
• Está asociado con el control de gestión del programa, y entre otras cosas, evalúa la manera en que se están entregando los servicios a los beneficiarios.
• Se debe conocer aspectos asociados a: costos, calidad de los servicios, pertienencia de los servicios, tiempos de entrega, etc.
Cumplimiento de Metas
• Se debe conocer si las metas de cobertura del programa se están logrando.
• El cumplimiento de metas no debe asociarse al cumplimiento de objetivos del programa. Son cosas distintas.
• Es la manera en la que tradicionalmente se ha evaluando el éxito de un programa, pero también es la más ingenua.
Costo-Beneficio
• Está orientado a evaluar la eficacia del programa desde una perspectiva económica.
• Se relacionan los costos de operación del programa con los beneficios obtenidos.
• Contrapone el plano ético con una visión economicista de las políticas públicas.
CONTEXTO EN EL QUE SURGE LA EVALUACIÓN Y LOS ACTORES SOCIALES
ORDENAMIENTO LEGALQUE OBLIGA A LA
EVALUACIÓNPERIÓDICA
CONSEJO CONSULTIVO CIUDADANO QUE ES
VIGILANTE DE LA ACCIÓN PÚBLICA EN
MATERIA SOCIAL
GOBIERNORESPONSABLE DE
RENDIR CUENTAS E INFORMA RESULTADOS
GOBIERNOS LOCALESPARTICIPANDO EN LA
PROMOCIÓN DEL DESARROLLO COMUNITARIO
SOCIEDAD CADA VEZ MÁS DEMANDANTE Y
PARTICIPATIVA
Tipología de los indicadores• Diagnóstico: Tasa de pobreza, perfiles, etc.• Monitoreo y Seguimiento:Metas de cobertura• Insumos: maestros, materiales médicos, etc. • Acceso: escuelas,aulas, clínicas, etc.• Resultados: estado nutricional, aprendizaje,
etc.
• Impacto
• CambioEvaluación
(cont.)
• Gestión:Eficiencia (insumos-productos)
• Desempeño: laboral y financiero
Indicadores Estratégicos
• Simples: E(x)
• Compuestos: IDH, Gini, H
Métodos para la construcción de índices multidimensionales
• Técnicas multivariadas: análisis factorial, componentes principales y análisis de discriminante.
• Indices de pobreza y desigualdad multidimensionales
• Indice de Desarrollo Humano
• Indices de Condiciones de Vida
Existen demasiados índices
• Indice de desarrollo humano• Indice de desarrollo de género• Indice de potenciación de género• Indice de pobreza de capacidades• Indice de pobreza humana• Indice de pobreza humana de los países
en desarrollo
Indice de Desarrollo Humano• IDH=1/3ΣXi ; i=1,2,3
• X1= Indice de Esperanza de VidaIEV=(73.4-25)/(85-25)=0.807
• X2=Indice de EducaciónIA=(85.3-0)/(100-0)=0.853IBM=(69-0)/(100-0)=0.690IE=2/3(0.853)+1/3(0.690)=0.789
• X3= Indice de PIBIP=[log(3,680)-log(100)]/[log(40000)-log(100)]=0.603
IDH=1/3(.807+.798+.602)=0.735
Algunas críticas al IDH• ¿Están adecuadamente ponderadas las
distintas dimensiones del índice y son pertinentes los ponderadores asignados?
• ¿Deben tener el mismo peso todas las dimensiones?
• ¿Es correcto que el nivel alto de una dimensión compense el nivel bajo de otra?
• ¿Un mejor nivel de ingreso compensa una educación inadecuada?
(cont.)
• ¿Un mayor nivel educativo compensa el tener una menor expectativa de vida?
• ¿Es pertinente que exista un único índice con iguales dimensiones e indicadores para todos los países, con independencia a su nivel de desarrollo relativo?
• Su uso es muy limitado para el diseño de políticas.
1. Erradicar la pobreza y el hambre
2. Lograr la enseñanza primaria universal
3. Promover la igualdadentre los gèneros y la
autonomìa de la mujer
4. Reducir la mortalidad infantil
5. Mejorar la salud materna
6. Combatir el VIH/sida, el paludismo y otrasenfermedades
7. Garantizar la sostenibilidad del medio ambiente
8. Fomentar una asociaciònmundial para el desarrollo
2015
g Reducir a la mitad la tasa de pobreza extrema (2015)g Reducir a la mitad el porcentaje de personas
que padecen hambreg Asegurar la educación primaria universal g Eliminar las diferencias de género en la educación
primaria y secundaria (2025)g Rebajar en dos tercios la mortalidad en la infancia y la niñezg Reducir la mortalidad materna en tres cuartas partesg Asegurar el acceso universal a los servicios
de salud reproductivag Detener la reproducciòn del VIH/Sida,
paludismo y otras enfermedades gravesg Aplicar estrategias para lograr un desarrollo
sostenible con responsabilidad ecológicag Reducir a la mitad el porcentaje de personas
que carecen de acceso a agua potableg Mejorar la calidad devida de las personas que
viven en tuguriosg Ayudar a los países en el cumplimiento de las
metas
Las Metas del Milenio
Las metas del milenio
• Muchos de los indicadores seleccionados están orientados a medir el acceso de las personas a un conjunto básico de satisfactores.
• No obstante, este hecho no guarda relación con la calidad de los servicios recibidos: e.g. calidad de la educación, estado nutricional de los pobres no indigentes, etc.
La incidencia de la pobreza
• ¿Qué nos interesa. El fondo o la forma?
• Se puede dar el caso de que la tasa de pobreza extrema dismunuya, pero que los miembros del hogar continúen sin satisfacer sus necesidades alimentarias.
Diagnóstico inicial
-Variables estructurales
-Variables de coyuntura
-Relaciones de causalidad
Escenario actual y futuro del Programa
Escenario deseable
Identificación
-Variables de impacto
-Variables de control
-Metas de política
-Objetivos de política
-Indicadores de evaluación
Línea de base conocimiento de la situación actual y del futuro deseable
Planeación
-Objetivos del programa
-Población objetivo
-Modelo de intervención
-Modelo de evaluación
-Temporalidad para evaluar resultados
-Recopilación de información (encuestas, registros administrativos y métodos cualitativos)
Diseño del programa
Operación
- Selección de la población beneficiaria
-Selección del grupo de control
-Se efectuan intervenciones
-Mecanismos de control y seguimiento
-Se monitorea el proceso
Evaluación de impacto
-Costo-beneficio
-Costo-impacto
Resultados
-Pertinencia del programa
-Evolución de los indicadores de impacto
CONTEXTO IDEAL PARA LA EVALUACIÓN DE IMPACTO
Planteamiento del problema• Se desean conocer los efectos que tiene
una acción de política social en una o másvariables asociadas al nivel de vida de una población.
• Para ello, se diseña un programa el cual beneficia a un cierto grupo de personas o familias.
• Posteriormente, después de un ciertotiempo se desea comparar la situación de los beneficiarios con aquella que tendríande no haber participado en el programa.
Evaluación de Impacto
• Tiene como propósito conocer si el programa produjo los efectos deseados en los beneficiarios.
• Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad).
• ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?
El interés es conocer el cambio neto en una o másvariables de impacto:
t0 t1 t2 t3 tm tn-1 tn
X1pb X2pb .......... Xmpb Xnpb
beneficiarios
no beneficiarios
X1c X2c ........... Xmc Xnc
Población Objetivo
Brecha de impacto
t0=c0 t
Para una variable determinada Y que tiene influencia de otra independiente X, el modelo de doble diferencia se expresa así:
(Y2i - Y1i) = β*0 + β1 (X2ipo – X1ipo) - β2 (X2ic – X1ic) + ε*
Cambio neto = efecto fijo + cambio bruto - efecto exógeno a la intervenciónen la variable en la variable en el grupo de no beneficiariosde interés independiente
(cont.)
• La evaluación de impacto demanda de la aplicación de técnicas, que permitan conocer lo que habría ocurrido en caso de que el programa no se hubiése puesto en marcha.
• Por tanto, es importante disponer de un escenario contrafactual que permita conocer lo que hubiera ocurrido si el programa no se hubiera realizado.
(cont.)
• Se requiere disponer de información para el llamado grupo de control o de comparación.
• Estos grupos deben seleccionarse de manera aleatoria, de la misma población de la que provienen los participantes.
• Esto significa, que ambos grupos tienen las mismas características
El Grupo de Control
• En el proceso de evaluación de impacto, lo más importante es disponer de un grupo de control adecuado.
• Lo anterior se logra a partir de metodologías estadísticas: diseños experimentales aleatorios y cuasi experimentales.
• También se aconseja aplicar métodos cualitativos y participativos para lograr la evaluación integral.
Diseños Experimentales
• Se consideran los métodos más robustos para generar grupos de control.
• La elección de los beneficiarios y del grupo de control se efectúa en forma aleatoria, reduciendo al máximo los sesgos de selección.
• Presentan la ventaja, de que el efecto del programa se logra al comparar las diferencias observadas entre los valores promedio de las variables de impacto entre ambos grupos.
(cont.)
• A pesar de que consideran los métodos más robustos, su aplicación práctica genera problemas de carácter ético.
• Lo anterior, además, puede generar problemas de carácter político.
• Durante la aplicación del programa, las características de los grupos comparados pueden alterarse, lo cual podría introducir sesgos en los resultados.
Diseños Cuasi Experimentales• Se utilizan cuando no es posible aplicar diseños
experimentales para generar grupos de control.
• Se generan grupos de observaciones que se asemejan a las características de los beneficiarios.
• Para lograr lo anterior, se utilizan métodos econométricos: apareamiento (matching), doble diferencia, variables instrumentales.
• Los grupos de rtatamiento y de comparación se seleccionan después de la puesta en marcha del programa.
(cont.)
• Presenta la ventaja de utilizar datos existentes (encuestas, censos), y por tanto son menos costosos y más fáciles de aplicar.
• A pesar de lo anterior, los resultados pueden ser menos confiables, debido a los sesgos de selección de los datos y por tanto son menos sólidos desde el punto de vista estadístico.
• Es posible controlar el sesgo de selección a partir de métodos estadísticos.
Métodos Cualitativos
• Se utilizan con el propósito de conocer la opinión de los beneficiarios acerca de las beneficios entregados por el programa.
• Además de las entrevistas a profundidad, se hace usos de información proveniente de líederes de opinión y la generada por medio de grupos focales.
• Permiten conocer aspectos que los métodos estadísticos y econométricos no lo hacen.
Preguntas relevantes para evaluación de impacto de las políticas públicas
• Algunas preguntas básicas:– ¿Qué queremos medir? – ¿Cómo queremos medir?– ¿Para qué queremos la medición?– ¿Para qué se van a utilizar las mediciones?– ¿Qué fenómeno se desea aproximar?
• Si el tema de interés es la calidad de vida: - ¿Qué se entiende por calidad de vida?- ¿Cómo se desea aproximar? - ¿Cómo se mide?
- ¿Cuáles variables que se deben analizar?
Planteamiento del problema• Se desean conocer los efectos que tiene
una acción de política social en una o másvariables asociadas al nivel de vida de una población.
• Para ello, se diseña un programa el cual beneficia a un cierto grupo de personas o familias.
• Posteriormente, después de un ciertotiempo se desea comparar la situación de los beneficiarios con aquella que tendríande no haber participado en el programa.
• Se debe construir un escenario contrafactual o grupo de comparación que permita conocer la manera en
que han evolucionado las variables de impacto, tanto en elgrupo de beneficiarios como en el de no beneficiarios.
• En Blundell y Costa Dias (2000), los métodos de evaluaciónse clasifican en cinco categorías:
v experimentos aleatorios (diseño de experimentos tradicional)
v experimentos naturales (difference-in-difference,before-after)
v métodos de comparaciones pareadas (matching)v selección de modelos ( variables instrumentales)v modelos de simulación (simular efectos de política)
Estimadores de Impacto
• antes-depués
• doble diferencia
añoy *10 ββ +=
)*(3*2*10 beneficiañobeneficiañoy ββββ +++=
Modelo de doble diferencias 2001-2002
)*(321002,01 BenefAnoAnoBenefy ββββ +++=
)()(3 2001200220012002 yyyy −−−=∧
β
Beneficiarios No beneficiarios
)497,148.124,14()9.570,31.066,3(3 −−−=∧
β
6,1323 −=∧
β
Modelo de doble diferencia2001-2003
)*(321003,01 BenefAnoAnoBenefy ββββ +++=
)()(3 2001200320012003 yyyy −−−=∧
β
Beneficiarios No beneficiarios
)497,147.510,15()9.570,34.976,5(3 −−−=∧
β
4.391,13=∧
β %9.573=∧
β
3
2
02001
202003
32
102001
32102003
000
00
00
β
ββ
ββ
ββββ
ββββ
+++=
+++=
++++=
+++=
nb
nb
b
b
y
y
y
y
Cambio bruto:beneficiarios
Cambio bruto: no beneficiarios
Impacto neto del programa
Conclusiones• La evaluación integral de los programas públicos,
debe forma parte de una estrategia de gestión por resultados.
• Representa uno de los mecanismos que los gobiernos deben poner en marcha para garantizar la transparencia y rendición de cuentas.
• Le permite conocer a la ciudadanía en qué se gastan los ingresos del erario, al tiempo que da cuenta de la eficacia de los programas públicos.