Construyendo un Sistema de Monitoreo y Evaluación:

Un Reto de Política Pública con Elementos Técnicos

Agosto 2010

Gonzalo Hernández Licona

www.coneval.gob.mx

Índice

Retos para la construcción de un Sistema de Monitoreo y Evaluación

Decisiones con base en Resultados

Medición de Pobreza

Sistema de Monitoreo y Evaluación

Recomendaciones Generales y Específicas

Uso de Evaluaciones

No es fácil tener evaluaciones de programas públicos:

• A diferencia de una empresa privada los programaspúblicos no tienen los incentivos automáticos ni técnicassencillas para generar evaluaciones;

¿Quién exige evaluaciones y mediciones?

¿Qué queremos medir?

¿Cómo se mide?

¿Qué uso se le da a la información generada?

Retos para la construcción de un sistema de Evaluación y Monitoreo de la Política Social

• Institucionales:

Cambiar y adecuar las reglas del juego de los agentes involucrados para realizar la evaluación y la medición y se use la información.

• Técnicos:

Contar con la metodología adecuada para medir impactos y con evaluadores capacitados;

Tener los instrumentos para recolectar informaciónpertinente.

• De planeación:

Tener un marco lógico de los programas, un buen sistema de monitoreo y los indicadores adecuados.

Identificar y cuantificar el problema

Análisis

Diseño de programas

Presupuesto

Operación

Evaluación y Monitoreo

¿Para qué Evaluar?

Mejorar políticas y programas públicos

Tomar mejores decisiones (de operación, diseño, presupuestarias...)

Rendición de Cuentas

Planeación de la Política SocialU

S O

Evaluación del CONEVAL

• Resultados a nivel de FIN– Mejorar el desempeño de la Política de

Desarrollo Social

– Mejorar la Rendición de Cuentas de la Política de Desarrollo Social

U S O

Medición de Pobreza Multidimensional

Evaluación de programas y políticas

Decisiones con base en Resultados

1

2

3

Identificar los principales problemas sociales

Programas y políticas sociales con resultados

Mejora de programas y políticas públicas

POBREZA MODERADA

33.7%36.0 millones2.3 Carencias

Derechos sociales

Carencias

Bie

ne

sta

rIn

gre

so

Vulnerables por ingreso

Vulnerables por carencia

social

Población Total 2008 (106,680,526)

33.0%35.2 millones2.0 Carencias

03 2 1456

promedio

promedio

4.5 %4.8 millones

Fuente: Estimaciones del CONEVAL con base en el MCS-ENIGH 2008.

POBRES MULTIDIMENSIONALES

44.2%47.2 millones2.7 Carencias promedio

18.3%19.5 millones

No carentes, bienestar económico

Porcentaje de población en situación de pobreza multidimensional según entidad federativa, 2008

Fuente: estimaciones del CONEVAL con base en el MCS-ENIGH 2008.

Pobreza multidimensional Pobreza multidimensional

(porcentaje de población) (porcentaje de población)

NACIONAL 44.2

Aguascalientes 37.6 Morelos 48.6

Baja California 26.3 Nayarit 42.5

Baja California Sur 21.1 Nuevo León 21.5

Campeche 44.7 Oaxaca 62.0

Coahuila 32.9 Puebla 64.0

Colima 28.9 Querétaro 35.4

Chiapas 76.7 Quintana Roo 35.9

Chihuahua 32.1 San Luis Potosí 51.1

Distrito Federal 27.8 Sinaloa 32.7

Durango 49.4 Sonora 26.7

Guanajuato 43.8 Tabasco 53.8

Guerrero 68.1 Tamaulipas 34.0

Hidalgo 56.4 Tlaxcala 59.7

Jalisco 36.5 Veracruz 50.7

México 43.7 Yucatán 46.5

Michoacán 54.6 Zacatecas 52.2

Entidad Entidad

Pobreza multidimensional Pobreza multidimensional

(miles de personas) (miles de personas)

NACIONAL 47,190

Aguascalientes 423 Morelos 806

Baja California 813 Nayarit 410

Baja California Sur 117 Nuevo León 944

Campeche 352 Oaxaca 2,200

Coahuila 856 Puebla 3,585

Colima 172 Querétaro 599

Chiapas 3,426 Quintana Roo 456

Chihuahua 1,081 San Luis Potosí 1,263

Distrito Federal 2,448 Sinaloa 867

Durango 764 Sonora 665

Guanajuato 2,202 Tabasco 1,097

Guerrero 2,142 Tamaulipas 1,072

Hidalgo 1,359 Tlaxcala 670

Jalisco 2,544 Veracruz 3,677

México 6,408 Yucatán 883

Michoacán 2,168 Zacatecas 721

Entidad Entidad

Número de personas en situación de pobreza multidimensional según entidad federativa, 2008

Fuente: estimaciones del CONEVAL con base en el MCS-ENIGH 2008.

Porcentaje de población con carenciassociales (2008)

Carencia social %

Acceso a la seguridad social 64.7

Acceso a los servicios de salud 40.7

Rezago educativo 21.7

Acceso a la alimentación 21.6

Servicios básicos en la vivienda 18.9

Calidad y espacios de la vivienda 17.5

Fuente: Estimaciones del CONEVAL con base en el MCS-ENIGH 2008.

Estimaciones de pobreza por ingresos

Fuente: Estimaciones del CONEVAL con base en el MCS-ENIGH de 1992-2008.

El fenómeno de desigualdad también se observa a nivel regional

Muy bajo

Bajo

Medio

Alto

Muy alto

Grado de rezago social

Fuente: Estimaciones del CONEVAL con base en el II Conteo de Población y Vivienda 2005.

• Grado de Rezago Social por Localidad (2005)

Indicador de la tendencia laboral de la pobreza1

Fuente: Elaboración del CONEVAL con información de la ENOE, reportada por el INEGI. 1. Base tercer trimestre 2006

0.90

1.00

1.10

1.20

1.30

2005 1t

2005 2t

2005 3t

2005 4t

2006 1t

2006 2t

2006 3t

2006 4t

2007 1t

2007 2t

2007 3t

2007 4t

2008 1t

2008 2t

2008 3t

2008 4t

2009 1t

2009 2t

2009 3t

2009 4t

2010 1t

Evolución del Índice de la Tendencia Laboral de la Pobreza (ENOE), nacional, urbano y rural Primer trimestre 2005 al primer trimestre 2010

Nacional Urbano Rural

Nacional, urbano y rural Primer trimestre 2005 – Primer trimestre 2010

Sistema de Evaluación y Monitoreo

Resultados

Seguimiento de Recomendaciones

Planeación Evaluación

Plan Nacional de

Desarrollo

Objetivos estratégicos:

Instituciones

Matriz de Marco

Lógico: Programas

Programa Anual de Evaluación

Evaluación de Consistencia y

Resultados

Evaluación de Políticas

Evaluación de Procesos

Evaluación de Impacto

Evaluación Específica de Desempeño

Información del CONEVAL para latoma de decisiones

Recomendaciones Específicas

Recomendaciones Generales

Indicadores de Pobreza

Multidimensional

Evaluaciones de Políticas y

Programas de Desarrollo Social

Recomendaciones Generales: Informe de Evaluación de la Política de Desarrollo Social 2008

• Mejorar la calidad de los bienes y servicios públicos ofrecidos a la población.

• Mejorar la cobertura del conjunto de las acciones de la política social para fortalecer los derechos sociales de la población.

• Aplicar una estrategia global que mida los avances en materia de calidad de los bienes y servicios y cobertura.

• Presentar sistemáticamente indicadores que muestren la incidencia de las políticas y programas de desarrollo social en el ámbito para el fueron diseñadas.

Recomendaciones Generales: Informe de Evaluación de la Política de Desarrollo Social 2008

• Promover una planeación estratégica efectiva de la política de desarrollo social que facilite el logro de objetivos y mejore la coordinación entre sectores y programas

• Continuar con el fortalecimiento de las políticas transversales para la igualdad de género y de los grupos vulnerables.

• Destinar más recursos a la infraestructura de comunicación, transporte y otros servicios para facilitar la inclusión social de sectores marginados geográficamente alejados.

•Acciones para tener un gasto social más progresivo

• Tener una política clara para la reducción de la pobreza urbana.

Algunas acciones de política pública son regresivas

Coeficientes de concentración del gasto social 2006

Nota: Verde se refiere a programas dirigidos, las columnas azules a programas no dirigidos

Fuente: Informe de Evaluación de la Política de Desarrollo Social, CONEVAL, tomado de Scott, John.

“Gasto Público y Desarrollo Humano” en Informe sobre Desarrollo Humano México 2008-2009

Oportunidades

Piso Firme

Dirigidos Total

IMSS-Oportunidades

Salud PNA SP

DIF despensa/desayunos

Adultos Mayores

Salud PNA SSA

Edu Primaria

PET

Edu Preescolar

Edu Secundaria

Liconsa

Procampo (ENIGH)

Edu Media-Superior

Total

No Dirigido Total

Credito a la Palabra

Subsidio Eléctrico Residencial

Vivienda

Subsidios Gas LP

Salud PA IMSS

(cuasi) Monetarios Total

Pensiones PA IMSS

Edu Terciaria

IVA Gasto Fiscal

Pensiones ISSSTE

Subsidio Gasolinas

Salud ISSSTE

Gini pre-transferencias

Pensiones PA Otros

Procampo (tierra)

Subs. Agríc. Total (tierra)

-0.600 -0.400 -0.200 0.000 0.200 0.400 0.600 0.800

Ingreso Objetivo (tierra)

Oportunidades

Piso Firme

Dirigidos Total

IMSS-Oportunidades

Salud PNA SP

DIF despensa/desayunos

Adultos Mayores

Salud PNA SSA

Edu Primaria

PET

Edu Preescolar

Edu Secundaria

Liconsa

Procampo (ENIGH)

Edu Media-Superior

Total

No Dirigido Total

Credito a la Palabra

Subsidio Eléctrico Residencial

Vivienda

Subsidios Gas LP

Salud PA IMSS

(cuasi) Monetarios Total

Pensiones PA IMSS

Edu Terciaria

IVA Gasto Fiscal

Pensiones ISSSTE

Subsidio Gasolinas

Salud ISSSTE

Gini pre-transferencias

Pensiones PA Otros

Procampo (tierra)

Subs. Agríc. Total (tierra)

-0.600 -0.400 -0.200 0.000 0.200 0.400 0.600 0.800

Ingreso Objetivo (tierra)

Oportunidades

Piso Firme

Dirigidos Total

IMSS-Oportunidades

Salud PNA SP

DIF despensa/desayunos

Adultos Mayores

Salud PNA SSA

Edu Primaria

PET

Edu Preescolar

Edu Secundaria

Liconsa

Procampo (ENIGH)

Edu Media-Superior

Total

No Dirigido Total

Credito a la Palabra

Subsidio Eléctrico Residencial

Vivienda

Subsidios Gas LP

Salud PA IMSS

(cuasi) Monetarios Total

Pensiones PA IMSS

Edu Terciaria

IVA Gasto Fiscal

Pensiones ISSSTE

Subsidio Gasolinas

Salud ISSSTE

Gini pre-transferencias

Pensiones PA Otros

Procampo (tierra)

Subs. Agríc. Total (tierra)

-0.600 -0.400 -0.200 0.000 0.200 0.400 0.600 0.800

Ingreso Objetivo (tierra)

Acciones Progresivas: Llegan a la

población en pobreza

Acciones Regresivas: Llegan a la

población de más ingresos

Incentivos para el uso de evaluaciones: Mecanismo

para el Seguimiento a Aspectos Susceptibles de Mejora

DifusiónFormulación de

InstrumentosClasificación

Selección de Aspectos

1 2 3 4

• Principales hallazgos, oportunidades y recomendaciones de informes y evaluaciones externas de losprogramas

Clasificación de Aspectos:• Específicos• Institucionales• Interinstitucionales• Intergubernamentales

• Se definen los documentos de trabajo y el documento institucional del programa.

• Se hacen públicos los compromisos de mejora.• CONEVAL publicará informe en su portal web

Recomendaciones Específicas: Resultados concretos

• Liconsa

Resultado: La leche fortificada reduce en 26% la anemia infantil a un costo de 8 pesos por niño.

Recomendación: Mejorar la focalización hacia las zonas rurales.

• Diconsa

Resultado: El programa de Abasto Rural ayuda a reducir los precios 9% en promedio (aprox).

Recomendación: Poder ofrecer frutas y verduras.

• Programa Piso Firme

Resultado: Reducción de 19% en anemia y parásitos en niños menores de 5 años.

Recomendación: Complementar la calidad de la vivienda en las zonas rurales.

• Oportunidades

Resultado: Incremento de 24% en la matriculación de las niñas; 12% de incremento en la estatura infantil.

Recomendaciones: Mejorar la calidad de servicios educativos y de salud en los Estados. Mejorar esquema urbano.

Recomendaciones Específicas:Informe de Seguimiento a Aspectos Susceptibles de Mejora

• Programa de Becas de Apoyo a la Educación Básica de Madres Jóvenes y Jóvenes Embarazadas (SEP)

Recomendación: Mejorar la complementariedad de acciones del Sistema Nacional de Desarrollo Integral de la Familia (SNDIF) y del Instituto Nacional de las Mujeres (INMUJERES) para disminuir la deserción escolar de mujeres.

• Programa Asesor Técnico Pedagógico (SEP)• Recomendación: Adaptar los bienes y servicios de programas a lascaracterísticas de los beneficiarios, considerando la pertenencia cultural de lapoblación objetivo.

• Programa para el Desarrollo de Zonas Prioritarias (Sedesol)

Recomendación: Disminuir los tiempos de realización de trámites para la aprobación de proyectos de obra pública.

• Programa Estancias Infantiles para Apoyar a Madres Trabajadoras (Sedesol)

Recomendación: Armonizar la normatividad utilizada en actividades presupuestarias y programáticas.

El total de las dependencias con programas con ROP mejoraron sus

esquemas de planeación y cuentan con matriz de indicadores de

resultados

Apoyo a la redefinición de la estrategia mortalidad materna

SAGARPA alineó su matriz federal – estatal de sus programas en

coejercicio de Guerrero, Jalisco, Michoacán, Morelos y Oaxaca

Menor regresividad de Procampo en ROP 2010

En el Presupuesto de Egresos de la Federación (PEF) 2008, se publicaron

indicadores de desempeño y resultados para evaluar el gasto público de

las dependencias y entidades federales

SAGARPA realizó un proyecto de sitio electrónico para dar a conocer sus

indicadores a nivel estatal, además de generar un padrón de beneficiarios

Mejorando la Política Social

41%(49)

45%(54)

14%(17)

40% de los programas mejoraron la calidad de sus MIR

La calificación promedio del apartado “Diseño” creció de 70 a 81”

27%(32)

17%(20)

56%(66)

SEMAFORIZACIÓN MIR 2010

DISEÑO

(CLASIFICACIÓN S Y U)

SEMAFORIZACIÓN MIR

2008

DISEÑO

(CLASIFICACIÓN S Y U)27%(36)

32%(42)

41%(55)

19%(25)

67%(89)

14%(19)

SEMAFORIZACIÓN MIR 2008

GENERAL

(CLASIFICACIÓN S Y U)

Comparativo diagnósticos 2008 - 2010

SEMAFORIZACIÓN MIR 2008

GENERAL

(CLASIFICACIÓN S Y U)

Las Evaluaciones de Consistencia y Resultados, Evaluaciones Específicas

de Desempeño y la variable progresividad, generaron insumos para la

SHCP en la asignación presupuestaria 2010

El gobierno federal anunció mayor presupuesto para programas

sociales como parte de su estrategia de combate a la pobreza, derivado

de las estimaciones a nivel nacional y estatal de la pobreza de ingreso

2008

100% de los programas difundieron sus evaluaciones externas en sus

páginas de internet

Diversos medios de comunicación han generado debate público sobre la

pobreza considerando la información publicada sobre cifras de pobreza

por ingresos 2008 y de la evolución histórica desde 1992

Mejorando la Política Social

Posicionamiento Coneval

Posición 1,479,115 en el ranking mundial y en el 27,668 de México con

248,230 visitas en 2009 y 756 citas

En comparación con organismos similares a nivel mundial, el CONEVAL

está mejor posicionado que la DIPRES (Evaluación,1997) pero no que

DNP (Sinergia 1994)

0

200,000

400,000

600,000

800,000

1,000,000

1,200,000

1,400,000

1,600,000

1,800,000

CONEVALDIPRES (Chile) DNP

(Colombia)

Ranking a nivel mundial

Posicionamiento Coneval

Palabras clave% de

búsqueda

Pobreza en

México7.06%

Coneval 6.80%

índice de pobreza

en México3.36%

índice rezago

social3.35%

pobreza 3.18%

rezago social 2.65%

ficha técnica 2.08%

CONEVAL está por debajo de SEDESOL (lugar 384,340) e INDESOL

(lugar 152,998), aunque muy cerca del INEE en tres años

0

10,000

20,000

30,000

40,000

50,000

60,000

70,000

80,000

90,000

100,000

Ranking de México