www.coneval.gob.mx
Noviembre 2009
Construyendo una cultura para Resultados
Índice
Antecedentes Qué es el Coneval: Aspectos Institucionales Sistema de Evaluación y Monitoreo en
México Monitoreo, avances y usos de la MML Evaluación de Consistencia y Resultados Esquema de Seguimiento a
Recomendaciones Retos a futuro
ANTECEDENTES
• 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestación
• 2000: Inicio normativo sin una estrategia clara
• 2000-2006: Desarticulación de la evaluación con la mejora en la gestión
– PEF y Acuerdo entre SHCP y SFP– Ausencia de una estrategia de monitoreo– Agenda del Buen Gobierno, e Iniciativas de Innovación y
Calidad Gubernamental– Sistema de Metas Presidenciales
• 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública
– Creación del Coneval
– Primer impulso normativo al monitoreo
– Vínculo con Pobreza
ÍNDICE
Antecedentes Qué es el Coneval: Aspectos Institucionales
Sistema de Evaluación y Monitoreo en México
Monitoreo, avances y usos de la MML Evaluación de Consistencia y Resultados Esquema de Seguimiento a
Recomendaciones Retos a futuro
QUÉ ES EL CONEVAL: ASPECTOS INSTITUCIONALES
• Nace a partir de la Ley General de Desarrollo Social:
– Normar y coordinar la evaluación de la política y los
programas de desarrollo social
– Aprobar los indicadores de resultados, gestión y
servicios que serán sometidos a consideración de la SHCP y
a la Cámara de Diputados por conducto de la ASF
– Establecer los criterios para la definición, identificación y
medición de la pobreza
• El CONEVAL está integrado por 6 investigadores académicos
electos democráticamente por la CNDS, a través de una
convocatoria pública
• Contribuir a la toma de decisiones de Política de Desarrollo
Social y combate a la pobreza y rezago social en México
– Información útil, objetiva y oportuna
LEYES Y NORMAS
• Emisión de normatividad como marco jurídico y de acción– Ley General de Desarrollo Social (Principales objetivos del CONEVAL)
– Decreto de creación
– Estatuto Orgánico
– Decreto por el que se regula el CONEVAL
• Normatividad aplicable a los programas federales– Lineamientos Generales de Evaluación de los Programas Federales de
la Administración Pública Federal
– Lineamientos de la Matriz de Indicadores
– Programa Anual de Evaluación
– Mecanismos para el seguimiento de las evaluaciones externas
• Normatividad interna• Manual de organización General
• Manual de Identidad Institucional
• Políticas laborales
CONSTITUCIÓN DEL CONEVAL
• 2004 Creación del CONEVAL en la LGDS como un organismo
descentralizado agrupado en el sector coordinado por
Desarrollo Social
• 2005 publicación del Decreto por el que se regula el CONEVAL
• 2006 Conducción de la evaluación de los programas sociales
sujetos a Reglas de Operación
• Conformación del Comité Directivo
• Convocatoria para integrar el Consejo
• Estructura organizacional
COMISIÓNINTERSECRETARIAL
COMISIÓNNACIONAL
CONSEJO CONSULTIVO
•Analiza y propone programas y acciones que inciden en la Política Nacional de Desarrollo Social
•Propone partidas y montos de gasto social•Ordena la Política Social a nivel Federal
•Coordinación de programas y acciones de dependencias y entidades federales
CONSEJO DE EVALUACIÓN
•Norma y analiza las evaluaciones•Evalúa la política•Define pobreza•Recomendaciones
DEPENDENCIAS Y ENTIDADES
•Operación de los programas, acciones y fondos
CONSULTIVA POLÍTICA
OPERATIVA
TÉCNICA-EVALUACIÓN
VÍNCULOS SISTEMA NACIONAL DE DESARROLLO SOCIAL
ÍNDICE
Antecedentes Qué es el Coneval: Aspectos Institucionales Sistema de Evaluación y Monitoreo en México
Monitoreo, avances y usos de la MML Evaluación de Consistencia y Resultados Esquema de Seguimiento a
Recomendaciones Retos a futuro
ESQUEMA DE EVALUACIÓN 2002-2006• Características:
– Evaluación Externa– Periodo Anual, con 2 informes (septiembre y marzo)– Se distribuye a la SHCP, SFP y el Congreso– Difusión a través de Internet– El proceso de contratación es individual y a través de la Ley
de Adquisiciones– Algunos programas:
– Entregan los informes sólo por cumplir y no usan la información
– Agregan y/o eliminan temas en la evaluación– En una menor proporción, usan información para
informes oficiales, planeación y monitoreo
MARCO NORMATIVO PREVIO
DIAGNÓSTICO – VENTAJAS
• Se ha avanzado en la cultura de la evaluación
• Existen casos particulares de evaluaciones que han apoyado la toma de decisiones
• Existe un respaldo normativo para institucionalizar un M&E
– Ley General de Desarrollo Social,
– CONEVAL,
– Ley Federal de Presupuesto y Responsabilidad Hacendaria,
– PEF 2007
• Actores principales conscientes de la poca efectividad del sistema vigente: SHCP, Función Pública, Congreso
• Transición política favorable para la introducción de cambios
Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente
Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año.
… y con poca utilidad Percepción del sistema de M & E como instrumento de fiscalización,
y no de gestión y rendición de cuentas La medición de Resultados no es una prioridad para el programa o
la dependencia. Mucho énfasis en indicadores de ejercicio del recurso y de cantidades de bienes y servicios entregados
No hay claridad en los objetivos estratégicos de las dependencia Muchos indicadores que no se usan para una gestión por resultados Lineamientos actuales poco flexibles Seguimiento limitado a las recomendaciones generadas de la
evaluación
DIAGNÓSTICO – VENTAJAS
NUEVO MARCO NORMATIVO
2007: Una oportunidad para mejorar el marco normativo
• CONEVAL (2005)
– Evaluar y coordinar la evaluación de la políticas y programas Sociales en el Gobierno Federal
– Los programas sociales: evaluaciones externas
– Aprobación de los indicadores definidos por los programas sociales
– 6 académicos independientes
• Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)
– Todos los programas: evaluación externa
– Sistema de Evaluación del Desempeño (SED)
– Programa de Mejoramiento de la Gestión (SFP)
• PEF 2007. Cámara de Diputados
– Establecer Objetivos Estratégicos
– Matriz de Indicadores, ligada a Objetivos Estratégicos
– CONEVAL, SHCP y SFP coordinan el sistema de evaluación y monitoreo
MARCO NORMATIVO EVALUACIÓN
• CONEVAL (2005-2006)
• Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006-7)
• SFP
• PEF 2007. Cámara de Diputados
• Lineamientos Generales de Evaluación(Marzo 2007)
• Sistema de Evaluación del Desempeño (2007)
• CONEVAL (2005)
• SHCP:– Ley de Presupuesto y
Responsabilidad Hacendaria (2006)– SED y planes de una Reforma Fiscal
• SFP:– Programa de Mejoramiento de la
Gestión
• PEF 2007. Cámara de Diputados
NUEVAS REGLAS DEL JUEGO
Lineamientos de
Evaluación y Monitoreo
(Marzo 2007)
Rendición de cuentas
• PND• Programas Sectoriales• Objetivos de las Dependencias• Programas Federales
• PND• Programas Sectoriales• Objetivos de las Dependencias• Programas Federales
Diagnóstico
Diseño
Presupuesto
Operación
Evaluación y Monitoreo (Indicadores)
HERRAMIENTAS DE PLANEACIÓN
Objetivos estratégicos:Instituciones
Matriz de Marco Lógico:Programas
Resultados
Seguimiento de Recomendaciones
Evaluación de Consistencia y Resultados
Evaluación deImpacto
Evaluación de Políticas
Evaluación de Procesos
Programa Anual de Evaluación
Planeación Evaluación
Plan Nal. de Desarrollo
Evaluación Específica de Desempeño
SISTEMA DE EVALUACIÓN Y MONITOREO
Política de Desarrollo Social Nivel 1
Programas Sectoriales Nivel 2
Objetivos de las dependencias
Nivel 3
Programas presupuestarios Nivel 4
Objetivos NacionalesEjes política
públicaObjetivos y Estrategias
Objetivos NacionalesEjes política
públicaObjetivos y Estrategias
Objetivos de los Programas del PND
Estrategias Líneas de acción
Objetivos de los Programas del PND
Estrategias Líneas de acción
Objetivo estratégico de la
Dependencia
Objetivo estratégico de la
Dependencia
Fin Propósito Componentes Actividad
Reglas de
operación
Reglas de
operación
PLANEACIÓN INCOMPLETA SI NO SE LLEGA A ROP
PRINCIPALES INSTRUMENTOS DE ESTA NUEVA GESTIÓN PARA RESULTADOS
• “Matriz de Indicadores” (marco lógico). Permite focalizar la atención y
los esfuerzos de una dependencia o entidad, así como apoyar los
procesos de planificación, diseño, monitoreo y evaluación
• “Lineamientos generales de evaluación” (DOF, marzo 2007) con varios
tipos de evaluaciones y mayor libertad para temas específicos
ÍNDICE
Antecedentes Qué es el Coneval: Aspectos Institucionales Sistema de Evaluación y Monitoreo en
México Monitoreo, avances y usos de la MML
Evaluación de Consistencia y Resultados Esquema de Seguimiento a
Recomendaciones Retos a futuro
MATRIZ DE INDICADORES (MARCO LÓGICO)
• Hoy en día es difícil conocer la lógica interna de los programas y por lo tanto saber si su diseño es el adecuado para alcanzar los objetivos planteados (resultados en la población objetivo)
• Por otro lado, tenemos que reportar muchos indicadores, no necesariamente útiles para medir el desempeño del programa y tomar decisiones (medición parcial: GESTIÓN)
• Por lo anterior, en el 2007 los programas deben construir una matriz de indicadores que permita la identificación de sus objetivos, sus relaciones causales, los indicadores y los supuestos o riesgos que pueden influir en el éxito o fracaso del mismo.
Componentes
Actividades
Propósito
Fin
Imp
lem
en
tació
nR
esu
ltad
os
Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema
1.- Capacitación a individuos en pobreza extrema desempleados2.- Beca de apoyo a familias beneficiadas
- Focalización Geográfica1.1 Identificación y selección de familias en pobreza extrema 2.1 Distribución de las becas de apoyo
ESQUEMA LÓGICO DE UN PROGRAMA
Porcentaje de capacitados que obtienen un mejor trabajo
Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados1.- Porcentaje de cursos y talleres realizados2.- Porcentaje de becas repartidas3.- Monto total de las becas repartidas4.- Porcentaje de desempleados capacitados1.- % del presupuesto ejercido2.- Costo promedio x actividad3.- Costo promedio de distribución de la beca
Componentes
Actividades
Propósito
Fin
Implementación
Resu
ltado
s
MENOS Y MEJORES INDICADORES
Componentes
Actividades
Propósito???Im
plementación
Resu
ltado
s
QUEREMOS PASAR DE ESTO …
Componentes
Actividades
Propósito?Im
plementación
Resu
ltado
s
… A ESTO EN UN PRIMER MOMENTO
Componentes
Actividades
Propósito
Fin
Objetivos Nacionales
Resu
ltad
os
… Y A ESTO EN UN SEGUNDO MOMENTO
27
Objetivo del Plan Nacional de Desarrollo:
Objetivo Estratégico de la Dependencia y/o Entidad:
Resumen Narrativo
Indicadores de Desempeño
Medios de Verificación
SupuestosEnunciado
Fórmula de
Cálculo
Frecuencia de
Medición
Resultados
Fin:
propósito:
Productos y Servicios
Componentes:
Gestión
Actividades:
MATRIZ DE INDICADORES PARA RESULTADOS
FICHA TÉCNICA DE INDICADORES
FICHA TÉCNICA DE INDICADORES
30
APROBACIÓN DE INDICADORES
Ley General de Desarrollo Social
Artículo 77. El Consejo Nacional de Evaluación, antes de
aprobar los indicadores a que se refiere este artículo, los
someterá a la consideración de la Secretaría de Hacienda y
Crédito Público y a la Cámara de Diputados por conducto de
la Auditoría Superior de la Federación, para que emitan las
recomendaciones que en su caso estime pertinentes.
31
APROBACIÓN DE INDICADORES
ETAPA I• Lineamientos de
Evaluación• Lineamientos de la
matriz de indicadores
ETAPA II• Capacitación básica
en Marco Lógico• Carga de MIR 2007
al PASH
ETAPA III• Capacitación y
Asistencia Técnica de Marco Lógico
• Carga de MIR 2008 al PASH
• Revisión de la consistencia de las Matrices
ETAPA IV*• Diagnóstico de las
MIR 2008•
Capacitación en construcción indicadores
ETAPA V• Capacitación
básica y asesoría técnica en construcción indicadores
• Programas mejoran sus MIR y actualizan PASH
ETAPA VI*
• Aprobación de Indicadores
32
APROBACIÓN DE INDICADORES
Etapas
I. Validación integral de todos los Indicadores
REPORTE de
Criterios Mínimos
por Programa
Revisión de indicadores con FICHA TÉCNICA *
Diseño de Ficha
Técnica de Revisión General
Reporte + VALORACIÓ
N indicadores Resultado
Revisión de Indicadore
s de Resultados por Comité
Selección de Experto Temático
II. Valoración especifica de Indicadores de Resultado
III. Aprobación de los indicadores
DICTAMEN sobre
Indicadores por
programa
Se turna Dictamen a
Comité Directivo
Se turna Dictamen a Comisión Ejecutiva
COMITÉ*
33
APROBACIÓN DE INDICADORES
Etapa I Revisión Integral de Indicadores
Etapa consistente en el diagnóstico de características mínimas que debe contener un indicador de desempeño
En esta etapa se identificará si el grado de calidad de los indicadores en lo correspondiente a claridad, relevancia, monitoreabilidad y adecuación por medio de una serie de preguntas contenidas en la Ficha de Revisión Integral de Indicadores
Se realizó para la totalidad de los indicadores de 225 Matrices de Indicadores para Resultados (MIR)
Los resultados completos se tendrán en el mes de octubre
34
REVISIÓN DE INDICADORES DE RESULTADOS
Etapa consistente en el diagnóstico de los indicadores de resultados de un conjunto de programas
La selección de 35 programas de la Administración Pública Federal (APF) se llevó a cabo considerando las siguientes variables:
Calificación de la MIR 2008
Calificación de los indicadores contenidos en la MIR 2008
Presupuesto 2009
Programas estratégicos de la SHCP
Indicadores PEF
35
REVISIÓN DE INDICADORES DE RESULTADOS
El Comité Técnico estará conformado por los siguientes participantes:
CONEVAL
Secretaría de Hacienda y Crédito Público
Auditoría Superior de la Federación
Programa
Unidad de Evaluación de la Coordinadora de Sector
Experto Temático
Experto Estadístico
SEMÁFORO GENERAL “PRELIMINAR”ABRIL DE 2008
Semaforización de las matrices de indicadores, Abril 2008
Las MI fueron analizadas considerando: El cumplimiento de la definición de sus elementos
(PND, Fin, Propósito, Componentes y Actividades) La lógica que presenta cada uno de ellos (Vertical y
Horizontal)
PRINCIPALES RESULTADOS: LÓGICA VERTICAL
El 70% de las MI tienen deficiencias en sus actividades (principalmente porque no están identificadas)
El 52% tiene mal definidos los componentes
El 28% de las MI tiene problemas en la definición del Propósito
En el 24% el Propósito no implica una contribución significativa al Fin
El 11% de las MI no presenta una clara vinculación del Fin con el OE
Casi el 32% presenta algún tipo de duplicidad en niveles de objetivos
Los supuestos no están bien identificados: Fin (44%), Propósito (53%), Componentes (52%), Actividades (69%)
En la nueva semaforización se puede observar lo siguiente:
CAMBIOS EN LA SEMAFORIZACIÓNOCT-07 – ABRIL 08
47 Rojo Amarillo (25)Amarillo Verde (11)Rojo Verde (11)
SAGARPASEDESOLSEMARNATSEP
=42
11 Amarillo Rojo (8)Verde Amarillo (3)
FOMMUR, PYME, Microempresario (SE)
IMSS-Oportunidades (IMSS)Caravanas de la Salud (SS)Guarderías Infantiles (SEDESOL)Oportunidades (SEDESOL)
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSANTES
Indicadores de Resultados de las Reglas de Operación 2004
NOMBRE DESCRIPCIÓN PERIODICIDAD
Otorgamiento de becas de capacitación
Becas otorgadas/Becas programadas
Trimestral
Participación de beneficiarios en los esquemas de atención del Sistema
Becas otorgadas por cada esquema de atención/Total de becas otorgadas
Trimestral
Pago efectivo de becas
Becarios que recibieron apoyo
económico/Becarios inscritos
Trimestral
En el Informe de Labores 2006, la dependencia reporta como resultados del Programa los siguientes:
De enero a junio de 2006 se atendieron a 180,390 personas
Se lograron colocar en un empleo 90,325 personas (50.1%)
Se comprometieron 324.6 millones de pesos
Los resultados de algunas estrategias en el 2005 fueron: BÉCATE atendió a 207,118 personas y logró colocar al 54.5% Empleo Formal atendió a 118,425 personas y logró colocar al 54.9% Jornalero Agrícolas atendió a 47,936 personas y logró colocar al 42.9%
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSANTES
Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS
NOMBRE DESCRIPCIÓNPERIODICID
AD
FIN: (Eficacia): Impacto neto del programa en el total de empleos formales ocupados (equivalente al total de trabajadores ocupados en empleos formales)
Y-Yh
Y= Número de empleos formales ocupados al final
del periodo examinado
Yh= Número de empleos formales que hubieran
estado ocupados al final del periodo examinado si no
existiera el PAE
Trianual
PROPÓSITO: (Eficacia):Porcentaje de buscadores de empleo que se colocaron respecto del total de buscadores de empleo enviados a vacante mediante Vinculación Presencial
(VDC/VDA)*100
VDC= Buscadores de empleo colocados
VDA= Buscadores de empleo enviados a vacantes
Mensual
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSAHORA
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLANTES
Indicadores de Resultados de las Reglas de Operación 2008
NOMBRE DESCRIPCIÓN PERIODICIDAD
Porcentaje de aprobación de proyectos
Número de proyectos aprobados/Número de proyectos presentados
Trimestral
Orientación a obras de impacto social
Obras de infraestructura social/
Total de proyectos aprobados Trimestral
Orientación de recursos a localidades de muy alta y alta marginación
Inversión Federal aplicada en localidades de muy alta y alta marginación/
Inversión Federal del programa
Trimestral
NOTA: El programa no ha actualizado los indicadores de las ROP
X 100
X 100
X 100
En el informe de labores 2007, la dependencia reporta como resultados del programa lo siguiente:
Para el presente ejercicio, el Programa cuenta con un techo presupuestal de 220 millones de pesos. A julio de 2007 se han realizado un total de 696 proyectos, de los cuales:
40.9% son obras de pavimentación, urbanización y mejoramiento urbano;
12.5% son proyectos de agua potable; 9.9% son de drenaje, mientras que las electrificaciones fueron un
8.8% de los proyectos realizados; 10.6% son obras de infraestructura educativa, deportiva y de
salud; 2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos
de proyectos (productivos, orfanatos, asilos, centros comunitarios, centros culturales, rehabilitación de edificios históricos y becas).
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLANTES
Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS
NOMBRE DESCRIPCIÓNPERIODICID
AD
FIN: (Eficacia): Porcentaje de las localidades intervenidas por el programa que mejoraron sus Índices de Marginación Absoluta (por localidad, IML)
(Número de localidades que mejoraron
su IML 2005/2010) /Número total de
localidades intervenidas)
Quinquenal
PROPÓSITO (Eficacia): Variación de las variables de infraestructura social básica y productiva que componen los índices de marginación y de rezago social en las localidades atendidas por el programa
(Valor de la variable en el año que se evalúa-Valor
de la variable en el año base) / (Valor del indicador en el año base)
Quinquenal
X 100
X 100
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLAHORA
ÍNDICE
Antecedentes Qué es el Coneval: Aspectos Institucionales Sistema de Evaluación y Monitoreo en
México Monitoreo, avances y usos de la MML Evaluación de Consistencia y Resultados
Esquema de Seguimiento a Recomendaciones
Retos a futuro
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
• Objetivo: – Evaluar hasta qué punto los programas sociales tienen una clara
consistencia interna y una orientación hacia resultados, basados en la
documentación y procesos de los propios programas
• Es un diagnóstico sobre la capacidad institucional,
organizacional y de gestión de los programas para la
búsqueda de resultados.
• Es un instrumento homogéneo, cuantificable, para poder
comparar el desempeño entre programas.
• La evaluación se llevó a cabo entre 2007 y 2008 para 119
programas (Sedesol, Sagarpa, IMSS, SEP, SS, Economía,
STPS, Reforma Agraria, …)
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS: OBJETIVOS
• Busca medir, de manera homogénea, el desempeño global de
los Programas (gestión y RESULTADOS)
• Con base en los resultados de la evaluación, se espera que los
programas mejoren su diseño y gestión; volverán a ser
evaluados en un futuro
• En el 2007, será un “Diagnóstico” de la orientación de los
programas hacia una gestión para RESULTADOS
• En años posteriores, la evaluación deberá contener
adicionalmente una comparación con los resultados
encontrados en la evaluación de consistencia y resultados que
se haya efectuado con anterioridad
IMPORTANCIA DE LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
• La evaluación servirá para tomar decisiones de política pública con el
fin de mejorar la gestión y los resultados de los programas
• Se desarrollarán seminarios entre evaluadores, junto con servidores
públicos, para analizar conjuntamente los resultados de las
evaluaciones y metodologías aplicadas.
• Los evaluadores presentarán al H. Congreso de la Unión, al CONEVAL,
a la SHCP y a la SFP, los resultados obtenidos de la evaluación
• Las evaluaciones serán difundidas públicamente con el objetivo de
que los actores claves y la ciudadanía en general, conozcan el
desempeño de los programas
• El CONEVAL tendrá un mecanismo de evaluación del proceso de
evaluación, que incluye la calidad de las evaluaciones
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS. CARACTERÍSTICAS
• Esta evaluación es la línea de base para analizar con qué tipo de
programas cuenta el nuevo Gobierno para lograr sus metas.
• La evaluación se compone de 100 preguntas en los temas de: Diseño,
Planeación Estratégica, Operación, Población Objetivo y Cobertura,
Percepción de los Beneficiarios y Resultados Finales.
• Diseño
– Identificación correcta para solventar el problema o necesidad
– Contribución del programa federal a los objetivos estratégicos
– Evidencia científica de que el programa contribuye positivamente a la
consecución de su fin y propósito
– Lógica vertical y horizontal de la matriz de indicadores
– Población potencial, padrón de beneficiarios, Reglas de Operación,
Duplicidades
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS CARACTERÍSTICAS
• Planeación Estratégica
– Mecanismos y herramientas de planeación
– Mecanismos para establecer y definir metas e indicadores
– Avance en el desarrollo de mecanismos de seguimiento y monitoreo
– Herramientas enfocadas a implementar y desarrollar una gestión para
resultados
– Impacto presupuestario y las fuentes de financiamiento
• Cobertura y focalización
– Cuantificación de la población potencial y objetivo
– Población atendida con respecto a la población potencial y objetivo
– Estrategia de cobertura y focalización
– Funcionamiento de los mecanismos de selección y focalización aplicados
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS CARACTERÍSTICAS
• Operación
– Observancia de las reglas de operación
– Acciones de mejora y simplificación regulatoria
– Mecanismos de organización y administración financiera
– Eficacia, eficiencia y economía operativa
– Rendición de cuentas
• Percepción de la población objetivo
– Medición del nivel de satisfacción de la población objetivo
• Resultados
– instrumentos disponibles que le permiten al programa federal medir los
resultados (MML)
– calidad de las evaluaciones de impacto que se hayan realizado
– difusión de los resultados y evaluaciones
52
• Las evaluaciones fueron elaboradas por entidades
externas (universidades, centros de investigación,
expertos)
• En la evaluación se pidió tener un resumen ejecutivo y un
documento de Fortalezas, Retos y Recomendaciones.
• Las evaluaciones se entregaron a la Cámara de Diputados
en Marzo 2008 y pueden ser consultadas en
www.coneval.gob.mx .
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
Tema Hallazgos
DISEÑO
67%de los programas tienen propósitos y objetivos que corresponden a la solución del problema que atienden
50%de los programas definieron bienes y servicios públicos necesarios y suficientes para el logro del su propósito
PLANEACIÓN ESTRATÉGICA
21% de los planes establecen los resultados que se quieren alcanzar
25% de los programas cuentan con planes estratégicos a corto, mediano y largo plazo
POBLACIÓN OBJETIVO
Y COBERTURA
24% de los programas cuantifican su población objetivo y potencial
23% de los programas cuentan con una estrategia de cobertura a corto, mediano y largo plazo
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
Tema Hallazgos
OPERACIÓN
72%de los programas tienen procesos estandarizados y adecuados para la selección de proyectos y beneficiarios
84% de los programas cuentan con indicadores de eficacia en la operación
PERCEPCIÓN DE BENEFICIARIOS
54%de los programas cuentan con instrumentos para medir el grado de satisfacción de la población objetivo
RESULTADOS
42%de los programas recolectan información veraz y oportuna sobre los indicadores que miden sus objetivos
26%de los programas han llevado a cabo evaluaciones externas que le permiten medir su impacto
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
ÍNDICE
Antecedentes Qué es el Coneval: Aspectos Institucionales Sistema de Evaluación y Monitoreo en
México Monitoreo, avances y usos de la MML Evaluación de Consistencia y Resultados Esquema de Seguimiento a Recomendaciones
Retos a futuro
56
• Son de aplicación opcional de acuerdo con las
necesidades e intereses de las dependencias y entidades,
siempre y cuando no se encuentren previstas en el
Programa Anual de Evaluación
• En 2007-2008 las dependencias y entidades realizaron
Evaluaciones de Consistencia y Resultados y de Diseño a
los programas sujetos a reglas de operación.
• Sin embargo, no siempre había sido claro cuál es el
destino y el uso de los resultados de las evaluaciones
externas. El principal objetivo de las evaluaciones debe
ser mejorar sistemáticamente los programas y las
políticas públicas, en este caso las políticas sociales,
tomando en cuenta la información y los hallazgos
relevantes que arrojan.
SEGUIMIENTO DE RECOMENDACIONES
57
• Objetivo de establecer el procedimiento general para
atender los resultados de las Evaluaciones de
Consistencia y Resultados y de Diseño 2007 de los
programas federales
• Mejorar la política y programas sociales
• Emisión del
Mecanismo para el Seguimiento a los Aspectos Susce
ptibles de Mejora derivados de los Informes y Evaluaci
ones Externas a Programas Federales 2008.
SEGUIMIENTO DE RECOMENDACIONES
SEGUIMIENTO A RECOMENDACIONES
• Para la mayoría de los programas no se hacía nada de
manera explícita.
• Se diseño un proceso para que los programas se
involucren en hacer compromisos de mejora, a partir de
las recomendaciones pertinentes.
• Las recomendaciones finales se clasifican dependiendo de
qué institución debe ser la responsable– Programa, dependencia, Comisión Intersecretarial, Congreso, SHCP
y SFP
• Los programas tiene que dar:– Una opinión oficial, y
– Una respuesta oficial sobre las acciones que implementarán.
• Promover la gestión y evaluación basada en “Resultados”
• Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado
• Menor número de indicadores a reportar, pero de mejor calidad
• Que el sistema tenga nexos con el proceso presupuestario
• Promover el uso sistemático de la información de evaluación y monitoreo
• Que la información se utilice para mejorar la gestión de los programas y dependencias
• Que se puedan evaluar políticas en su conjunto, especialmente políticas sociales
• Con esta información más la evolución de los indicadores de pobreza nacionales, estatales y municipales, poder evaluar la política social en su conjunto
• Reforzar la transparencia y la rendición de cuentas
LO QUE SE ESPERA EN EL MEDIANO PLAZO
ÍNDICE
Antecedentes Qué es el Coneval: Aspectos Institucionales Sistema de Evaluación y Monitoreo en
México Monitoreo, avances y usos de la MML Evaluación de Consistencia y Resultados Esquema de Seguimiento a
Recomendaciones Retos a futuro
TEMAS A CONSIDERAR
• Diferencias entre:
– Evaluación: ¿Las cosas que se hacen son las correctas?
– Auditoria: ¿Las cosas se están haciendo correctamente?
• Vínculo entre:
– Gestión y evaluación;
– Resultados y presupuesto,
• Coordinación entre diferentes actores
– Al interior y entre de las secretarias
– Con el Jefe de Gobierno y el Congreso Local
– Definir roles de los diferentes actores
• Impulsar los “resultados” y mejorar la gestión (agenda política)
• Implementación gradual y/o aplicación de pilotos
– Temas, instrumentos, alcances, etc.
TEMAS A CONSIDERAR
• Iniciar por “voluntad política” y luego se impulsa normativamente
• Fortalecer capacidad técnica de las secretarias
• Fortalecer la oferta de evaluadores
– Normatividad de adquisiciones
• Diagnóstico de lo existente y lo aprendido hasta el momento
– Normatividad y prácticas actuales
– Nomenclatura y conocimientos básicos
– Detectar prácticas exitosas ya existentes
• Analizar la experiencia internacional
– Pocos casos locales, más experiencia federal
• Definir con claridad lo que se busca
• Evaluar constantemente los avances que se tengan
– Apoyado con un organismo externo nacional o internacional
• Considerable demanda gubernamental
• Objetividad y calidad
• Grado de utilización (oferta adecuada de instrumentos y productos)
• Importancia de los incentivos para generar información
• Diagnóstico del SE&M existente
• Peligro de complejidad excesiva
• Esfuerzo de largo plazo, impulso por etapas
• …
• Promotor “influyente”
• Impulso de una secretaria competente
• Normatividad (limitaciones y ventajas)
• …
FACTORES DE “ÉXITO” DE LOS SE&M x RESULTADOS
¿Cuáles son los usos efectivos o previstos de la información proporcionada a través del SE&M?
• Orientar las decisiones de asignación de recursos en el proceso
presupuestario.
• Contribuir a la preparación de la planificación nacional o
sectorial.
• Favorecer la gestión y prestación habitual de servicios públicos.
• Reforzar las relaciones de rendición de cuentas.
• …
DEFINIR OBJETIVOS CLAROS