Monitoreo y Evaluación para Políticas Públicas Héctor Sanín Ángel [email protected]

Monitoreo y Evaluaciónpara Políticas Públicas

Héctor Sanín Ángel

[email protected]

Héctor Sanín Ángel - Consultor ILPES

El Alcalde de una gran ciudad ha constituido varias comisiones para la formulación de las políticas públicas sectoriales, que provean líneas estratégicas para la planificación del desarrollo de la ciudad.

Usted forma parte de la Comisión de Educación.

En su equipo se ha convenido, como punto de partida, seleccionar los 3 indicadores con mayor sentido estratégico.

http://ciencias.sociales20061.googlepages.com/educacion_publica_popular.gif/educacion_publica_popular-large.jpg


Caso Educación

Analizar Texto del Informe Gerencial vs. Gráfico¿Qué faltó en cada uno?

“Cobertura en básica primaria y secundaria• Si bien en ambos niveles la TCB se encuentra por encima del 100%, el registro de

las tasas de deserción en los grados 1, 6, 7, 8 y 9 preocupa al programa BCV, dado que esto no garantiza la continuidad de los estudiantes desde un nivel inferior a uno superior.

• Actualmente, el Distrito lidera estrategias que apuntan al aumento y a la permanencia, como la inversión en la adecuación y construcción de mega colegios, en la alimentación y en el transporte escolar.

• La gratuidad hasta grado once es la meta más importante en estas estrategias.”


Caso Educación“Calidad en la educación• El Distrito a nivel nacional e internacional se ha caracterizado por ser una mejor

práctica en las estrategias de inclusión y captación de estudiantes. Sin embargo esto mismo no sucede en la calidad de la enseñanza oficial y por tanto el rendimiento académico de los estudiantes.

• Los resultados en las pruebas ICFES no han sido los mejores desde el 2007. Se observa en promedio que el 80% de los colegios oficiales se encuentran en la categoría media y baja frente a un 39% de los no oficiales.”


“Cuando ya le tenía las respuestas a la vida, me cambiaron las preguntas” (anónimo)

La formulación de Políticas Públicas exige:

• Plantear las preguntas que son

• Interpretar adecuadamente los indicadores.


¿Qué referentes informativos incluiría, que le permitieran fortalecer la formulación de una política pública?¿Qué otro tipo de información?


¿Qué enfoque aplicaría?


"La perfección de los medios y la confusión de los fines parecen caracterizar nuestra época“ (Einstein)

• Las preguntas fundamentales • Interpretación• Los 5 referentes:

1. Línea de base (sin intervención)2. Meta3. Período n-14. Estándar aceptado5. Paradigma

• Enfoque paretiano (80-20) -> Focalización• Comunicación: ¿Informe para quién y cómo?

– Para qué y qué información necesita (rol y valor agregado)– Llegarle con lo que es– En el lenguaje que es– Sin dejar vacíos, ni ambigüedades, ni inconsistencias.– Correspondencia entre texto y gráficosLa información que no brinde valor al uso por el destinatario

(entendimiento, análisis, decisión, control), no sirve. Es desperdicio: costo sin beneficio


Fortalecer nuestras competencias para formulación de PP en cuanto al dominio de la información

1. Habilidad para preguntar por lo esencial2. Pensamiento Paretiano3. Capacidad interpretativa4. Capacidad de comunicación (lenguajes

textual, estadístico, gráfico y simbólico) con pertinencia, contundencia, sentido de valor, claridad, eficiencia y amenidad.

5. Sentido de utilidad de la información estadística

6. Actitud para escuchar.7. Pensamiento sistémico (anticipo)


Enfoque sistémico para PP

Diferentes lógicas de aproximación


1. El Ciclo del Proyecto/Programa

EJECUCIÓN

Capacidad generada

Término de Proyecto

MADURACION

OPERACIONSolución del Problema

EVALUACIONDE RESULTADOS

(EX-POST)

Impactos

Sostenibilidad FORMULACIÓN (EVALUACION EX-ANTE)

ALTERNATIVASELECCIONADA

PROBLEMA

EL PROYECTO

ÁRBOLES

PROBLEMA OBJETIVOS

ALTERNATIVAS

INVOLUCRADOS

http://images.google.com.co/imgres?imgurl=http://www.eiyaki.com/en-construccion.jpg&imgrefurl=http://www.eiyaki.com/YAKI%2520CONSULTING.html&h=301&w=309&sz=36&tbnid=bBnz72Hp4-4J:&tbnh=109&tbnw=112&hl=es&start=12&prev=/images%3Fq%3Dconstrucci%25C3%25B3n%26svnum%3D10%26hl%3Des%26lr%3D

http://images.google.com.co/imgres?imgurl=http://www.misionerosdeafrica.org.mx/Nuestro_Boletin/images/ninoSonriendo.jpg&imgrefurl=http://www.misionerosdeafrica.org.mx/Nuestro_Boletin/Nuestro_boletin.htm&h=330&w=300&sz=15&tbnid=ieTuvc8z2DQJ:&tbnh=114&tbnw=103&hl=es&start=2&prev=/images%3Fq%3Dni%25C3%25B1o%2Bsonriendo%26svnum%3D10%26hl%3Des%26lr%3D

http://images.google.com.co/imgres?imgurl=http://www.humansecurity.gc.ca/site/images/juventud.gif&imgrefurl=http://www.humansecurity.gc.ca/Vivir_sin_miedo-SP-en.asp&h=251&w=323&sz=45&tbnid=9RSaWBCmdI4J:&tbnh=88&tbnw=114&hl=es&start=13&prev=/images%3Fq%3Djuventud%26svnum%3D10%26hl%3Des%26lr%3D

http://images.google.com.co/imgres?imgurl=http://www.jesusnino.cl/microemp_archivos/image003.jpg&imgrefurl=http://www.jesusnino.cl/microemp.htm&h=285&w=380&sz=23&tbnid=F4w7ze3MLBoJ:&tbnh=89&tbnw=119&hl=es&start=8&prev=/images%3Fq%3Dmicroempresa%26svnum%3D10%26hl%3Des%26lr%3D%26sa%3DG


EL CICLO DEL PROYECTO DE INVERSIÓN PÚBLICA5 nodos de Verificación

Preinversión

Inversión

EvaluaciónExpost

(Integral)

Problema Proyectoviable

Proyecto con recursos asignados

Formulación

Operación

Seguimientoa la ejecución

Programación

Sistema de Inversión Pública

SIP

Políticas PúblicasPlanes de Desarrollo

Nacional-SectorialTerritorial

Contribución de Desarrollo

1

23

4

5

http://www.barriodelosrosales.es/wp-content/uploads/2007/06/enfermo.jpg

Héctor Sanín Ángel - Consultor ILPES Gerencial Ltda - Héctor Sanín Angel

Procesos

Directrices del Plan Global

Objetivos estratégicos

Proyectos

EntornoMisiónVisión

Clientes

Ámbito de la evaluación institucional

Ámbitode la meta-evaluación

2. CICLO INSTITUCIONAL – S&E

S& EDE PROYECTO

EVALUACION EX-POST

S&E DE PROCESO

EVALUACION DE RESULTADOS

EVALUACIONESTRATEGICA GLOBAL


INSUMOS PROCESO PRODUCTO

OBJETIVOSATISFACERDEMANDAS

DE USUARIOS

RESULTADOSESPERADOS

IMPACTO:CAMBIOS ENEL ENTORNO

RETROALIMENTACION

EVALUACION DE RESULTADOS

Sistema interno: EFICIENCIA

Sistema externo: EFECTIVIDAD

CONTROL DE GESTION

3. Un sistema en funcionamiento

Frontera: EFICACIA

http://images.google.com.co/imgres?imgurl=http://www.prontotex.net/2Costurera1.jpg&imgrefurl=http://www.prontotex.net/aguja.htm&usg=__2EkRwTusV6mSxGQH0IQjNlZEMT4=&h=162&w=200&sz=10&hl=es&start=14&um=1&tbnid=DPW4_bqNa7JkNM:&tbnh=84&tbnw=104&prev=/images%3Fq%3Dcosturera%2Bbogota%26hl%3Des%26lr%3Dlang_es%26sa%3DN%26um%3D1

http://images.google.com.co/imgres?imgurl=http://www.galileo2.com.mx/imagenes/principal.png&imgrefurl=http://www.galileo2.com.mx/pagina%2520vive%2520saludable.htm&usg=__FKR9BI-CaWtgrptuICOi5QLgAS4=&h=468&w=480&sz=544&hl=es&start=2&um=1&tbnid=IrwAHE9sh-rrJM:&tbnh=126&tbnw=129&prev=/images%3Fq%3Dvida%2Bsaludable%26hl%3Des%26lr%3Dlang_es%26um%3D1


Eficiencia y Efectividad

Ejercicio


4. Ciclo de Gobierno

¿De dónde viene la palabra GOBERNAR

y qué significa?


GOBERNAR = CONDUCIR = LIDERAR 3 Lentes: uso simultáneo y complementario

Visión de largo alcance:•Hacia dónde nos dirigimos (rumbo)•Lo que vendrá más adelante

Visión inmediata:•Por dónde voy•Lo que pasa en este momento

Visión retroactiva:•De dónde vengo•Qué pasa atrás

EL CICLO

PROACCION

FORMULACION

PRESENTE

GERENCIA

PLAN

PROYECTOSY PROCESOSREALIZADOS

EJECUCION

EVALUACION

EFECTOS

PASADO

3

2 1

RE

TR

OA

LIM

EN

TA

CIO

N

FUTURO

GERENCIAL LTDA - Héctor Sanín Angel


1 2

3

EL CICLO DE GOBIERNO

http://images.google.com.co/imgres?imgurl=http://web.jet.es/thori/donnosti_archivos/espiral.jpg&imgrefurl=http://web.jet.es/thori/donosti.htm&h=327&w=286&sz=12&hl=es&start=1&tbnid=3fAD1Et49r9g4M:&tbnh=118&tbnw=103&prev=/images%3Fq%3Despiral%26gbv%3D2%26ndsp%3D18%26svnum%3D10%26hl%3Des%26sa%3DN

http://www.seam.gov.py/enpab/images/libro.jpg

http://www.bancoestado.com/images/Quienessomos.jpg


EL FLUJO LINEAL

1 2 3

http://www.lifeorganizers.com/images/checklist/checklist.jpg

http://www.seam.gov.py/enpab/images/libro.jpg

http://www.bancoestado.com/images/Quienessomos.jpg


Concepto Flujo Lineal Ciclo Gerencial

Ciclo de Gobierno vs. Flujo Lineal

Sentido Unidireccional Multidireccional

Retroalimentación No Sí

Enfoque Insumo-Producto Sistémico

Plan Estático Dinámico

Resultados Hasta productos Hasta impactos

Evaluación Acumulativa Formativa

Aprendizaje Bajo Alto

Tiempo Secuencial Intertemporal


5. Cadena de Valor (Porter)


Cadena de Valor (Porter)


6. Marco Lógico


ENFOQUE CONTRIBUTIVO (MARCO LÓGICO)

IMPACTOS

EFECTO DIRECTO

PRODUCTOS

INSUMOS

Flujo de Diseño Flujo de

Ejecución

Flujo de Retroalimentación


ENFOQUE DE MARCO LÓGICO

IMPACTOS

EFECTO DIRECTO

PRODUCTOS

INSUMOS

FOCO ENEL FIN

PROGRAMAPIDE PROYECTO

PROYECTOCONTRIBUYE

A FIN

FOCO EN ELPROPÓSITO

LÓGICA DE:

PROGRAMA PROYECTO


Tablero Gerencial

GERENCIAL®[email protected]

rgwww.gerencial.org


Insumos ProductosTransformación

DocentesMaterial educativo

$

Desarrollo(Impactos)(M&L Plazo)

Proyectos y Procesoseducativos

Aulas construidasColegios enOperación

Resultados(C&M Plazo)

Aumento deCobertura

Mejoramientodel CapitalHumano

Información-Monitoreo-Evaluación del Sistema Gubernamental


Insumos ProductosTransformaciónDesarrollo(Impactos)(M&L Plazo)

Resultados(C&M Plazo)

Alcance del Sistema de S&E Gerencial

Información para S&E Gerencial

Inte

nsi

dad

Alcance


Focos gerenciales

Alcance del Sistema deInformación Gerencial

1

7

6 5

3

2

4


Sistema Gerencial MunicipalSistema de contribuciones

interdependientes

Insumos

Productos

Proceso Desarrollo(Impactos)

Resultados

Capacidad Eficacia Efectividad

Eficiencia

GerenciaGestión


La GERencia municipal

interviene para maximizar

y articular los 3 subsistemas

Modelo GERENCIAL

DESARROLLOLOCAL

INTEGRALEL MUNICIPIOCOMPETITIVO

YSOSTENIBLE

Económico

Naturaleza(Ambiental)

soCIAL

Modelo GERENCIAL: GERencial-Económico-Naturaleza-soCIAL


Desempeño Territorial

Indicadores

Tablero Gerencial Municipal

Sectores

Programas

Ejes Estratégicos

Proyectos(Componentes)

ProgramasBandera

Gestión

Componentes

Plan de Desarrollo(Control de Metas)

EconómicoDesempeño(DDTS/DNP)

ProyectosEmergentes

Eficacia(PDM)

Eficiencia

CumplimientoSGP

Gestión

Entorno

Social

Ambiental

Capacidad

Eficiencia

Eficacia

Efectividad

Evaluación Supramunicip

al

Desempeño Integral

Áreas de desempeñopara cada sector

Objetivosdel Milenio

1. Erradicar la pobreza extrema

2. Lograr la enseñanza primaria

universal 3. Promover la

igualdad entre los sexos y la autonomía

de la mujer 4. Reducir la mortalidad de los

niños menores de 5 años

5. Mejorar la salud materna

6. Combatir el VIH/SIDA, el

paludismo y otras enfermedades

7. Garantizar la sostenibilidad del medio ambiente.

8. Fomentar una asociación mundial para el desarrollo

GERENCIAL®


TABLERO GERENCIAL® – TABLERO RESUMEN

AREAS DE DESEMPEÑO

1 PLAN DE DESARROLLO

2 RESULTADOS DE GESTIÓN

3 RESULTADOS SECTORIALES

4 DESARROLLO Y CALIDAD DE VIDA

5 OBJETIVOS DEL MILENIO

6 DESEMPEÑO (DNP)

DD/MM/AAÚltima fecha de control

MetaLínea

de BaseÍndice a la fecha

Índice/LBÍndicet/t-1

Paradigma Responsable

® GERENCIAL

Índice/Meta

Eficiencia

Capacidad

Eficiencia

Eficacia

Ejes y categorías de indicadores

Efecti

vida

d

IDS=Índice de Desempeño Sectorial

IDS

IDM

ECONÓMICO

AMBIENTALGESTIÓN

SOCIAL

IDM=Índice de Desempeño Global

SectorEje o Subsiste

ma

Modelo GERENCIAL


Evaluación Exante

IMPACTOS

EFECTO DIRECTO

PRODUCTOS

INSUMOS

Gerencia de Formulación

Gerencia de Ejecución

Gerencia de Operación

Gerencia estratégica

Formulación

Sistema intergerencial

Gerencias empoderadas en todos los niveles

1

2

3

4

5

Nodos deEvaluación

Sistema orientado por los objetivos superiores

Sistema de Evaluación: Durante, no solo expost

Evaluación p/ aprendizaje, no fiscalizadora

Valor de oportunidad:Correctivo en el momento

Valor de pertinencia:Correctivo en el punto

Estímulos para el uso de información p/ evaluación

Generador de información primer usuario

Retroalimentación:Aprendizaje sobre marcha

Gerencias articuladas, señales en dos vías

Gerencias comparten razón de ser: Impactos

Valor de uso de la información: No a pedido

12 Condiciones para la funcionalidady efectividad del Sistema

Sistema Retroalimentador

Seguimiento

Evaluación

Monitoreo

Monitoreo yEvaluaciónExpost


Héctor Sanín Ángel - Consultor

Sistemas de alertasLas 8 acciones

1. Que se instale el sistema de alertas2. Que se encienda la señal3. Que se vea la señal4. Que se comunique5. Que se reaccione6. Que se corrija7. Que se informe8. Que se aprenda

http://images.google.com.co/imgres?imgurl=http://bocanadasgranainas.blogia.com/upload/20070708020720-semaforo.jpg&imgrefurl=http://bocanadasgranainas.blogia.com/2007/julio.php&usg=__kfboLN31jWp1pXsrUPFzoBYDEyY=&h=432&w=335&sz=14&hl=es&start=3&um=1&tbnid=w2s8tdBHm3S17M:&tbnh=126&tbnw=98&prev=/images%3Fq%3Dsemaforo%26hl%3Des%26um%3D1



Horizonte de Aprendizaje (1)

“La experiencia constituye un potente medio de aprendizaje. Aprendemos a comer, a gatear, a caminar y a comunicarnos mediante ensayo y error. Realizamos un acto y vemos las consecuencias de ese acto; luego realizamos un acto nuevo y diferente.

¿Pero qué ocurre cuando ya no vemos las consecuencias de nuestros actos?

¿Qué sucede si las consecuencias de nuestros actos están en el futuro distante o en una parte distante del sistema más amplio dentro del cual operamos?”

http://images.google.com.co/imgres?imgurl=http://bp3.blogger.com/_pJaNPLeqB7Q/SCf0qlFcbII/AAAAAAAAALU/vSCae5adwNM/s400/gateo.gif&imgrefurl=http://pielapiel.blogspot.com/2008/05/gatear-es-muy-importante-8-razones-de.html&usg=__iIrOF9cd32f18uA7P_UJVUkU_yw=&h=178&w=284&sz=16&hl=es&start=4&um=1&tbnid=8-tRBaYwx-XCOM:&tbnh=71&tbnw=114&prev=/images%3Fq%3DGatear%26hl%3Des%26um%3D1

http://images.google.com.co/imgres?imgurl=http://www.starphone.com.ar/imagenes/Productos/TL1005/TL1005_G_1.jpg&imgrefurl=http://www.starphone.com.ar/DescrpProducto.asp%3Fartcod%3DTL1005%26tipo%3DMR&usg=__kE23o__2jAFhCtWaP3BFzSICEzI=&h=344&w=439&sz=25&hl=es&start=31&um=1&tbnid=7cYqxnmiKp-VPM:&tbnh=100&tbnw=127&prev=/images%3Fq%3Dbinoculares%26ndsp%3D18%26hl%3Des%26sa%3DN%26start%3D18%26um%3D1



“La vida entera no es lo bastante larga para explicarnos qué ocurre en nuestro entorno”. (Doug Larson)

“Cada uno de nosotros posee un horizonte de aprendizajehorizonte de aprendizaje, un ancho de visión en el tiempo y en el espacio, dentro del cual evaluamos nuestra eficacia.

Cuando nuestros actos tienen consecuencias que trascienden el horizonte de aprendizaje, se vuelve imposible aprender de la experiencia directa.

Dilema de aprendizaje de las organizaciones: se aprende mejor de la experiencia, pero nunca experimentamos directamente las consecuencias de muchas de nuestras decisiones más importantes

Los ciclos son muy difíciles de ver, y por tanto es difícil Los ciclos son muy difíciles de ver, y por tanto es difícil aprender de ellos si duran más de un año o dos”*aprender de ellos si duran más de un año o dos”*

*Peter Senge, La Quinta Disciplina..

http://images.google.com.co/imgres?imgurl=http://1.bp.blogspot.com/_e2VvUqxTJQE/SdBuykX4OaI/AAAAAAAAA8M/oBHpZBrnxl0/s400/aprendizaje.gif&imgrefurl=http://tumundocurioso.blogspot.com/2009/03/que-es-estudiar.html&usg=__5j50rBPSjZ-st4aMLc2RHnTFQL8=&h=294&w=300&sz=32&hl=es&start=39&um=1&tbnid=_brSUNVy9SsOsM:&tbnh=114&tbnw=116&prev=/images%3Fq%3Daprendizaje%26ndsp%3D18%26hl%3Des%26sa%3DN%26start%3D36%26um%3D1


Entrada

IMPACTOS(Fines)

EFECTO DIRECTO(Propósito)

PRODUCTOS(Componentes)

INSUMOS(Actividades,

Recursos)

Salida

Gerencia de Formulación

Gerencia de Ejecución

Gerencia de Operación

Gerencia estratégica

Formulación

APRENDIZAJE PROYECTIVO

Nuevo Ciclo

Aprendizaje de Diseño

MonitoreoAprendizaje de Operación

Aprendizaje de Desarrollo

Aprendizaje de Ejecución


¿Existe una Gerencia Integral de Proyecto?

Preinversión

Inversión

EvaluaciónExpost

(Integral)

Problema Proyectoviable

Proyecto con recursos asignados

Formulación

Operación

Seguimientoa la ejecución

Programación

¿Existe una Gerencia Integral de Proyecto?


Aprendizaje

Dos alcances del Aprendizaje• Aprendizaje Retroalimentador (Intracíclico) • Aprendizaje Proyectivo (Extracíclico)

Si el sistema de gestión no incorpora los dos aprendizajes, la PP se va a pique, pues no hay seguridad:Ni de hacer las cosas bien ahoraNI de hacerlas mejor mañana

Documents

Monitoreo y Evaluación para Políticas Públicas Héctor Sanín Ángel [email protected]