Upload
gizi
View
79
Download
3
Embed Size (px)
DESCRIPTION
Modelos de evaluación para programas de capacitación. Anibal Velásquez [email protected]. Objetivos de la presentación. Exponer algunos modelos de evaluación de Programas de Capacitación. Pseudo evaluaciones. - PowerPoint PPT Presentation
Citation preview
Modelos de Modelos de evaluación para evaluación para programas de programas de capacitacióncapacitación
Anibal VelásquezAnibal Velásquez
[email protected]@hotmail.com
Objetivos de la presentaciónObjetivos de la presentación
►Exponer algunos modelos de Exponer algunos modelos de evaluación de Programas de evaluación de Programas de CapacitaciónCapacitación
Pseudo evaluacionesPseudo evaluaciones
►La que se hace para relaciones La que se hace para relaciones públicas (solo se muestra las públicas (solo se muestra las fortalezas de un programa, y a veces fortalezas de un programa, y a veces se manipulan los datos para resaltar lo se manipulan los datos para resaltar lo positivo).positivo).
►La que se maneja políticamente (se La que se maneja políticamente (se esconde información que no esconde información que no conviene).conviene).
Evaluación basada en Evaluación basada en objetivosobjetivos
►PPropuesto por Tyler (1966)ropuesto por Tyler (1966)[1][1], es un , es un modelo tradicional de evaluación para modelo tradicional de evaluación para determinar si los objetivos del programa han determinar si los objetivos del programa han sido alcanzados. sido alcanzados.
► [1][1] Tyler R. The objective and plans for a national assessment of educational progress, Journal of Tyler R. The objective and plans for a national assessment of educational progress, Journal of Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106Directions for Evaluation, 2001; 89: 7-106
Evaluación basada en Evaluación basada en objetivos (cont)objetivos (cont)
► Este modelo esencialmente especifica objetivos Este modelo esencialmente especifica objetivos operacionales y recolecta y analiza información operacionales y recolecta y analiza información pertinente para determinar cuán bien cada pertinente para determinar cuán bien cada objetivo fue alcanzado. objetivo fue alcanzado.
► Para demostrar la causalidad utiliza diseños Para demostrar la causalidad utiliza diseños experimentales. experimentales.
► Este tipo de evaluación es especialmente Este tipo de evaluación es especialmente aplicable en evaluaciones de programas que aplicable en evaluaciones de programas que tienen objetivos claros y medibles.tienen objetivos claros y medibles.
El PCMI El PCMI Programa de Programa de
Capacitación Materno Capacitación Materno Infantil Infantil
Proyecto 2000Proyecto 2000
Intervención en los 5 Intervención en los 5 componentescomponentes
•Programa de capacitación para la calidad en servicios materno perinatales.
•Detección de problemas de la calidad y PMCC
•Determinaciónde indicadores y
estándares
•Supervisón externade la calidad
CALIFICACION(Acreditación)
Lo anterior Lo anterior demuestra que el demuestra que el
PCMI tuvo un PCMI tuvo un impacto?impacto?
Un ejemplo de Un ejemplo de evaluación de evaluación de
impactoimpacto
Marco conceptual
FactoresIndividuales
del Parto Institucional
Calidad de los servicios
Factores de la
comunidad
Área de programa
Marco conceptual
FactoresIndividuales
del Parto Institucional
Calidad de los servicios
Factores de la
comunidad
Área de programa
Capacidad Resolutiva
Mortalidad materna 1997
Tasa de MM
Modelo Basado en la Teoría Modelo Basado en la Teoría [[11]] ► Por lo difícil que es obtener Por lo difícil que es obtener loslos requerimientos requerimientos
experimentales, se experimentales, se utiliza este modelo.utiliza este modelo.► [1][1] se refiere al uso de la teoría de programas se refiere al uso de la teoría de programas
(o modelos lógicos) como un marco para la (o modelos lógicos) como un marco para la determinación de causalidad. determinación de causalidad.
► IInicia con una teoría bien desarrollada y nicia con una teoría bien desarrollada y validada, partiendo de la premisa que validada, partiendo de la premisa que programas de un cierto tipo con similares programas de un cierto tipo con similares características pueden producir los mismos características pueden producir los mismos resultadosresultados..
► [1][1] Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Evaluation, 2000; 87: 17-26Evaluation, 2000; 87: 17-26
Modelo Basado en la Teoría Modelo Basado en la Teoría (Cont)(Cont)
• El principal procedimiento típico de este El principal procedimiento típico de este modelo es usar la lógica de programas. modelo es usar la lógica de programas.
• Esto puede ser un diagrama de flujo de cómo Esto puede ser un diagrama de flujo de cómo se piensa que los “in puts” deben ser se piensa que los “in puts” deben ser procesados para producir resultados previstos. procesados para producir resultados previstos.
• El análisis de esta red causal es un proceso de El análisis de esta red causal es un proceso de teorización que involucra a los evaluadores y teorización que involucra a los evaluadores y personas quienes se supone conocen cómo personas quienes se supone conocen cómo se espera que opere el programa y produzca se espera que opere el programa y produzca resultados.resultados.
TEORIATEORIASi mejora la Si mejora la calidad y la calidad y la capacidad capacidad resolutivaresolutiva
Se incrementa el Se incrementa el acceso al parto acceso al parto institucional y institucional y
luego entonces se luego entonces se reduce la reduce la
moratalidad moratalidad materna y materna y perinatalperinatal
Relación entre la proporción de partos atendidos por Relación entre la proporción de partos atendidos por profesionales de salud con la razón de muerte materna profesionales de salud con la razón de muerte materna
en 50 países en víasen 50 países en vías de desarrollo de desarrollo. .
Letalidad obstétricaLetalidad obstétricaFigura 3.2.
Evolución de la letalidad maternas por complicaciones obstétricas según estimado de Naciones Unidas/OMS en Centros de Salud*
0,0
0,5
1,0
1,5
2,0
2,5
3,0
1997 1998 1999 2000 2001
P2000 No P2000
Letalidad neonatalLetalidad neonatalFigura 3.10.
Evolución de la tasa de muertes Perinatales en Centros de Salud*
35,82
19,02
9,0411,35
14,3411,39
14,49
10,48
0,0
5,0
10,0
15,0
20,0
25,0
30,0
35,0
40,0
1997 1998 1999 2000
P2000 No P2000
Esto demuestra un efectoEsto demuestra un efecto
Limitaciones de los modelos Limitaciones de los modelos anterioresanteriores
► EEstán enfocados en obtener información de la relación stán enfocados en obtener información de la relación causal, y que por lo general ésta no es oportuna ni causal, y que por lo general ésta no es oportuna ni pertinente para mejorar los procesos de los programas. pertinente para mejorar los procesos de los programas.
► Además que la evaluación en sí, no contribuye a que se Además que la evaluación en sí, no contribuye a que se cumpla con las responsabilidades de cada actor del cumpla con las responsabilidades de cada actor del Programa. Programa.
► Por este motivo la evaluación de resultados debe incluir los Por este motivo la evaluación de resultados debe incluir los cambios que se producen en los actores sociales, y de cambios que se producen en los actores sociales, y de cómo estos cambios se relacionan con los resultados cómo estos cambios se relacionan con los resultados
obtenidos por el programa.obtenidos por el programa.
Evaluación de Responsabilidades Evaluación de Responsabilidades (accountability)(accountability)..
►La ventaja de este modelo es que al medir La ventaja de este modelo es que al medir el cumplimiento de las responsabilidades, el cumplimiento de las responsabilidades, por personas o instituciones externas a por personas o instituciones externas a cada actor social, se constituye en sí misma cada actor social, se constituye en sí misma un fuerte estímulo para que los actores un fuerte estímulo para que los actores sociales cumplan con sus sociales cumplan con sus responsabilidades.responsabilidades.
Evaluación de Responsabilidades Evaluación de Responsabilidades (accountability)(accountability).. Cont. Cont.
► Este modelo llega a ser prominente en la década Este modelo llega a ser prominente en la década de los 70, fue propuesto por Lessinger (1970)de los 70, fue propuesto por Lessinger (1970)[1][1], y , y surge debido a que había amplio descontento con surge debido a que había amplio descontento con los reportes de evaluación que casi ninguno de los los reportes de evaluación que casi ninguno de los programas sociales masivos estuvieron haciendo programas sociales masivos estuvieron haciendo algo positivo (al no encontrar diferencias algo positivo (al no encontrar diferencias estadísticamente significativas cuando se estadísticamente significativas cuando se comparaba con áreas no intervenidas).comparaba con áreas no intervenidas).
► [1][1] Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for
Evaluation, 2001; 89: 7-106Evaluation, 2001; 89: 7-106
Evaluación de Responsabilidades Evaluación de Responsabilidades (accountability)(accountability).. Cont.2 Cont.2
► PPara asegurar que los proveedores de servicios ara asegurar que los proveedores de servicios cumplan sus responsabilidades cumplan sus responsabilidades y y para mejorar los para mejorar los servicios, y que los evaluadores encuentren los servicios, y que los evaluadores encuentren los efectos de los programas y determinen qué efectos de los programas y determinen qué personas y grupos tuvieron éxito y cuales no. personas y grupos tuvieron éxito y cuales no.
► El componente clave de muchos sistemas de El componente clave de muchos sistemas de rendición de cuentas son el empleo de estándares rendición de cuentas son el empleo de estándares que permiten determinar si los cumplieron o no, que permiten determinar si los cumplieron o no, este modelo se acompaña de premios y este modelo se acompaña de premios y sanciones. sanciones.
Avance Global de la Calidad en Avance Global de la Calidad en Establecimientos que han reportado Establecimientos que han reportado
AutosupervisionesAutosupervisiones
47%
61%
71%
82%
72%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1ra. (n=30) 2da.(n=29) 3ra. (n=25) 4ta (n=13) 5ta (n=3)
Autosupervisiones
► La desventaja deLa desventaja del modelo anterior esl modelo anterior es que se que se desarrolla en un marco de verticalidad, con escasa desarrolla en un marco de verticalidad, con escasa participación de los actores sociales en el proceso de participación de los actores sociales en el proceso de evaluación. evaluación.
► Por lo que necesita combinarse la medición de las Por lo que necesita combinarse la medición de las responsabilidades con un modelo más participativo responsabilidades con un modelo más participativo que delibere los resultados de esta evaluación. que delibere los resultados de esta evaluación.
► Este modelo se denomina Este modelo se denomina Evaluación Democrática Evaluación Democrática DeliberativaDeliberativa, y fue propuesto por House y Howe , y fue propuesto por House y Howe (1998(1998[1][1], 2000, 2000[2][2]))
► [1][1] House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-10689: 7-106
► [2][2] House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, 2000; 85: 3-12.2000; 85: 3-12.
Evaluación democrática y Evaluación democrática y deliberativadeliberativa
► El modelo de evaluación democrática y El modelo de evaluación democrática y deliberativa funciona dentro de un marco deliberativa funciona dentro de un marco democrático explícito. democrático explícito.
► La evaluación democrática deliberativa tiene tres La evaluación democrática deliberativa tiene tres dimensiones principales: dimensiones principales: participación democrática, participación democrática, diálogo para examinar y autenticar los aportes de los diálogo para examinar y autenticar los aportes de los
actores sociales, y actores sociales, y la deliberación para llegar a evaluaciones defendibles la deliberación para llegar a evaluaciones defendibles
de los méritos y valores de un programa.de los méritos y valores de un programa.►
Evaluación democrática y Evaluación democrática y deliberativa. Cont.1deliberativa. Cont.1
►Los métodos empleados pueden incluir Los métodos empleados pueden incluir discusiones con los actores sociales, discusiones con los actores sociales, encuestas, y debates. encuestas, y debates.
►La inclusión, el diálogo y la deliberación son La inclusión, el diálogo y la deliberación son considerados relevantes en todos los considerados relevantes en todos los estadios de la evaluación (discusión del estadios de la evaluación (discusión del modelo causal, diseño, implementación, modelo causal, diseño, implementación, análisis, síntesis, relato, presentación y análisis, síntesis, relato, presentación y discusión).discusión).
Evaluación externa
Relación proveedor- usuario-comunidad
Estandarizació de procedimientos
Decisiones basadas en evidencia- uso de datos
Gestión y disponibilidad de recursos
Educación permanente
Estado actual de los estándares
Brecha
¿Quieren?¿Pueden?¿Saben?
Plan AnualMCC
PlanesTrimestrales
ImplementaciónAutosupervisión
Gere
ncia
Pre
sta
ció
n
Avance de Procesos de los Avance de Procesos de los Establecimientos de Salud que han Establecimientos de Salud que han
reportado autosupervisionesreportado autosupervisiones
51%53%
47%
35%
48%
61%64%
62%
54%
62%67%
72%74%
65%
78%80%
82%86%
80%83%
80%
69%
75%
64%
74%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1ra. (n=30) 2da.(n=29) 3ra. (n=25) 4ta. (N=13) 5ta (n=3)
Autosupervisiones
Gestión y Disponibilidad de Recursos
Manejo Clínico Estandarizado
Relación Proveedor-Usuario-Comunidad
Educación Permanente en Salud
Uso de Datos
Control de Procesos: Control de Procesos: Control de Calidad y Control de Calidad y
Validación Validación
Anibal VelásquezAnibal Velásquez
epiweb@hotmail .comepiweb@hotmail .com
La lógica del control de La lógica del control de procesosprocesos
► Es muy simple.Es muy simple.► Consiste en comparar con estándares el Consiste en comparar con estándares el
cotidiano accionar de un servicio.cotidiano accionar de un servicio.► Es fácil de hacerlo.Es fácil de hacerlo.► Pero tiene barreras que no tienen que ver Pero tiene barreras que no tienen que ver
con el método o técnica.con el método o técnica.► El problema principal es que a nadie le El problema principal es que a nadie le
gusta que le pidan cuentasgusta que le pidan cuentas► Y el sistema es propicio para favorecer el no Y el sistema es propicio para favorecer el no
cumplimiento.cumplimiento.
LOS PROCESOS DEBEN SER:LOS PROCESOS DEBEN SER:
ObjetivosObjetivos, Logran los resultados, Logran los resultados EfectivosEfectivos, Minimizan los recursos, Minimizan los recursos FlexiblesFlexibles, Se adaptan a los cambios, Se adaptan a los cambios RepetiblesRepetibles, Todos lo harán igual, Todos lo harán igual MediblesMedibles, Se controlan y mejoran, Se controlan y mejoran
LOS PROCESOSLOS PROCESOS
“ “ A menos que usted A menos que usted modifique el proceso, modifique el proceso, ¿Cómo podría usted ¿Cómo podría usted
esperar que el esperar que el resultado cambie?resultado cambie?
ANÁLISIS DE PROCESOSANÁLISIS DE PROCESOS
► Identificar el procesoIdentificar el proceso►Desarrollar un diagrama de flujo del Desarrollar un diagrama de flujo del
proceso.proceso.►Analizar el diagrama para simplificarlo Analizar el diagrama para simplificarlo
y asignar puntos de controly asignar puntos de control
IDENTIFICACIÓN DE IDENTIFICACIÓN DE PROCESOSPROCESOS
►Un proceso de trabajo: Que se hace Un proceso de trabajo: Que se hace REALMENTEREALMENTE Diferencias entre el DEBE SER y el ES.Diferencias entre el DEBE SER y el ES. Cada persona puede hacerlo distinto.Cada persona puede hacerlo distinto. No hay acuerdo en la mejor manera de No hay acuerdo en la mejor manera de
hacerlo.hacerlo.
►Que se produce: Un producto, reportes, Que se produce: Un producto, reportes, decisión, información ? decisión, información ?
►Quien usa ese producto.......REALMENTE!Quien usa ese producto.......REALMENTE!
Diagramas de Flujo de un Diagramas de Flujo de un ProcesoProceso
Empezar/Terminar
Acción
Punto de Decisión
Dirección del Flujo
Esperas
Usos del DiagramaUsos del Diagrama► Ilustra la relación entre varias etapas del Ilustra la relación entre varias etapas del
procesoproceso► Ayuda a identificar ineficienciasAyuda a identificar ineficiencias► Indica las etapas claves donde el proceso Indica las etapas claves donde el proceso
fallafalla► Ayuda a la comunicación entre clientes Ayuda a la comunicación entre clientes
internos o externosinternos o externos► Ilustra pasos innecesariosIlustra pasos innecesarios► Ayuda a entrenar nuevos empleados en el Ayuda a entrenar nuevos empleados en el
proceso.proceso.
EN TODO PROCESO ....EN TODO PROCESO ....
CAUSA CAUSA
CAUSACAUSACAUSA
CAUSA
RESULTADOSRESULTADOSÍndices Numéricos
ITEMS DECONTROL
ITEMS DEVERIFICACIÓN
CONTROL POR DETECCIÓNCONTROL POR DETECCIÓN
MedioAmbiente
Mano de Obra
Método MáquinasMateriales
PRODUCTO BUENO?
SI
CLIENTECLIENTE
NO
REPROCESAR DESPERDICIO
INSPECCIÓN MASIVAPROCESOPROCESO
CONTROL POR PREVENCIÓNCONTROL POR PREVENCIÓN
MedioAmbiente
Mano de Obra
Método MáquinasMateriales
CLIENTE
PROCESOPROCESOVERIFICACIÓNDEL PRODUCTO
CONTROL DE PROCESO
► PREVENCIÓNPREVENCIÓN
Trabaja para el Trabaja para el futurofuturo
Evita el desperdicioEvita el desperdicio Busca el Busca el
mejoramiento mejoramiento permanentepermanente
Se compromete Se compromete con el procesocon el proceso
Si algo está mal, la Si algo está mal, la misma área lo misma área lo detectadetecta
► DETECCIÓNDETECCIÓN
Trabaja para el Trabaja para el pasadopasado
Tolera el desperdicioTolera el desperdicio Busca cumplir la Busca cumplir la
especificaciónespecificación Se compromete con Se compromete con
el productoel producto Es el producto, en el Es el producto, en el
área de inspección, área de inspección, quien dice que algo quien dice que algo anda malanda mal
CONTROL Y MEJORA DE LOS CONTROL Y MEJORA DE LOS PROCESOSPROCESOS
Tiempo
Des
empe
ño
MEJORA
PROCESOBAJO CONTROL
PROCESOBAJO CONTROL
MEJORAMIENTO CONTINUOMEJORAMIENTO CONTINUOD
es
emp
eño
Tiempo
De
sem
peñ
o
Tiempo
Reflexión finalReflexión final
Todo se puede medir?Todo se puede medir?
►Si, solo se necesitan indicadores.Si, solo se necesitan indicadores.►Si algo varía o cambia quiere decir que Si algo varía o cambia quiere decir que
existe algo que nos permite darnos existe algo que nos permite darnos cuenta de que cambia. cuenta de que cambia.
► Dime qué es lo más difícil de medir?Dime qué es lo más difícil de medir?► La verdadLa verdad► Hay algún cambio?Hay algún cambio?► Si... una gama entre lo verdadero y falsoSi... una gama entre lo verdadero y falso► Entonces será verdad cuando cumpla con nuestro Entonces será verdad cuando cumpla con nuestro
criterio de verdad=indicador dicotómico SI y NOcriterio de verdad=indicador dicotómico SI y NO► Si nuestro criterio considera que la verdad es Si nuestro criterio considera que la verdad es
relativa, entonces será más verdadero cuando se relativa, entonces será más verdadero cuando se cumpla con más criterios.= indicador de cumpla con más criterios.= indicador de magnitud nivel de verdad, escala de medición magnitud nivel de verdad, escala de medición cuantitativa.cuantitativa.
►Lema de los evaluadores:Lema de los evaluadores: No moneyNo money No measureNo measure No dataNo data No nathingNo nathing