INDICADORES DE ÉXITO EN ELDISEÑO DEL SISTEMA DE

EVALUACION

5

INDICADORES DE ÉXITO EN EL DISEÑODEL SISTEMA DE EVALUACION

MSc. Lidia M. Salas Chavarría*

"No se puede administrarlo que no se puede medir,

no se puede medirlo que no se puede definir,no se puede definir lo queno se puede comprender"

(Drucker Peter, 1993)

RESUMEN:

El artículo tiene como objetivo cues­tionar la evaluación como etapa impor­tante del proceso de planificación , la cuala nivel institucional se ha venido realizan­do por años en forma muy limitada en laejecución de los diferentes proyectossociales.

Concretamente en Trabajo Social, algenerar nuestras intervenciones produc­tos de índole cualitativa y ante la ausenciade indicadores de gestión social, resultadifícil medir con exactitud el impacto delos mismos. Si bien es cierto, el plantearindicadores como parte del diseño de laevaluación es un tarea bastante complejay laboriosa, en estos momentos es im­prescindible hacerlo dado que en losCompromisos de Gestión nuestra labor seinvisibiliza.

Así las cosas, el artículo hace re­ferencia a aspectos medulares a conside­rar para la construcción de indicadorescomo garantía de éxito de un proyecto.

1. INTRODUCCION.

El contexto actual en que funcio­nan las instituciones del país, tanto públi­cas como privadas, no escapa de los li­neamientos políticos sustentados en laracionalización del gasto público.Paralelamente los cambios que se hanimpulsado en forma acelerada comoparte de medidas políticas, económicas,sociales, han generado la reducción deciertos bienes y servicios, colocando untecho muy bajo al desarrollo de progra­mas sociales en detrimento de los gruposmás necesitados.

En forma concordante, las institu­ciones que conforman el sector saludasumen la misión de cumplir con lasmetas, objetivos y producir los efectosesperados conforme sus políticas, progra­mas, recursos existentes y por consi­guiente responder a las demandas de lasalud colectiva, según la especificidad delentorno.

* Licenciada en Trabajo Social. Máster en Salud Pública Clínica Dr. Marcial Fallas.

7

11. NUEVA MODALIDAD INSTITU­cIoNAL EN LA ASIGNACION DERECURSOS.

A nivel institucional, en respuesta ala nueva modalidad de asignación derecursos, los establecimientos presta­dores de servicios de salud paulatina­mente han ido asumiendo los compro­misos de gestión; definido éste como"instrumento que vincula la actividad alpresupuesto asignado a cada unidadproveedora, se utiliza para buscar mayorcalidad, eficacia y eficiencia en el uso derecursos dedicados a la atención de lasalud, un pacto escrito que recoge loscompromisos de actividad, calidad,gasto, objetivos específicos y metas de launidad proveedora, el establecimiento deun mercado interno planificado .... "González, Ana Rita ( 1998: 3). De estaforma se busca fortalecer los principios desolidaridad, universalidad y equidad yligar además la asignación de recursos alas necesidades y demandas de lapoblación, incrementar la satisfacción delos clientes internos-externos, aumentar lacalidad, eficacia y eficiencia en laprestación de servicios de salud.

A partir de esta perspectiva y enprocura de rescatar e incentivar un rolprotagónico en los usuarios; el compro­miso de gestión contempla objetivos orga­nizativos, asistenciales y de calidad; co­rrespondiendo el contenido de éstos a lasnecesidades y características específicasde cada área de salud, clínicas y hospi­tales.

Los compromisos de gestión re­presentan un salto cualitativo en la organi­zación de los servicios de salud; están ori­entados a sustituir la planificación norma­tiva hacia una planificación estratégica.

8

Ante este reto los recursos seconstituyen en factor clave para la planifi­cación y operacionalización de los dife­rentes programas, de aquí la importanciade conocer la viabilidad y factibilidad delos mismos y utilizar los recursos con elmáximo de eficiencia posible y asegurarun alto grado de efectividad.

Tras la búsqueda de la raciona­lización, coordinación y optimización delos recursos, es pertinente detenerse ycuestionar cuál ha sido el papel de laevaluación como etapa fundamental delproceso de planificación, en el desarrollode proyectos institucionales.

Según Pichardo Arlette (1989:22)la evaluación debe entenderse como unproceso integral y continuo, que permiteno sólo detectar las irregularidades quese presentan en el proceso de planifi­cación de un proyecto, sino también pro­poner las medidas correctivas necesarias.

La evaluación concebida comoproceso integral y continuo para retroali­mentar la toma de decisiones ha jugadoun rol limitado en los proyectos institu­cionales. Generalmente las evaluacioneshan constituido estudios cuyos informesfinales se limitan a señalar los logros delprograma y las dificultades que debieronsuperarse durante su ejecución, se tiendea comparar metas alcanzadas con metasprogramadas. Difícilmente los resultadoshacen referencia al impacto en los grupossociales beneficiarios, es frecuente elanálisis de indicadores cuantitativos porejemplo: número de personas que partici­pan, número de horas destinadas,número de médicos, número de camas; yse resta importancia a los indicadorescualitativos que caracterizan la evaluaciónde impacto social, a saber: grado en que

se produce el proceso de aprendizaje,nivel de motivación, nivel de identificacióncon la actividad, grado de participación,grado de satisfacción, cambios de acti­tudes, valores, aptitudes, modificación deestilos de vida, mejoras en las condi­ciones de salud de la población.

En forma coherente con los obje­tivos de calidad que se proponen en loscompromisos de gestión, es importanteno obviar ni restar importancia a los indi­cadores cualitativos. Es pertinenteestablecer un balance entre ambos demanera que permitan definir coberturas ymedir el impacto que generan lasacciones de salud en la población benefi­ciaria.

En el ámbito institucional no se haestimulado la cultura de la evaluación, losproyectos sociales que se han venido eje­cutando no poseen un regulador queindique: si las actividades que se estánllevando a cabo se caracterizan por sueficiencia, o pueden realizarse en formamás eficiente, en qué momento no lo sony deben ser reemplazadas a otras activi­dades. Esta situación se asocia, quizá, aque no existía restricción en cuanto a lautilización de recursos, dado que por añosse ha trabajado con presupuestos históri­cos; y en la actualidad es un aspecto muycuestionado con la nueva modalidad en laasignación de recursos.

En este estado de cosas se haceindispensable utilizar la evaluación comouna herramienta valiosa, para facilitar latoma de decisiones oportunamente yresponder a las demandas de lapoblación de una manera eficaz, eficientey oportuna con los recursos existentes.

III CONSTRUCCION DE INDI­CADORES DE ÉXITO.

Para evaluar es necesario el di­seño del sistema de evaluación, en el cualse define tipo de evaluación, objetivo dela evaluación, elementos que debe con­templar: parámetros, indicadores, fuentesde información, ubicación temporal, técni­cas e instrumentos de evaluación, partici­pantes y su papel. Para efectos del pre­sente artículo se enfatizará en cuanto alos indicadores, sin restar importancia alos otros elementos.

Los indicadores se definencomo u las señales, signos, mues­tras o marcas de algún suceso"acontecimiento o proceso queponen en evidencia la magnitud ointensidad de un problema o elgrado de avance de su atención"(Pichardo, 1989: 91)

Según Henderson Alan (1997:11)los indicadores son los medios que per­miten establecer qué condicionesdemostrarán el éxito, cómo reconocerlos,obligan a aclarar lo que se quiere alcan­zar con \os objetivos. Una apropiada iden­tificación de indicadores proporcionan unabase objetiva para la evaluación.

Los indicadores se constituyen enel medio a través del cual se puede eva­luar, de manera objetiva, los cambios bus­cados en el desarrollo de los proyectos;es decir el logro de los objetivos o metasde un proyecto, programa, actividad. A suvez permiten detectar problemas y definirla diferencia entre la situación deseada,es decir, la meta prevista y el desempeñoreal alcanzado por el programa en unmomento dado.

9

Los conceptos de eficacia, efi­ciencia y efectividad guardan unaestrecha relación con los indicadores deéxito, por lo cual es pertinente definirlos.

Eficacia: es el criterio para determinar,principalmente el grado de cumplimientode los objetivos y metas propuestas enlos proyectos ejecutados.

Eficiencia: es el criterio que permitedeterminar la calidad de los bienes o ser­vicios producidos a partir de la ejecuciónde un proyecto, y contempla además laracionalidad en el uso de los recursos.

Efectividad: es el criterio que involucrala eficiencia y eficacia; además permitedeterminar si las acciones que serealizaron para el logro de los objetivosson las más apropiadas.

Para el diseño de los indicadoreses necesario considerar los requisitos quedeben tener:

1. "VALIDOS: Deben reflejar los efec­tos de los proyectos y no factoresexternos, miden lo que pretendenmedir.

2. CONFIABLES: las mediciones quese hagan, realizadas por diferentespersonas deben arrojar los mismosresultados.

3. ESPECIFICaS: deben ser específi­cos en términos de calidad, cantidady tiempo (CCT) , si falta cualquiera deéstos, no se puede ser totalmenteobjetivo sobre si se ha tenido éxito ono.

4. DEMOSTRABLES: deben evidenciarlos cambios buscados, captan oportu­namente los cambios.

10

5. FACTICOS: deben ser objetivamenteverificables.

6. PERTINENTES: deben guardar co­rrespondencia con los objetivos y lanaturaleza del proyecto; así como lascondiciones del medio socia!."Pichardo Arlette ( 1989:92).

Los indicadores de éxito permiten visionarcuál será el alcance de los proyectos aejecutarse, facilitan monitorear el procesode desarrollo de los mismos, por endeaplicar las medidas correctivas necesariaspara garantizar su éxito.

Cuando los indicadores evidencian laexistencia de un problema es indispen­sable:

1. "Mejorar la supervisión de las activi­dades insatisfactoriamente ejecu­tadas hasta el momento.

2. Aplicar sanciones o recompensas queincentiven al personal en la direcciónadecuada.

3. Reasignar recursos financieros yhumanos para atender mejor activi­dades deficientes.

4. Mejorar el entrenamiento técnico yreforzar el compromiso motivacionaldel personal.

5. Mejorar, si está a tiempo, la seleccióno reubicación del personal paragarantizar el éxito del proyecto.

6. Introducir modificaciones en los sis­temas en el marco de operacionesdiarias del programa, tales como loscanales de comunicación entre lasunidades, las líneas de mando yapelación, el uso de asesores exter­nos, participación del personal en latoma de decisiones, etc". HendersonAllan ( 1997: 48).

No obstante de los esfuerzos que serealizan, una de las fundamentales caren­cias de los cientistas sociales es construir,verificar y validar indicadores sociales, locual dificulta en la gestión de proyectossociales conocer cómo estan impactandoen la población destinataria. Otros proble­mas que se asocian a esta ardua tareason los siguientes:

1.-Presencia de objetivos múltiplesdesvinculados de las actividades propiasdel proyecto.

2.- El planteamiento de objetivos maldefinidos y muchas veces inalcanzables.

3.- Falta de definición de indicadores parala evaluación.

4.- Falta de una definición precisa delimpacto que tendrá el proyecto en elcorto, mediano y largo plazo.

De aquí la importancia de diseñaradecuados indicadores que permitanreconocer el éxito, aclarar lo que sequiere decir con los objetivos y a su vezproporcionar una base objetiva para laevaluación. (ver anexos).

El seleccionar buenos indicadoresrepresenta un proceso técnico, arduopero esencial para un buen diseño deproyecto, para su seguimiento y eva­luación; además significa asegurar lo quese desea lograr. Es recomendable utilizarlos menos posibles indicadores, siempre ycuando los seleccionados den la medidade que los objetivos escogidos son perti­nentes y no se deje de medir lo que esrealmente importante para el proyecto.

El número de indicadores depende dela complejidad y la importancia de lo quese desea medir, no pueden diseñarse enforma antojadiza.

Los indicadores pueden referirse:

1. "A los impactos de un programa: lareducción relativa de la mortalidad ymorbilidad infantil en determinadaárea, o proporción de población conagua potable.

2. A sus productos: número de inmu­nizaciones realizadas, número depacientes atendidos.

3. A sus insumos: gasto anual de lasunidades de atención según tipo,número y tipo de personal médico uti­lizado por unidad y por período.

4. A sus procesos: la ejecución de activi­dades en el orden o a la velocidadprevista, aparición de cuellos debotella por exceso de énfasis en cier­tas actividades en perjuicio de otras.

5. Algunos insumos/procesos: midiendoproductividad del programa: # deegresos por cama/año, porcentaje decamas ocupadas por período, númerode atenciones por hora/persona!."(Henderson, 1997: 47 )

Los cambios acelerados que seexperimentan a nivel institucional generangrandes cuestionamientos respecto a laprestación de servicios por parte de lasdiversas disciplinas. Aparece la preocu­pación entre los profesionales de saber,si verdaderamente las intervenciones quese realizan están impactando lapoblación, así como la preocupación porla calidad y cantidad del trabajo.

11

CONCLUSIONES:Concretamente en nuestra disci­

plina los proyectos están dirigidos a pro­mover o generar condiciones para mejo­rar la calidad de vida de los usuarios, apropiciar cambios de actitudes, valores,aptitudes, de estilos de vida; no obstanteexiste una gran debilidad para diseñarindicadores de gestión que nos permitanconocer y documentar el éxito de losproyectos. De aquí la importancia en larigurosidad a la hora de planificar losproyectos, no olvidar que el diseño de laevaluación debe procurar la utilización deindicadores que, no sólo reflejen los resul­tados de los mismos en términos cuantita­tivos, sino también los efectos e impactos.

Coyunturalmente es un momentopropicio para fortalecernos como cientis­tas sociales, un momento en que TrabajoSocial asume un rol relevante en este pro­ceso de ajustes y cambios, en donde elcomponente social cobra importancia y dasustento a la concepción de la saludcomo construcción social. Nuestra inter­vención es determinante en equipos inter­disciplinarios, en la capacitación declientes internos-externos, en la promo­ción y prevención de la salud a través dela estrategia de participación social. Sedesarrollan proyectos sociales a nivel gru­pal, comunal, organizacional, que nos evi­dencian cambios de actitudes, aptitudes,modificación de estilos de vida en lapoblación destinataria; sin embargo la sis­tematización de estas valiosas experien­cias se constituyen en una limitación, seposterga esta labor por el factor tiempo yse justifica por el sinnúmero de activi­dades que sentimos nos agobian.

Es un momento de reflexión, devalidar nuestras intervenciones con laspoblaciones que trabajamos, de aplicar larigurosidad para documentar la calidaddel producto de nuestro quehacer coti-

12

diano; de manera que en los Compromi­sos de Gestión se pueda tener unamedición exacta del impacto que se ge­nera en la salud de la población a partirde la ejecución los proyectos que planifi­camos, ejecutamos, dirigimos y super­visamos.

BIBLlOGRAFIA

CCSS/CENDEISSS (1998) Módulo 1 :Elementos del Sistema Nacional de Salud y suproceso de Modernización. San José.

CCSS/CENDEISSS (1999) Módulo 7 : FaseInstrumental de la Planificación Estratégica deServicios de Salud. San José.

Caja Costarricense de Seguro Social (1996)Manual de evaluación para jefaturas de ofici­nas de Recursos Humanos. Area deEvaluación y Seguimiento. San José.

Drucker, Peter (1993) Gerencia para el futuro.Editorial Norma. Colombia.

González, Ana Rita (1998). "Compromisos degestión y descentralización". En Módulo 1Organización. Capacitación en Gestión paraGerentes de la CCSS. OPS/OMS. San José.

Henderson García, Alan (1997). MóduloDesarrollo de Proyectos. San José.CCSS/OPS.

Pichardo Muñiz, Arlette (1989). Evaluación delimpacto social. Editorial Universidad de CostaRica. San José.

Pichardo Muñiz, Arlette (1984). Planificación yProgramación Social. Editorial Universidad deCosta Rica. San José.

INDICADOR DE EFICIENCIA B *

Si B es mayor que 1, la administración hasido más que eficiente

ANEXO 2

TABLA DE COMPARACION

VARIABLES PROGRAMADO LOGROS(METAS) (CONTROL)

META 36 PROYECTOS 28 PROYECTOS

TIEMPO 12 MESES 8 MESES

COSTO 20.000 colones 25.000 colones

(Cp*P)(P*VP)

( 20.000*36)(36*20.000 )

( 720 )( 720 )

B = ( 700)( 700)

B = (l * Vl)( Cl* l )

B = (28*25.000)( 25.000*28 )

B=

peridiocidad de las sesiones deseguimiento.tiempo que transcurre del momentoen que se recibe la interconsulta -re­ferencia en relación al tiempo en quese realiza la intervención ... atenciónoportuna.atención continua ( secuencia de lassesiones).nivel de involucramiento de paciente yfamilia....anuencia.nivel de información que se brinda alcliente.nivel de participación en el plan detratamiento.Condiciones en que se realiza laprestación: forma de comunicarse,gestos.

ANEXO 1

EJEMPLOS DE INDICADORES ENINTERVENCION CASUISTICA

# SESIONES DE SEGUIMIENTO PORCASO.

# DE SITUACIONES ESPECIFICASRESUELTAS (Hospital-Clínicas-Areas

de Salud)

Nivel de organización familiar.# de reubicaciones.# de situaciones resueltas en equipointerdisciplinario.# menos de reingresos posterior a laintervención realizada.# de grupos organizados.nivel de participación en planificaciónacciones de salud.nivel de asistencia a reuniones.

Si B es igual a 1 , la administración hasido eficiente

Si B es menor que 1, la administración hasido ineficiente

l= unidades de productos o servicioslogrados.

Vl= valor unitario de los productos o ser­vicios logrados

Cl= costo unitario de los productos o ser­vicios logrados

P= unidades de producto o servicios pro­gramados

VP= valor unitario de los productos o ser­vicios programados

13

CP= costo unitario de los servicios pro­gramados

... Tomado de: CCSS.Manual de evaluaciónpara Jefaturas.

ANEXO 3

TABLA DE COMPARACION*

VARIABLES PROGRAMADO LOGRADO(METAS) (CONTROL)

META 24 20EVALUACIONES EVALUACIONES

TIEMPO 12 MESES 8 MESES

COSTO 2.000 C/EVAL. 1.500 C/EVAL.

EFICACIA: ... ( a) L'" T1M*T2

a= 20*1224*8

a = 240192

a= 1.25

L: unidades de medida de la meta lograda( bienes y servicios)

M: unidades de medida de la meta pro­gramada ( bienes o servicios)

T1: tiempo planeadó para alcanzar lameta total

T2: tiempo consumido en alcanzar lameta total o parcial y en donde:

Si el indicador" a " es mayor que 1,entonces la administración fue más queeficaz.

14

Si el indicador" a " es menor que 1,entonces la administración fue menos queeficaz.

Si el indicador" a " es igual a 1, entoncesla administración fue eficaz.

*Tomado de: CCSS.Manual de evaluaciónpara Jefaturas.

ANEXO 4

INDICADOR DE IMPACTO*

INDICADOR:

I = EFICACIA = _a_PROBLEMAS RESUELTOS P.R

En donde:

1= IMPACTO

PR= PROBLEMAS O SITUACIONESRESUELTAS

a = EFICACIA

Como puede observarse en la fórmula delindicador de impacto el numerador lo con­forma la EFICACIA, por lo que una vezque hayamos calculado el indicador efica­cia y se obtenga la información de losproblemas o situaciones resueltas connuestros programas ( puede ser ennúmeros absolutos o porcentajes) sepuede medir el impacto de los programas,proyectos.

*Tomado de: CCSS.Manual de evaluaciónpara Jefaturas.

ANEXO 5

TIPOS DE INDICADORES

TIPOS DEFINICION

Generalmente, se utilizan para dar cuenta de

CIFRAS ABSOLUTAS características particulares de una sociedad enun momento dado. Por ejemplo, número demujeres incorporadas a la fuerza de trabajo.

Destacan, fundamentalmente aspectos de dis-PORCENTAJES tribución.

Por ejemplo, porcentaje de analfabetos en eltotal de la población.

Representan comportamientos típicos.PROMEDIOS y OTRAS Ejemplo: ingreso pér-capita, la mediana de losMEDIDAS ESTADISTICAS salarios de los profesionales y técnicos.

Permiten mostrar la evolución o comportamien-

TASAS to de un fenómeno en el tiempo. Por ejemplo,latasa de crecimiento del PIB.

Fuente: Pichardo, Arlette. Evaluación del impacto social, pág. 93

15