Papeles de Evaluacion Nx7

7/25/2019 Papeles de Evaluacion Nx7

1/52

LA

EVALUABILIDAD:

E NSTRUMENTO

DEGESTIN

HERRAMIENTA

STRATGICA

ENLAEVALUACIN

TPOLTICAS

BLICAS

Autora: MARSA

MERINO

Agencia de Evalu aciny Galidad

PAPELES

7 I 2OO7

Papeles

e

Evaluaci


2/52

LA EVALUABILIDAD: DE INSTRUMENTO DE

GESTIN A HERRAMIENTA ESTRATGICA EN LA

EVALUACIN DE POLTICAS PBLICAS

Autora: MARISA MERINO

Agencia de Evaluacin y Calidad

PAPELES 7 2007


3/52

Catlogo general de publicaciones oficiales:

http:www.060.es

Edita: MINISTERIO DE ADMINISTRACIONES PBLICAS.Agencia Estatal de Evaluacin de las Polticas Pblicasy la Calidad de los Servicios

ISSN:1887-1178NIPO: 331-07-018-6


4/52

LA EVALUABILIDAD: DE INSTRUMENTO DE GESTIN A HERRAMIENTAESTRATGICA EN LA EVALUACIN DE POLTICAS PBLICAS

Marisa Merino

NDICE

INTRODUCCIN.. 1

1. LA EVALUABILIDAD COMO INSTRUMENTO DE LA GESTIN.. 9

1.1. El objetivo de la evaluabilidad . 101.2. Las preguntas eje de la evaluabilidad... 111.3. La evolucin de evaluabilidad. Orgenes y enfoques.. 11

1.4. La evaluabilidad: Ms all de verificar si el programa opoltica es evaluable 12

1.5. La evaluabilidad en la actualidad: estado de la cuestin... 171.6. La evaluacin de evaluabilidad en Espaa. Metodologas.. 201.7. Cmo entender hoy la evaluabilidad?............................... 221.8. La razn de ser de la evaluabilidad: no todo es evaluable 22

2. LA EVALUABILIDAD, HERRAMIENTA ESTRATGICA PARA LAEVALUACIN DE POLTICAS PBLICAS: 29

2.1. Por su lgica de responsabilidad y transparencia 29

2.2. Por su valor estratgico 302.3. Por su contribucin al fortalecimiento de la culturaevaluadora 34

3. EL INFORME DE EVALUABILIDAD 38

4. PROPUESTA METODOLGICA... 38

5. CONCLUSIONES.. 40

BIBLIOGRAFA 43

MANUALES ,GUAS, PAPERS, RAPPORTS, HERRAMIENTAS. 46


5/52

LA EVALUABILIDAD: DE INSTRUMENTO DE GESTIN A HERRAMIENTA

ESTRATGICA EN LA EVALUACIN DE POLTICAS PBLICAS

Marisa MerinoEvaluadoraAgencia de Evaluacin y Calidad

Este artculo se centra en la evaluacin de evaluabilidadque surgi en losaos 70 como instrumento para la gestin de programas, pero cuyo mayorpotencial se vislumbra como herramienta estratgica en el campo de laspolticas pblicas y en el fomento de la cultura evaluadora. Se abre con unaintroduccin que pretende situar el estudio dentro los objetivos metodolgicosencomendados a la recin creada Agencia de Evaluacin de las PolticasPublicas y la Calidad de los Servicios. Estudia la evolucin de la evaluabilidad

hasta nuestros das, en los que es recomendada por la mayor parte de losOrganismos Internacionales, a fin de determinar la conveniencia o no derealizar una evaluacin de mayor envergadura. Analiza sus objetivos y suslmites, examina algunas controversias recientes y justifica las razones por lasque resulta un instrumento idneo para legitimar la decisin de evaluar: 1)aporta responsabilidad y transparencia sobre la accin poltica y 2) facilita elfortalecimiento de un tipo de cultura administrativa de carcter relacional.

INTRODUCCIN

La instauracin de un sistema pblico de evaluacin de las polticas pblicas,impulsado en Espaa por el actual gobierno de la nacin, ha supuesto, para los

implicados en el proyecto, una capacitacin intensa en este campo, con lafinalidad de brindar a la sociedad los mejores resultados frente a un cometidoque a todos ilusiona por lo que tiene de compromiso social y contribucin a lamodernizacin de nuestra Administracin Pblica1

El sujeto plural del prrafo anterior, utilizado a propsito como voz colectiva,alude, metafricamente, al equipo de evaluacin2, que estar presente a lolargo de esta reflexin, porque creemos que la evaluacin no encaja bien conel individualismo propio de nuestra idiosincrasia obstculo nada desdeableque deber superar nuestra administracin. La lgica evaluadora, adems de

1El proceso de creacin de la Agencia de Evaluacin de las Polticas Pblicas y la Calidad de losServicios se inici en Mayo de 2004. Para los detalles del proceso ver www.aeval.esSobre el primer proceso de modernizacin de la Administracin espaola ver: Reflexiones para laModernizacin de la Administracin del Estado, presentadas por el Ministro J. Almunia, 1990donde se propone adoptar mecanismos de seguimiento y control de la actuacin de los aparatosadministrativos que entiende han de ir dirigidos a la evaluacin del grado de realizacin de losobjetivos programados y la eficiencia de la gestin en sus distintas vertientes (financiera,organizacional y procedimental).2 Formar equipo multidisciplinar es mucho ms que reunir enfoques de diversas disciplinas,requiere dilogo frtil y la capacidad de interpenetrar las diferentes visiones.

1
http://www.aeval.es/http://www.aeval.es/


6/52

investigadora, tcnica o gerencial, es prctica multidisciplinar y socializadora,ya que su verdadera prueba es la utilidad social.3

La evaluacin de las polticas pblicas es desde hace aos una preocupacincentral de los gobiernos de los pases industrializados. Espaa, por su peculiartrayectoria democrtica, se ha incorporado con retraso al campo de laevaluacin4, entendida como valor aadido a tcnicas afines como el control, laauditoria y el seguimiento, que han cosechado, desde hace tiempo, xitosreconocidos en nuestra gestin pblica, pero cuyo punto de vista al examinarla accin poltica persigue finalidades distintas de las que se propone laevaluacin.

La mayor diferencia frente a esas tcnicas de mejora gerencialista, enfocadas,prioritariamente, al control econmico y al cumplimiento normativo, es que laevaluacin, en el actual contexto poltico, aparece ligada a aspectos sociales yde transparencia democrtica, en estrecha relacin con la publicidad de susinformes y la participacin plural de los actores que entran en juego.

La evaluacin no es slo una comprobacin de conformidad de la accinpblica, sino que expresa un juicio de valor sobre el xito de los resultados ylos impactos deseados o no- de las polticas pblicas.

Para llevar a cabo el compromiso adquirido en su programa, el gobiernoespaol nombr una Comisin de expertos que propuso, en sus conclusiones5,las lneas estratgicas para la implantacin de un sistema pblico deevaluacin a travs de la creacin de un ente independiente que lo impulse y lolleve a cabo: La Agencia de Evaluacin de las Polticas Pblicas y la Calidad delos Servicios.

La denominacin dada al ente orienta sobre la doble finalidad evaluadora quese persigue: una primera, vincula la evaluacin a los temas del rea degobierno (teora, diseo, implementacin, resultados e impactos de unapoltica pblica o de su conjunto) y la segunda, se liga a los temas propios delas reas de gestin (la calidad de los servicios pblicos). El primer tipo sesita en el nivel estratgico de la Administracin pblica y el segundo, en elnivel operativo de los que habla el profesor Subirats.6

3 Une valuation lpreuve de son utilit social .Rapport dactivit 2000-2002. Conseil Nationalde lvaluation. France.4 Del mismo retraso se lamentaron otros pases europeos antes que nosotros: Francia, Blgica,Italia, los informes institucionales de esos pases estn plagados de la misma queja.5Puede consultarse el Informe de la Comisin de expertos en la web de la Agencia: www.aeval.es6Subirats, Joan. Podemos utilizar los instrumentos de evaluacin como palanca de gobierno delSector Pblico Subsecretara de la Gestin Pblica. Secretara General de la Gobernacin.Gobierno de la provincia de Buenos Aires, 2004.http:/www.gestionpublica.sg.gba.gov.ar./html/biblioteca/subirats.doc.

2
http://www.aeval.es/http://www.aeval.es/


7/52

El sistema pblico de evaluacin espaol se propone utilizar esta herramientagubernamental con un doble objetivo: optimizar el uso de los recursos pblicosy rendir cuentas a los ciudadanos.

Esto sita el enfoque espaol en el nivel al que alude Eric Monnier 7, cuandodice que, hablando de institucionalizacin de la evaluacin, podemosconsiderar: un nivel bajo, en el que se hallan los pases que interpretan laevaluacin como deber reglamentario, un nivel medio, en el que estaran losque usan la evaluacin como instrumento de management pblico y el nivelms alto, en el que se sitan aquellos pases para los que la evaluacin es unacto poltico y forma parte del debate pblico.

Hacia una utilizacin poltica de la evaluacin

Monnier, 2000

ReglamentariaGerencialista

Poltica

Si la democracia es la conquista de una complejidad social8, eso significa noslo actividad crtica y control del control estatal por los controlados; sino,tambin, impulso de mejora y rendicin de responsabilidades sobre la accin yla inaccin; en ese nivel habr que situar la responsabilidad (accountability)9que reclama la evaluacin. Si la democracia sufre procesos de desgaste,causados por el predominio de decisiones tcnicas, crpticas y opacas paralos ciudadanos; sobre ese punto pretende la evaluacin aportar transparencia.

En un mundo en perpetuo cambio, los poderes pblicos necesitan aprehenderlos problemas complejos, difusos y contradictorios que tratan de resolver suspolticas.10 Esta cuestin exige lgicas comprehensivas frente a los anlisis

7 Monnier, Eric.- De Sville Edimbourgue: Qualit en hausse accountability sans grandchangement , Quatrime Confrence Europenne sur lvaluation des fonds structurels.Edimbourg, 18-19/09/20008 Morin, Edgar.- Podemos reformar la administracin pblica?.IX Congreso Internacional delCLAD sobre la Reforma del Estado y la Administracin Pblica, pg. 3. Madrid. 2-5 Nov, 2004.9 Se prescindir al mximo en este texto de los trminos en ingls por fuerte compromiso connuestra lengua. Nos parece la primera innovacin que podemos aportar a la evaluacin frente a lacolonizacin lingstica.10 OECD (1995), La gestion publique en mutation. Les rformes dans les pays de lOCDE ,Conclusions du Comit de la gestion publique.

3


8/52

atomizados y descontextualizados de los controles administrativostradicionales. Esa bsqueda de un mayor sentido holstico, traducida en unalgica ms integral, es la aspiracin de la evaluacin.

Se mantiene la preocupacin por la mejora gerencial de la AdministracinPblica, sin la que no podra darse este nuevo impulso, pero con unaorientacin diferente a la de los aos 90, que privilegiaba el enfoquetecnocrtico, invocando criterios racionalizadores11para competir en una lgicade mercado. La racionalidad que ahora persigue el Estado pretende recuperarsu idiosincrasia, respondiendo con su propia lgica de interdependencia einterrelacin ante el conjunto de los actores sociales; todo ello, en sintona conel nuevo rol que se exige de un Estado descentralizado y de las reglas delmarco europeo.12

Lo que est en juego en la base de la institucionalizacin de la evaluacin, enlas democracias modernas, es reducir el cuestionamiento de los ciudadanosfrente a las instituciones, recuperar la legitimidad de los gobiernos, la

transparencia de sus acciones, la comprehensin de la accin pblica en la redde interconexiones gubernamentales, as como la revitalizacin del propiosistema democrtico.

El proceso de puesta en marcha en nuestro pas de un sistema pblico deevaluacin se ha visto marcado por el ritmo acelerado que imponen lostiempos, enfrentndonos a un doble aprendizaje: la tradicin pasada y lastendencias actuales dentro del marco de la globalidad.

La conclusin es que algunas cuestiones importantes del pasado no se handesarrollado en todo su potencial, lo veremos en el campo de la evaluabilidad,

ncleo fundamental de este trabajo. Hemos comprobado, tambin, que laevaluacin seala hoy hacia vectores diversos y divergentes con infinidad detendencias13.

El panorama ofrece un campo complejo, con innumerables prcticas muy pocohomogneas, con estratos superpuestos, no siempre distinguibles, quecorresponden a distintos niveles de su evolucin, a diferentes enfoques yfinalidades y con desigual desarrollo en cada pas y en los sectores polticosde intervencin.14 Todo ello se desarrolla, adems, en un intrincado laberintode paradigmas alternativos, unos emergentes y otros dominantes, difcil de

11Sobre la distincin entre racionalidad/ racionalizacin ver Morin, E.- Los siete saberes necesarios

para la educacin del futuro.Ediciones Paidos Ibrica, SA, Barcelona, 2001, pg. 29-31.12El Ministro de Administraciones Pblicas, Jordi Sevilla, defina como cogobernanza el marco deesta interrelacin en el Seminario Un nuevo contrato con la ciudadana, celebrado en el INAP el27 de febrero de 2006.13 Sigue siendo de gran inters el mapa que trazaron Furobo, J-E, Rist, R& Shandahl, R (eds),International atlas of evaluation,New Brunswick & London, Transaction Publishers, 2002.14Para una visin general de los sectores polticos de los que se ocupa la evaluacin en Europa,ver: Volumen III de las Guas Means. Por lo que se refiere a Espaa Juan Andrs Ligero sealaque la mayor parte de las evaluaciones se realizan sobre las llamadas polticas blandas:Ponencia del X Congreso Internacional del CLAD, Santiago de Chile, 18-21 de octubre 2005.

4


9/52

desentraar. Nos enfrentamos con el gran problema de la informacin en lasociedad de la globalizacin: metabolizar.

Valoramos la riqueza que suponen las variadas experiencias del panoramaactual, pero sabemos que ser necesaria una sntesis fructfera que ayude adiferenciar la retrica, el fast-food, la repeticin y la invencin.

A simple vista, tres grandes sectores dominan la industria de la evaluacin ymarcan muchas de sus reglas: el sector de ayuda al desarrollo, en losorganismos internacionales, el de los Fondos Europeos, en la UE 15 y el de laevaluacin interna de cada pas.

Adems de los dos grandes promotores internacionales en evaluacin, eltercer bloque ofrece un abanico de experiencias nacionales que recorre unamplio arco, desde la evaluacin como monitoreo o seguimiento, laevaluacin como herramienta de mejora al servicio del new management,hasta la evaluacin democrtica16, encaminada a dotar de poder a la

colectividad y de la que se habla en Europa, desde luego, pero an con mayorfuerza en las Organizaciones Internacionales y en Amrica latina, porque all loque est en juego no es slo la modernizacin administrativa y la revitalizacindel sistema democrtico, sino su reforzamiento. 17 Cada una de estasorganizaciones tiene puntos de vista muy distintos sobre el tipo de evaluacina utilizar en funcin de sus fines.

Espaa llega con retraso al escenario evaluador, reconozcmoslo, pero con lapretensin de transformar esa desventaja en ventaja, al tener en consideracinlas experiencias precedentes, encajando los objetivos de su quehacer en elcontexto actual: ayuda a la solucin de problemas y toma de decisiones,

responsabilidad democrtica positiva (superando la exclusivamente contable ode cumplimiento normativo), bsqueda de excelencia, construccin deconocimiento y capacitacin, aprendizaje organizacional, planificacinestratgica e impulso del cambio institucional.

Admitimos que nuestro mayor problema puede ser la falta de culturaevaluativa que suponamos ya conquistada por otros pases, aunque, pareceigualarnos el hecho de que un gran nmero de autores informan que, por elmomento, la evaluacin es ms una conquista nominal que una prcticaasentada y que existe un desfase entre la necesidad-bondad que se lereconoce y su implantacin real18. El gran agujero negro de la evaluacin es su

15Si en los aos 60 se habl, en EEUU, de la industria de la evaluacin, bien podramos hablaren la actualidad de la industria evaluadora de las Instituciones Internacionales.16 Segone, M. Evaluacin democrtica. Documento de Trabajo n 3. Oficina Regional paraAmrica Latina y el Caribe. UNICEF. Mayo, 1998.17Segone, M.- obra citada.18 La conclusin se ha extrado de varios autores e instituciones: Jean Claude Thoening, ElGobierno del Futuro, OCDE, Madrid, 2003 pg. 251; Subirats, J.- Podemos utilizar losinstrumentos de evaluacin como palanca de Gobierno del Sector Pblico, pg. 47 ; Perret, B:Lvaluation des politiques publiques.Ed. La Decouverte. Paris, 2002 ; Petit Guide de lvaluationdes politiques publiques ; Steve Jacob & Frderic Varone. : Linstutionnalisation de lvaluation

5


10/52

cultura. UNICEF, en uno de sus documentos recapitulativos, declara que laimplantacin de la evaluacin como cultura es uno de los escollos que msestn frenando su xito19.

Estamos convencidos que la evaluacin apoyar el aprendizaje institucional yalentar la lgica del dilogo y las reglas de transparencia democrtica, perohabr que contar tambin con los obstculos, las resistencias y los frenos queimplican los cambios culturales de mayor calado. Nada puede iluminar ms elfuturo que considerar los escollos con los que nos vamos a encontrar.

Conviene recordar que el desarrollo de la evaluacin es tributario del tipo deEstado en el que surge y de la naturaleza de las elites que tienen laresponsabilidad de ponerla en marcha20. La implantacin de un sistema deevaluacin requiere una fuerte voluntad poltica que la impulse y eso haquedado demostrado en el caso espaol, pero el ritmo del proceso depender,en gran medida, de las motivaciones y resistencias de los diferentes actorespblicos y de la mentalidad administrativa del pas. El problema no es slo el

diseo de instrumentos, sino su aplicacin. Los pases han encontradodiversos cuellos de botella a la hora de implantar sistemas de evaluacin. Sehan detectado resistencias profundas, ms o menos conscientes, ligadas a lavoluntad de preservar zonas de opacidad en la accin pblica, que losfuncionarios perciben como un grado de autonoma21que se resisten a perder.El cambio de cultura administrativa que supone esta medida modernizadoradeber ser una de las estrategias a considerar para comprender lasconsideraciones sobre el fracaso o xito del sistema, porque, si hay barreras ala evaluacin no son tanto tcnicas o profesionales, sino culturales.

Una precisin ms, la mayor parte de las experiencias evaluadoras de todo

ese panorama complejo estn enfocadas a la evaluacin de programas ymucho menos a las polticas pblicas22ya sean sectoriales o en su conjunto-por lo que, existiendo infinidad de prcticas a nuestra disposicin, son menoslas que nos servirn como modelo respecto a la finalidad que persigue el msalto nivel que se ha trazado la Agencia: la evaluacin de las polticas pblicas.

Otra consideracin que no podemos obviar es que el entorno dominanteeuropeo en particular la UE- acta bajo la influencia de los pases detradicin anglosajona, que han orientado sus intervenciones sobre el binomio:evaluacin de programas y evaluacin de fondos europeos, lo que equivale aevaluacin de resultados y evaluacin al servicio del management23,bordeando, a menudo, ms el control y la auditoria que la verdadera

des politiques publiques : expriences trangres et scnarios pour la Belgique (France, Suisse etHollande) , 2002. Informe de UNICEF cit. Furobo, Rist y otros, obra citada.19Segone, M.- Obra citada.20Segone, M. Obra citada.21 Petit guide de lvaluation des politiques publiques. Commisariat General du Plan. LaDocumentatin franaise. Paris, 199622Excepcin del caso francs. Perret, Bernard, obra citada.23Volumen I.Guas Means.

6


11/52

evaluacin24 en su dimensin poltica, cultural, transformadora y deaprendizaje organizativo .25 Algunas voces se han alzado ya sobre laburocratizacin de la evaluacin de los Fondos europeos y la ambigedad enmateria de evaluacin26, auque nadie niegue el avance que supone su control.La pregunta que cabra hacerse, al igual que otros pases del entorno, escmo encontrar el propio sello nacional en evaluacin dentro de los marcosque impone la UE?27 se es un desafo que est por ver.

El recorrido anterior trata de poner en evidencia, sucintamente, lasconsideraciones que hemos tenido en cuenta en nuestro proyecto. Nosincorporamos tarde, pero con plena consciencia del escenario en el quetendremos que desarrollar nuestra labor. Hemos de suponer que responder,fundamentalmente, a dos grandes demandas: una interna, la del Gobierno dela nacin, con las expectativas puestas en comprobar la contribucin a lamodernizacin del sistema pblico de evaluacin; la otra externa, impulsadapor los mandatos de la UE, con reglas de juego y finalidades ms enconsonancia con el nivel gestor que con el poltico. Caben otras demandas

distintas a las anteriores que dependern del buen hacer y el prestigio que segane la Agencia.

A lo largo de nuestro intenso recorrido, hemos contado con los estudios de losacadmicos, intelectuales y expertos que nos precedieron y a los quereconocemos sus aportaciones, en especial, el rigor y la sistematizacincientfica con la que han nutrido la pragmtica visin gerencialista.

Trataremos de mantener, con la mayor sensatez, el equilibrio entreconsideraciones epistemolgicas y pragmticas dada la realidad administrativaen que nos movemos, por la sencilla razn de que, cuanto ms afianzada y

reconocida est una prctica ms fuerte es su teora.

28

Esta disciplina puedepresumir de que los tericos ms autorizados han sido, a la vez, excelentesprcticos.

Paralelamente al desarrollo del proyecto de creacin de la Agencia deEvaluacin se vinieron formando los primeros equipos multidisciplinares, quetrabajaron en una doble lnea: en el campo terico, clarificando conceptos yrevisando metodologa y participando, en paralelo, en unas primeras prcticas

24 Estaramos ante lo que Sttufebleam califica de cuasi-evaluaciones..Stufflebeam, D. L &Shinkfield, A.J..- Evaluacin sistemtica. Gua terica y prctica.Temas de Educacin. EdicionesPaids Ibrica, Barcelona,1987.25No es una crtica exenta de lo positivo que resulta el impulso evaluador de la UE, slo trata dellamar la atencin sobre un patrocinio que retrotrae la evaluacin al nivel gestor del control decuentas ms que a esa otra dimensin ms amplia de accountability o responsabilidad poltica.26Monnier, Degeorges, O y Spenleahauer, V. Lvaluation comme outil de lgitimation : le cas desgrandes organisations internationales. Poltiques et Management public, dcembre 1990, vol. 8,n4. Los autores comparan las prcticas de la Unin Europea, la ONU y el Banco Mundial.27Jourdain, Laurence. Lvaluation des politiques communautaires: lgitimation et apprentissagesnationaux .28Sartori, G. La poltica. Lgica y Mtodos en las Ciencias Sociales. Fondo de Cultura Econmica,Mexico, 1984.

7


12/52

evaluadoras: el Programa Nacional de Reformas de Espaa, tareas asignadasal pequeo embrin que formara la futura Agencia de evaluacin. 29

A la vista de las primeras prcticas se plante la necesidad de indagar en elarsenal que ofrece la evaluacin en su equipamiento instrumental: enfoques,tipologas, metodologas, tcnicas. Indagar supuso repensar lo que podrasernos til, manteniendo como foco de nuestra accin los cinco ejes quedeberan orientar cualquier accin sensata: qu, cmo, con qu, para qu ypara quien evaluar.

El qu, sera el objeto particular de cada encargo; el cmo, se adaptara alproceder ms riguroso segn el campo de estudio; con qu, aplicara en cadacaso las tcnicas adecuadas a la metodologa elegida y al enfoque queconcebimos pluralista en la medida de lo posible y participativo cuando elobjeto de estudio lo requiera- para qu, cumplira con una doble finalidad,transformar la gestin, sirvindose de instrumentos de mejora, y transformarla vida democrtica, aportando a la sociedad responsabilidad y transparencia

de las acciones pblicas; para quin, sin lugar a dudas, para la ciudadana.

Bajo esos presupuestos, se fue perfilando el ncleo de este estudio, a caballoentre las dos funcionesque la Comisin de expertos seala como propias dela Agencia: la primera, ligada al impulso de la cultura de evaluacin en elsector pblico y la segunda, vinculada al establecimiento de directrices,indicadores y metodologas. Esperemos que el presente trabajo contribuyahumildemente a uno y otro cometido.

Partimos de la base de buscar instrumentos y estudios acordes al mbito de laevaluacin de las polticas pblicas y, en especial, para su nivel estratgico,

esa complejidad de acciones de gran envergadura que requera una orientacindistinta de la evaluacin de programas y que est ms necesitada deherramientas, metodologa y prctica especfica. En tiempos de incertidumbrey vertiginosos cambios, la gestin pblica se desarrolla en terrenos muycomplejos, donde los problemas dejan de ser procedimentales para trasladarseal mbito de los objetivos y de las estrategias, estableciendo prioridades yproporcionando las mejores vas para alcanzarlas. 30

La dimensin de algunas polticas (educacin, salud, empleo) podra hacerdeseable institucionalizar procedimientos sistemticos de evaluacin ensectores clave en los que el coste de recopilacin de datos es elevado y lasinformaciones limitadas. Pero, an considerando el valor de los largos

proyectos evaluativos, se siente cada vez ms la necesidad de obtenerevaluaciones ms rpidas y eficaces en cuanto a resultados, para impedir que

29 Programa Nacional de Reformas (PRN). Los equipos pioneros de puesta en marcha de laAgencia dependan, en origen, de la Direccin General de Inspeccin, Evaluacin y Calidad de losSevicios del Ministerio de Administraciones Pblicas.30Sobre los nuevos modelos de gestin ver: Gom, R y Brugu Q, R. Nuevos modelos de gestiny organizacin pblica. Autonomies. Revista Catalana de Derecho Pblico. Generalitat deCatalunya, n18. separata, julio 1994.

8


13/52

se transformen en formalidades burocrticas que proporcionen resultadosdemasiado tardos.

1. LA EVALUABILIDAD COMO INSTRUMENTO DE LA GESTIN

Reflexionando sobre la necesidad de acortar tiempos en la evaluacin yoptimizar sus resultados, hallamos una tipologa muy valorada por la mayorparte de los enfoques, pero que no siempre se ha aprovechado en su mximopotencial. En general, se ha visto confinada al nivel de la gestin deprogramas, cuando presenta excepcionales ventajas para su aplicacin en elmbito de la evaluacin de polticas pblicas y de fortalecimiento de unacultura evaluadora, cuestin que tratar de probar este trabajo. Algunosautores denominan pre-evaluacin o evaluacin previa a una tipologaencaminada a diagnosticar y decidir si es conveniente o no realizar unaevaluacin de ms amplio alcance. La idea es simple, pero aplicada con rigorgarantiza un alto grado de utilizacin y aprendizaje, legitimando la decisin deevaluar.

La ventaja de poder contar con una tipologa de naturaleza prescriptiva antesde entrar en mayores complejidades se present como una de lascontribuciones de mayor sentido comn para optimizar la decisin misma deevaluar. De igual manera que en Medicina a nadie se le ocurrira operar sin undiagnstico previo, en el campo de la evaluacin nos parece recomendableempezar por diagnosticar antes de lanzarse a complejas experienciasevaluativas de mayor calado. Por qu este proceder no se ha convertido en lohabitual a pesar de que los organismos internacionales no dejen derecomendarlo? Algunas sugerencias se aportarn al final del trabajo.

Pronto descubrimos que estaba a nuestra disposicin un instrumentoprivilegiado para el diagnstico en evaluacin que fue mostrndose como unaherramienta cada vez ms ventajosa para las evaluaciones de polticaspblicas y, por ello, nos propusimos desarrollarla al mximo.

La primera conclusin es que an siendo valiosa la herramienta se hallabaencallada en la concepcin gerencialista estadounidense de los aos 70,sirviendo slo al nivel operativo de la gestin y no al estratgico y menos anal gubernamental. Vislumbramos la posibilidad de reactualizar esta tipologade la misma forma que se haba reactualizado la evaluacin en su conjunto a lolargo de los aos, hablamos de la evaluacin de evaluabilidad:

La evaluacin de evaluabilidad 31es una tipologa previa que trata de aportarun juicio de valor32para llevar a cabo una evaluacin de mayor envergadura.

31Una imprecisin terminolgica reductora y nada beneficiosa tanto para la evaluacin en generalcomo para la evaluabilidad en particular, es la utilizacin de anlisis y evaluacin como sinnimosy de anlisis de evaluabilidad por evaluacin de evaluabilidad.Convendra distinguir entre el lenguaje comn y el que requiere la evaluacin como disciplina yespecializacin, diferenciando bien entre anlisis y evaluacin. La evaluacin comprende diversosanlisis, pero va ms all de stos al emitir un juicio de valor que los engloba. Mientras que el

9


14/52

Algunos autores, como Vedung, hablan de la evaluabilidad como de unaobertura, aplicada antes de decidir un proceso evaluador de ms hondocalado.

Esquema de intervencin de una Evaluacin de Evaluabilidad

1 Merece la pena evaluar?

Previamente

2 Con qu instrumento?

Idea de EVALUAR

PROGRAMA DE GRANEVERGADURA

POLTICA

Informe deevaluabilidad

- Propuesta detipologaconvenienteEv. de resultadosEv de impactosEv. coste-beneficios

Evaluacin deEvaluabilidad Legitima la toma de

decisin

Garantiza el modo deproceder

Proporcionaasesoramiento

1.1. El objetivo de la evaluabilidad

Si las evaluaciones tienen por objeto mejorar la informacin y reducir lasincertidumbres de la toma de decisin, la evaluabilidad va dirigida a mejorar yreducir la incertidumbre sobre la decisin misma de evaluar.

El objetivo de la evaluabilidad es mejorar la toma de decisiones, asegurar labuena adjudicacin de recursos y rendir cuenta sobre la decisin de evaluar. La

anlisis disecciona las partes para examinarlas en unidades fragmentadas, el propsito de laevaluacin es recomponer y aglutinar los resultados del anlisis para dar sentido y significado alconjunto.32Sin juicio de valor no podemos hablar exactamente de evaluacin. El juicio de valor es la esenciamedular de su valor aadido. para aprender, es preciso que se formulen juicios. (J.C Thoening,La evaluacin, fuente de conocimientos aplicables a las reformas de la gestin pblica . MAP,2003, pg. 257)

10


15/52

evaluabilidad debe entenderse como un pre-requisito de un proceso evaluativode ms profundo y largo alcance.

1.2. Las preguntas eje de la evaluabilidad

Como toda evaluacin, la de evaluabilidad se impulsa a travs de una unidadbsica: la pregunta. El eje principal sobre el que pivota la evaluacin deevaluabilidad engloba dos preguntas concatenadas: merece la pena evaluar?Y en caso afirmativo, con qu instrumento conviene hacerlo?, es decir, qutipologa sera la conveniente?

La primera cuestin tratar de descubrir qu cosa era en su origen unprograma o poltica pblica y en qu se ha convertido tras la implementacin.Tratar de descubrir cules eran los objetivos perseguidos, cmo se alcanzanen la actualidad, cules son los medios utilizados y su uso y,fundamentalmente, cul es la teora de la poltica o programa.

La segunda cuestin trata de decidir cmo se podra analizar el programa opoltica, cmo medirlo y cul sera el diseo ms apropiado para evaluarlo.

1.3. La evolucin de la evaluabilidad. Orgenes y enfoques

El concepto evaluability assessment fue introducido en los aos 70 por J.Wholey que ser el autor que ms aportaciones har sobre el tema hastanuestros das. Junto a l hay que sealar a sus seguidores: Horst, Nay, Scalon,Rutman.

En su origen, la evaluabilidad se orient al estudio de programas de granenvergadura, tratando de determinar si eran evaluables.

La evaluacin de evaluabilidad es un medio que nos sirve para asegurar usosms prudentes con los escasos medios humanos y materiales disponibles (ascomo) para ayudar con este tipo de pre-evaluacin a conseguir evaluacionestcnicamente ms factibles que logren sus objetivos con mayorprobabilidad.(Rutman, 1980)

A partir de esta definicin y otras afines concebimos la tesis de este trabajoque tratar de evidenciar que su mayor potencial est en el campo de laevaluacin de las polticas pblicas.

Entre los sinnimos de evaluabilidad podran considerarse: viabilidad yfactibilidad, aunque la evaluabilidad, como veremos, es mucho ms.

Pero, por qu surge la evaluacin de evaluabilidad? a qu necesidadresponde?

11


16/52

Wholey afirma que ms del 50% de las intervenciones no sonevaluables y seala las causas:

1. Problemas del propio programa (o polticas)2. Problemas de los administradores que los han implementado.3. Inadecuacin entre el coste, los recursos y el tiempo respecto a loque se quiere conseguir.

La raznde ser de la evaluabilidad es que la evaluacin es costosa, requiereesfuerzos, energas y recursos, el evaluador ha de procurar que sea eficaz y loms til posible, por lo que la evaluabilidad se plantea como garanta de ladecisin a tomar.

Una granventajade la evaluabilidad es el tiempo que emplea, entre tres yseis meses, segn los autores, dependiendo de la envergadura del encargo.

En el origen, su utilidad iba dirigida a los gestores y administradores deprogramas, estableciendo las bases de su enfoque criterios tcnicos yfuncionales, hoy aadiramos tambin, legitimadores.

Antes de continuar, conviene advertir que no se debe confundir laevaluabilidad con otras evaluaciones pre-interventivas a un programa opoltica pblica, en cuyo caso estaramos hablando de evaluacin denecesidadesaplicable en la fase de planificacin.

La evaluabilidad es una evaluacin previa a otra evaluacin y no previaa una poltica o programa que se pretende implementar. La

evaluabilidad diagnostica sobre programas o polticas yaimplementados. Se trata de una post-intervencin y se considera idneacuando se va a requerir demasiado tiempo, esfuerzo y recursos,especialmente, antes de realizar una evaluacin de impactos o de coste-beneficio o cuando hay demasiadas dudas sobre lo que se va a obtener.

1.4. La evaluabilidad: Ms all de verificar si el programa o polticaes evaluable

Wohely expres con una definicin sinttica y polmica su concepto deevaluabilidad: evaluabilidad es la comprobacin de que un programa esevaluable. Esto result para algunos autores excesivamente ingenuo y

ocasion interpretaciones limitadas sobre sus posibilidades :

Todos los programas son evaluables y si faltasen objetivos claros en la Teoradel programa, el evaluador debera tratar de reconstruirlos (Chelimsky, 1998)

La autora, en parte, tiene razn. Es verdad que el evaluador debe ser flexiblerespecto a los objetivos, si fuera muy exigente, la mayor parte de las veces, nose realizara la evaluacin. Pero, tal vez, Chelimsky fue excesivamente literal

12


17/52

interpretando la posicin de Wholey que, ms all de definiciones minimalistas,pretenda poner al descubierto las reas problemticas que maximizaban lainoperancia de los programas: 1) falta de definicin; 2) falta de base tericadel programa; 3) falta de claridad de los propsitos de la evaluacin; y 4)falta de claridad en las prioridades de la evaluacin.

En un buen nmero de evaluaciones no est claro lo que se pretende obtener,de ah que Wholey plantee que la evaluabilidad es una oportunidad paraimplicar a las partes en un esfuerzo de imaginacin sobre cual podra ser una

teora del programa que identificara los recursos (...), las actividades yresultados esperados y (especficos) y la cadena de relaciones que ligan todoello a los objetivos ltimos.

Como lo habitual es encontrarse a menudo en ausencia de tal teora, el autorconsidera que es necesario: ...implicar a los polticos claves, a los directivos,al staff para desarrollar y clarificar la teora del programa, para intentarponerla a punto, para decidir sobre los cambios en la actividad y en los

objetivos del programa que puedan aumentar el rendimiento y para decidir laprioridad de la evaluacin y los usos esperados de la informacin que sta seplantea (Wholey, 1987-46).

Con el tiempo, los objetivos de los programas, como dice Stern (1996), se hanido haciendo cada vez ms intangibles y esto ha planteado cada vez msproblemas a los evaluadores. Es cierto que estos tiene que clarificar, amenudo, parte de los objetivos, -Patton considera que el evaluador debe seractivo, reactivo, adaptativo, y aadiramos, creativo-, pero no seraconveniente que acabara reconstruyendo por completo los objetivos comosugiere Chelimsky, ya que, en tal caso, acabara suplantando al planificador,

cuestin siempre sensible que a tantos preocupa. Un equilibrio entre unaposicin y otra parece lo ms acertado.

En todo caso, la polmica entre Wholey y Chelimsky introdujo nuevos criteriosde evaluabilidad, conceptuales y polticos, que enriquecieron el tema y que haninspirado esta reflexin.

Wholey ya haba salido al paso de las crticas en 1994, justificando conmayores argumentos sus planteamientos: La evaluacin de evaluabilidad nomuestra slo si un programa puede ser significativamente evaluado(admitiendo que todos los programas pueden serlo) , sino que contribuye aclarificar si la evaluacin aportar mejoras sobre el rendimiento del programa.

Y concluye aos ms tarde: La evaluabilidad no debera considerarse unconjunto rgido de pasos procedimentales, sino como un determinado espritu yun determinado mtodo encaminados a una gestin orientada a los resultadosa travs de los siguientes criterios:

13


18/52

1.- Involucrar a los destinatarios usuarios de la informacin2.- Clarificar los destinatarios del programa desde la perspectiva de losdirectores de las polticas y administradores del programa, considerando, a lavez, a los involucrados en el servicio ofrecido y a otros actores implicados3.- Explorar la realidad del programa, incluyendo lo factible y mensurable desus objetivos4.- Lograr poner en relacin las necesidades de cambios identificadas en elprograma con las actividades y los objetivos.5.-Explorar diseos alternativos de evaluacin.6.-Acordar prioridades de evaluacin y usos destinados de informacin sobrelos rendimientos del programa

(Wholey 2004)

Volviendo a la ltima definicin retendremos algunas de las caractersticas dela evaluabilidad: un determinado espritu, un proceder metodolgico,pero no rgido33 y una finalidad orientada a los resultados y la gestin.

Nos quedaremos, por lo que a este trabajo conviene con las dos primerascaractersticas inspiradoras y prescindiremos del exclusivo enfoquegerencialista que es lo que nos proponemos transcender. Tendremos encuenta, tambin, el planteamiento poltico sobre evaluabilidad que introduceChelimsky que nos parece de gran inters para la tesis que defendemos.

La evaluacin de evaluabilidad introducida en los 70 se fue perfeccionando porWholey y sus seguidores y acab introducindose en las InstitucionesInternacionales y en algunos pases, especialmente, en los organismosfederales y estatales de Canad (Rutman, 1977, 1980, Smith, 1989),

abarcando los ms complejos programas.34

. No obstante, la evaluabilidad nolleg nunca a implantarse de manera generalizada como veremos en laspginas siguientes.

Pero, quiz, la mayor diferencia de la evaluabilidad con otras tipologas deevaluacin sea ese espritu que apunta Wholey, que podramos enlazar conla metfora de Vedung (1996), que considera la evaluabilidad como una seriesucesiva de pinceladas impresionistas de recopilacin de datos, que se lleva acabo para averiguar qu aspectos del programa (o poltica)35 deberanconsiderarse en una evaluacin a gran escala. Ese espritu, esa pintura defactura suelta, se refiere a que hay que investigar con seriedad, s, pero slolo esencial, y en el menor tiempo posible, convirtiendo la evaluabilidad en unarte que nos permita obtener una visin de conjunto sobre la estrategia a

33Es interesante la referencia de Wholey al diseo flexible frente a los diseos rgidos propios dela concepcin experimentalista y positivista. Aunque, el autor apunta ms hacia la corrientepostpositivista que a la ruptura radical que plantean los constructivistas.34 En la pgina Web de la Agencia Canadiense de Desarrollo Internacional LACDI: www.acdei-cida.gc.ca/index.htm, 25 abril 2006, pudimos consultar un caso de evaluabilidad aplicado a unprograma de torturas.35El parntesis es nuestro.

14
http://www.acdei-cida.gc.ca/index.htmhttp://www.acdei-cida.gc.ca/index.htmhttp://www.acdei-cida.gc.ca/index.htmhttp://www.acdei-cida.gc.ca/index.htm


19/52

seguir. Quiz sea esta la caracterstica ms moderna de la evaluabilidad en untiempo en el que el mayor reproche a la evaluacin es el largo tiempo quelleva.

El propio Vedung seala donde poner el foco: en el anlisis del programay en el anlisis de viabilidad, en el que incluye razones metodolgicas,polticas y sociales; cuestin que vuelve a ampliar el campo del estudio de laevaluabilidad.

En la dialctica de su propio devenir, la evaluacin de evaluabilidad fueenriquecindose, con criterios como la identificacin clara de stakeholdersy supapel en el proceso de evaluabilidad, la prospeccin sobre unidades medibles,y lo que es un paso ms, la aportacin de alternativas y la estrategia sobre losusos de la informacin.

Otros autores, reelaboraron los planteamientos de Wholey con finespragmticos Muscatello (1988)36. Con el finde ayudar al evaluador en la

verificacin de tareas, elabor un listado de cuestiones, a modo de agenda detrabajo, en el que recoge los criterios esenciales de los que se ocupa laevaluabilidad: tiempo de evaluacin, costes materiales, costes de personal,obstculos de la evaluacin, propsitos del programa, definicin de objetivos,implantacin, posibilidades de utilizar medidas vlidas y fiables, potencialescaractersticas administrativas, polticas y legales.

La experiencia muestra que las evaluaciones son costosas y demasiado largasen relacin al uso que se hace de sus resultados. Las ventajas de laevaluabilidad deberan aportar informacin sobre los costes de la evaluacin arealizar y sus limitaciones, ponderando si lo que se obtiene merece lo que se

emplea.Como vemos, la sencilla definicin sobre evaluabilidad se fue cargando deuna acumulacin de pruebas, estudios y datos que le han dado, cada vez ms,

justificacin y profundidad.

Como peculiaridades de estudio, la evaluabilidad se ocupa de la teora delprograma o polticas, de su coherencia, claridad de objetivos, de losindicadores esencialesy de la seleccin las actividades de la poltica oprogramaque seran ms significativas a la hora de evaluar.

A estas alturas estamos en disposicin de resumir algunas de las

caractersticas esenciales de la evaluacin de evaluabilidad deprogramas:

36 Muscatello, L (1988) Developing an Agenda that Works. En J.A. McLaughlin et al. (eds)Evaluation Utilization. New Directions for Program Evaluation.San Francisco: Jossey Bass.

15


20/52

CARACTERSTICAS DE LA EVALUABILIDAD

Saca la luz la calidad de la conceptualizacin del programa en la fase deplanificacin, analizando su diseo, necesidades y objetivos.

Cuanto mayor rigor haya observado el diseador del programa en la fase deplanificacin ms fcil ser comprobar su evaluabilidad.

Responde a una lgica sistemtica de abajo arriba, que ir reconstruyendoun proceso desde las acciones concretas del programa y sus resultados hasta sufundamento y objetivos especficos.

Verifica la existenciay la accesibilidad a la informacin necesaria, en calidad ycantidad, que permitira llevar a cabo la evaluacin. Si no hay datos suficientes olos que hay no resultan relevantes la evaluabilidad desaconsejar la evaluacin.

Informa sobre la implicacin y disposicin del entorno gestor y responsablefrente a la posible evaluacin, constatando sus resistencias o colaboracin. Endefinitiva, uno de los objetivos perseguidos con el anlisis de evaluabilidad es crearun clima favorable, de cooperacin e interaccin entre evaluados y evaluadorespara facilitar la evaluacin.

Anali za la dotacin de recursos con los que se cuenta para la evaluacin.

Todo esto aporta gran validez a la evaluabilidad como herramienta de

diagnstico y planificacin, la limitacin seguira estando en concebirla slodentro de los lmites de la gestin de programas37, pues su mayor valor espoltico, al reforzar la decisin de movilizar recursos para evaluar y alresponder de ello.

Respecto aljuicio de valor,Palumbo (1987)38dice que las distintas fases delciclo de intervencin se nutren de informacin procedente de distintos tipos deevaluacin y de cada una de ellas se derivan diversos juicios valorativos. Laevaluabilidad emite un juicio que es la suma de varios anlisis.

37 Esto es debido a que el campo evaluativo de los Organismos internacionales se ocupaesencialmente de proyectos y programas ms que de polticas pblicas.38 Palumbo. Il proceso di valutazione. Decidere, programmare, valutare. Franco Angeli. Milano,2001.

16


21/52

EL JUICIO DE VALOR EN LA EVALUACIN DE EVALUABILIDAD

TIPOS DE EVALUACIN JUICIOS EVALUABILIDAD

EVALUACIN PERTINENCIA

NECESIDADES

ANLISIS DE OBJETIVOSSUFICIENCIA

ANLISIS DEL PROGRAMA

ANLISIS DE LAIMPLANTACIN

PROGRESOEVALUACINDE PROCESO

___________________ _____________________ ___________________

EVALUACIN DE EFECTIVIDADRESULTADOS EFICACIA

EFICIENCIA

EVALUACIN DEIMPACTOS IMPACTOS:

ESPERADOSINESPERADOS

Suma de todoslos anlisis.

Alternativas yPropuesta

La evaluabilidad ha acabado por convertirse en un criterio central de la

evaluacin actual y, al menos nominalmente, la encontramos en todas lasinstituciones internacionales.

1.5. La evaluabilidad en la actualidad: estado de la cuestin

Hoy da, la evaluabilidad se encuentra recogida en todas las institucionesinternacionales con recomendaciones especiales sobre su uso. Lejos deconsiderarla un mero instrumento de gestin para comprobar si el programaes evaluable, se han introducido nuevos criterios que apuntan finalidades enconsonancia con el nivel poltico de la nueva gobernanza. Naciones Unidas lapropone como diagnstico que verifique la independencia en el procesoevaluador y el BID la incluye como instrumento estratgico en los retos del

Nuevo Milenio para fomentar la transparencia y la rendicin de cuentas de losgobiernos.

Al igual que la evaluacin en su conjunto, la evaluabilidad responde en laactualidad a una necesidad de racionalidad y tambin de transparencia, qupuede ser ms responsable para un decisor pblico que conocer lasconsecuencias de su accin a fin de asumir plenamente las consecuencias quese deriven de ella?

17


22/52

Recogemos a continuacin algunas de las definiciones de evaluabilidad de lasInstituciones con mayor peso en el campo internacional.

Naciones Unidas Normas de Evaluacin. Punto 7. N7- Evaluabilidad

Antes de emprender una evaluacin de envergadura que requiera una inversinsignificativa de recursos, puede ser til llevar a cabo un ejercicio de evaluabilidad.ste consistira en verificar si existe claridad en la intencionalidad de laintervencin que ser evaluada, indicadores mensurables suficientes, fuentes deinformacin evaluables y fiables y ningn factor significativo que interfiera con unproceso de evaluacin imparcial.

(Normas de evaluacin en el sistema de las Naciones Unidas, abril, 2005)

BID: Objetivos de Desarrollo del Milenio:En materia de desarrollo, el nfasis renovado sobre la efectividad de programaslleva al BID a aumentar los retos en cuanto a sistemas de evaluacin y partesinteresadas, especialmente, en lo que concierne a la mejora de la evaluabilidad ydiagnstico de eficacia de los programas financiados por el Banco a fin depromover la transparencia y la rendicin de cuentas.

UNICEFSita la evaluabilidad a la cabeza de los procesos de institucionalizacin de laevaluacin.

UNICEF

Determinacin de laevaluabilidad

Anlisis del proceso institucionalde toma de decisiones y deusuarios de la evaluacin

Creacin de la capacidad para diseare implementar la evaluacin.

Planificacin de la evaluacinIdentificacin del proceso

Recopilacin y proceso de datos

Anlisis de la informaciny preparacin de informe

Divulgacin y utilizacin deresultados yrecomendaciones

Institucionalizacin del procesoy de la prctica de evaluacin

18


23/52


24/52

1.6. La evaluacin de evaluabilidad en Espaa. Metodologas

Entre los estudiosos espaoles que se han ocupado del tema de laevaluabilidad, destaca, en primer lugar, el profesor Alvira que le dedica, ya enla dcada de los 90, un apartado especial en sus Cuadernos deMetodologa(1991). Sigue a Wholey y a la corriente gerencialista americana ysustenta su trabajo metodolgico en los tres modelos de los que hablaRutman. El primero, trata de reconstruir la teora del programa; el segundo,proporciona datos sobre actores implicados, finalidad pretendida, actitudesfrente a la evaluacin, resistencias y obstculos, adems de otros sobre laobservacin in situde las actividades del programa; y el tercero, tras analizarlas alternativas y el ajuste posible propone las conclusiones sobre elmodelo aplicar.

Los Modelos

Anlisis terico Anlisis terico y emprico

Mod. RetricoMod. Evaluable

Mod. A evaluar

+

1AnlisisConceptual y

Anlisis deNecesidades

Lo que

esposible

2AnlisisActividadesIntervencin

3

Propuesta

Evaluacin

El planteamiento metodolgico de Alvira ha inspirado el presente trabajo.Dejando al margen, con ser de inters, enfoques positivistas o constructivistas,sostenemos que, en cuanto a metodologa, el trabajo de Alvira, con laelaboracin de los tres mapas de informacin: 1) sobre teora del programa, 2)sobre la recogida de informacin in situ, 3) el estudio de alternativas y toma

de decisin, proporciona rigor y sistematicidad para no hacer de la diagnosisde evaluabilidad un juicio aproximativo o intuido, garantizando con el modode proceder el mayor grado de racionalidad respecto a dicho juicio.

20


25/52

Otras Propuestas metodolgicas.

Otros autores espaoles se han ocupado del tema, como Roco Fernndez-Ballesteros39, que entiende por evaluabilidad: La factibilidad de la evaluacinde un programa y la facilidad con la que tal evaluacin podra ser llevada acabo, con el fin de llegar a determinar la magnitud del esfuerzo y el coste quesupondr la evaluacin.

Dicha autora propone un Listado de cuestiones relevantes en evaluacin deprogramas (LCREP) que considera de inters seguir antes de comenzar unproceso de evaluacin. La herramienta, presentada como Cuaderno deinstrucciones, en la lnea de Muscatello, trata de juzgar la evaluabilidad delprograma en base a la calidad del proceso de planificacin e implantacin, ascomo las barreras que puede encontrar el evaluador al realizar su trabajo.

Consideramos valiosa la herramienta que ofrece esta autora a la que, adems,

ha otorgado una serie de indicadores para demostrar sus propiedadespsicomtricas. Ahora bien, se echa en falta un mtodo global del proceso deevaluabilidad que supone ir ms all de aplicar el listado de cuestiones. Hayotra serie de problemas, tanto previas como posteriores a la recogida de esosdatos, que no se recogen en su propuesta, desde el propio diseo de laevaluabilidad, al tratamiento de mapas comparativos y las alternativasposibles, esenciales para completar y avalar el informe de evaluabilidad, a finde que aporten valor aadido y sustente el juicio de valor con la propuestatcnica a aplicar.

Concebimos el diseo de la evaluabilidad como un diseo flexible pero slido.

Siguiendo el consejo de la Comisin de expertos habremos de huir desofisticadas y complejas metodologas40, pero sin que eso quiera decir quedebamos prescindir de la calidad metodolgica que requiere cualquierevaluacin para garantizar su credibilidad y su uso. Se considera que el modelode las check- lists debilita hasta cierto punto la concepcin global del diseode evaluabilidad.

En este supuesto, por imperativos de costes y tiempos, no cabe la utilizacinde mtodos complejos o experimentales: es preferible medir lo correcto deforma aproximada que lo errneo de forma precisa41 pero tendremos queencontrar un equilibrio entre las consideraciones pragmticas yepistemolgicas.

Una buena preparacin de las evaluaciones es una de las condiciones mayoresde su xito, y la evaluabilidad no es una excepcin. La planificacin cuidadosa

39 Fernndez-Ballesteros, R.- Evaluacin de Programas. Una gua prctica en mbitos sociales,educativos y de salud.Ed. Sntesis S.A, Madrid, 1996.40 Informe de la Comisin para el estudio y creacin de la Agencia Estatal de Evaluacin de laCalidad de los Servicios y de las Polticas Pblicas, INAP, abril, 2005, pag.80.41Informe de la Comisin, obra citada, pgina 80

21


26/52

de la evaluacin contribuye a un mayor xito en su implementacin y a lacalidad de sus resultados. Facilita adems la revisin de su calidad(metaevalucin). Desde esta perspectiva, la evaluabilidad no slo es unaherramienta de diagnstico, sino avance de la planificacin que la evaluacinen profundidad podra llevar a cabo. Si ese trabajo previo lo hacemos bien, laevaluabilidad se convertir en un avance para la evaluacin posterior.

1.7. Cmo entender hoy la evaluabilidad?

Los procesos de cambio de la propia evaluacin, la fuerza que estn cobrandolos contexto, los actores implicados, los fracasos de ciertos experimentos y lanecesidad de que la evaluacin ayude al nivel ms alto y complejo de accinpblica nos lleva a plantear que la evaluabilidad se debe entender hoy en dosniveles: el operativo, de la gestin de programas y el estratgico, de laevaluacin de polticas pblicas.

El coste que supone toda evaluacin, cobra mayor sentido, si cabe, en laspolticas ms complejas, pues su gran entramado puede disparar los recursosnecesarios para llevar a cabo una evaluacin.

En conclusin, la tesis que aqu se defiende es que la evaluabilidad siguesiendo vlida desde la visin de aplicacin a programas: comprobacin defactibilidad y utilidad de procesos de evaluacin; valoracin de las premisas ycoherencia de la teora del programa, y estudio de las sus caractersticas msdestacadas que permitan diagnosticar la mejor forma de evaluarlo. Pero sumayor inters reside en su aplicacin a las polticas pblicas como trataremosde argumentar.

1.8. La razn de ser de la evaluabilidad: no todo es evaluable

Antes de ofrecer al lector las conclusiones de este trabajo, merece la penaexaminar un artculo de reciente aparicin del Presidente de la SociedadEuropea de Evaluacin que trata sobre el tema que nos ocupa.42Lo hacemos,de una parte, para no sustraer planteamientos contrarios a los que aqu sesostienen y de otra, porque consideramos de inters mostrar las distintascorrientes evaluadoras a travs de un debate constructivo.

El artculo del sr. Dhaler-Larsen plantea como tesis fundamental que en

evaluacin se ha pasado de una poca, que denomina estimacin de laevaluabilidad a otra que califica de cultura de la evaluacin. Parte, adems,de una pregunta medular: Debemos evaluarlo todo?, que remite a lapregunta origen de la evaluabilidad. El artculo ofrece tambin algunas ideas

42 Peter Dahler-Larsen. Debemos evaluar todo? O de la estimacin de la evaluabilidad a lacultura de la evaluacin.ICE. Evaluacin de Polticas Pblicas. Mayo-Junio, 2007. N 836

22


27/52

sugerentes sobre aspectos de la evaluacin en general, que se han dejado almargen para centrarnos en el tema que nos ocupa.

El sr. Dhaler-Larsen considera que vivimos en la era de la evaluacin,cuestin que, desde una realidad como la espaola, vislumbramos con elentusiasmo declarado al inicio, pero templado con moderacin.

Tal vez, en algunos pases, la evaluacin ha alcanzado esa edad de madurezde la que vienen hablando algunos,43pero no se puede obviar que cualquierestrategia de modernizacin necesita adaptarse a la situacin de cada pas, asu contexto, necesidades y circunstancias concretas. En Espaa, a pesar delreciente impulso a la evaluacin, como instrumento de modernizacin ymejora, se est muy lejos de esa cultura evaluadora consolidada de la quehabla el Presidente de la Sociedad Europea de Evaluacin. Entre el discursopoltico y su implantacin hay una gran brecha que cubrir, sealabarecientemente el Presidente de la Agencia de Evaluacin.44 Sin embargo, noslo se trata de Espaa. En un texto tan significativo como La modernizacin

del estado: el camino a seguir45, publicado por la Secretara General de laOCDE, 2006, no aparece, en la panormica de futuro, la ms mnimareferencia a la evaluacin.

La experiencia de los procesos de reforma en los pases de la OCDE muestra,bien al contrario, como los mismos instrumentos de reforma pueden funcionarde manera diferente y producir resultados distintos dependiendo del contextonacional.

Habr que esperar para verificar si el fenmeno evaluador, tanto a nivelnacional como internacional, pasa de ser una moda pasajera como en

anteriores oleadas evaluadoras o generar de una vez por todas esa verdaderacultura de evaluacin de la que habla el sr. Dahler-Larsen.

De gran inters es la pregunta que se hace el autor sobre si debemos evaluarlotodo. No es slo una de las cuestiones medulares sobre las que se interroga laevaluabilidad y la evaluacin en general, sino un requisito de responsabilidadfrente a la ciudadana.

La respuesta del Sr. Dhaler-Larsen, al considerar la excelencia de la evaluacinper se,llega a afirmar que las objeciones metodolgicas, que se plantearon losevaluadores del pasado al interrogarse sobre esta cuestin, pertenecen a unafase superada de la evaluacin, que denomina era de la estimacin de la

evaluabilidad (calificada de concepcin modesta de la evaluacin) y queopone a la poca autosuficiente de la cultura de evaluacin actual. No

43 Tenzer, N.- Lvaluation: lge de la maturit , La documentation franaise, Paris, 1999, pp-117-134.44Garde Roca, JA.- V Conferencia Bienal Sociedad Espaola de Evaluacin. Funcin Pblica yEvaluacin.Santiago de Compostela, 24 de septiembre de 2007.45Publicado en francs con el ttulo: Moderniser ltat: la route suivre, y en ingls: ModernisingGovernment; The way forward.

23


28/52

obstante, es el propio autor quien aade, ms adelante, matizaciones yrelativismos que evidencian que esa cultura de evaluacin autosuficiente no es,por el momento, un fenmeno homogneo, que presenta infinidad devariedades sobre las que ponerse de acuerdo46y que de su observacin slosacamos: intentos para hacer de la evaluacin algo aceptado einstitucionalizado. Matizaciones todas ellas sobre las que estamos deacuerdo, pero que consideramos por el momento intentos.

En evaluacin, nos hallamos an muy lejos de ponernos de acuerdo, no slosobre los conceptos premisa indispensable para entenderse- sino sobre lainfinidad de concepciones que subyacen en cada discurso.

Respecto a los conceptos, habra que sealar que la evaluabilidad no ha sidonunca una dominante evaluadora, ni mucho menos una era que caracterice aun perodo de la evaluacin. El propio autor seala: no hay razn para pensarque la evaluabilidad general de las intervenciones pblicas se hayaincrementado automticamente con el paso del tiempo. En muchas situaciones

lo opuesto puede ser el caso. La conclusin pone en entredicho que laevaluabilidad haya tenido una aplicacin generalizada ni que haya marcadouna era.

La evaluabilidad se us y nunca con demasiada frecuencia- a partir de los70, como una tipologa ms de evaluacin que resultaba recomendable enprogramas de gran envergadura, cuando resultaba dudoso si lo que sepretenda obtener con una evaluacin de mayor profundidad compensara losrecursos a aplicar o se enfrentara con grandes obstculos. Es decir, laevaluabilidad trata de aplicar criterios de eficacia y eficiencia a la propiaevaluacin.

Debe recordarse la evolucin que ha sufrido la evaluabilidad a lo largo deltiempo. Y tampoco debe olvidarse algo an mayor, explicitado desde suorigen: de ser recomendable la evaluacin en profundidad, cual sera latipologa ms adecuada para hacerlo?. La evaluabilidad no se plantea slo lasensatez y la utilidad de evaluar, sino otra cuestin fundamental que no seha tratado en el artculo citado. En el supuesto de ser recomendable laevaluacin en profundidad, la evaluabilidad aportar en su informe cul serel mejor abordaje para llevarla a cabo.

Desde el momento que la evaluabilidad es una tipologa ms dentro delabanico evaluativo, no podemos estar de acuerdo con la disyuntiva que

propone el sr. Larsen a lo largo de todo su artculo entre los partidarios de laevaluabilidad y los de la evaluacin. No vemos ms causa que la ltima, de laque la primera sera una herramienta (aos 70) y una estrategia (momentoactual).

46 Peter Dhaler-Larsen: Algunas discusiones que tienen lugar sobre la evaluacin implicanconfusiones, quiz porque no se clarifican las perspectivas diferentes que estn debajo de cadaenfoque. ICE.Evaluacin de Polticas Pblicas. Mayo-Junio, 2007. N836, pg. 94

24


29/52

La evaluabilidad es un tipo de evaluacin ms al servicio de la cultura deevaluacin. Y si para generar cultura evaluadora se deben desarrollarespecficas estrategias, consideramos la evaluabilidad como una de las msfavorables segn se tratar de demostrar en las conclusiones de este trabajo.

Pero, merece la pena desentraar otra disyuntiva que plantea el autor aldistinguir entre la perspectiva prescriptiva y la descriptivaen evaluacin,adjudicando a la evaluabilidad la primera y no la segunda. La evaluabilidad noslo prescribe sobre la conveniencia o no de evaluar en profundidad unaintervencin pblica, sino que propone, a la vez, la forma de hacerlo,aunando la perspectiva prescriptiva y la descriptiva. De haberse tenido ms encuenta las dos preguntas esenciales de la evaluabilidad, se habran eliminado anuestro juicio las tensiones que el autor confiesa que le produce la polaridadentre una y otra.

No obstante, el meollo de la cuestin sigue estando en la pregunta esencial desi todo es evaluable, que retrotrae la polmica a la de Wholey y Chelimisky,

pero que el sr. Dhaler-Larsen resuelve en un nivel distinto al metodolgico.Concluye con un argumento: evaluar es bueno en s mismo porque su prcticahabitual crea cultura evaluadora.

Si la argumentacin de Chelimisky frente a Wholey estaba en el planometodolgico, al considerar que el evaluador debe ser capaz, si es necesario,de reconstruir la lgica de una poltica o programa, contribuyendo con ello alpropio trabajo evaluador, la conclusin del sr Dhaler-Larsen apunta en otradireccin: la de construir cultura evaluadora, evaluando, cuestin queaceptamos con matizaciones.

Si bien la realizacin de evaluaciones puede generar cultura evaluadora y sedebera ser uno de sus principales cometidos, no nos parece que la evaluacinper sebaste para generar esa cultura. Ya exponamos anteriormente la dudade que pueda responder slo a una moda o a intervenciones puntuales queno transformen y mejoren las instituciones y el conocimiento sobre las polticaspblicas. Para generar cultura evaluadora se requiere evaluar, s, perogenerando particulares estrategias.

El hecho de que la evaluacin es a menudo recomendada de manera generalen nuestra era incluso bajo circunstancias no evaluables (que no era el caso enla era de la estimacin de la evaluabilidad) es una indicacin para el sr.Dahler-Larsen- de que el mundo que nos ocupa ha ganado ms confianza en s

mismo.

Cabra preguntarse si dichas afirmaciones tranquilizaran a muchos decisorespblicos que debern responder sobre la decisin de evaluar. Cabrapreguntarse, an ms, si tranquilizaran a los ciudadanos que son el objetivoltimo al que debe servir la evaluacin. Reconocemos lo provocador de suplanteamiento y el valor que puede tener desde el punto de vista investigativo,pero como decisin responsable entrara en colisin con la base racional que la

25


30/52

evaluacin pretende aportar a la valoracin de las polticas pblicas. Afirmaadems el sr. Larsen:

Las ideas dominantes sobre la evaluacin de nuestra era no insisten ya enque sea necesario razonar lgicamente el valor de cada una de lasevaluaciones. Podemos por tanto hacer la hiptesis de que la evaluacin serutilizada en ciertas situaciones en donde la probabilidad de que sea usadainstrumentalmente en la mejora de la situacin sea baja.

Sera interesante conocer cuntos trabajos, fuera del mbito investigador,pueden ser encarados bajo tales presupuestos?

Se podra argumentar que algunos van cuando otros vuelven y volver ainsistir en que no existe una prctica uniforme-, pero, en cualquier caso, laprctica evaluadora -hablando de polticas pblicas- debiera ser tan selectiva yresponsable como cualquier otra accin de los poderes pblicos. Si lasreformas administrativas y la evaluacin como una herramienta a su servicio,

nacen de la desconfianza de los ciudadanos frente a la opacidad eirracionalidad de los poderes pblicos, qu aportara la tesis del sr. Larsen?

La evaluacin, recordmoslo, no es ms que un instrumento entre otrosmuchos de los que disponen los gobiernos y las Administraciones Pblicas quedebern utilizar con responsabilidad y compromiso social. La innovacin eneste campo requerir tanto riesgos y cautelas como en cualquier otro, pero,adems, presupuestos calculados y buenos diagnsticos para no derivar porvas caprichosas que desdibujen la funcin de rendicin de la accin pblicaante la sociedad que es una de las funciones esenciales en la estructura delegitimidad de las sociedades democrticas47

El sr. Dahler-Larsen no niega que las intervenciones pblicas son cada vezms complejas, con impacto en varios niveles de gobierno y que se componende paquetes de instrumentos difciles de evaluar (al menos sin previamenterealizar un esfuerzo extraordinario en clarificar la intervencin, la teora delprograma, los objetivos, las necesidades de informacin, y las opciones para lamejora del programa). De hecho, acepta que algunos evaluadores hablen deintervenciones tan complejas que no admiten su evaluacin. Nosotrosaadiramos que, otras, tampoco mereceran tal despliegue por lo simple desu cometido o lo inapropiadas para esta tcnica. Sin embargo, se decanta por

evaluar que algo bueno quedar. Concede a la evaluacin un papelconstructor de cultura que genera por s mismo comportamientos, valores y

normas distintas de las que existiran en un mundo sin evaluacin, olvidandolos fracasos que la evaluacin ha sufrido hasta el momento y la dificultad detransformar la refractaria cultura administrativa. Porque para hablar de culturaevaluativa sta ha de ser un proceso cotidiano que involucre a las institucionesen sus distintos niveles y no slo al personal tcnico o especializado y a unospocos decisores comprometidos.

47Informe de la Comisin de expertos, obra citada, pg, 22.

26


31/52

Que la evaluacin es una prctica inestimable, de acuerdo nuestroentusiasmo qued expuesto desde las primeras lneas- pero que no es unapanacea, tambin. Que debe ser selectiva la evaluacin? Lo afirmamos sinninguna duda. Es ms, creemos que parte de su descrdito puede derivar deuna aplicacin indiscriminada y unas expectativas poco realistas sobre lo quepuede conseguir.

Aadiremos un pequeo detalle que suele quedar al margen de ciertasdisquisiciones sobre evaluacin, como si sta se financiara a travs deinstituciones filantrpicas: la evaluacin de las polticas pblicas absorberecursos pblicos. Por consiguiente, debe responder ante los ciudadanos de loscriterios con los que ejerce su actividad. No se trata de un nuevo kit paraburcratas ni tendra la menor utilidad como mero entretenimiento deinvestigacin social. Para que justifique el coste de su realizacin tiene que sercapaz de ofrecer resultados que merezcan la pena.48

Sin tener en cuenta estas consideraciones podra darse el caso de alcanzarniveles satisfactorios de capacidad evaluadora que no estuvieran sumandomejoras al sistema democrtico, sino multiplicando algunas de susperversiones, como la burocratizacin, la racionalizacin encubierta, o el desvode rditos sociales a intereses particulares y no colectivos.

Por eso sostenemos que si la evaluabilidad es una tipologa ms deevaluacin49, y resulta indicada, tanto para la prescripcin como para ladescripcin de problemas de evaluacin complejos, no solamente no es distintade la propia cultura evaluadora, sino que podra ser uno de sus generadores demayor xito y garanta.

La cuestin que podra plantearse, es, entonces, por qu no se usa, comorecomiendan las instituciones internacionales?

La respuesta la aporta el sr Larsen, no como propia, sino a travs de voces queno duda en calificar: Una visin un tanto ms cnica es la de que el conceptode estimacin de la evaluabilidad se ha desvanecido entre los evaluadores,porque es comercialmente perjudicial renunciar a los honorarios, cosa que serobligada si el resultado de la estimacin resultara negativa (Shadish, Cook yLeviton, 1991:237). En vez de enfrentarse con un conjunto de criteriosestrictos para juzgar si una evaluacin puede ser vendida, los consultoresadoptan ahora el enfoque de vender no solamente una evaluacin, sino una

cultura de evaluacin, sin discutir mucho sobre su legitimidad.

Desde nuestro punto de vista tener en consideracin las cuestiones queapuntan los autores citados no tiene por qu responder a una visin cnica omalintencionada, sino a las distintas realidades que conforman la realidad

48Entre ellos, el de haber generado cultura y no intervencin sin ms huella.49Y difcil ser probar en la literatura de evaluacin otra cosa.

27


32/52

evaluativa. Recordemos que el escenario investigador no es el escenariopoltico y si el primero puede substraerse a la accountability el segundo nodebiera eludirla.

El compromiso pblico en evaluacin plantea perspectivas muy diversas a lasque se plantean en el mercado. Los recursos que la evaluacin detrae de lospresupuestos pblicos y los que obtiene el mercado al prestar serviciosexternos a las administraciones pblicas estn en campos de inters opuestosy sera ingenuo olvidarlo. La evaluacin pblica no puede eludir la discusinsobre su legitimidad.

La misma tensin se percibe entre el binomio racionalidad-transparencia queafecta ms a la accin pblica que a la investigadora. Perspectiva, esta ltima,en la que el autor basa sus planteamientos:Como investigador,constantemente veo la necesidad de describir procesos de evaluacincomplicados en marcos institucionales complejos sin imponer supuestos deracionalidad ni en el nivel micro ni en el nivel macro.

Que la gobernanza haya puesto en cuestin lo inapropiado de la racionalidadsustantiva frente a los nuevos problemas de nuestro tiempo, no quiere decirque no propugne una nueva racionalidad procedimental, relevante,especialmente cuando los resultados de las polticas dependen de la interaccinentre niveles de gobierno y entre el sector pblico y el privado.

El autor considera que si la evaluabilidad ha ido decayendo ha sido, en parte,por un afn desaforado de demostrar la racionalidad a la hora de evaluar,esas condiciones convenientes que determinarn la evaluacin enprofundidad. Y concluye que el valor de la evaluacin, en general, ha

sobrepasado las caractersticas y circunstancias convenientes en las que debeaplicarse. La rplica a este planteamiento est en repetir de nuevo que laevaluabilidad no se preocupa ya, desde hace aos, slo de las circunstanciasconvenientes, sino de avanzar las estrategias de cmo se debera abordar laevaluacin en profundidad.

Porque lo que mantenemos aqu es que la evaluabilidad no slo genera culturaevaluadora, sino que es una herramienta estratgica de primer orden en elcampo de las polticas pblicas, que permite entrar en terrenos refractarios a laevaluacin en profundidad sin levantar las resistencias que sta provoca. Y es,adems, una de las evaluaciones que tiene ms garantizada la utilizacin desus resultados.

La evaluabilidad se compromete con un principio de evaluacin ineludible: Notodo es evaluable. Entindase, en un sentido de responsabilidad poltica y noslo metodolgico. La evaluacin es til pero no a cualquier precio para lasociedad. La evaluabilidad, precisamente, vendra a garantizar la eficacia y laeficiencia de un uso indiscriminado de la evaluacin por parte de los poderespblicos, como tratan de justificar las conclusiones que se avanzan acontinuacin.

28


33/52

2. LA EVALUABILIDAD, HERRAMIENTA ESTRATGICA DE LAEVALUACIN DE POLTICAS PBLICAS

2.1. Por su lgica de responsabilidad ytransparencia

2.2. Por su valor estratgico2.3. Por su contribucin al fortalecimiento de la

cultura evaluadora

Necesitamos considerar la evaluacin como una empresa eclctica, con unconjunto de abundantes herramientas y muchas perspectivas legtimas,propsitos, preguntas y usos (Chelimsky, 1997). Todo esto habr de estarligado al establecimiento de estndares compartidos y principios ticosrespetados. No todo vale, como encubre tantas veces el relativismopragmtico. La actividad de evaluacin tiene tanto de ciencia como de trabajo

artesanal, de tica de responsabilidad pblica como de estrategia en latransformacin de la cultura administrativa.

Desde esta consideracin la evaluabilidad es una herramienta estratgica de laevaluacin de las polticas pblicas por las siguientes razones:

2.1. Por su lgica de responsabilidad y transparencia

Por la legitimidad y responsabilizacin que supone su uso

Si la gestin pblica es asuncin de la responsabilidad por los resultados del

funcionamiento de un sistema (Metcalfe y Richards, 1978:37) bastara estarazn para que la evaluabilidad tuviera asegurado su puesto en el ciclo deintervencin de las polticas pblicas, pues tiende a reducir riesgos y acumulaevidencia justificada sobre la conveniencia de evaluar.

Los problemas relativos a la legitimidad del sector pblico y la necesidad deresponsabilizar cada vez ms a los gobiernos de sus acciones exigen nuevosmecanismos de control entre los que se encuentra la evaluacin. La evaluacinlegitima las acciones gubernamentales a travs de la responsabilizacin50.

Por su aportacin a la transparencia de las acciones pblicas

Si la evaluacin aspira a la transparencia democrtica de las acciones degobierno, la publicidad de los informes de evaluabilidad parece un requisitoindispensable que favorecer la comprensin de la decisin de evaluar ante elconjunto social. A mayor transparencia ms elementos para evaluar a un

50El trmino se ha ido introduciendo en los ltimos tiempos, especialmente en los Congresos delCLAD, como traduccin al castellano del original, responsabilty, aunque nos parece pocosatisfactorio.

29


34/52

gobierno, ms informacin para crear una opinin pblica rigurosa y mselementos para crear un vnculo legtimo y productivo entre el gobierno y lasociedad.

2.2. Por su valor estratgico

La evaluacin, en general, se encamina a obtener resultados sobre la poltica oprograma objeto de estudio, pero siempre con una incertidumbre sobre elprovecho de lo que va a hallar. La evaluabilidad trata de reducir al mximo esaincertidumbre para no encallar en arduos trabajos ms propios de lainvestigacin que del campo de la accin pblica, intentando evitar gastosinnecesarios

La evaluabilidad proporcionar informacin de utilidad a la planificacinestratgica en cuanto a la calidad de la teora y diseo de las polticas oprogramas.

La eleccin del momento en que se va a evaluar es un asunto decisivo quetiene que contemplar la evaluabilidad. Es preciso poder contar con losresultados en el momento que sean tiles para la toma de decisin. Valorartodo esto es difcil porque la toma de decisiones no siempre es previsible. Eneste sentido, la evaluabilidad debe aportar en su informe, tanto la pertinenciadel momento para llevar a cabo la evaluacin como el tiempo en el que sedispondr de los resultados y los costes previsibles. Pero, adems, debeproponer alternativas competitivas51y justificar la pertinencia.

Por su relacin con el presupuesto

Raras veces el nexo entre evaluacin y decisin presupuestaria estdirectamente ligado, aunque, entre las alternativas de fortalecimiento de laevaluacin que propone el Banco Mundial aparece la vinculacin de laevaluacin a los presupuestos52. No se trata tanto de condicionar la evaluacina un clculo estricto de coste-beneficio, sino de iluminar, aunque seaparcialmente, elecciones complejas.

Para respaldar una concepcin de la evaluacin como proceso continuo demejora, sera preciso destinar a las polticas pblicas las partidaspresupuestarias correspondientes a su evaluacin.

Las restricciones presupuestarias y la crisis de legitimidad de la accin pblica

hacen necesaria una justificacin slidamente argumentada de lasintervenciones y gastos pblicos y la evaluacin es un gasto ms a considerar,que se acepta por definicin como un instrumento de eficiencia y eficacia parala modernizacin pblica.

51Stake.- The Art of Case Study Research.SAGE Publications. California, 1952Fortalecimiento de la Capacidad de Evaluacin. Gua para el diagnstico y marco para la accin .Departamento de Evaluacin de Operaciones del Banco Mundial, 1999.

30


35/52

Si se considera el presupuesto como un acuerdo de concesin de recursos yautonoma a cambio de aumentar la eficiencia en la gestin, la aplicacin de laevaluabilidad vendra a justificar presupuestariamente la eficiencia de evaluarpolticas y programas nunca antes evaluados. El informe de evaluabilidad serala justificacin razonada del gasto que supondra emprender una evaluacin enprofundidad.

Sera conveniente atribuir a las polticas y programas pblicos el presupuestopara su evaluacin orientado a un cudruple objetivo:

- Evaluacin ex ante,para la exploracin de programas y polticasan no implementados, apoyando el proceso de la planificacin- Evaluabilidad para polticas y programas ya implementados quese pretendan evaluar por primera vez , especialmente los que supongangran coste y envergadura de medios.- Evaluacin de resultados, impactos, coste-beneficio, en elcaso de polticas ya evaluadas o diagnosticadas

- Metaevaluaciones, que proporcionen conocimiento sobre lacalidad de las evaluaciones realizadas. No se trata de evaluar porque laevaluacin est de moda, sino porque la evaluacin proporcione valoraadido.

Por su credibilidad

La falta de credibilidad es uno de los riesgos que compromete la utilidad de losresultados de la evaluacin. La competencia y la credibilidad del evaluadordependen en gran medida de la existencia de un clima de confianza mutuoentre evaluador y actores implicados, as como de los procesos de difusin de

los resultados. La evaluabilidad proporciona la generacin de un espacio deconfianza antes de iniciar una evaluacin de ms largo alcance.

Las normas profesionales y ticas as como la calidad metodolgica de laevaluacin, determinada por diferentes factores: criterios pertinentes, datos einformacin adecuados, conclusiones fiables y claramente expuestas, puedeninfluir en la credibilidad de la evaluacin. Asegurar la calidad y un dilogofranco son la mejor manera de obtener credibilidad. Para generar buenasrelaciones entre las partes se requiere su tiempo y una implantacinrespetuosa y delicada. Creemos que la evaluabilidad posee las caractersticasms convenientes para el aterrizaje en una organizacin.

Un aspecto que confiere especial credibilidad a la evaluacin es la rigurosidadde su metodologa. De ah que procuremos consolidar al mximo el diseo y lametodologa de evaluabilidad, para evitar las felices ideas y las intuiciones sinmtodo.

La mayor garanta de credibilidad de la evaluabilidad est en la posibilidad quetiene de desaconsejar la evaluacin posterior, recomendando, tal vez, mejoras

31


36/52

previas o la aplicacin de otras tcnicas de control ms adecuadas a los finesque persigue el decisor en funcin de criterios de eficacia.

Por lo que se refiere a la envergadura de su objeto deestudio

Si la evaluabilidad se apuntaba en su origen como idnea para programas degran envergadura, la evaluacin de las polticas pblicas supone el campo mscomplejo con el que se puede enfrentar el evaluador. El entramado de nivelesde gobierno y de polticas transversales que se entrecruzan no puede ser msapropiado para la calificacin de temas de gran envergadura, pero, por lomismo, el cmo abordarlo resulta muchas veces descorazonador.

Comprender velozmente la naturaleza del problema evaluativo; el contextopoltico e institucional, la identificacin de los stakeholder; el enfoquemetodolgico ms adecuado para el correcto desarrollo, la seleccin de lastcnicas ms oportunas en relacin al presupuesto y al tiempo disponible,

significa una rpida realizacin en las condiciones dadas usualmente difciles-en contextos cambiantes, a veces conflictivos, y la necesidad de proveer a loscomitentes, en el menor tiempo posible, del informe de evaluabilidad con lasrecomendaciones y pertinencia de llevar a cabo una evaluacin posterior enprofundidad.

Una prescripcin previa de los problemas y una descripcin minuciosa de suabordaje parece fuera de todo cuestionamiento.

Por el tiempo que emplea

La mayor parte de los decisores desconfan de la evaluacin a causa del tiempoque lleva y justifican a menudo su escepticismo por el hecho de estarenfrentados a cambios a corto plazo y a la necesidad de tomar decisiones queno pueden esperar largos estudios.

Un mejor dominio del tiempo en la toma de decisin dar a la evaluacin todosu sentido y toda su utilidad, por eso creemos que la evaluabilidad presentaentre sus ventajas la corta duracin. La evaluacin de evaluabilidadproporciona rigor y sistematizacin en sus resultados, sin llegar a ser una deesas evaluaciones rpidas53 calificadas de productos fast-food- que tantoabundan en el mercado y que contribuyen a desprestigiar la evaluacin engeneral.

La evaluabilidad es corta en el tiempo, pero no tiene porqu ser precipitada.Su particularidad est en la seleccin de lo que se estudia. La recogida deinformacin y la metodologa seguida deben aplicarse con la mayor rigurosidady esmero. Obliga al evaluador a un ejercicio de esencialidad. Menos

53El trmino evaluacin rpida se debe tambin a Wholey.

32


37/52

informacin, pero bien seleccionada y siempre con un comportamiento ticoque no altere los resultados por cuestiones de tiempo.

Todo ello exige del evaluador un arte de equilibrios para hallar aquellainformacin relevante y esencial que le permita diagnosticar en el menortiempo posible y con las mayores garantas.

Por la importancia de los contextos en la explicacin de laspolticas pblicas

Si el contexto era especialmente considerado en los programas de mayorenvergadura, con el fin de explicar parte de los agujeros negros de laevaluacin, en el mbito de las polticas pblicas, por pura obviedad, el estudiodel contexto resulta un requisito bsico.

La evaluacin se transforma en una actividad que es realizada en un contexto

poltico, los programas a evaluar son propuestos, definidos, debatidos,realizados y financiados a travs de procesos polticos, incluso la propiaevaluacin es en s misma de naturaleza poltica, ya que realiza afirmacionesimplcitas sobre temas tales como la legitimidad de objetivos de programas yestrategias de proyectos y la inutilidad de ciertas estrategias para ponerlos enprctica. (Carlsson, Khlin y Ekbom 1994: 176)

Las polticas se superponen unas a otras, se entrecruzan en diferentes nivelesde gobierno, a menudo, entran en conflicto, pero, de lo que no hay duda, esque estn integradas en un contexto que las condiciona y las modifica que esnecesario tener en cuenta. Es ms, un buen estudio de evaluabilidad debe

considerar dos tipos de contexto: el del momento en que surgi elprograma o poltica y el momento en el que se decide evaluar. Con elpaso del tiempo las necesidades pueden haber cambiado y es posible que serequiera reformular los objetivos o bien considerar la receptividad del contextoactual para evaluar, cuestin que influir en el criterio de pertinencia

En los contextos d se encuentran las claves para observar el enfoque delplanificador y para comparar alternativas. El juicio de valor, sin contar con loscontextos, no sera ms que una opinin, por cualificada que sea, lanzada alespacio de lo opinable.

El anlisis de los contextos llevara tambin al estudio de prcticas comparadas

que deber conocer el evaluador para enriquecer las conclusiones del informede evaluabilidad.

Por el mayor papel de los actores crticos

Wholey tuvo muy en cuenta el papel de los actores crticos, pero, en suenfoque, los actores principales eran los gestores y administradores deprogramas. El cambio que ha supuesto la evaluacin participativa y el papel

33


38/52

que hoy se reconoce a los actores sociales (beneficiarios y grupos afectadospor la evaluacin) supone un giro respecto a la utilidad de la evaluabilidad. Sise quiere servir a la sociedad, el destinatario primero de la evaluacin nopuede ser el gestor o administrador del programa, ni tan siquiera elresponsable poltico para los que la evaluabilidad seguir aportando mejora enlos resultados de sus decisiones, sino el conjunto social. No negamos elprovecho que puede llegar a suponer la mejora de la gestin de nuestrasadministraciones, pero la mayor aportacin est en la responsabilidaddemocrtica y la dacin de cuenta de las acciones de los responsables pblicos.

Todo esto conlleva que la gestin pblica debe resituarse en redes mscomplejas de relaciones interoganizativas en que puedan desarrollarseactitudes de negociacin, coordinacin y promocin con una finalidad ltima deinters comn. La evaluabilidad potencia la gestin de influencia, en la quelos responsables pblicos tienen un nuevo papel por desarrollar.

2.3. Por su contribucin al fortalecimiento de la cultura evaluadora

La modernizacin de la Administracin Pblica requiere comprender y conocerla naturaleza y dinmicas de la Administracin, como sistema y como parte dela sociedad. Cada sistema administrativo tiene una dinmica, equilibrios yriesgos particulares, que reflejan su propia experiencia histrica, cultura yorganizacin institucional. Para implantar una cultura de evaluacin esnecesario conocer bien las dinmicas del propio sistema y disear estrategiasen consonancia con stas y con los riesgos.

La evaluacin debe contribuir a fomentar nuevos marcos de referencia, pero sucultura no aparecer de un da para otro, ni ser homognea por mucho

tiempo. Entre las medidas que pueden impulsarla creemos que la evaluabilidadpuede jugar un papel significativo, ya que sufre menos penalizaciones que lasque afectan a la evaluacin en general por el tiempo que emplea, por suenfoque, su finalidad y el juicio de valor que emite su informe. Adems, supropia accin prepara el terreno para la evaluacin en profundidad y ayuda acompartir lenguaje comn entre las partes.

Uno de los factores ms importantes sobre el escepticismo de la evaluacin esla dificultad que supone en las Administraciones aceptar cambios y generarbuen clima para introducir mejoras. La evaluabilidad permite entrar encontacto con la organizacin en la que se va a evaluar, generando menossuspicacia que las que provocara una evaluacin en profundidad. Lo que

intenta revelar la evaluabilidad tiene que ver ms con la eficacia y eficiencia dela futura evaluacin que con las deficiencias halladas, aunque estas sean unsubproducto nada desdeable que el evaluador deber presentarequili

Documents

Papeles de Evaluacion Nx7