Embed Size (px)
Citation preview
18 A�C�C�I�O�N��P�E�D�A�G��G�I�C�A,�Vol.�9,�Nos.�1�y�2�/�2000
En�el��presente�artículo�el�autor�plantea�la�meta-evaluación�de�las�escuelas�como�un�proceso�devaloración�de�las�evaluaciones,�de�naturalezacualitativa,��que�da�respuesta�a�aspectos�inquie-tantes�como�el�aprendizaje,�la�mejora,�el�rigor,�latransferencia�y�la�ética.�Da�significativa�impor-tancia�a�este�último,�pues�considera�que,�ade-más�de��ser�la�metaevaluación��un�proceso�técni-co,�contiene�una�dimensión�ética,�por�lo�cual�men-ciona�doce�criterios�de�carácter�axiológico.�Igual-mente,�en�forma��breve,�refiere�la�manera�de�rea-lizar�este�proceso,�desatacando�el�proceso�denegociación,�la�aplicación�de�criterios,�el�juiciode�expertos�y�la�opinión�de�los�protagonistas.
Se está hablando y escribiendo mucho sobrela evaluación de los centros escolares, se estánhaciendo muchas evaluaciones, se está generan-do una cultura sobre la evaluación.Ante ese he-cho no hay que lanzar las campanas al vuelo,porque lo más importante no es hacer muchasevaluaciones, ni siquiera hacerlas bien. Lo másimportante es saber al servicio de qué personasy de qué valores se ponen. Quiero llamar la aten-ción en estas líneas sobre la necesidad de anali-zar lo que sucede con las evaluaciones. No bas-ta, pues, ponerlas en marcha para que ya nos sin-tamos satisfechos. La metaevaluación (o procesodeevaluaciónde lasevaluaciones)permitepregun-tarse, al menos, por estas cinco cuestiones:
1 El�aprendizaje
Es necesario aprender de las evaluaciones quese realizan. Todos podemos aprender: los patro-cinadores, los evaluadores, los evaluados. Perosolamente lo podremos hacer si reflexionamosde forma rigurosa y desapasionada sobre los pro-cesos y los resultados. No es razonable repetirlos errores de manera casi mecánica.
En la evaluación que se pone en marcha porprescripción legal se produce un cruce de mode-los verdaderamente inquietante. Se corre el peli-gro de que la evaluación no responda plenamenteni a uno ni a otro. Por una parte, se trata de unaevaluación de rendimiento de cuentas (accoun-tability) ya que la ordena el poder y la realiza laautoridad académica (inspectores). Por otra par-te, se pretende hacer de ella una evaluación ne-
gociada, consensuada, participativa y democrá-tica. Si se negocia, ¿se puede plantear la posibi-lidad de que los evaluadores sean agentes exter-nos al sistema?, ¿se puede sugerir que sean otroslos métodos?, ¿se puede decidir desde las escue-las qué hacer con los informes?...
Es necesario preguntarse por la actitud de losprofesores y profesoras, por la artificializacióndel comportamiento cuando se hacen observa-ciones, por la calidad de la información cuandose hacen entrevistas, por la riqueza de los infor-mes elaborados, por la negociación de los mis-mos, por la capacidad de transformación que estáteniendo la evaluación... Es necesario pregun-tarse por la preparación de los inspectores parahacer un tipo determinado de evaluación, por eltiempo de que disponen, por sus habilidades parallevarla a cabo... Es imprescindible interrogarsepor la actitud del profesorado ante la evaluación:por sus reticencias, por su colaboración, por sudisposición al cambio...
¿Por qué repetir los errores de una forma irra-cional y perseverante? ¿Quién garantiza que los
Metaevaluación�de�lasescuelas:�el�camino
del�aprendizaje,�del�rigor,de�la�mejora�y�de�la�ética
Palabras�clave:�Evaluación,�metaevaluación,�mejo-ra.
E V A L U A C I O ND O S S I E R
Miguel�Angel�Santos�GuerraUniversidad�de�Málaga,�España
Miguel�A.�Santos�Guerra�/�Metaevaluación� de� las� escuelas
19A�C�C�I�O�N��P�E�D�A�G��G�I�C�A,�Vol.�9,�Nos.�1�y�2�/�2000
The�role�of�metaevaluation�in�schools�as�aprocess�of�assessment�of�the�evaluation,�in�aqualitative�approach,�is�reviewed;���focusing�onuneasy�aspects�such�as�learning,�improvement,rigor,�transfer�and�ethics.�A�greater�significanceis�given�to�the�lattest,�since��it�is�considered�thatthe�metaevaluation�besides�being�a�technicalprocess�contains�an�ethical�dimension.��This�isdetailed�in�twelve�axiomatic�criteria.�The�authoralso�explains�briefly�how�to�achieve�the�process,outstanding�the�negotiation,�the�application�ofthese�criteria,�the�judgement�of�experts�and�theopinion�of�the�protagonist.
buenos propósitos al realizarla no han produci-do efectos secundarios dañinos? ¿Quién puedeafirmar que está inmunizado contra la comisiónde errores? Si así ha sido, ¿no es razonable y jus-to que se traten de evitar en futuras experiencias?
El aprendizaje no se produce solamente so-bre los fallos, e rrores o conflictos. También esimportante analizar y desentrañar las explicacio-nessobrelosaciertos,sobrelacolaboraciónabier-ta, sobre la reflexión rigurosa, sobre el conoci-miento elaborado, sobre los cambios efectivos...
2 La�mejora
Sé que la palabra mejora es casi infinita ensus contenidos semánticos. ¿Qué es mejora? Sinembargo es una pregunta capital. Hay que des-entrañar el significado de este concepto comohay que hacerlo con el de calidad. De lo contra-rio, no sólo se producirá confusión, sino tam-bién perversión. Cuando se realizan simplifica-ciones, suelen hacerse de manera interesada.
Quienidentificacalidadconrendimientodealum-nos es porque está interesado en que así sea.
La evaluación tiene que estar encaminada ala mejora de la práctica educativa. La evalua-ción es un garantía de la calidad para el centroeducativo (Casanova, 1992), siempre y cuandose realice, se oriente, se encamine a la mejora yno tanto al control, a la comparación, a la clasifi-cación, a la jerarquización o a la discriminación.
Para que la mejora se produzca es necesarioque la disposición de los que intervienen en ellasea abierta y comprometida. Si no existe actitudautocrítica y apertura a la opinión externa esmuydifícil que cambie algo profundamente. Si noexiste una actitud comprometida con la práctica,es imposible que las transformaciones afecten azonas significativas. Los cambios, si se produ-cen, serán superficiales y anecdóticos. Hablo dedisposición positiva de todos los que intervie-nen en la evaluación. Eso atañe también a laAd-ministración. Si la evaluación muestra carencias,deficiencias o errores en la gestión del sistemaeducativo, habrán de percibir los profesores queexiste disponibilidad para asumir las decisionesde mejora. Si no sucede así, el profesorado verála evaluación como un fenómeno de jerar-quización y de control.
La mejora exige una negociación de los in-formes extensa y profunda. La negociación deinformes es la piedra angular de la evaluación(Santos Guerra, 1998), porque permite conocercon claridad y rigor qué es lo que sucede y porqué. De ese conocimiento pueden surgir las de-cisiones de cambio.
3 El�rigor
Una de las preocupaciones más importantesde la metaevaluación es la comprobación del ri-gor que ha tenido la evaluación. La evaluaciónquedefiendoesdenaturalezacualitativaporcon-siderar que no se puede captar fenómenos com-plejos desde métodos cuantitativos y, por consi-guiente, simplificados.
No se deben aplicar a la utilización de meto-dología cualitativa los presupuestos de la vali-dez que se vienen aplicando en la investigaciónexperimental. Esa dependencia genera una dis-
Key�words:�evaluation,�metaevaluation,�impro-vement.
E V A L U A C I O N D O S S I E R
Miguel�A.�Santos�Guerra�/�Metaevaluación� de� las� escuelas
20 A�C�C�I�O�N��P�E�D�A�G��G�I�C�A,�Vol.�9,�Nos.�1�y�2�/�2000
torsión del modelo y no da respuesta a la verda-dera cuestión: ¿Cómo saber si la evaluación quese ha realizado refleja con rigor lo que sucedeen la escuela? Es preciso aplicar los criterios decredibilidadycomprobar enquémedidaesaeva-luación los cumple. Veamos algunos ejemplos:
Si se han utilizado métodos diversos para ex-plorar el centro y se han triangulado las infor-maciones procedentes de ellos, habrá más rigorque si se ha utilizado un solo método. El proce-so de triangulación consiste en la contrastación,en la depuración de los datos. La informaciónprocedente de distintos métodos no siempre dicelo mismo. No se trata con la triangulación de eli-minar las discrepancias, sino de explicarlas.
Si se ha permanecido un tiempo largo en elcentro observando lo que en él sucede, habrámás garantías que si solamente se ha permaneci-do en él un tiempo muy breve. Las pistas de re-visión permiten hacer una valoración sobre lanaturaleza, el sentido, la ética y el rigor de laevaluación. ¿Existen esas pistas?
4 La�transferencia
La evaluación que se hace de una escuelapuede servir para el aprendizaje y el cambio deotras escuelas. El hecho de que cada escuela seadiferente no oculta las características comunesque las definen a todas. Difundir los informes delas evaluaciones (salvaguardando el anonimatode los protagonistas) puede ayudar a compren-der lo que sucede con las escuelas.Y puede ser-vir para que algunas reflexionen sobre los resul-tados habidos en otras.
Para que la transferibilidad pueda producirsehay que partir de descripciones minuciosas. Lasafirmaciones de carácter genérico no aportaninformación relevante. Decir que un centro "fun-ciona bien", que tiene "clima excelente", que tie-ne "magníficos resultados", no nos permite co-nocer nada. En la medida que los centros tengancaracterísticas y contextos más similares, latransferibilidad será más fácil. En efecto, es ra-zonable esperar que lo que sucede en un centroprivado se repita en otro de este mismo tipo. Esprobable que una escuela rural se parezca más aotra de este carácter que otra situada en una gran
urbe. Y que un centro de gran tamaño se aseme-je más a otro de estas características que a unaescuela unitaria.
Existe otra forma de establecer transfe-ribilidad, que se ha denominado "reader made",hecha por el lector del informe. Este se pregun-ta: ¿Pasará algo parecido en este otro centro?Quien lee un informe sobre la evaluación de unaescuela y está en otra, puede preguntarse fácil-mente: ¿Pasará algo similar en la mía?
5 La�ética
Me detendré algo más en este apartado porconsiderarlo esencial en la metaevaluación. Lametaevaluación no es un proceso exclusivamentetécnico. Como la misma evaluación, tiene unadimensión sustancialmente ética. Por eso, lametaevaluación no se centra exclusivamente enlabúsquedadecriteriosdecaráctermetodológicoo algorítmico, sino que se ha de centrar en suvertiente moral.
En otro lugar (Santos Guerra, 1993) he he-cho referencia a los abusos de la evaluación. Losque en ese trabajo describo y denuncio han sidodescubiertos en la práctica de la evaluación enEspaña. No hablo, pues, de memoria. No es ne-cesario desarrollar el contenido de estos enun-ciados que hablan por sí solos:
Convertir la evaluación en un elogio a quienla patrocina o la realiza.Elegir sesgadamente para la evaluación algu-nas parcelas o experiencias que favorezcanuna realidad o una visión sobre la misma.Hacer una evaluación de diferente naturaleza yrigor para realidades igualmente importantes.Convertir la evaluación en un instrumento dedominación, control y opresión.Poner laevaluaciónal serviciodequienesmástienen o más pueden.Atribuir los resultados a causas más o menossupuestas a través de procesos atributivos ar-bitrarios.Encargar la evaluación a equipos o personassin independencia o valor para decir la verdad.Silenciar los resultados de la evaluación res-pecto a los evaluados o a otras audiencias.Seleccionar aquellos aspectos que permiten
E V A L U A C I O ND O S S I E R
Miguel�A.�Santos�Guerra� /� Metaevaluación� de� las� escuelas
21A�C�C�I�O�N��P�E�D�A�G��G�I�C�A,�Vol.�9,�Nos.�1�y�2�/�2000
tomar decisiones que apoyan las iniciativas,ideas o planteamientos del poder.Hacer públicas sólo aquellas partes del informeque tienen un carácter halagador para el poder.Descalificar la evaluación achacándole faltade rigor si los resultados no interesan.Dar por buenos los resultados de la evalua-ción a pesar de su falta de rigor, cuando estoes lo que interesa.Utilizar los resultados para tomar decisionesclara o subrepticiamente injustas.Aprovechar la evaluación para hacer falsascomparaciones entre lo que es realmente in-comparable.Atribuir los malos resultados no al desarrollodel programa sino a la torpeza, la pereza o lamala preparación o voluntad de los usuariosdel mismo.
Es necesario mantener la vigilancia sobre estacuestión trascendental porque no se trata de eva-luar mucho, ni siquiera de evaluar de forma téc-nicamente perfecta, sino de saber al servicio dequién y de qué valores se pone la evaluación.Nadie se alegraría de que se abriese una fábricade cuchillos en una localidad si supiera que sudestino era la distribución de estos entre los ciu-dadanos para ejercitarse en el acuchillamientode sus enemigos.
El quebrantamiento de la ética puede darseen el fenómeno mismo de la evaluación, en suglobalidad o en algunos de sus partes específi-cas. Se puede poner en marcha una evaluaciónal servicio del poder, del dinero o del prestigiode los patrocinadores, por ejemplo.Y se puedeobtener informaciónde forma fraudulenta realizan-do entrevistas que están falsamente planteadas.
Care (1978) plantea las exigencias de un con-trato equitativo de evaluación. En ese procesose ponen los cimientos del edificio de la ética.Aunque no todas las exigencias tienen la mismaimportancia ni su presentación está organizadasegún criterios axiológicos, es de interés enume-rarlas con un brevísimo comentario.
a) Ausencia de coerción: La equidad exigeque los que tiene que participar en la eva-luación (evaluadores, evaluados, colabo-radores, jueces...) no estén sujetos a pre-
siones coercitivas. Se sabe que esas pre-siones pueden ser brutales o sutiles. Inter-namente, tampoco deben existir mecanis-mos de control: nadie (persona o grupo)debe ejercer presión ni control sobre otros.
b) Racionalidad: Los participantes han de ac-tuar de forma lógica y sensata. Esto quieredecir el discurso y el proceso de la evalua-ción están presididos por argumentos y nopor caprichos o intereses.
c) Aceptaciónde los términos: Las partes quefirman el acuerdo aceptan libremente lasreglas de procedimiento que han sido for-muladas de manera clara y transparente,tanto por lo que respecta a la naturaleza,como a los objetivos y a los métodos de laevaluación.
d) Acuerdo conjunto: La equidad requiereque el acuerdo se considere como algo másque la coincidencia entre opciones indivi-duales. La negociación, cuando es inten-saysincera,noesunprocesosencillo.Exi-ge tiempo, exige valentía.Y una discusiónsin barreras de todos los participantes.
e) Desinterés: Hay que someter los interesesparticulares a las preocupaciones, proble-mas y necesidades de la causa común. Lle-gar a un acuerdo no garantiza que se ha-yan supeditado los intereses particulares alos generales.
f) Universalidad: La normativa tiene queafectar a todos por igual, incluidos los eva-luadores. Si la normativa exige que se tra-te de forma distinta a diferentes personas,todospuedensituarseencualquieradeesasformas.
g) Interés comunitario: Quienes llegan a unacuerdo para realizar la evaluación debentener como meta que se produzca el máxi-mo beneficio para cada de los participantes.
h) Información igual y completa: Nadie debetener acceso a una información privilegia-
E V A L U A C I O N D O S S I E R
Miguel�A.�Santos�Guerra�/�Metaevaluación� de� las� escuelas
22 A�C�C�I�O�N��P�E�D�A�G��G�I�C�A,�Vol.�9,�Nos.�1�y�2�/�2000
da. Una condición de la equidad consisteen que los participantes reciban informa-ciónsobre loshechospertinentesyqueéstase distribuya por igual.
i) Ausencia de riesgos: Uno de los propósi-tos del contrato de evaluación es que nose deriven riesgos para quienes se some-ten a ella, o bien reducirlos al mínimo.
j) Viabilidad: El contrato de evaluación hade ser de tal naturaleza que sea posible lle-varlo a cabo. Los evaluadores no debenprometer actividades y oportunidades fan-tásticas, por más deseables que éstas fue-ran. El interés por conseguir el contratopuede llevar a realizar promesas inviables.Cuando no es posible cumplir el contrato,éste no es equitativo.
k) Contar con todas las opiniones: Para queel contrato sea equitativo, las partes debentener la oportunidad de hacer constar loque crean conveniente.
l) Participación: La condición final del con-trato es que todos los participantes puedanparticipar. Todo el mundo debe tener voz.
La ética que se exige a la evaluación ha depresidir también la metaevaluación. ¿Hasta dón-de ha de llegar esta exigencia? ¿Quién evalúa alos evaluadores? Si se establecieran Comisionesde Garantía de la Ética, ¿quién ejercería el con-trol democrático sobre ellas?
En su excelente y ya clásica obra «Evaluationwith validity», traducida al castellano con el título«Evaluación, ética y poder», House (1980, ver-sión española de 1994) exige a la evaluación ve-racidad, belleza y justicia. No siempre se planteala evaluación siguiendo estos criterios. Cuandose pretende medir los resultados de las experien-cias y de los centros escolares a través de pruebasestandarizadas con el fin de hacer una clasifica-ción según la posición en la escala, y se conce-den luego recursos siguiendo esa clasificación, seestá utilizando la evaluación al servicio de la in-justicia y de la desigualdad. Por muy rigurosas yprecisas que sean las pruebas, no se evita el des-
ajuste moral. Se está dando a los que más tienen(cultura,dinero,poder...) todavía más a través de uninstrumento que parece neutral y aséptico. Es unatrampa terrible que algunos defienden de forma in-genua y muchos de manera interesada.
6�¿Cómo�se�realiza�la�metaevaluación?
La metaevaluación puede emprenderse pa-ralelamente a la evaluación, aunque tambiénpuede realizarse una vez finalizada esta. Por tra-tarse de una evaluación, han de exigírsele todosaquellos requisitos que se le pide a la evalua-ción. Existen varias formas de responder a lascuestiones que aquí se plantean:
a. El�proceso�de�negociaciónEl proceso de negociación de informes es un
excelente camino que nos permite conocer cómoha sido el proceso de evaluación y cómo se pue-den considerar sus resultados. La negociaciónno sólo se refiere al contenido del informe: afec-ta también a la calidad de los procesos que hanhecho posible su elaboración.Y, cómo no, a lasposibilidades de mejora que de él parten.
Si existen, como en el caso de las escuelas,muchas evaluaciones, se puede emitir un juiciomás riguroso sobre lo que supone la evaluacióny sobre lo que sería preciso hacer para mejorar-la. Algunas experiencias apuntan a este tipo deprocesos de metaevaluación (Luján y Puente,1996). Lo importante es sacar de ellas los ele-mentos necesarios para iluminar y dirigir las de-cisiones políticas, la intervención de los ex-pertos y la práctica de los docentes.
b. Aplicación�de�criteriosHayque remitirse aunartículodeGuba(1993)
que sirve de referencia para la respuesta a la pre-gunta de la validez y de la transferibilidad. Esteautor dice que no hay criterios absolutos, peroque existen exigencias que permiten garantizarque se ha alcanzado el rigor necesario para afir-mar que lo que contiene el informe es un reflejofiel de lo que sucede, y no una invención delevaluador.
En el punto 3, anteriormente expuesto, hemencionado algunos criterios que plantea Guba
E V A L U A C I O ND O S S I E R
Miguel�A.�Santos�Guerra� /� Metaevaluación� de� las� escuelas
23A�C�C�I�O�N��P�E�D�A�G��G�I�C�A,�Vol.�9,�Nos.�1�y�2�/�2000
E V A L U A C I O N D O S S I E R
Miguel�A.�Santos�Guerra�/�Metaevaluación� de� las� escuelas
Care,�N.�(1978).�Participation�and�policy.��Ethics,�88.Casanova,�M.�(1992).�La�evaluación,�garantía�de�calidad�del
centro�educativo.�Zaragoza:�Edel�Vives.Guba,��E.�(1983).�Criterios�de�credibilidad�en�la�investigación
naturalista.�En�G.�Sacristán.�y�A.�Pérez�Gómez,�La�en-señanza:�su�teoría�y�su�práctica.�Madrid:��Akal.
House,�E.�(1994).�Evaluación,�ética�y�poder.��Madrid:�Morata.Lujan,�J.,�y�Puente,�J.�(1996).�Evaluación�de�centros�docen-
tes:�El�Plan�EVA.�Madrid:�MEC.Santos�Guerra,�M.�A.�(1993).�La�evaluación,�un�proceso�de
diálogo,�comprensión�y�mejora.��Archidona�:Aljibe.Santos�Guerra,�M.�A.�(1998).�Evaluar�es�comprender.�Bue-
nos�Aires:�Magisterio�del�Río�de�la�Plata.
(1983) refiriéndose de forma especial a las eva-luaciones de carácter naturalista.
c. Juicio�crítico�de�expertosSe puede encomendar a expertos que no han
participado en la evaluación y que tampoco es-tán vinculados a la acción evaluada, la emisiónde opiniones sobre el proceso de evaluación.Para poder realizar un juicio fundado, los exper-tos tienen que conocer lo que ha sucedido en laevaluación. Para ello dispondrán de todos losmateriales y podrán entrevistar a los protagonis-tas: patrocinadores, evaluadores y evaluados.
La metaevaluación debe facilitar el aprendi-zaje de los evaluadores quienes, a través de aná-lisis,sugerenciasypreguntasseacercanalacom-prensión de los procesos.
d. Opinión�de�los�protagonistasUna vez finalizada la evaluación, los prota-
gonistas pueden emitir sus opiniones por escritoo de forma oral, de manera que sea posible des-cubrir aquellos problemas, dificultades o fallosque hayan condicionado el proceso.
Si los protagonistas de la acción tienen la cla-ve del significado, los de la evaluación tienen ensus manos la interpretación de lo que ha sucedi-do en todas las fases de la evaluación. Ellos sa-ben qué sucedió con la iniciativa, cómo se hizo lanegociación, cómo se ha explorado, qué ha suce-dido con los informes, cómo se han respetado lasnormas.A ellos, pues, hay que preguntar, garanti-zando las condiciones de una expresión libre.
