GLOSARIOA continuación se recogen los conceptos fundamentales que aparecen en la monografía. Con el glosario se trata de facilitar la consulta del lector cuando en el contexto de la monografía aparecen ciertos términos sin definir por haber aparecido ya con anterioridad.

El símbolo * remite a ese concepto en el marco del Glosario.

Actitud

Según G. W. Allport, es un "Estado mental y neurológico de disposición, organizado a través de la experiencia, que ejerce un impulso dinámico y directivo sobre la respuesta de un individuo a todos los objetos y situaciones con los que se encuentra relacionado".

Al ser fruto de la experiencia, las actitudes pueden ser objeto de aprendizaje. Cuando están bien formadas, son estables e impulsan a la acción en el sentido de las mismas.

Análisis de contenido

Técnica para extraer información relevante a partir de documentos de texto o de cualquier otro tipo de registro (de observación, de naturaleza audiovisual, etc). El análisis puede aplicarse al contenido manifiesto o al más profundo, conocido como latente.

Para Shapiro y Markoff consiste en una "reducción sistemática del flujo del texto (u otros símbolos) a un cuerpo estándar de símbolos, manipulable estadísticamente, tal que represente la presencia, la intensidad o la frecuencia de ciertas características relevantes para la ciencia social".

Aunque para Berelson es una “técnica de investigación para la descripción objetiva, sistemática y cuantitativa del contenido manifiesto de una comunicación”, su campo se ha ampliado hasta admitir el análisis del nivel latente, más difícil de caracterizar y llevar a cabo, pero de aportaciones más relevantes.

Análisis de datos*

En el ámbito de la investigación o de la evaluación, analizar viene a ser un proceso de división de la información en diversas partes –dependiendo de la naturaleza del trabajo- destinada a encontrar respuestas a las preguntas que originan la investigación o a la elaboración de los juicios de valor en que consiste la evaluación*. “Con el análisis –afirma Kerlinger- se busca reducir los datos a una forma inteligible e interpretable, de tal forma que se puedan estudiar y poner a prueba las relaciones de los problemas en investigación”. Puede definirse como un proceso sistemático destinado a identificar las características de los datos recogidos en una investigación /evaluación así como a contrastar las hipótesis* planteadas por el investigador. En su primera función, mediante un análisis descriptivo, se pueden conocer características como el nivel o posición, la dispersión, la simetría o el apuntamiento de la muestra objeto de estudio. Del mismo modo, se puede establecer la independencia o la asociación* / correlación* de dos o más series de datos.

Mediante la segunda, el tratamiento de los datos permite rechazar o no la hipótesis de nulidad* –H0- aceptando o no en consecuencia la hipótesis del investigador, con una determinada probabilidad de error en la decisión. Al aplicar la prueba estadística* adecuada, el investigador fija de antemano el margen de error que está dispuesto a aceptar al establecer el nivel de

1

confianza con el que desea trabajar, o su complementario: el nivel de significación estadística, simbolizado por α.

Una definición de esta naturaleza es muy comprensiva e incluye en su campo toda la estadística, tanto descriptiva como inferencial.

Pero el concepto va más allá, al poderse aplicar a datos de naturaleza cualitativa. En este contexto, el análisis de datos es, según Gil Flores, el “...conjunto de manipulaciones, transformaciones, operaciones, reflexiones y comprobaciones realizadas a partir de los datos con el fin de extraer significado relevante en relación con el problema de investigación”.

Archivos

La Real Academia Española define archivo como “Conjunto ordenado de documentos que una persona, una sociedad, una institución, etc., producen en el ejercicio de sus funciones o actividades”.

Según el Centro Virtual Cervantes, los Archivos Estatales son “el fruto de una historia cultural dilatada y de ímprobos esfuerzos de conservación que se han venido desarrollando desde hace siglos”.

Los archivos pueden ofrecer información valiosa para fundamentar programas y para la valoración e interpretación de los resultados.

Asociación

Grado de relación existente entre variables medidas nominalmente, como sexo y clase social. Determinados coeficientes estadísticos miden el grado de asociación entre tales variables.

Baremo

“Regla” para interpretar las puntuaciones individuales en una prueba*. La regla se construye aplicando tal prueba a una muestra* suficiente y representativa de una determinada población*.

Las puntuaciones obtenidas por el grupo normativo permiten interpretar las puntuaciones que, posteriormente, obtengan nuevos sujetos considerados integrantes de la misma población.

Los baremos son instrumentos adecuados para una evaluación de referencia normativa*, en la que los sujetos son situados a lo largo de un continuo. Su campo específico de aplicación son las pruebas de aptitudes, pero difícilmente resultan idóneos en el marco de la evaluación pedagógica, ya que la acción del profesorado tiende a conseguir que todos los alumnos alcancen los objetivos prefijados, por lo que la referencia preferible es la criterial*.

Categorías

Se denomina categoría a cada una de las clases en que se organiza una determinada realidad: personas, profesiones, actividades, etapas de la vida, obras literarias, competiciones deportivas, máquinas, juegos, etc.

Sistemas de categorías:

Son conjuntos de categorías previamente establecidas que permiten explicar hechos, comportamientos, actividades, etc, o asignar información a las mismas. Así, Aristóteles nos

2

habla de diez nociones que bien podemos considerar categorías: sustancia, cualidad, cantidad, relación, acción, pasión, lugar, tiempo, situación y hábito.

En el caso de Kant, tales categorías son: cantidad, cualidad, relación y modalidad.

En el texto se ha hecho mención de las categorías de E. Spranger sobre formas de vida del ser humano: teórico, utilitario, estético, social, político y religioso. Por su parte, García Hoz propone las siguientes grandes motivaciones del ser humano, en función de las cuales puede ser clasificada una persona: Dinero, Fama, Poder, Placer, Actividad, Arte, Técnica, Saber, Valor Social y Religión.

Categorización

La categorización consiste en agrupar bajo la misma categoría unidades de análisis que hacen referencia al tópico de la categoría.

La categorización debe respetar determinadas reglas. Según Kerlinger, tales reglas son:

o Las categorías se establecen con base en el problema y propósito de la investigación.o Las categorías son exhaustivas.o Las categorías son mutuamente excluyentes e independientes.o Cada categoría (variable) se deriva de un principio de clasificación.o Todo esquema de categorización debe estar en un solo nivel de discurso.

Codificación

El proceso de codificación se concreta en la asignación a cada unidad del código de la categoría* correspondiente. A través de la codificación se asignan “etiquetas” a las unidades analizadas. Estos códigos pueden ser números –el mismo número a toda unidad situada en una categoría- o abreviaturas de palabras.

Control

Exigencia fundamental de la metodología experimental*. Cuando se cumple se puede establecer una relación causal entre la variable independiente* (en nuestro caso, el programa), y la variable dependiente* (en nuestro caso, los efectos o resultados del programa).

El logro del control, tanto en el momento de diseñar la evaluación como en todo su desarrollo, permite hablar de validez interna*, contra la que atentan una serie de variables extrañas*, identificadas por Campbell y Stanley, entre ellas la historia, la maduración, la regresión estadística, la mortalidad experimental...

El control forma parte de un principio fundamental de la metodología experimental*, formulado por Kerlinger como MAX-MIN-CON (Control).

Criterios y referencias

La evaluación consiste, en esencia, en la valoración de la información. La valoración implica la aplicación de criterios y de referencias.

Criterios

3

Entendemos por criterio la norma o regla de que se vale el evaluador para atribuir valor a la realidad evaluada, para juzgar sobre su mérito o valor.

Generalmente, el criterio se concreta en las cualidades de la información recogida que son objeto de valoración por el evaluador. Una misma realidad, una misma información, puede ser valorada desde diferentes enfoques: su exactitud, rapidez, claridad, precisión, cantidad, riqueza de léxico, corrección, brevedad, originalidad... Todos estos términos son expresión de criterios a aplicar que, obviamente, deben ser públicos y conocidos previamente por quienes aplican y reciben el programa*.

Referencias

La referencia permite una valoración global del objeto evaluado (el aprendizaje de los alumnos, un programa, un centro educativo, los materiales didácticos...) al ponerlo en relación con algo que se toma como patrón.

Los patrones de referencia habituales son: lo alcanzado por un grupo representativo en esa misma realidad –referencia normativa, que utiliza baremos*-; los niveles prefijados como meta de eficacia –referencia criterial- y lo alcanzado por esa entidad evaluada en momentos o ediciones anteriores –referencia personalizada o idiosincrática.

Esta última referencia es especialmente adecuada para valorar los resultados del aprendizaje en las etapas no obligatorias, tomando en consideración las posibilidades y los condicionamientos del aprendiz, o de la aplicación de un programa*, poniéndolo en relación con lo conseguido en ediciones anteriores, de forma que se pueda apreciar avances, progreso, mejora en definitiva.

Correlación

Covariación o variación conjunta de dos o más series de datos medidos como mínimo a nivel de escala de intervalos, si bien es habitual aplicarlo a las medidas ordinalmente cuando el número de rangos es elevado y el instrumento se ha construido con rigor. La magnitud y sentido de la correlación se expresa mediante el coeficiente de correlación – simbolizada por rxy- siendo sus valores extremos 1 y –1 (correlación perfecta, positiva y negativa respectivamente). El valor 0 indica ausencia de relación siendo interpretado como la independencia de las variables de que se trate.

Cuestionario

Instrumento para la recogida de información, organizado en forma de preguntas, que se utiliza en la evaluación mediante el sistema de encuesta*

Resulta especialmente apto para ser aplicado a muestras* amplias y dispersas, sobre todo cuando está integrado por un amplio elenco de preguntas con respuestas previstas (cerradas) entre las que el encuestado debe seleccionar y marcar la suya.

Es frecuente que, además de las respuestas propuestas, se dé a los encuestados libertad para completar sus ideas con respuestas libres de extensión limitada.

Los cuestionarios suelen enviarse por correo, aunque actualmente tienen en internet una alternativa ágil y rápida. Cabe también una aplicación mediante entrevistadores a domicilio.

Datos

4

Dato es la información recogida, de forma sistemática y planificada, para dar la respuesta a las preguntas en que se concreta un problema de investigación o para la emisión de juicios sobre el valor o el mérito del programa*, en el caso de la evaluación*

El dato no es algo “dado” sino construido por el investigador o evaluador; según Ibáñez, “... en vez de hablar de `data´ habría que hablar de `capta´, pues los dispositivos de captura no sólo seleccionan sino que también conforman –transformándolo para informar de ello- lo que captan...”

Entre las modalidades de recogida de información / datos, podemos señalar su identificación y extracción a partir de materiales –textuales o no- disponibles, la pregunta a quienes poseen la información, la observación* de comportamientos relevantes en situaciones idóneas o el sometimiento a prueba* a los destinatarios del programa.

Datos cualitativos

Algunos autores los definen en forma negativa. Así, Tesch los caracteriza como aquellos “que no son cuantitativos, es decir: datos cualitativos son todos los que no pueden ser expresados con números”.

Una característica fundamental de lo denominado “dato” en la investigación cualitativa* es su enorme diversidad y complejidad. Por ello, entenderemos como “dato” el conjunto de informaciones en que se concretan las interacciones entre los sujetos y entre estos y el evaluador, así como las relativas a los propios contextos en que la información se produce y a las mismas circunstancias en que se origina.

La idea del dato como “capta” en lugar de cómo “data” queda reflejada en Taylor y Bogdan cuando afirman que los investigadores “toman decisiones sobre lo que deben observar, preguntar y registrar, decisiones que determinan lo que pueden describir y el modo en que lo describen”

Datos cuantitativos

Se trata de la información relevante para el problema de investigación o para la evaluación del programa*, traducida a números mediante alguna regla de medida.

De las exigencias de la unidad de medida y de la regla de medida depende la calidad de los datos, traducida en los diversos niveles* o escalas que, según Stevens, son cuatro: nominal, ordinal, de intervalos y de razones o cocientes.

Tratamiento de datos

Entendemos por tratamiento de los datos las diversas operaciones realizadas en el proceso de análisis* de los mismos.

Las operaciones fundamentales en el ámbito de los datos cuantitativos son las de ordenación, reducción y representación, conformando lo que se conoce como análisis exploratorio de datos. Unas y otras operaciones pueden llevarse a cabo con una sola variable, con dos o con más de dos, dando lugar a la denominada investigación multivariable o multivariada.

El tratamiento de los datos tiene en la inferencia estadística*, mediante la teoría de la probabilidad, su meta más elevada, al permitir el contraste estadístico de hipótesis.

5

En el caso de datos cualitativos, tales operaciones son las de reducción (separación de unidades, identificación y clasificación y agrupamiento), presentación (transformación y presentación) y obtención y verificación de conclusiones.

Decisiones (toma de)

En el ámbito pedagógico, cuya esencia es la mejora de la persona y, por y para ello, del conjunto de actuaciones sistemáticas y organizadas a su servicio, la evaluación* no tiene sentido en sí misma: de nada sirve el puro juicio de valor sobre la realidad evaluada.

El acto evaluador, y su concreción en el juicio de valor, cobra todo su sentido en la toma de decisiones destinadas a la mejora de la realidad evaluada, en nuestro caso del programa.

Las decisiones pueden ser sumativas (se aplica o no el programa; se interrumpe o no el programa; se mantiene o no el programa); sin embargo, las verdaderamente pedagógicas son formativas ya que permiten la mejora de la realidad evaluada –y de todo cuanto esté relacionado con ella- tan pronto como sea posible, actuando incluso preventivamente, sin esperar a que tal realidad se lleve a cabo sin las debidas garantías.

Dado que las decisiones suelen ser complejas, que su puesta en marcha e implementación puede alargarse en el tiempo y que sus efectos positivos no están asegurados, es conveniente acudir a su seguimiento, lo que hace de tales decisiones un verdadero programa dentro del programa. En esta línea, hemos abogado por la institucionalización de la evaluación.

Delphi

Delphi es una técnica de recogida de información, tanto para la investigación como para la evaluación*, mediante la consulta a expertos, especialmente adecuada para aquellos casos en que la información disponible no es abundante ni reconocida como especialmente relevante. Del mismo modo, se aplica de modo especial en los estudios de prospectiva, lo que la hace adecuada a la evaluación de necesidades* para detectar las expectativas de los sujetos y grupos o para adelantarse a futuras necesidades.

Para Linstone y Turoff , "El Delphi puede ser caracterizado como un método para estructurar el proceso de comunicación grupal, de modo que ésta sea efectiva para permitir a un grupo de individuos, como un todo, tratar con problemas complejos".

El desarrollo de Delphi, según Helmer y Rescher se concreta en un " programa cuidadosamente elaborado, que sigue una secuencia de interrogaciones individuales a través de cuestionarios, de los cuales se obtiene la información que constituirá la retroalimentación para los cuestionarios siguientes".

Deming (Ciclo de) PDCA

Entre las herramientas sistemáticas puestas al servicio de la mejora se encuentra el ciclo de Deming, conocido por sus iniciales en inglés: PDCA

Actuar Planificar

Comprobar Hacer, actuar

6

Plan, planear o planificar; hacer (do) o llevar a la práctica el plan elaborado; verificar (check), confrontar los resultados con las previsiones derivadas de las hipótesis*, previsiones que dieron lugar al plan; y actuar (act), que conduce o bien a consolidar la forma de hacer o bien a proceder a un nuevo ciclo.

Sobre el valor de esta herramienta, Masayoshi Ozawa, de la Nec Corporation, afirma: “nada en este mundo es imposible si el proceso PDCA se aplica sistemáticamente”.

Diferencial semántico

Entre las técnicas para la recogida de información se encuentran las escalas*. El diferencial semántico es un tipo de escala, debido a Osgood, Suci y Tannenbaum, cuyo objeto es medir el significado de un objeto para los individuos consultados.

La técnica consiste en la presentación de una serie de adjetivos bipolares, entre los cuales los sujetos deben marcar su posición, que admite grados –por lo general no más de siete- en relación con tres dimensiones de la actitud*: la evaluación, la potencia y la actividad.

Diseño

Se suele entender por diseño el plan general de una investigación o de una evaluación*. En cuanto plan es algo que se realiza por anticipado y en el que se prevén las actuaciones a seguir para alcanzar sus metas.

Por ello, Kerlinger define el diseño como “el plan, la estructura y la estrategia de una investigación, cuyo objetivo es dar respuesta a ciertas preguntas y controlar la varianza.

Lo esencial del diseño es su carácter planificado y su naturaleza de guía de las actuaciones a seguir, lo que le confiere el debido rigor y sistematicidad.

Control* de la varianza*

La asignación de los efectos medidos en la variable* dependiente* a la variable independiente* exige el control de la varianza*. La varianza total* de las puntuaciones, cuando se da tal control*, puede dividirse en varianza entre grupos –el que recibe y el que no recibe el programa, o el que recibe el programa experimental y el que recibe el programa con el que se contrasta- considerada como el fruto de la variable independiente, y varianza dentro de los grupos, variaciones que se dan dentro de cada grupo y que, por tanto, no son atribuibles a la variable independiente. Si aquella es muy elevada y esta es muy pequeña –recordemos el principio MAX-MIN-CON- la prueba estadística* puede ponernos ante una magnitud de la varianza* cuya probabilidad de que ocurra por azar es muy reducida, por lo que el investigador se siente legitimado para rechazar la hipótesis de nulidad (H0)* y, por ello, para aceptar la suya: el programa ha sido eficaz.

Diseño experimental

Dentro del marco de la idea general de diseño, cabe hablar del diseño experimental, el potencialmente más útil por sus aportaciones, pero –por lo mismo- el más exigente y difícil de llevar a la práctica.

La aportación fundamental del diseño experimental es el establecimiento de relaciones causales entre una variable independiente* –en nuestro caso el programa- y una dependiente*, que, en nuestra situación serían sus efectos o resultados.

7

Figura 1: Ciclo de Deming

Tal relación causal exige el cumplimiento del principio de Kerlinger conocido como MAX-MIN-CON, en particular, y en este punto, del CON, o control de la varianza* de las variables extrañas*, convertidas en hipótesis rivales a la del investigador. Cuando se da el CON –control- el diseño tiene validez interna*.

Diseño cuasi experimental

El diseño experimental es, muy probablemente, una meta no alcanzable en el ámbito de la investigación* educativa y menos en el de la evaluación de programas*.

El control de las variables extrañas* es muy difícil de alcanzar si no se pueden asignar sujetos y tratamientos al azar y si la variable independiente* actúa en contextos naturales y, por lo mismo, no controlables, en los que las hipótesis alternativas son razonables.

En tales casos, parece deseable acercarse cuanto sea posible a la investigación experimental, aunque no se llegue a ella, con diseños como los recogidos en el capítulo correspondiente de la monografía, entre otros el de grupo de control no equivalente.

a) Diseños de grupo de control no equivalente

Se trata de un diseño cuasiexperimental –la asignación de sujetos y tratamientos no es al azar- pero el investigador / evaluador dispone de medidas previas en ambos grupos o mide a ambos en variables que se consideran relevantes para el programa (covariables). Una vez aplicada la variable independiente a uno de los grupos, el experimental, ambos vuelven a ser medidos en lo que se consideran efectos de la variable independiente*.

Ante la posibilidad de que los efectos medidos en la variable dependiente* no se deban sólo a ella sino a posibles diferencias iniciales –fruto de la asignación no aleatoria- la comparación final no se lleva a cabo entre las medias aritméticas de ambos grupos sino entre tales medias ajustadas a las diferencias existentes en la covariable.

b) Diseños de series cronológicas

Los sujetos son asignados al grupo experimental –programa*- y al de control en función de su comportamiento en una serie de medidas previas a la introducción del programa. Estas medidas permiten establecer la puntuación de corte para llevar a cabo tal asignación.

Se denominan también de discontinuidad en la regresión. En efecto: si el programa fue eficaz, se apreciará un cambio en la recta de regresión. Si no fuera así, la recta mantendría las mismas características que en las medidas previas.

c) N = 1

Se trata de un diseño de caso único –sea un sujeto, sea un grupo- que se toma como control de sí mismo. Algunos autores lo identifican con los de series cronológicas o de series temporales.

Lo esencial de este tipo de diseños es la existencia de una línea de base, esto es, de un conjunto de medidas previas a la introducción de la variable independiente –en nuestro caso el programa- y la nueva toma de medidas una vez ha actuado tal variable.

Los cambios en el nivel y en la pendiente de tal línea de base se toman como manifestación de la acción del programa o variable independiente. La estabilidad de la línea de base facilita la

8

interpretación de los cambios posteriores, al igual que el mantenimiento de tales cambios una vez concluida la aplicación del programa.

Documento

El Diccionario de la R.A.E. nos ofrece varias acepciones:

“Diploma, carta, relación u otro escrito que ilustra acerca de algún hecho, principalmente de los históricos”.

“Escrito en que constan datos fidedignos o susceptibles de ser empleados como tales para probar algo”.

En evaluación de programas* los documentos son fuentes disponibles de datos. Al investigador /evaluador le corresponde identificarlos, localizarlos y utilizar las técnicas adecuadas –análisis de contenido*- para la extracción de la información.

Debe cuidarse que tal información sea adecuada y relevante para los intereses y objetivos del evaluador pues no toda información es, por sí, dato.

Educación

Actuación sistemática e intencional al servicio de la formación de la persona, encaminada a hacerla dueña de sus actos, esto es, a hacer de ella un ser autónomo, capaz de darse libremente un proyecto personal de vida, de tomar decisiones libres y de llevar adelante tal proyecto personal, acercándose al ideal de la unidad de vida: obrar de acuerdo con lo que la inteligencia nos propone como bueno y que es apreciado como tal por nuestra dimensión afectiva.

Calidad de la educación

Aquella educación que hace al ser humano dueño de sus actos asumiendo como propios los valores que reconocen la dignidad de la persona, de todas las personas, de cada persona, y los lleva a la práctica, capacitándose, además, para dar la debida respuesta a las necesidades* y demandas sociales del tiempo que le ha tocado vivir. En definitiva: una educación de tipo personalizado y capaz de responder al principio de pertinencia* formulado por UNESCO.

Encuesta (Método de)

El método general de encuesta es una de las técnicas más utilizadas para recoger información tanto en el caso de investigaciones descriptivas y correlacionales como en la evaluación, sea de programas, de materiales, de centros educativos e incluso del sistema educativo.

En esencia, la encuesta es un sistema de preguntas destinadas a aquellas personas que disponen de la información que necesita el investigador o el evaluador.

Admite dos modalidades básicas: el cuestionario* y la entrevista*. Tanto una como otra modalidad presentan formas diferentes en función del tipo de interacción entre el encuestador y el encuestado y de la tipología de las preguntas y de las respuestas previstas.

Entrevista

Modalidad de la técnica general de encuesta* destinada a recoger la información que necesita el investigador / evaluador por medio de preguntas.

9

En la entrevista se da una relación directa y personal entre el entrevistador /evaluador y el entrevistado.

La entrevista puede consistir simplemente en la formulación de las preguntas del cuestionario*, marcando el entrevistador las respuestas, o en la formulación de una serie de preguntas dejando al entrevistado amplia libertad para manifestar su pensamiento sin limitaciones de espacio o de tiempo.

El registro de la información en el caso de una entrevista abierta es una cuestión fundamental, a fin de evitar la pérdida de información y, todavía más, la pérdida selectiva de la misma, incurriendo así en sesgos que atentan contra su validez.

Escalas

La escala es un instrumento para la recogida de información bien mediante el registro de lo observado por el investigador / evaluador / observador, bien mediante la respuesta dada por la persona a la que se aplica, emitiendo así un autoinforme sobre su forma de pensar, sentir o valorar.

En el caso de la observación*, el observador anota en el instrumento en que se concreta la escala su valoración sobre los aspectos que le interesan, tales como la intensidad, frecuencia, persistencia, ritmo, latencia, duración, ... de la realidad a observar. Por ejemplo, en el caso de las actitudes hacia los inmigrantes, puede interesar la intensidad con que se den actitudes positivas o negativas en diferentes campos o ámbitos de relaciones con niños de otras culturas. En estos casos, nos encontramos ante escalas de observación o de valoración.

Para la evaluación de actitudes* y valores* se han ideado una serie de escalas que permiten situar a los sujetos a lo largo de un continuo. Se trata de escalas muy elaboradas y que presentan tres modalidades fundamentales:

Escalas tipo Thurstone, que pretenden formar un continuo con intervalos de apariencia igual, mediante la determinación de los valores escalares* de los diferentes enunciados que definen el campo completo de la actitud. Para la determinación de estos valores se acude a jueces.

Las escalas aditivas, que siguen el modelo Likert. Se trata de enunciados, en relación con los cuales la persona que responde marca, para cada uno de ellos, su valoración en una escala, por lo general de cinco rangos, desde el acuerdo total al desacuerdo total. La puntuación total de la persona es la suma de las obtenidas en los diferentes items de la escala.

Las escalas tipo Guttman son acumulativas. Pretenden apreciar la posición de una persona a lo largo de un continuo unidimensional. Por tanto, la elección de uno de los ítems debe suponer, si está bien construida, el acuerdo con todos los que le preceden.

Estadística

La Estadística es una ciencia, rama de la Matemática, que estudia los fenómenos aleatorios y la teoría de la probabilidad. Como toda ciencia tiene entre sus metas las de descripción, el análisis y la predicción.

Sus dos tareas fundamentales son las de caracterizar un conjunto de datos mediante unos valores denominados estadísticos, y la de establecer inferencias a partir de tales valores para generalizarlos a toda la población (parámetros).

10

En el primer caso estamos ante la estadística descriptiva, siendo los estadísticos más comúnmente utilizados las denominadas medidas de posición, de variabilidad, de simetría y de apuntamiento. En el caso de trabajar con más de una variable, esta modalidad de la estadística obtiene índices de asociación* y coeficientes de correlación*.

El salto de los valores muestrales a la población se realiza sobre la base de la probabilidad de los fenómenos, lo que exige conocer cómo se distribuyen los estadísticos para calcular sus probabilidades de ocurrencia. Este tipo de Estadística se conoce como muestral o inferencial, dado que realiza inferencias de los valores muestrales a los poblacionales.

Un campo de especial relevancia es el de las pruebas estadísticas*, mediante las cuales se pueden someter a contraste las hipótesis del investigador. Según sean las exigencias de las pruebas para proceder a su aplicación, se dispone de las denominadas no paramétricas –menos exigentes- y de las paramétricas, más exigentes en cuanto a los requisitos para su aplicación y, como consecuencia, con mayor potencia, esto es, con mayor capacidad para rechazar la hipótesis de nulidad*.

Estadísticas

Cuando se utiliza el término el plural viene a significar, según el diccionario de términos estadísticos debido a Kendall y Bukland, “datos numéricos relativos a un conjunto de individuos”,

Las sociedades avanzadas elaboran conjuntos de datos, recogidos de forma sistemática y organizada, con determinada periodicidad, que pueden ser tomados en consideración en la evaluación de programas. Entre ellos, los relativos a la natalidad, morbilidad y mortalidad, a los alumnos matriculados, al paro, al consumo, a la incidencia de determinadas enfermedades, al fracaso escolar, a los alumnos que siguen un ritmo regular o que llevan retraso de varios años, a los que abandonan sus estudios...

Estándares (de la evaluación de programas)

Ante las dificultades técnicas de la evaluación de programas*, y sus notables implicaciones y consecuencias en el caso de evaluaciones de programas de relevancia social, se han ideado unos estándares de calidad de las evaluaciones.

El Joint Committée publicó en 1994 The Program Evaluation Standards, concebidos como una herramienta útil tanto para los evaluadores como para los usuarios de los programas, a fin de que sean capaces de valorar las evaluaciones a las que puedan acceder.

Para el Joint Committee un estándar es un principio acordado por las personas comprometidas en una práctica profesional destinada a mejorar la calidad de la misma. Consideran que los estándares “proporcionan una guía para evaluar los programas de educación y formación, proyectos y materiales”.

Los estándares son 30 y se organizan en torno a cuatro grandes criterios:

• Utilidad, con siete normas• Viabilidad, integrado por tres normas• Honradez o probidad, con ocho normas• Precisión, formado por un total de doce normas

Evaluación

11

Para el autor, “la evaluación pedagógica es la valoración, a partir de criterios y de referencias preespecificadas, de la información técnicamente diseñada y sistemáticamente recogida y organizada, sobre cuantos factores relevantes integran los procesos educativos para facilitar la toma de decisiones de mejora”

La concepción del autor se concreta en los tres adjetivos aplicados a la evaluación: integral, dando a entender que debe darse plena relación entre los objetivos educativos y el contenido de la evaluación, evitando sesgos y reduccionismos; integrada, o lo que es lo mismo: haciendo de la evaluación un componente más, armónicamente incorporado al programa, e integradora, de forma que sea la evaluación un elemento dinamizador de la mejora, no sólo del programa sino del alumnado, del profesorado y de cuantos elementos contribuyen al logro de los objetivos educativos. Una caracterización tal tiene como base la ampliación de las tradicionales funciones sumativas, de control y administrativas, con la incorporación de la función formativa o para la mejora.

La evaluación de programas

Esta concepción amplía los momentos de la evaluación, los sujetos evaluadores y los objetos a evaluar, dando cobertura a la evaluación de programas, de centros educativos y del propio sistema.

La evaluación de programas es definida por el autor como el “proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa –valiosa, válida y fiable- orientado a valorar la calidad y los logros de un programa, como base para la toma de decisiones de mejora tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso”.

Componentes

El concepto de evaluación incorpora tres componentes básicos: la información, que debe ser coherente con la naturaleza de los objetivos; la valoración, que se concreta en la aplicación de criterios y de referencias, y la toma de decisiones de mejora. Como elemento previo, decisivo para establecer la calidad de la evaluación, es necesario contar con los objetivos del programa, bien formulados y conocidos previamente por las partes implicadas. Como elemento posterior, esencial en una evaluación pedagógica, orientada por tanto a la mejora, se debe incorporar el seguimiento de las decisiones, a fin de asegurar que se da el efecto de mejora para el que se diseñaron.

Etapas o momentos

En el caso de la evaluación de programas, se suelen distinguir tres grandes etapas o momentos si se trata de evaluaciones únicas de un programa, por lo general evaluaciones externas y llevadas a cabo por expertos: la inicial, centrada en la calidad del programa en cuanto tal; la procesual, concretada en el proceso y desarrollo del programa –implantación e implementación- y la final, orientada a la determinación de su eficacia. Si la evaluación es sumativa, la evaluación puede concluir en la no aplicación del programa, en su interrupción o en su retirada una vez concluida.

En el caso de programas estables, aplicados en ediciones sucesivas, tales etapas son adecuadas para la primera evaluación, siendo conveniente proceder a la institucionalización de la evaluación en línea con nuestra idea de evaluación integrada. Obviamente, en tales casos la función fundamental es de carácter formativo, permitiendo la mejora del programa tanto antes de su aplicación –evaluación inicial, preventiva- como durante la misma –evaluación procesual o continua- y, desde luego, final, identificando sus puntos fuertes y las debilidades del mismo, para ser atendidas antes de su aplicación en una nueva edición.

12

Información

La base de toda evaluación es la información recogida, los datos, cuya cualidad fundamental es la de su coherencia con los objetivos del programa y de la propia evaluación.

Para la recogida de información, base de toda evaluación, se debe recurrir a una gran variedad de fuentes productoras y a una notable diversidad de técnicas, desde la observación* del desarrollo del programa a las pruebas* para decidir sobre su eficacia, pasando por la consulta, sea a expertos –Delphi*- o a cualquier usuario o parte interesada –encuestas*: entrevistas* y cuestionarios*- o por el recurso a la información disponible.

Valoración

La valoración de la información recogida consiste en la aplicación de criterios y de referencias preespecificados.

Los criterios fundamentales en la evaluación de programas suelen ser los de pertinencia*, evaluabilidad, suficiencia, viabilidad, adecuación, eficiencia, eficacia, efectividad. En cuanto a las referencias, es preciso hablar de la normativa*, la criterial* y la idiosincrática*.

Decisiones

El verdadero sentido de la evaluación pedagógica es la toma de decisiones* de mejora, pues es en ellas en las que se concreta la acción educativa.

Modelos

Podemos considerar “modelo” a propuestas evaluativas concretas, organizadas y articuladas de forma coherente.

Entre los modelos más conocidos, el de Tyler, orientado a valorar y decidir sobre la eficacia de los programas; los de Stake –modelo de la figura y evaluación respondiente- que complejizan la evaluación en relación con la sencillez de Tyler; el de Scriven, caracterizado por su preocupación por la evaluación de los propios objetivos y por su aportación en relación con la evaluación formativa; o el de Stufflebeam y Shinkfield, conocido como CIPP por las iniciales de sus cuatro grandes componentes (contexto, input, proceso, producto, cruzados con objetivos, métodos y relación con la toma de decisiones).

Rompiendo la lógica de los anteriores, la denominada evaluación cualitativa, conocida como iluminativa, debida fundamentalmente a Parlett y Hamilton, que se muestran muy críticos con los modelos anteriores por considerarlos inadecuados para poner de manifiesto la complejidad de los fenómenos evaluados.

Cabe reseñar, también, la denominada evaluación democrática, debida a McDonald, en el marco de su método holístico, según el cual el evaludor “debe aceptar como potencialmente relevantes todos los datos relativos al programa y sus contextos”, en lugar de partir de ideas y planteamientos predeterminados.

Frente al paradigma* cuantitativo o positivista, ellos muestran sus preferencias por su opuesto, generalmente conocido como cualitativo, naturalista o interpretativo. Este tipo de evaluación implica novedades en lo relativo a la metodología, derivadas de supuestos y conceptos en relación con dos aspectos básicos: el sistema de enseñanza y al medio de aprendizaje.

13

La evaluación según este “modelo” trata de desentrañar la realidad, comprenderla en toda su complejidad y explicarla a la luz de los principios que subyacen a la organización, orientando su enfoque hacia la toma de decisiones.

Evaluación de necesidades

Los programas* deben responder a necesidades* de los sujetos a los que van destinados. Su detección, identificación y evaluación debe convertirse en la base sobre la que diseñar el programa. La coherencia entre los resultados de esta evaluación y el programa diseñado es un indicador de la calidad de este.

En algunas propuestas, la evaluación de necesidades se considera un elemento con sentido propio, fuera del marco general de evaluación del programa. En otras, es una primera etapa del mismo.

Fiabilidad

Junto a la validez*, es la cualidad esencial que deben reunir los instrumentos de recogida de información /datos*.

Por lo general, la fiabilidad se determina mediante el coeficiente de fiabilidad, un coeficiente de correlación* que indica el grado de relación entre dos series de datos, sean estos las puntuaciones obtenidas en la prueba por el mismo grupo en dos ocasiones diferentes –coeficiente de estabilidad-, en las dos partes equivalentes en que se divide la prueba –coeficiente de consistencia interna- o en dos pruebas equivalentes –coeficiente de equivalencia.

Hipótesis

Se entiende por hipótesis una conjetura anticipada de la relación entre variables. En el caso de la investigación experimental, la fórmula más exigente es la de “si.... entonces...”. Su contrate, a fin de poderla mantener, exige el control de hipótesis alternativas –variables extrañas*- y la aplicación de pruebas que permitan asignar los efectos, con ciertos niveles exigentes de probabilidad, a la variable independiente* -en nuestro caso al programa*- en lugar del azar.

Hipótesis de nulidad (H0)

En el caso de la investigación experimental es la hipótesis que debe poder rechazar el investigador para poder mantener la propia. H0 se denommina “de nulidad o nula” porque suele expresarse en el sentido de no exitencia de diferencias o de que tales diferencias no van más allá de las explicables como fruto del efecto del azar o de la casualidad.

Indicadores

Para De Miguel, indicador es “Todo dato empírico –ya sea cuantitativo o cualitativo- recogido de forma sistemática, en relación con unas metas o procesos, que permite estimar la productividad y/o la funcionalidad del sistema.”

Gil Traver los define como “Unidad de información, consensuada entre los distintos implicados, y contextualizada, sobre un aspecto del sistema educativo, susceptible de

14

operativizarse en variables y asociado a uno de los momentos del proceso de producción (Contexto-Entrada- Proceso-Producto)”.

Entre los sistemas de indicadores conviene reseñar INES (Proyecto Internacional de Indicadores de la Educación), PISA (Programme for International Student Assessment) y el Sistema Estatal de Indicadores de la Educación, elaborado en nuestro país por el INCE /INECSE.

Informe de evaluación

Se entiende por Informe un documento técnico elaborado por el evaluador, destinado a ofrecer información sobre el programa a sus responsables y a las demás partes afectadas e interesadas.

Los Informes deben poseer ciertas cualidades; las técnicas, concretadas en su carácter de completos, accesibles y objetivos, y las éticas, resumibles en el aseguramiento de la integridad de la información y en el respeto del derecho a la misma de las diferentes partes implicadas e interesadas.

Investigación

Para Selltiz y cols., “Investigar es buscar de nuevo, echar otra mirada más cuidadosa para averiguar más. Echamos otra mirada porque puede haber algo erróneo en lo que ya sabemos [...]La actitud investigadora presupone que la primera mirada –y las posteriores- pueden ser propensas a error, y por ello tenemos que mirar una y otra vez, de forma diferente y completa cada vez”.

La investigación va indefectiblemente unida al método. En el caso de la investigación científica el método es el denominado científico. Para Bunge“...la peculiaridad de la ciencia tiene que consistir en el modo con que opera para alcanzar algún objetivo determinado, o sea, en el método científico y en la finalidad para la cual se aplica dicho método”

La polémica existente entre quienes defienden que el método científico es el único propio de las ciencias y de quienes mantienen que la especificidad de los ámbitos del saber exigen métodos también específicos, ha dado lugar a la polémica sobre los paradigmas*.

Así, Th. Jun mantiene que “lo que distingue a las ciencias sociales de las naturales es la ausencia misma de un paradigma dominante único”, por lo que las ciencias sociales serían “preparadigmáticas” en su desarrollo. Pero Shulman llega a mantener que “es mucho más posible que para las ciencias sociales y de la educación la coexistencia de escuelas divergentes de pensamiento sea un estado natural y bastante maduro”.

Item

Cada uno de los elementos que integran un instrumento para la recogida de información. Habitualmente se aplica a los elementos que componen las pruebas objetivas y los tests de rendimiento.

Listas

Instrumentos para el registro de información obtenida mediante observación, participante o no.

15

El observador tiene ante sí una serie de elementos que definen el rasgo o característica objeto de observación*; su tarea, tras un proceso planificado y sistemático de observación –momentos, lugares, situaciones, duración- registra si tales aspectos se dan o no en la persona objeto de observación.

Medida

Una de las definiciones más conocidas es la de comparar una cantidad con una unidad de la misma naturaleza. En el ámbito educativo, son pocas las situaciones en que tal definición es aplicable y, cuando lo es, suele referirse a realidades poco relevantes en términos pedagógicos.

Por ello suele utilizarse una definición mucho más amplia, como la dada por Stevens: asignar numerales –números o letras- a objetos o hechos de acuerdo con ciertas reglas.

Niveles y escalas de medida

Cuando se aplican tales reglas a una realidad concreta, estamos ante una variable medida a un determinado nivel, más o menos exigente, lo que permite realizar con tales números ciertas operaciones y no otras.

De este modo nos encontramos ante diferentes niveles o escalas de medida: nominal, ordinal, de intervalo y de razón o cociente.

En las primeras se da un número a todo lo que es igual y otro diferente a lo que es distinto. El número no indica cantidad sino igualdad o diferencia. En las ordinales, el número indica rango u orden, pero las diferencias entre tales rangos no es constante.

En el caso de variables medidas a nivel de intervalos, las diferencias entre valores consecutivos son constantes. Con este tipo de variables se pueden realizar las operaciones de suma y resta, y las de multiplicación y división entre las diferencias de los números así asignados, pero no la multiplicación y división con tales números.

Por último, el nivel de cociente o de razón implica no sólo intervalos de igual distancia sino cero absoluto, lo que permite la realización de todo tipo de operaciones con los números atribuidos.

Método, Metodología

Método es el procedimiento, ordenado y sistemático, orientado al descubrimiento de la verdad y a su enseñanza.

En la monografía se entiende por metodología el conjunto de métodos, procedimientos, técnicas e instrumentos destinados a encontrar las respuestas a los problemas de investigación o a configurar los juicios de valor en la evaluación*.

Los dos grandes complejos metodológicos son los ligados las denominadas metodologías cuantitativas y a las cualitativas. Algunos autores consideran que se da una relación necesaria entre tales complejos metodológicos y sus correspondientes paradigmas*; otros, por el contrario, mantienen que tal relación no necesaria y que la elección de una u otra se encuentra más condicionada por los objetivos de la evaluación / investigación.

Metodología cuantitativa

16

Las metodologías cuantitativas recogen datos cuantificables, con frecuencia mediante números, aunque su calidad depende de la regla de medida y de su unidad (niveles de medida*). Tales números son tratados, por lo general, mediante la estadística, aplicando la teoría de la probabilidad.

Los principales enfoques de la metodología cuantitativa son: la investigación descriptiva –por encuesta-, la correlacional, la ex-post-facto y la experimental. La metodología experimental se sirve del experimento, en el cual se someten a contraste las hipótesis* que guían la investigación en condiciones de máximo control*.

Metodología cualitativa

Las metodologías cualitativas acuden en mayor medida a datos textuales, a la realidad tal como ocurre de modo natural y espontáneo.

Entre sus enfoques fundamentales cabe destacar el estudio de casos, la entrevista en profundidad y la observación participante.

Para salir al paso de las limitaciones de cada una de ellas por separado, se acude al principio de complementariedad metodológica*, no asumido por quienes mantienen una posición de total vinculación entre metodologías y paradigmas*.

Muestras

Una muestra es un subconjunto de una determinada población*. En la población se encuentran todos los sujetos que reúnen ciertas características; en una muestra, sólo algunos de ellos.

El sentido de utilizar muestras es el de estudiar sus características sin tener que acudir a todos los casos, algo muchas veces inalcanzable. Por otra parte, en el marco de la investigación se trata de llegar a generalizaciones aplicables no sólo a los actuales sujetos de la población sino a los que en un futuro más o menos lejano tengan sus mismas características, lo que impide estudiar la población en sentido pleno.

Por ello se acude a las muestras, que deben cumplir el requisito de representatividad, esto es, la posesión de las características de la población en su debido nivel, estructura y organización. La representatividad exige contar con un número mínimo de casos –suficiencia- y la utilización de procedimientos imparciales –azar, en sus diversas modalidades- para la selección de los sujetos que integrarán la muestra.

Necesidades, carrencias, demandas, expectativas

Al hablar de necesidades suele distinguirse entre estas –que implican su reconocimiento como tales por quienes las tienen (dimensión subjetiva)- y las carencias, que ponen de relieve limitaciones existentes en una determinada persona o grupo del que pueden no tener conciencia ni demandar su satisfacción. En tales casos es necesario hacer de la carencia –algo objetivo- una necesidad.

Puede hablarse, también, de demandas: cuando se pide o exige la satisfacción de una necesidad, y de expectativas, cuando se trata de identificar metas cuya satisfacción es razonable esperar que se dé en un futuro más o menos lejano.

La posibilidad de identificar, mediante estudios prospectivos, estas necesidades futuras, permite prepararse, anticiparse a las mismas y hacer más fácil su satisfacción.

17

Objetivos

Se entiende por objetivo aquello que se desea alcanzar mediante un determinado plan de acción.

La educación, como proceso intencional, se plantea una finalidad y una serie de objetivos, algunos de largo alcance y otros a más corto plazo, denominados por algunos metas.

Los objetivos educativos han sido organizados en categorías*; una de las clasificaciones más conocidas de los objetivos de la educación es la debida a Bloom y cols.; se trata de su taxonomía*, organizada en tres amplios dominios: cognoscitivo, afectivo y psicomotor.

Los objetivos deben expresarse con claridad para que puedan desempeñar su papel directriz tanto para los procesos educativos y formativos llevados a cabo por los educadores como para organizar la actividad de aprendizaje que corresponde al alumnado de los programas y para asegurar la coherencia de la evaluación.

La taxonomía de Bloom se presenta a título de propuesta o ejemplo. Quienes diseñan los programas deben acudir a algún tipo de clasificación de objetivos para asegurar un programa bien orientado, una acción docente /formativa congruente y una evaluación coherente.

El término “objetivo” se utiliza también para caracterizar la información que trata de reflejar la realidad tal como es, liberada de las limitaciones que derivan de la subjetividad del observador.

Observación

La observación es la técnica básica para conocer, para adquirir saber sobre algo, llegando a ser considerada por algunos como el origen de la ciencia. Tiene sentido por si misma, pero también puede formar parte del experimento, aquella forma de investigar que parte de problemas para cuya solución se plantea una hipótesis*, que debe ser contrastada en condiciones de riguroso control*.

Para M. Bunge, la observación es “una percepción intencionada e ilustrada. Intencionada o deliberada porque se hace con un objetivo determinado; ilustrada, porque va guiada de algún modo por un cuerpo de conocimiento”.

Anguera dice de ella que trata de “advertir los hechos como espontáneamente se presentan” señalando que se convierte en técnica científica en la medida en que: 1) sirve a un objetivo ya formulado de investigación; 2) es planificada y sistemática; 3) es controlada y relacionada con proposiciones más generales; y 4) está sujeta a comprobaciones de validez y fiabilidad.

Paradigma

Para Gage los paradigmas son “modelos, pautas o esquemas. Los paradigmas no son teorías; son más bien maneras de pensar o pautas para la investigación que, cuando se aplican, pueden conducir al desarrollo de la teoría”.

Para Cook y Reichardt, “...la distinción más notable y fundamental entre los paradigmas corresponde a la dimensión de verificación frente a descubrimiento. Parece que los métodos cuantitativos han sido desarrollados más directamente para la tarea de verificar o de confirmar teorías y que, en gran medida, los métodos cualitativos fueron deliberadamente desarrollados para la tarea de descubrir o generar teorías”.

18

Los paradigmas básicos son el cuantitativo –positivista- y el cualitativo -naturalista- aunque algunos autores incluyen, también, el crítico. Planteamientos más actuales desvirtúan el concepto tradicional de paradigma, llegando a incluir algunos muy diferentes, como el denominado feminista.

Pertinencia

Criterio de calidad de la educación* consistente, según UNESCO, en el hecho de plantearse y tratar de dar respuestas a los problemas y necesidades de la sociedad.

Que la educación sea pertinente según UNESCO implica estar en relación, en contacto, con el mundo del trabajo, con las políticas, con la cultura y las culturas, con los demás niveles del sistema educativo...

Población

Conjunto de todos los casos que reúnen determinadas condiciones o características. Algunos autores diferencian entre población –conjunto de todos los casos accesibles al investigador que reúnen tales características- y universo, en el que están todos los casos, accesibles o no.

El investigador extrae la muestra*, que debe ser representativa –tamaño suficiente y extraída por un procedimiento imparcial- a partir de la población.

Principio de complementariedad metodológica

Dada la diversidad de contenidos y objetivos que se dan en educación*, dada la complejidad de las organizaciones educativas, de los procesos, de las funciones desempeñadas por los protagonistas de los actos educativos, dados los condicionantes de los contextos en que se llevan a cabo los procesos educativos, las metodologías a utilizar en la evaluación debern ser muy variadas.

En el marco de la evaluación de programas, complejo y diversos, parece aconsejable acudir a diversidad de métodos, técnicas, instrumentos, y fuentes productoras de datos, dando cabida al principio de complementariedad metodológica, mucho más rico que cualquier enfoque metodológico por separado.

Según este principio, las diferentes metodologías pueden utilizarse, simultánea o sucesivamente, a fin de disponer de una información más rica, completa y matizada que con cualquiera de las metodologías por separado. Los problemas para su efectiva aplicación derivan de las limitaciones de los evaluadores –resolubles mediante su constitución en equipos multidisciplinares- y en las limitaciones de tiempo y recursos.

Un problema de otra naturaleza es el de la integración de la información procedente de tal diversidad de fuentes obtenida con tal variedad de técnicas.

Programa

Un programa es un documento técnico, elaborado por personal especializado, en el que se deja constancia tanto de sus objetivos cuanto de las actuaciones puestas a su servicio. Responde, pues, a las notas de todo plan de acción: planteamiento de metas, previsión, planificación, selección y disponibilidad de medios, aplicación sistemática, sistema de control y evaluación del mismo.

19

Sus componentes básicos son: los contenidos, los objetivos, el plan de acción, integrado por un conjunto de medios y recursos, entre los que se encuentra la evaluación formativa, y un sistema de evaluación (ahora de carácter sumativo).

Pruebas

Entendemos por prueba una técnica para recoger información en la que se pone a los “destinatarios del programa en situación de superar o no un determinado desafío, de alcanzar un nivel, de conseguir una marca, de demostrar una capacidad o habilidad, ...”

Entre los tipos de prueba más conocidos se encuentran las denominadas objetivas, en las que los destinatarios de los programas deben responder a un amplio número de ítems para poner de relieve el dominio de un determinado programa o de una parte sustantiva del mismo. En ellas, las respuestas suelen estar prefijadas y no caben las aportaciones subjetivas del evaluado.

Junto a las pruebas objetivas los tests de rendimiento, un tipo especial de prueba, por lo general construida por expertos, que da indicaciones de su fiabilidad* y validez* (por lo general de contenido, concurrente y predictiva), además de presentar un baremo para la interpretación de las puntuaciones obtenidas por los sujetos del programa.

Si bien las características técnicas de los tests de rendimiento parecen hacer de ellos un instrumento preferible, las limitaciones puestas de relieve por R. Glaser, entre las que destaca que muchos de ellos logran su capacidad discriminatoria utilizando ítems que no fueron objeto de enseñanza, han llevado a preferir la construcción de pruebas criteriales, cuyo valor más destacado es su coherencia con los procesos de enseñanza, permitiendo conocer hasta qué punto el alumno alcanza el nivel prefijado por el profesor en un dominio de aprendizaje perfectamente definido (Popham)

Junto a ambos tipos de prueba, los exámenes tradicionales, con modalidades que van de las preguntas de respuesta breve a las pruebas de ensayo, pasando por pruebas para la evaluación del logro de objetivos complejos (resolución de problemas, realización de trabajos, interpretación de mapas, expresión escrita u oral). La observación de las actividades puede ser una de las técnicas de prueba más válidas en el caso de objetivos complejos, ligados a dominios afectivos o psicomotores.

Pruebas estadísticas

Las pruebas estadísticas son técnicas estadísticas utilizadas en el marco de la estadística inferencial, destinadas a contrastar determinadas hipótesis* formuladas por el investigador, tomando como contraria la hipótesis de nulidad o nula (H0)*.

Tales pruebas, basadas en la teoría de la probabilidad y en los conocimientos existentes sobre la distribución de los estadísticos, permiten asignar a los valores empíricos obtenidos en la investigación / evaluación una probabilidad de ocurrencia de conformidad con el azar o la casualidad como explicación.

Cuando tal probabilidad es muy baja –igual o menor que el nivel previamente fijado como aceptable de cometer un error tipo I por el investigador, cuyo símbolo es α- el investigador rechaza H0* y acepta la explicación de los resultados como debida a la variable independiente* (siempre que, además, se haya cumplido la exigencia de control* de las explicaciones alternativas: variables extrañas).

20

Registro de incidentes críticos

Técnica para el registro de datos de observación* que acontecen ante el observador incluso en situaciones en que este no está tratando de observar a los sujetos.

En esencia consiste en una cartulina, que puede organizarse en un registro acumulativo, en la que el observador deja constancia, con todo el detalle necesario, de un acontecimiento, sea positivo o negativo, que considera relevante en relación con la manera de ser de los sujetos. El registro debe ser objetivo y contextualizado.

Se recomienda que la valoración que pueda realizar el observador se registre aparte –tal vez en la parte posterior de la cartulina- para que no contamine el juicio de quienes en el futuro analicen el registro a fin de tratar de comprender el modo de ser del sujeto de que se trate.

Tabla de especificaciones

Se entiende por tal una tabla de doble entrada en la que se incluyen, en uno de los ejes, los objetivos* de la enseñanza y de su posterior evaluación y, en el otro, los contenidos, debidamente organizados y sistematizados, que se utilizarán para alcanzarlos.

Las intersecciones de objetivos / contenidos que sean relevantes para la enseñanza y para la evaluación se marcan con una X. Esta marca puede, además, recoger algún número que sirva para indicar que tal interacción es más o menos importante, por lo que requiere una mayor presencia en la evaluación o un mayor número de actividades en la enseñanza. En definitiva, hablamos de su ponderación.

Teóricamente, tal tabla puede hacerse más compleja si a las dos dimensiones anteriores se les añade una tercera, ligada a objetivos del dominio afectivo a lograr a través del cruce de contenidos / objetivos del ámbito cognoscitivo. Por ejemplo, a través de ciertas actividades destinadas a apreciar si el alumno es capaz de interpretar el resultado de ciertas técnicas estadísticas, se puede pretender, además, sensibilizarle hacia ciertos valores morales.

Tamaño del efecto

Técnica estadística alternativa o complementaria a las pruebas de significación estadística para contrastar una determinada hipótesis* o valorar la eficacia de un programa.

Este procedimiento presenta la ventaja de comparabilidad de los resultados al tansformarlos a una escala común, evitando el inconveniente de las pruebas de significación, muy afectadas por el tamaño de las muestras a las que se aplica.

Taxonomía

Ciencia que trata de los principios, métodos y fines de la clasificación

Taxonomía de los objetivos de la educación: clasificación de los objetivos de la educación. La más conocida, la debida a Bloom y colaboradores, estructura los objetivos en tres grandes dominios: el cognoscitivo, el afectivo y el psicomotor.

Test

21

Test es sinónimo de prueba*. Una prueba es un instrumento objetivo construido para evaluar los logros alcanzados mediante la implantación e implementación de un programa.

Los tests pueden construirse con la intención de situar a los destinatarios a lo largo de un continuo, interpretando sus puntuaciones tomando como referencia el grupo normativo con el que se construyó el baremo*, o un dominio de conducta o de aprendizaje perfectamente definido.

En el primer caso, los tests se dicen de referencia normativa* y se construyen valiéndose de su índice de dificultad, de forma que el resultado sea aproximadamente la curva normal de probabilidades o campana de Gauss, modelo que permite interpretaciones útiles.

En el segundo, el test trata de reflejar dicho dominio de aprendizaje, aplicando con todo cuidado el plan descriptivo del test. De este modo es posible determinar si el criterio –puntuación de corte- se logró o no y, sobre todo, qué aspectos del programa han sido conseguidos y cuáles no, lo que facilita la toma de decisiones* tanto sobre el alumnado como sobre el programa*.

Tanto las pruebas normativas como criteriales deben ser fiables* y válidas*. Las primeras, además, deben ir acompañadas de baremos* construidos sobre muestras amplias y, sobre todo, representativas de la población a la que se aplicarán para la interpretación de las puntuaciones de nuevos sujetos.

Validez

La definición más común de validez de un test, de una prueba, se refiere al hecho de que tal instrumento mida aquello que dice medir: un test de rendimiento debe medir esto y no inteligencia, por ejemplo.

Sin embargo, el hecho de que los “objetos” medidos por los tests no son realidades directamente observables explica que la validez, establecida mediante coeficientes de validez, -en términos estadísticos, un coeficiente de correlación*- sea, por lo general, baja.

Bajo ese concepto general de validez de las medidas se encuentran diversas modalidades, desde la más común y necesaria en nuestro campo, la validez de contenido, que indica el grado de coherencia entre su contenido de la prueba y el de la realidad medida (por ejemplo, entre el contenido de una prueba y los contenidos / objetivos que han sido objeto de enseñanza aprendizaje), a la validez de construcción, pasando por la validez concurrente y la validez predictiva.

Validez interna

En los diseños experimentales, cuando se da este tipo de validez se está afirmando que los resultados medidos en la variable dependiente* se deben a, y sólo a, la variable independiente*, meta que exige el control* de explicaciones alternativas a la mantenida por el investigador en su hipótesis*.

Entre los factores que atentan a esta validez, según Campbell y Stanley, se encuentran la historia, la maduración, la mortalidad experimental...

Valor

El concepto de valor varía según se parta del supuesto de que es una cualidad inmanente a los objetos o ideas, o que depende de la valoración atribuida por las personas a tales hechos o ideas.

22

Para Marín Ibáñez, "El valor es la perfección o dignidad que tiene lo real, o que debe tener y reclama de nosotros el adecuado juicio y estimación". Esta posición considera que el valor es independiente de la persona que valora, respondiendo, por tanto, a una concepción absoluta.

Desde una perspectiva psico-social los valores son entendidos de otro modo; según Escámez y Ortega "Un valor es una creencia duradera de que un específico modo de conducta o un estado final de existencia es personal o socialmente preferible a otro modo de conducta o estado final de existencia opuesto o contradictorio".

En el ámbito de la educación, al margen de esta polémica, de lo que se trata es de proponer los valores reconocidos como positivos, bien desde perspectivas religiosas bien desde las diversas ideologías. Los valores y los sistemas articulados de valores, se pueden y se deben proponer pero no es lícito intentar su imposición por procedimientos que no respeten la libertad del ser humano.

Valor escalar

En las escalas* tipo Thurstone –de intervalos de apariencia igual- destinadas a la evaluación de actitudes y valores, el valor escalar equivale al valor mediano –el que ocupa el percentil 50- en los valores atribuidos por los jueces a los diferentes enunciados de la escala.

Variable

Se define por oposición a constante. Se afirma de algo que es una variable cuando puede recibir varios valores –cuantitativos por lo general- a lo largo de un continuo. Según la regla de medida, las variables pueden ser medidas nominal u ordinalmente, a nivel de intervalos o de cocientes.

Variable extraña

En la investigación experimental se da este nombre a aquellas variables no controladas por el investigador, que se convierten en hipótesis rivales de la suya, y que pueden influir en lugar de la independiente* o junto a ella sobre la dependiente, contaminando los resultados e invalidando la investigación.

Variable independiente

En la investigación experimental, aquella que manipula e investigador tratando de contrastar y validar su hipótesis (relación entre variable independiente y dipendiente), en particular cuando se formula en los términos exigentes de “si... entonces...”.

Variable dependiente

En la investigación experimental, aquella en la que el investigador mide los efectos que pretende atribuir a la independiente, siempre que se dé control* de las variables extrañas* y que su magnitud exceda la que puede ser explicada como fruto del mero azar o de la casualidad.

Varianza

La varianza es una medida de dispersión o variabilidad de las puntuaciones en torno a la media aritmética del grupo. En términos estadísticos es la media de la suma de tales desviaciones elevadas al cuadrado (s2 = Σ x2 / N). La raíz cuadrada de tal valor se conoce como desviación típica.

23

Varianza sistemática y de error

Cuando la varianza tiene un origen o fuente conocida, se denomina sistemática; en tal caso, las puntuaciones de la variable se orientan en una determinada dirección. Cuando su origen es el azar o la casualidad, se denomina varianza de error y las puntuaciones se dispersan sin un patrón reconocible.

Varianza experimental

En una metodología experimental, aquella varianza sistemática cuyo origen o fuente es la variable independiente*, manejada por el investigador, se denomina experimental; si el investigador ha logrado controlar las demás fuentes de varianza sistemática –varianza secundaria, debida a las variables extrañas*- se puede establecer una relación causal entre variable independiente y variable dependiente.

En le investigación experimental, además de controlar las variables extrañas*, interesa maximizar la varianza experimental, tomando los valores óptimos de la variable independiente, y minimizar la de error, utilizando diseños adecuados e instrumentos de medida válidos y fiables (principio MX-MIN-CON de Kerlinger).

Dando por hecho –aunque sea lo más difícil, prácticamente imposible- el control de las variables extrañas* –validez interna del diseño*- lograr tal maximización y minimización hace posible que una prueba estadística adecuada*, la F de Snedecor, alcance valores significativos, esto es, que permitan atribuir los resultados a la variable independiente frente a la hipótesis de su explicación por efecto del azar (H0)*, si bien, dado que nos movemos en el marco de la probabilidad, tal decisión siempre correrá un margen de error cuya cuantía fija de antemano el investigador al establecer su nivel de significación (α), cuyos valores habituales no superan las probabilidades de 0.01 o de 0.05 (α≤ 0.01 o α≤ 0.01).

Análisis de la varianza

Prueba estadística* muy potente –paramétrica- que trata de decidir si la varianza experimental –concretada en la varianza entre grupos-, considerada como efecto de la variable independiente, es lo suficientemente más elevada que la varianza de error – que se mide como varianza dentro de los grupos- cuyo origen o explicación se sitúa en el azar o la casualidad.

Cuando su cociente –F- es significativo, siempre que se haya logrado el control*, se entiende que la variable independiente es la causa de los efectos medidos en la dependiente, admitiendo un margen de error máximo igual al valor prefijado de α.

24