¿CÓMO REALIZAR UNA INVESTIGACIÓN EVALUATIVA? TALLER IMPARTIDO EN EL IX ENCUENTRO DE...

¿CÓMO REALIZAR UNA INVESTIGACIÓN

EVALUATIVA?

TALLER IMPARTIDO EN EL IX ENCUENTRO DE INVESTIGACIÓN EN

EL POSGRADO

ARTURO BARRAZA MACÍAS

NOVIEMBRE DE 2007

Trabajo publicado en www.ilustrados.com La mayor Comunidad de difusión del conocimiento

CONTENIDO

APROXIMACIÓNCONCEPTUAL

1.- Problemática2.- Conceptos de evaluación

3.- Nudos Tensionales

4.- Addendum:Criterios

5.- REFERENTES TÉORICOS: PRINCIPALES

AUTORES

6.- EL PROCESO DEINVESTIGACIÓN

EVALUATIVA

1.- PROBLEMÁTICA

EVALUACIÓN

EXÁMENES

INSTRUMENTO DE PODER

SUBJETIVIDAD

USO INADECUADO DE LOS INSTRUMENTOS DE

EVALUACIÓN

Se usan con fines diferentes para los que fueron diseñados

CULTURA DE LA EVALUACIÓN

Significados

Control externo Función penalizadora

Problema: desfase entre la teoría y la práctica

vinculada con la evaluación

Causas: la burocracia escolar, la presión del tiempo, cierta inercia y

rutina consolidada

DISCIPLINA

TRANSDICIPLINA

TEORÍA

INVESTIGACIÓN

2.- CONCEPTOS DE EVALUACIÓN

Un proceso y a la vez un producto, cuya aplicación

nos permite estimar el grado en el que un proceso educativo favorece el logro

de las metas para la que fue creado (Valenzuela,

2004)

Es el enjuiciamiento sistemático de la valía o el mérito de algo (Stufflebam, en Gutiérrez, 2005)

Evaluar algo es determinar su valor (Popham, en Gutiérrez, 2005)

La mejor forma de entender la evaluación es suponiendo que conlleva la realización de una investigación evaluativa, más

que como una serie diferenciada de axiomas o de

métodos de evaluación, separada del trabajo de

investigación más amplio (Shaw, 2003)

La evaluación es una actividad o proceso sistemático de identificación, recogida o

tratamiento de datos sobre elementos o hechos

educativos, con el objetivo de valorarlos primero y, sobre

dicha valoración, tomar decisiones (García, 1989).

Evaluación es el proceso de obtener información y

usarla para formar juicios que a su vez se utilizarán en la toma de decisiones

(Tenbrink en Elola y Toranzo, 2000)

COMPONENTES

Búsqueda de indicios Forma de registro y análisis Criterios Juicios de valor Toma de decisiones

EL GRAN AUSENTE

LA CONSTRUCCIÓN DEL OBJETO DE EVALUACIÓN

3.- NUDOS TENSIONALES

Evaluación Basada en Teoría

Evaluación Empírica

Evaluación Holística

Evaluación Atomista

Evaluación Objetivista

Evaluación Subjetivista

Evaluación Cuantitativa

Evaluación Cualitativa

4.- ADDENDUM: CRITERIOS

Son cualidades o valores que fundamentan el juicio o

estimación realizado sobre el objeto de evaluación.

Relevancia: la importancia de la contribución al cumplimiento de los objetivos.

Cobertura: relación de la población atendida con respecto a la población que tiene interés o que demanda y las posibilidades de respuesta.

Eficacia: Correspondencia entre los propósitos establecidos y los resultados logrados.

Eficiencia: adecuación o idoneidad de los medios empleados o los procesos desarrollados para el logro de los resultados esperados, con base en los objetivos planteados.

Equidad: el grado en que las acciones o servicios son accesibles a todos los sectores, en lo general, y de manera preferente a los que no tienen capacidad para obtenerlos.

Oportunidad: el grado de correspondencia temporal entre la presentación de una necesidad o requerimiento y el otorgamiento de la respuesta.

Actualidad, Pertinencia, Suficiencia, etc.

5.- REFERENTES TEÓRICOS: PRINCIPALES AUTORES

(Shaw, 2003)

Donald Campbell (60’s y 70’s)

Racionalista crítico Diseños experimentales Búsqueda de las causas Aceptación de la investigación

cualitativa

Michael Scriven (80’s y 90’s)

Búsqueda de soluciones eficaces a los problemas sociales

Un nuevo lenguaje (evaluación sin metas, evaluación formativa y sumativa, metaevaluación, etc.)

La evaluación asigna mérito y valor

Su objetivo es una Teoría de la Evaluación.

La evaluación como transdiciplina

Lee Cronbach (80’s)

Validez externa-acción social-contexto

Generalización Rechaza la evaluación

entendida como rendición de cuentas

Visión pluralista de la metodología

Una teoría de la evaluación debe de ser tanto una teoría de la interacción política como una teoría de cómo se construye el conocimiento.

Robert Stake (90’s) Indagación cualitativa Centración en las

actividades de los programas.

Se integran los valores de las personas

Es participativo. Generalización naturalista

Carol Weiss (80’s y 90’s)

Consideraciones políticas. La reducción del

conocimiento y el acrecentamiento de la decisión.

El evaluador que solo cuenta con la metodología no está bien equipado

Ernest House (80’s y 90’s)

La evaluación como acto de argumentación y credibilidad

Propósito reformista y de justicia social

Un acuerdo de evaluación justo Modelos de evaluación

participativos Metodología cualitativa.

6.- EL PROCESO DE INVESTIGACIÓN EVALUATIVA

Propuestas con orientación pragmática y bajo un enfoque

cuantitativo

Weiss (1997) (Procesual) Valenzuela (2004)

(formalizante) Gutiérrez (2005)

6.1.- Weiss (1997)

DISEÑO EXPERIMENTAL DE LA EVALUACIÓN

Buscar las metas del Programa.

Traducir las metas a indicadores mensurables de la realización del objetivo.

Reunir datos de los indicadores. Correspondientes a quienes participaron en el programa (y a un grupo de control equivalente que no participó).

Comparar los datos de los participantes (y de los controles) con los criterios de realización de las metas.

PROCESOS

INSUMOS

RESULTADOS

EVALUACIÓN DE PROGRAMAS

Formular las metas del programa que la evaluación utilizará como criterios.

Elegir entre metas múltiples.

Investigar consecuencias imprevistas.

Medir resultados. Especificar que es el

programa. Medir los insumos del

Programa y los procesos intercurrentes.

Reunir los datos necesarios.

DISEÑOS

EXPERIMENTALES

CUASIEXPERIMENTALES (SERIES TEMPORALES, SERIES TEMPORALES MÚLTIPLES Y GRUPO CONTROL NO

EQUIVALENTE)

NO EXPERIMENTALES (ANTES Y DESPUÉS, ÚNICAMENTE DESPÚES Y ÚNICAMENTE DESPÚES CON GRUPO

DE COMPARACIÓN)

6.2.- Valenzuela (2004)

Necesidad de evaluar

Planeación

Realización

Presentación de resultados

Planeación de la evaluación educativa

Visión preliminar ¿qué se evalúa, cuál es el propósito, para quien se realiza y que limitaciones existen para

realizarla? Enunciación de las preguntas

de evaluación.

Plan de colección de datos (tipo de datos, fuentes de datos, técnicas e instrumentos)

Plan de análisis e interpretación (¿cómo se van a analizar los datos y cuáles van a ser los criterios para la interpretación?)

Plan del informe (¿qué información se entrega, a que audiencia, y mediante cuál medio?)

Plan de administración (Uso de los recursos)

Plan para la metaevaluación (¿cómo evaluar la evaluación?)

Realización del proceso de evaluación

Muestreo Normas éticas Técnicas e instrumentos Confiabilidad y validez Análisis de datos

Presentación de los resultados de la evaluación (informe de

evaluación)

Estilo de redacción, uso de recursos para la presentación y normas para la presentación de informes,

Memoria, reporte ejecutivo o artículo científico.

Estructura de una memoria

Capítulo 1.- Introducción Capítulo 2.- Marco teórico y

contextual Capítulo 3.- Planteamiento de

preguntas del trabajo de evaluación.

Capítulo 4.- Método. Capítulo 5.- Resultados. Capítulo 6.- Discusión

6.3.- Gutiérrez (2005)

MATRIZ PARA LA CONSTRUCCIÓN DEL PLAN

DE LA EVALUACIÓN

Objeto de evaluación Categorías y subcategorías Criterios

Parámetros (estándares, normas mínimas, promedios, etc.)

Indicadores Recursos de información

(técnicas e instrumentos) Sujetos de la evaluación

7.- REFERENCIAS

Elola Nydia y Toranzos Lilia (2000), Evaluación educativa. Una aproximación conceptual, Buenos Aires, Argentina, Disponible en la Internet.

García Ramos J. M. (1989), Bases pedagógicas de la evaluación, Madrid, España, Síntesis.

Gutiérrez Ofelia Ángeles (2005), Evaluación Institucional, material de apoyo al Curso-Taller desarrollado en la Universidad Pedagógica de Durango.

Shaw Ian E. (2003), La evaluación cualitativa, Barcelona, España, Paidós.

Valenzuela González Jaime Ricardo (2004), Evaluación de instituciones educativas, México, Trillas.

Weiss Carol H. (1997), Investigación Evaluativa, México, Trillas.