96
THEORIES AND METHODS OF EVALUATION Juan Andrés Ligero Lasa Profesor de la Universidad Carlos III de Madrid Codirector del Máster en Evaluación de Programas y Políticas Públicas, UCM.

THEORIES AND METHODS OF EVALUATION

  • Upload
    neona

  • View
    28

  • Download
    0

Embed Size (px)

DESCRIPTION

THEORIES AND METHODS OF EVALUATION. Juan Andrés Ligero Lasa. Profesor de la Universidad Carlos III de Madrid Codirector del Máster en Evaluación de Programas y Políticas Públicas, UCM. OBJETIVOS. Principales conceptos de evaluación. Fases para diseñar y realizar una evaluación - PowerPoint PPT Presentation

Citation preview

Page 1: THEORIES AND METHODS OF EVALUATION

THEORIES AND

METHODS OF

EVALUATION

Juan Andrés Ligero LasaProfesor de la Universidad Carlos III de Madrid

Codirector del Máster en Evaluación de Programas y Políticas Públicas, UCM.

Page 2: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

OBJETIVOS

Principales conceptos de evaluación. Fases para diseñar y realizar una

evaluación Principales aproximaciones teóricas. Posibilidades y usos de la evaluación

Page 3: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

OBJECTIVES

Main concepts in evaluationPhases to disegn and to do

evaluation Main theorical approaches. The possibilities and the use of

evaluations.

Page 4: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

DEFINICIÓN DE EVALUACIÓN

Recoger y analizar sistemáticamente

una información para poder

determinar el valor o mérito de una

intervención

(Joint Committee Standard Education)

Page 5: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Page 6: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Page 7: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

(STEIERMARK, XVIII)

Page 8: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

FASES DE LA EVALUACIÓN

(2012)

4. OPERACIONALIZACIÓN: PREGUNTAS, INDICADORES O

SISTEMAS DE MEDIDA

2. DEFINCIÓN DE UNIDAD Y ANÁLISIS

DE CONTEXTO

5. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS

7. TRABAJO DE CAMPO

8. ANÁLISIS DE DATOS

9. INTERPRETACIONES

1. MOTIVACIÓN PARA EVALUAR, ENCARGO

12. INFLUENCIA, COMUNICACIÓN DE RESULTADOS

6. DISEÑO METODOLÓGICO

10. JUICIOS

11. RECOMENDACIONES

3. ELECCIÓN APROXIMACIÓN EVALUATIVA

Page 9: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

1. MOTIVACIÓN PARA EVALUAR, PROPÓSITOS

Page 10: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

PROPÓSITOS DE LA EVALUACIÓN

Ilustración , comprensión (enlightenment)

Ilustrar, aclarar, dar luz, comprender qué está pasando y cómo funciona el programa La evaluación suele producir un cambio, dota de nuevos significado sobre la realidad del programa y de su intervención.

La retroalimentación o mejora (improvement)

Es una manera de recibir “feedback” sobre las acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La evaluación puede ser un proceso de aprendizaje de la propia intervención.

El control de responsabilidades y rendimiento de cuentas (accountability)

“Rendir cuentas” en la acepción más flexible del término, no se restringe exclusivamente a los aspectos económicos sino también a la responsabilidad social y política, especialmente si las actividades llevadas a cabo se financian con fondos públicos ya que el contribuyente tienen derecho a saber en qué y cómo se está empleando el dinero público.

Page 11: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Purposes (slide of Jennifer Greene)

: Knowledge generation and learning

Accountability and decision support

Program improvement and organizational development

Democratization – advancing equity or social justice

Page 12: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Lo primero es saber qué quiero hacer con la evaluación.

Page 13: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

2. ACOTACIÓN DEL OBJETO

Page 14: THEORIES AND METHODS OF EVALUATION

Evaluación Profesional (slide of Marvin Alkin)

Evaluación de productosEvaluación de personasEvaluación de programas

14

Page 15: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

QUÉ OBJETOS COMPRENDE

- Programas, proyectos, planes, políticas,…- Servicios, organizaciones, empresas,

entidades,…- Iniciativas lesgilativas, estrategias,…

Cualquier tipo de acción u organización con cierto grado de estructuración.

Page 16: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

VINCULACIÓN PROGRAMA Y NECESIDADES

PROGRAMA,

SERVICIO

NECESIDADES

SOCIALES

Page 17: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

OBJETIVOS PRINCIPALES DE LA EVALUACIÓN

PROGRAMA,

SERVICIO

NECESIDADES SOCIALES

EVALUACIÓN

Page 18: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

o No es de materia tangible (o al menos del mismo modo

que lo son la piedra, la madera,…).

o No es un nombre, ni unas personas, ni unas ideas, ni

unos recursos sino una conjunción de todo ello que

tiene una identidad distinta a cada una de sus partes.

o Es una realidad que se conforman socialmente, es un

hecho social, constituido a través de acuerdos

intersubjetivos.

o No tangible, construido socialmente, abstracto

Abstracto, construido socialmente, intangible,…

Page 19: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

I need analytic tools to picture a program

Lo que provoca:Resultados.

Lo que hace: Procesos

Los recursos con lo que cuenta:

Estructura

Page 20: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

2.1 Resultados

Page 21: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

HIPÓTESIS PRINCIPAL

PROGRAMA,

SERVICIO

CAMBIOS EN LA

REALIDAD

El programa produce cambios

Page 22: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

RESULTADOS

Los resultados son cambios en la población o poblaciones donde se fija la intervención. Tres modos de identificar los resultados:

- Resultados preordenados/estandarizados.

- Objetivos definidos por el programa (Tyler)

- Libre de objetivos, todos los resultados que se detecten (Scriven)

-

Page 23: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3 modos de identificar los resultados

Preordeandos: Selección a priori y medición de unos pocos criterios de resultados (Stake,2006: 151).

Objetivos: son intenciones previstas de cambio y los resultados los cambios reales producidos.

Libre de objetivos: La indagación de los resultados no está condicionada por los objetivos descritos.

Page 24: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

DIFERENCIA ENTRE OUTCOMES Y OUTPUTS (ejemplo)

Población saludable

Tomaconciencia

Riesgos

Hábitos para

vida

cotidiana

Detección ,

control de

epidemiasAtención

primaria

Page 25: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

PREVENCIÓN CONSUMO

Reducción de consumo

AutoestimaInformación

sustancias

Hábitos

saludablesHabilidades para la vida

Page 26: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

TÉRMINOS

Términos dados a los diferentes niveles de resultados

Nivel superior Objetivo final, global, general, específico o de largo término. Meta, impacto, “outcomes”….

Niveles inferiores

Objetivos intermedios, operativos, esperados, de corto término e

instrumentales. Resultados esperados, “outputs”, …

Page 27: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

OBJETIVOS DEL PROGRAMA TIEMPO JOVEN

Integración, no gueto

Ruptura del esquema de

bandas

Aceptación de las diferencias

Desarrollo personal

Ciudadanía y responsabiliz

ación

Page 28: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

ASIMILIACIÓN (Carlos Giménez)

Integración

Limitación de rasgos

diferenciados

Dispositivos:

conocer lengua y

cultura de destino

Seguimiento y penalización de la

discriminación

Page 29: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

MULTICULTURALISMO (Carlos Giménez)

Integración

Información de derechos

ciudadanos

Dispositivos:

desarrollo de

lenguas y culturas

de origen

Adaptación normativa a diferencias culturales

Page 30: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

OBJETIVOS DEFINICIÓN TEMAS

AUTOESTIMAPercepción de sí mismo como persona singular, eficaz, valiosa y merecedora de felicidad

RESPETO POR UNO MISMO

CAPACIDAD PARA AFRONTAR LOS DESAFÍOS

HABILIDADES PARA LA VIDA

Habilidades emocionales que promueven su autonomía y les ayudan a enfrentar situaciones de dificultad, a encontrar equilibrios entre el mundo individual y el colectivo

MANEJAR LA TENSIÓN (Estrés)

RELACIONARSE

TOMAR DECISIONES

INFORMACIÓN DROGAS

Conceptos claros, sencillos y veraces, y actitudes firmes ante las drogas más corrientes y accesibles en el entorno sociofamiliar

MEDICAMENTOS

ALCOHOL

TABACO

HÁBITOS SALUDABLES

Hábitos saludables relacionados con funciones y necesidades físicas, psíquicas y fisiológicas; muy ligados al aquí y ahora del alumnado

ACTIVIDAD Y DESCANSO

ALIMENTACIÓN

SEGURIDAD

HIGIENE

TEORÍA DE UN PROGRAMA DE PREVENCIÓN

Page 31: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Las 14 teorías que consideran Petratis, Flay y Millar (1995) para explicar la experimentación con el uso de sustancias.

1. Teorías cognitivo-afectivas1. Teoría de la acción razonada 2. Teoría de la conducta planificada

2. Teorías de aprendizaje social1. Teoría del aprendizaje social2. Teoría del aprendizaje social/cognitiva social

3. Teorías del apego social1. Teoría del control social2. Modelo de desarrollo social

4. Teorías en las que las que las características interpersonales juegan un papel esencial1. Modelo de ecología social2. Teoría del auto-desprecio3. Modelo de varias etapas de aprendizaje social4. Teoría de la interacción familiar

5. Teorías que integran constructor cognitivo-afectivos, de aprendizaje, compromiso y apego, e intrapersonales1. Teoría de la conducta problema2. Teoría de cluster de iguales3. Modelo de vulnerabilidad de Sher4. Modelo de Dominio.

(Becoña, 76).

Page 32: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

TEORÍA DEL PROGRAMA ES:

-“La construcción de un modelo razonable y sensible de cómo se supone que funciona el programa” (Bickman cit en Chen, 1990: 40).

- “La cadena de asunciones que explican cómo las actividades conducen paso por paso a los resultados esperados” (Weiss, 1998: 265)

Page 33: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

BLACK BOX

Sobre la base de observaciones cualitativas, Weiss y Rein (1970) critican las evaluaciones que no informan sobre lo que ocurre en la “caja negra”, refiriéndose con este término al proceso de implementación del programa (Ballart, 1996, pág 329).

Page 34: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

2.2 Procesos

Page 35: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

INSIDE BLACK BOX

Las cosas que hace el programaActividades, implementación = procesos

Page 36: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

DEFINICIÓN DE PROCESO

Secuencia de acciones que con su desempeño genera un producto o servicio con un valor añadido con relación a las “entradas” iniciales

Page 37: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Procesos

-

LOS PROCESOS PRODUCEN RESULTADOS

-ResultadosSecuencia de actividades que

produce resultados

Page 38: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Procesos

+

LOS PROCESOS PRODUCEN RESULTADOS

+

Resultados

Page 39: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

2.3 Estructura

Page 40: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

ESTRUCTURA

Tal y como citan Cohen y Franco por estructura se puede entender la organización relativamente estable de distintos tipos de recursos para alcanzar los fines del proyecto. (1993:95).

Carol Weiss menciona algunos aspectos estructurales (1998:193):•La organización u organizaciones responsables de la intervención. •El presupuesto asignado. •Experiencia y competencias de los trabajadores. •La gestión.•El sitio o sitios físicos.•El plan de actividades.•Los métodos de prestar el servicio.•La filosofía o principios de operación.•Los propósitos.

Page 41: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Resultados + Procesos+ Estructura = Perspectiva

sistémica

Un sistema es un conjunto con diferentes elementos independientes e interrelacionados entre sí.

Page 42: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

PERSPECTIVA SISTÉMICA

ESTRUCTURA: Recursos, personas, medios, misión, organización,…

ESTRUCTURA: Recursos, personas, medios, misión, organización,…

PROCESOS: Esta dimensión se centra en cómo se está aplicando el programa

PROCESOS: Esta dimensión se centra en cómo se está aplicando el programa

EFICACIA: outputs, objetivos intermedios, logros que el programa puede garantizar.

EFICACIA: outputs, objetivos intermedios, logros que el programa puede garantizar.

NECESIDADES SOCIALES

IMPACTO: outcomes, logro de objetivos finales

IMPACTO: outcomes, logro de objetivos finales

Page 43: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

TEORÍA DEL CAMBIO, MODELO LÓGICO (Wisconsin)

Page 44: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

PERSPECTIVA SISTÉMICA DE LOS PROGRAMAS

LI

DER

AZG

O

PRO

CESO

S

RESU

LTAD

OS

CLA

VE

POLÍTICA Y ESTRATEGIA

PERSONAS Y

ALIANZAS Y RECURSOS

RESULTADOS CLIENTES

RESULTADOS PERSONAS

RESULTADOS SOCIEDAD

Page 45: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Imágenes de modelos lógicos

http://www.google.es/search?q=logic+model&rlz=1C2SKPM_enES447ES524&source=lnms&tbm=isch&sa=X&ei=6L-lUd6KLK6Q7Aal8YDQAg&ved=0CAcQ_AUoAQ&biw=1138&bih=714

Page 46: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3. APROXIMACIÓN EVALUATIVA

Page 47: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3. EVALUATIVE APPROACHES

3.1 Theory driven evaluation

3.2 Participatory approaches

3.3 Transformative paradigm

3.4 Criteria-based evaluation

Page 48: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

PREGUNTAS/CRITERIOS EVALUACIÓN

Las preguntas son requerimientos de información que implican una valoración sobre la intervención o sus efectos. Por ejemplo:

- ¿Se ha conseguido que los jóvenes adquieran los conocimientos?

- ¿La metodología docente es adecuada?- ¿Los docentes están suficientemente cualificados?

Es conveniente tener en cuenta:•Las preguntas deben implicar una valoración y no una mera indagación sobre algún aspecto del objeto.

•Las preguntas tienen que estar dirigidas al programa (o a su relación con las necesidades sociales) y no a sucesos o dinámicas sociales ya que esto sería otro objeto de estudio más propio de la investigación.

•No deben ser indicadores, deben dejar claro las cuestiones que se quieren evaluar indistintamente de que especifique o no cómo se van a medir.

Page 49: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

¿De dónde salen las preguntas? De la opción evaluativa escogida

Aproximación evaluativa Preguntas

Dimensiones según la teoría del cambio. • Preguntas relacionadas con la Estructura/ Diseño.• Preguntas relacionadas con los Procesos.• Preguntas relacionadas con los Resultados

Criterios Preguntas que definan el criterio. Por ejemplo, preguntas para eficacia, de eficiencia, pertinencia, cobertura,…

Pluralista, democrático, orientada en los stakeholders

Las preguntas proceden de los actores (es complementario con el resto de aproximaciones)

Teoría crítica o transformador Las preguntas se orientan a : - cambios operados en las cuestiones detectadas en los análisis de realidad.- Desarrollo de competencias y capacidades de los actores para el cambio. - Participación, reivindicación y procesos de cambio de los propios actores.

Page 50: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3.1 THEORY DRIVEN EVALUATION

This method proposes to:

• Identify the programme theory or logic model.

• According to this analysis, we will design our evaluation.

• The mail goal is to analysis if the programme theory works and if it is promoting a more equitable society.

Page 51: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Estructura:-Recursos económicos.-Ley Nacional de Educación.-Consejos directivos conformados por locales.-Existencia de edificios y medios físicos.-Existencia de asociación.

Necesidades sociales: jóvenes rurales desempleados

Proceso 1: Proyecto educativo individualizado

Proceso 2: Organización docente del centro

Proceso 3: Asesoría educativa proyectos

Proceso 4: Formación y actualización docente

Proceso 5: Gestión administrativa del Centro

Proceso 6: Gestión otorgación créditos y fondos

Output 1: Output 1: reducción

abandono escolar

Output 2: Output 2: adquisición

formación técnica

Output 3:Output 3: capacidad de

formular proyectos

empresariales

Outcome : Outcome :

GGeneración emprendimientos

¿?

¿?

¿?

¿?

¿?¿?

¿?

¿?

¿?

¿?Output 4:Output 4:

motivación y disipoción

GENERACIÓN DE CUESTIONES CLAVE SEGÚN LA GENERACIÓN DE CUESTIONES CLAVE SEGÚN LA TEORÍA DEL CAMBIO TEORÍA DEL CAMBIO

Output 5:Output 5: adquisición

capital¿?

KEY POINTS GOTTEN FROM A LOGIC MODEL

Page 52: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3.2 STAKEHOLDERS ORIENTED EVALUATION

Stakeholders are in the core the evaluative process.

• Recognition of the stakeholder’s voices and pay special attention to vulnerable and disadvanted groups.

• Need for participation:

- There is no participation without organization

- Ask and take into account the different stakeholders.

Page 53: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3.3 TRANSFORMATIVE PARADIGM (or critical change)

En esta aproximación evaluativa se busca dilucidar sobre las desigualdades sociales, económicas y políticas, se critica las injusticias sociales, se incrementa la toma de conciencia y la evaluación se orienta a cambiar el equilibrio de poder a favor de aquellos más desfavorecidos o, en cualquier caso, se incrementa la capacidad de los actores para representar sus propios intereses a través de la evaluación (Patton, 2002). Las evaluaciones conducidas con estas “lentes” pueden crear una sociedad más equitativa y justa (Sielbeck-Bowen y otras, 2002b).

Page 54: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3.3 TRANSFORMATIVE PARADIGM (or critical change)

Evaluators define themselves as agents of social change and their main goal is to increase social justice.

• Analyse exclusion and inequality focusing on the most vulnerable and disadvanted people.

• Assess the stakeholders’ autonomy and cappabilities.

• Evaluate the extent to which the stakeholders are involved in the social change promoted.

Page 55: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

3.4 CRITERIA BASED EVALUATION

This approach assesses the programme acording to a set criteria and it is more focused on accountability than on learning.

Pre-defined criteria: E.G. DAC criteria (effectiveness, efficiency, impact, relevance, sustainability) Ad-hoc criteria taking into account the key evaluation questions highlighted by the different stakeholders.

Page 56: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Diferentes aproximaciones evaluativas

Aproximación evaluativa Preguntas

Dimensiones según la teoría del cambio. • Preguntas relacionadas con la Estructura/ Diseño.• Preguntas relacionadas con los Procesos.• Preguntas relacionadas con los Resultados

Criterios Preguntas que definan el criterio. Por ejemplo, preguntas para eficacia, de eficiencia, pertinencia, cobertura,…

Pluralista, democrático, orientada en los stakeholders

Las preguntas proceden de los actores (es complementario con el resto de aproximaciones)

Teoría crítica o transformador Las preguntas se orientan a : - cambios operados en las cuestiones detectadas en los análisis de realidad.- Desarrollo de competencias y capacidades de los actores para el cambio. - Participación, reivindicación y procesos de cambio de los propios actores.

Page 57: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

4. OPERACIONALIZACIÓN

Page 58: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

4. OPERATIONALIZATION

I order the questions and to do measurable the criteria/questions. Two kinds of work:

A) Vertical operationalization: Definition of key dimensions depending on the evaluative approach

B) Horizontal operationalization:

I. Formulation of the evaluation questions II. Identification of indicators

Page 59: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

TRABAJO VERTICAL Y HORIZONTAL

Dimensiones, criterios, necesidades de actores, aspectos de cambio,…

Preguntas Aspectos que definen la pregunta (opcional)

Indicadores Técnicas o fuentes de recogida de información

1, Definición

de preguntas.

2, Indicadores para cada pregunta.3, Fuentes o técnicas.

Page 60: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

INDICADOR

Las preguntas de evaluación (criterios o subcriterios). Suelen ser conceptos teóricos que no tienen porqué atender al hecho de que puedan ser medidas o no.

El indicador, por el contrario, es una variable medible, observable y registrable que aporta una información que contesta a la pregunta de evaluación, por lo general a través de aproximaciones.

Page 61: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Page 62: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Page 63: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

FORMULACIÓN INDICADOR

Los indicadores deben ser redactados como condiciones lógicas que si se cumplen contestan a la pregunta de evaluación. Se fija un estado, un punto o una condición a partir del cual se puede contestar afirmativa o negativamente a la pregunta formulada. En el caso del consumo de cannabis la redacción del indicador podría ser el que se indica en la tabla siguiente:

Ejemplo de pregunta de evaluación e indicador

Pregunta de evaluación Indicador

Disminución del consumo de marihuana entre los escolares.

Incremento con relación al semestre pasado de la percepción del riesgo en el consumo de marihuana/hachís.

Page 64: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

CASOS PARA INDICADORES

Caso A.En un programa de motivación a la lectura de los “clásicos” desarrollado por una biblioteca, se quiere evaluar el grado de eficacia de la medida.

Pregunta Indicador

¿Se despierta la sensibilización hacia los autores clásicos?

Page 65: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

5. TÉCNICAS

Page 66: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

5. TÉCNICAS Y FUENTES

1. Ejes de clasificación

• Fuentes primarias – fuentes secundarias.

• Cualitativo – Cuantitativo.

• Estructurada – no estructurada.

2. Listado de técnicas más usuales

• Encuesta.

• Observación.

• Entrevistas.

• Grupos de discusión/ Focus groups

• Historia de vida.

• Fuentes secundarias (puede ser cualquiera de las expuestas anteriormente).

• Análisis documental (e-mails, actas, calendarios, expedientes,…)

• Dinámicas de grupos.

Page 67: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

6. ELECCIONES METODOLÓGICAS

Page 68: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

LA INFLUENCIA DEL CONTEXTO

Page 69: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

¿LA INFLUENCIA DEL CONTEXTO?

Page 70: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

HIPÓTESIS PRINCIPAL:

PROGRAMA,

SERVICIO

CAMBIOS EN LA

REALIDAD

El programa produce cambios

Page 71: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

MÉTODOS DE EVALUACIÓN DE IMPACTO Estrategias apoyadas en la lógica de la distribución al azar:

• Diseño experimental. Selección aleatoria de los grupos. Diferencias en diferencias.

• Diseño cuasiexperimental.

• Réplica del modelo experimental pero con grupo de comparación no equivalante.

• Identificación de grupos similares.

• Construidos estadísticamente (emparejamiento estadístico)

• Series temporales (existe la posibilidad de complementarlas con grupo de comparación).

• Discontinuidad de la regresión

• Diseños no experimentales (modelos que no permiten extraer el efecto neto) Contrafactuales falsos.

• Comparación antes– después; línea base - postest.

• Comparación postest con grupo de comparación no equivalente.

• Sólo después (se compara con fuentes bibliográficas).

Modelización (identificación de posibles variables intervinientes).

• Correlación, asociación, contribución de las variables de implementación con

las de resultados.

• Controlando sólo una variable

• Estandarización estadística de poblaciones.

• Cálculo de la media de los efectos de la variable.

• Controlando varias variables.

• Regresión múltiple.

• Ecuaciones estructurales

.

Page 72: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

AZAR O CONTRAFACTUALES• Diseño experimental. Selección aleatoria de los grupos. Diferencias en diferencias.

• Diseño cuasiexperimental.

• Réplica del modelo experimental pero con grupo de comparación no equivalante.

• Identificación de grupos similares.

• Construidos estadísticamente (emparejamiento estadístico)

• Series temporales (existe la posibilidad de complementarlas con grupo de comparación):

• Discontinuidad de la regresión

• Medias móviles

• ARIMA

• Diseños no experimentales (modelos que no permiten extraer el efecto neto) Contrafactuales falsos.

• Comparación antes– después; línea base - postest.

• Comparación postest con grupo de comparación no equivalente.

• Sólo después (se compara con fuentes bibliográficas).

Page 73: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

MODELIZACIÓN

Modelización (identificación de posibles variables intervinientes).

• Controlando sólo una variable

• Estandarización estadística de poblaciones.

• Cálculo de la media de los efectos de la variable.

• Controlando varias variables.

• Regresión múltiple.

• Ecuaciones estructurales

Page 74: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

MÉTODOS DE EVALUACIÓN DE IMPACTO

AZ

AR

, C

ON

TR

AF

AC

TU

AL

Page 75: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

9. INTERPRETACIÓN

Page 76: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

OBJETIVOS DEL PROGRAMA TIEMPO JOVEN

Integración, no gueto

Ruptura del esquema de

bandas

Aceptación de las diferencias

Desarrollo personal

Ciudadanía y responsabiliz

ación

Page 77: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (I de 5)

Page 78: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

-+ + +

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (2 de 5)

Page 79: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

+- - -

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (3 de 5)

Page 80: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN(4 de 5)

++ + +

Todos los objetivos (outcome y outputs) positivos

Page 81: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Soluciones

proactivas disminuye

B2.347

Escuchar música clásica

(indicador) disminuye

B 1.619

Cumplir sueños

disminuye B1.481

Participación en

asociación disminuye

B1.107

Amigos mismo origen

aumenta B0.025

Resolución de conflictos disminuye

B 0.195

Racismo

(entre un 6% y un

7%)

MODELO TEÓRICO PARA REDUCIR EL RACISMO

Page 82: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN(5 de 5)

Page 83: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

CAJA

NEGRA ?

+

- + +

NECESIDAD DE EVALUAR PROCESOS (C. Weiss)

Page 84: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Procesos

+

LOS PROCESOS PRODUCEN RESULTADOS

+

Resultados

Page 85: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Procesos

-

LOS PROCESOS PRODUCEN RESULTADOS

+

Resultados

Page 86: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Procesos

-

LOS PROCESOS PRODUCEN RESULTADOS

-

Resultados

Page 87: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

?

-.

-

ANÁLISIS SISTÉMICO

Page 88: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Definición de interpretación.

No es narrar sino explicar qué

es lo que está pasando. Dotarle

de sentido, dar una explicación

a todos los datos.

Page 89: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

SECUENCIA PARA LOS PROPÓSITOS

Comprensión, ilustración (enlightenment). Comprensión, ilustración (enlightenment).

Rendimiento de cuentasRendimiento de cuentas MejoraMejora

Page 90: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Planificación Mejora

Medición

Acción

MEJORA Y APRENDIZAJE

EXCELENCIA

MEJORA CONTINUA Bucle de la calidad (Edward Deming)

BUCLE DE LA MEJORA

Page 91: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

¿ PARA QUÉ SIRVE LA EVALUACIÓN?

Comprender lo qué ocurre.

Rendir cuentas, responsabilizar.

Mejorar de forma sustentada.

Identificar y comprobar la (s) teoría (s) en la que se apoya.

Construir conocimiento particular y global.

….

Page 92: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

DEFINICIÓN DE EVALUACIÓN

Recoger y analizar sistemáticamente una

información para poder comprender y dotar de

significado a lo que ocurre en un programa, de

lo que se deducirán unos juicios específicos

que permitirán rendir cuentas y tomar

decisiones sobre la mejora.

Page 93: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

FASES DE LA EVALUACIÓN

(2012)

4. OPERACIONALIZACIÓN: PREGUNTAS, INDICADORES O

SISTEMAS DE MEDIDA

2. DEFINCIÓN DE UNIDAD Y ANÁLISIS

DE CONTEXTO

5. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS

7. TRABAJO DE CAMPO

8. ANÁLISIS DE DATOS

9. INTERPRETACIONES

1. MOTIVACIÓN PARA EVALUAR, ENCARGO

12. INFLUENCIA, COMUNICACIÓN DE RESULTADOS

6. DISEÑO METODOLÓGICO

10. JUICIOS

11. RECOMENDACIONES

3. ELECCIÓN APROXIMACIÓN EVALUATIVA

Page 94: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Page 95: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

OBJECTIVES

Main concepts in evaluation Phases to disegn and to do evaluation Main theorical approaches. The possibilities and the use of

evaluations.

Page 96: THEORIES AND METHODS OF EVALUATION

România, 2013 [email protected]

Mulțumesc mult

Juan Andrés Ligero Lasa

[email protected]

www.magisterevaluacion.es