THEORIES AND METHODS OF EVALUATION

Preview:

DESCRIPTION

THEORIES AND METHODS OF EVALUATION. Juan Andrés Ligero Lasa. Profesor de la Universidad Carlos III de Madrid Codirector del Máster en Evaluación de Programas y Políticas Públicas, UCM. OBJETIVOS. Principales conceptos de evaluación. Fases para diseñar y realizar una evaluación - PowerPoint PPT Presentation

Citation preview

THEORIES AND

METHODS OF

EVALUATION

Juan Andrés Ligero LasaProfesor de la Universidad Carlos III de Madrid

Codirector del Máster en Evaluación de Programas y Políticas Públicas, UCM.

România, 2013 jligero@polsoc.uc3m.es

OBJETIVOS

Principales conceptos de evaluación. Fases para diseñar y realizar una

evaluación Principales aproximaciones teóricas. Posibilidades y usos de la evaluación

România, 2013 jligero@polsoc.uc3m.es

OBJECTIVES

Main concepts in evaluationPhases to disegn and to do

evaluation Main theorical approaches. The possibilities and the use of

evaluations.

România, 2013 jligero@polsoc.uc3m.es

DEFINICIÓN DE EVALUACIÓN

Recoger y analizar sistemáticamente

una información para poder

determinar el valor o mérito de una

intervención

(Joint Committee Standard Education)

România, 2013 jligero@polsoc.uc3m.es

România, 2013 jligero@polsoc.uc3m.es

România, 2013 jligero@polsoc.uc3m.es

(STEIERMARK, XVIII)

România, 2013 jligero@polsoc.uc3m.es

FASES DE LA EVALUACIÓN

(2012)

4. OPERACIONALIZACIÓN: PREGUNTAS, INDICADORES O

SISTEMAS DE MEDIDA

2. DEFINCIÓN DE UNIDAD Y ANÁLISIS

DE CONTEXTO

5. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS

7. TRABAJO DE CAMPO

8. ANÁLISIS DE DATOS

9. INTERPRETACIONES

1. MOTIVACIÓN PARA EVALUAR, ENCARGO

12. INFLUENCIA, COMUNICACIÓN DE RESULTADOS

6. DISEÑO METODOLÓGICO

10. JUICIOS

11. RECOMENDACIONES

3. ELECCIÓN APROXIMACIÓN EVALUATIVA

România, 2013 jligero@polsoc.uc3m.es

1. MOTIVACIÓN PARA EVALUAR, PROPÓSITOS

România, 2013 jligero@polsoc.uc3m.es

PROPÓSITOS DE LA EVALUACIÓN

Ilustración , comprensión (enlightenment)

Ilustrar, aclarar, dar luz, comprender qué está pasando y cómo funciona el programa La evaluación suele producir un cambio, dota de nuevos significado sobre la realidad del programa y de su intervención.

La retroalimentación o mejora (improvement)

Es una manera de recibir “feedback” sobre las acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La evaluación puede ser un proceso de aprendizaje de la propia intervención.

El control de responsabilidades y rendimiento de cuentas (accountability)

“Rendir cuentas” en la acepción más flexible del término, no se restringe exclusivamente a los aspectos económicos sino también a la responsabilidad social y política, especialmente si las actividades llevadas a cabo se financian con fondos públicos ya que el contribuyente tienen derecho a saber en qué y cómo se está empleando el dinero público.

România, 2013 jligero@polsoc.uc3m.es

Purposes (slide of Jennifer Greene)

: Knowledge generation and learning

Accountability and decision support

Program improvement and organizational development

Democratization – advancing equity or social justice

România, 2013 jligero@polsoc.uc3m.es

Lo primero es saber qué quiero hacer con la evaluación.

România, 2013 jligero@polsoc.uc3m.es

2. ACOTACIÓN DEL OBJETO

Evaluación Profesional (slide of Marvin Alkin)

Evaluación de productosEvaluación de personasEvaluación de programas

14

România, 2013 jligero@polsoc.uc3m.es

QUÉ OBJETOS COMPRENDE

- Programas, proyectos, planes, políticas,…- Servicios, organizaciones, empresas,

entidades,…- Iniciativas lesgilativas, estrategias,…

Cualquier tipo de acción u organización con cierto grado de estructuración.

România, 2013 jligero@polsoc.uc3m.es

VINCULACIÓN PROGRAMA Y NECESIDADES

PROGRAMA,

SERVICIO

NECESIDADES

SOCIALES

România, 2013 jligero@polsoc.uc3m.es

OBJETIVOS PRINCIPALES DE LA EVALUACIÓN

PROGRAMA,

SERVICIO

NECESIDADES SOCIALES

EVALUACIÓN

România, 2013 jligero@polsoc.uc3m.es

o No es de materia tangible (o al menos del mismo modo

que lo son la piedra, la madera,…).

o No es un nombre, ni unas personas, ni unas ideas, ni

unos recursos sino una conjunción de todo ello que

tiene una identidad distinta a cada una de sus partes.

o Es una realidad que se conforman socialmente, es un

hecho social, constituido a través de acuerdos

intersubjetivos.

o No tangible, construido socialmente, abstracto

Abstracto, construido socialmente, intangible,…

România, 2013 jligero@polsoc.uc3m.es

I need analytic tools to picture a program

Lo que provoca:Resultados.

Lo que hace: Procesos

Los recursos con lo que cuenta:

Estructura

România, 2013 jligero@polsoc.uc3m.es

2.1 Resultados

România, 2013 jligero@polsoc.uc3m.es

HIPÓTESIS PRINCIPAL

PROGRAMA,

SERVICIO

CAMBIOS EN LA

REALIDAD

El programa produce cambios

România, 2013 jligero@polsoc.uc3m.es

RESULTADOS

Los resultados son cambios en la población o poblaciones donde se fija la intervención. Tres modos de identificar los resultados:

- Resultados preordenados/estandarizados.

- Objetivos definidos por el programa (Tyler)

- Libre de objetivos, todos los resultados que se detecten (Scriven)

-

România, 2013 jligero@polsoc.uc3m.es

3 modos de identificar los resultados

Preordeandos: Selección a priori y medición de unos pocos criterios de resultados (Stake,2006: 151).

Objetivos: son intenciones previstas de cambio y los resultados los cambios reales producidos.

Libre de objetivos: La indagación de los resultados no está condicionada por los objetivos descritos.

România, 2013 jligero@polsoc.uc3m.es

DIFERENCIA ENTRE OUTCOMES Y OUTPUTS (ejemplo)

Población saludable

Tomaconciencia

Riesgos

Hábitos para

vida

cotidiana

Detección ,

control de

epidemiasAtención

primaria

România, 2013 jligero@polsoc.uc3m.es

PREVENCIÓN CONSUMO

Reducción de consumo

AutoestimaInformación

sustancias

Hábitos

saludablesHabilidades para la vida

România, 2013 jligero@polsoc.uc3m.es

TÉRMINOS

Términos dados a los diferentes niveles de resultados

Nivel superior Objetivo final, global, general, específico o de largo término. Meta, impacto, “outcomes”….

Niveles inferiores

Objetivos intermedios, operativos, esperados, de corto término e

instrumentales. Resultados esperados, “outputs”, …

România, 2013 jligero@polsoc.uc3m.es

OBJETIVOS DEL PROGRAMA TIEMPO JOVEN

Integración, no gueto

Ruptura del esquema de

bandas

Aceptación de las diferencias

Desarrollo personal

Ciudadanía y responsabiliz

ación

România, 2013 jligero@polsoc.uc3m.es

ASIMILIACIÓN (Carlos Giménez)

Integración

Limitación de rasgos

diferenciados

Dispositivos:

conocer lengua y

cultura de destino

Seguimiento y penalización de la

discriminación

România, 2013 jligero@polsoc.uc3m.es

MULTICULTURALISMO (Carlos Giménez)

Integración

Información de derechos

ciudadanos

Dispositivos:

desarrollo de

lenguas y culturas

de origen

Adaptación normativa a diferencias culturales

România, 2013 jligero@polsoc.uc3m.es

OBJETIVOS DEFINICIÓN TEMAS

AUTOESTIMAPercepción de sí mismo como persona singular, eficaz, valiosa y merecedora de felicidad

RESPETO POR UNO MISMO

CAPACIDAD PARA AFRONTAR LOS DESAFÍOS

HABILIDADES PARA LA VIDA

Habilidades emocionales que promueven su autonomía y les ayudan a enfrentar situaciones de dificultad, a encontrar equilibrios entre el mundo individual y el colectivo

MANEJAR LA TENSIÓN (Estrés)

RELACIONARSE

TOMAR DECISIONES

INFORMACIÓN DROGAS

Conceptos claros, sencillos y veraces, y actitudes firmes ante las drogas más corrientes y accesibles en el entorno sociofamiliar

MEDICAMENTOS

ALCOHOL

TABACO

HÁBITOS SALUDABLES

Hábitos saludables relacionados con funciones y necesidades físicas, psíquicas y fisiológicas; muy ligados al aquí y ahora del alumnado

ACTIVIDAD Y DESCANSO

ALIMENTACIÓN

SEGURIDAD

HIGIENE

TEORÍA DE UN PROGRAMA DE PREVENCIÓN

România, 2013 jligero@polsoc.uc3m.es

Las 14 teorías que consideran Petratis, Flay y Millar (1995) para explicar la experimentación con el uso de sustancias.

1. Teorías cognitivo-afectivas1. Teoría de la acción razonada 2. Teoría de la conducta planificada

2. Teorías de aprendizaje social1. Teoría del aprendizaje social2. Teoría del aprendizaje social/cognitiva social

3. Teorías del apego social1. Teoría del control social2. Modelo de desarrollo social

4. Teorías en las que las que las características interpersonales juegan un papel esencial1. Modelo de ecología social2. Teoría del auto-desprecio3. Modelo de varias etapas de aprendizaje social4. Teoría de la interacción familiar

5. Teorías que integran constructor cognitivo-afectivos, de aprendizaje, compromiso y apego, e intrapersonales1. Teoría de la conducta problema2. Teoría de cluster de iguales3. Modelo de vulnerabilidad de Sher4. Modelo de Dominio.

(Becoña, 76).

România, 2013 jligero@polsoc.uc3m.es

TEORÍA DEL PROGRAMA ES:

-“La construcción de un modelo razonable y sensible de cómo se supone que funciona el programa” (Bickman cit en Chen, 1990: 40).

- “La cadena de asunciones que explican cómo las actividades conducen paso por paso a los resultados esperados” (Weiss, 1998: 265)

România, 2013 jligero@polsoc.uc3m.es

BLACK BOX

Sobre la base de observaciones cualitativas, Weiss y Rein (1970) critican las evaluaciones que no informan sobre lo que ocurre en la “caja negra”, refiriéndose con este término al proceso de implementación del programa (Ballart, 1996, pág 329).

România, 2013 jligero@polsoc.uc3m.es

2.2 Procesos

România, 2013 jligero@polsoc.uc3m.es

INSIDE BLACK BOX

Las cosas que hace el programaActividades, implementación = procesos

România, 2013 jligero@polsoc.uc3m.es

DEFINICIÓN DE PROCESO

Secuencia de acciones que con su desempeño genera un producto o servicio con un valor añadido con relación a las “entradas” iniciales

România, 2013 jligero@polsoc.uc3m.es

Procesos

-

LOS PROCESOS PRODUCEN RESULTADOS

-ResultadosSecuencia de actividades que

produce resultados

România, 2013 jligero@polsoc.uc3m.es

Procesos

+

LOS PROCESOS PRODUCEN RESULTADOS

+

Resultados

România, 2013 jligero@polsoc.uc3m.es

2.3 Estructura

România, 2013 jligero@polsoc.uc3m.es

ESTRUCTURA

Tal y como citan Cohen y Franco por estructura se puede entender la organización relativamente estable de distintos tipos de recursos para alcanzar los fines del proyecto. (1993:95).

Carol Weiss menciona algunos aspectos estructurales (1998:193):•La organización u organizaciones responsables de la intervención. •El presupuesto asignado. •Experiencia y competencias de los trabajadores. •La gestión.•El sitio o sitios físicos.•El plan de actividades.•Los métodos de prestar el servicio.•La filosofía o principios de operación.•Los propósitos.

România, 2013 jligero@polsoc.uc3m.es

Resultados + Procesos+ Estructura = Perspectiva

sistémica

Un sistema es un conjunto con diferentes elementos independientes e interrelacionados entre sí.

România, 2013 jligero@polsoc.uc3m.es

PERSPECTIVA SISTÉMICA

ESTRUCTURA: Recursos, personas, medios, misión, organización,…

ESTRUCTURA: Recursos, personas, medios, misión, organización,…

PROCESOS: Esta dimensión se centra en cómo se está aplicando el programa

PROCESOS: Esta dimensión se centra en cómo se está aplicando el programa

EFICACIA: outputs, objetivos intermedios, logros que el programa puede garantizar.

EFICACIA: outputs, objetivos intermedios, logros que el programa puede garantizar.

NECESIDADES SOCIALES

IMPACTO: outcomes, logro de objetivos finales

IMPACTO: outcomes, logro de objetivos finales

România, 2013 jligero@polsoc.uc3m.es

TEORÍA DEL CAMBIO, MODELO LÓGICO (Wisconsin)

România, 2013 jligero@polsoc.uc3m.es

PERSPECTIVA SISTÉMICA DE LOS PROGRAMAS

LI

DER

AZG

O

PRO

CESO

S

RESU

LTAD

OS

CLA

VE

POLÍTICA Y ESTRATEGIA

PERSONAS Y

ALIANZAS Y RECURSOS

RESULTADOS CLIENTES

RESULTADOS PERSONAS

RESULTADOS SOCIEDAD

România, 2013 jligero@polsoc.uc3m.es

Imágenes de modelos lógicos

http://www.google.es/search?q=logic+model&rlz=1C2SKPM_enES447ES524&source=lnms&tbm=isch&sa=X&ei=6L-lUd6KLK6Q7Aal8YDQAg&ved=0CAcQ_AUoAQ&biw=1138&bih=714

România, 2013 jligero@polsoc.uc3m.es

3. APROXIMACIÓN EVALUATIVA

România, 2013 jligero@polsoc.uc3m.es

3. EVALUATIVE APPROACHES

3.1 Theory driven evaluation

3.2 Participatory approaches

3.3 Transformative paradigm

3.4 Criteria-based evaluation

România, 2013 jligero@polsoc.uc3m.es

PREGUNTAS/CRITERIOS EVALUACIÓN

Las preguntas son requerimientos de información que implican una valoración sobre la intervención o sus efectos. Por ejemplo:

- ¿Se ha conseguido que los jóvenes adquieran los conocimientos?

- ¿La metodología docente es adecuada?- ¿Los docentes están suficientemente cualificados?

Es conveniente tener en cuenta:•Las preguntas deben implicar una valoración y no una mera indagación sobre algún aspecto del objeto.

•Las preguntas tienen que estar dirigidas al programa (o a su relación con las necesidades sociales) y no a sucesos o dinámicas sociales ya que esto sería otro objeto de estudio más propio de la investigación.

•No deben ser indicadores, deben dejar claro las cuestiones que se quieren evaluar indistintamente de que especifique o no cómo se van a medir.

România, 2013 jligero@polsoc.uc3m.es

¿De dónde salen las preguntas? De la opción evaluativa escogida

Aproximación evaluativa Preguntas

Dimensiones según la teoría del cambio. • Preguntas relacionadas con la Estructura/ Diseño.• Preguntas relacionadas con los Procesos.• Preguntas relacionadas con los Resultados

Criterios Preguntas que definan el criterio. Por ejemplo, preguntas para eficacia, de eficiencia, pertinencia, cobertura,…

Pluralista, democrático, orientada en los stakeholders

Las preguntas proceden de los actores (es complementario con el resto de aproximaciones)

Teoría crítica o transformador Las preguntas se orientan a : - cambios operados en las cuestiones detectadas en los análisis de realidad.- Desarrollo de competencias y capacidades de los actores para el cambio. - Participación, reivindicación y procesos de cambio de los propios actores.

România, 2013 jligero@polsoc.uc3m.es

3.1 THEORY DRIVEN EVALUATION

This method proposes to:

• Identify the programme theory or logic model.

• According to this analysis, we will design our evaluation.

• The mail goal is to analysis if the programme theory works and if it is promoting a more equitable society.

România, 2013 jligero@polsoc.uc3m.es

Estructura:-Recursos económicos.-Ley Nacional de Educación.-Consejos directivos conformados por locales.-Existencia de edificios y medios físicos.-Existencia de asociación.

Necesidades sociales: jóvenes rurales desempleados

Proceso 1: Proyecto educativo individualizado

Proceso 2: Organización docente del centro

Proceso 3: Asesoría educativa proyectos

Proceso 4: Formación y actualización docente

Proceso 5: Gestión administrativa del Centro

Proceso 6: Gestión otorgación créditos y fondos

Output 1: Output 1: reducción

abandono escolar

Output 2: Output 2: adquisición

formación técnica

Output 3:Output 3: capacidad de

formular proyectos

empresariales

Outcome : Outcome :

GGeneración emprendimientos

¿?

¿?

¿?

¿?

¿?¿?

¿?

¿?

¿?

¿?Output 4:Output 4:

motivación y disipoción

GENERACIÓN DE CUESTIONES CLAVE SEGÚN LA GENERACIÓN DE CUESTIONES CLAVE SEGÚN LA TEORÍA DEL CAMBIO TEORÍA DEL CAMBIO

Output 5:Output 5: adquisición

capital¿?

KEY POINTS GOTTEN FROM A LOGIC MODEL

România, 2013 jligero@polsoc.uc3m.es

3.2 STAKEHOLDERS ORIENTED EVALUATION

Stakeholders are in the core the evaluative process.

• Recognition of the stakeholder’s voices and pay special attention to vulnerable and disadvanted groups.

• Need for participation:

- There is no participation without organization

- Ask and take into account the different stakeholders.

România, 2013 jligero@polsoc.uc3m.es

3.3 TRANSFORMATIVE PARADIGM (or critical change)

En esta aproximación evaluativa se busca dilucidar sobre las desigualdades sociales, económicas y políticas, se critica las injusticias sociales, se incrementa la toma de conciencia y la evaluación se orienta a cambiar el equilibrio de poder a favor de aquellos más desfavorecidos o, en cualquier caso, se incrementa la capacidad de los actores para representar sus propios intereses a través de la evaluación (Patton, 2002). Las evaluaciones conducidas con estas “lentes” pueden crear una sociedad más equitativa y justa (Sielbeck-Bowen y otras, 2002b).

România, 2013 jligero@polsoc.uc3m.es

3.3 TRANSFORMATIVE PARADIGM (or critical change)

Evaluators define themselves as agents of social change and their main goal is to increase social justice.

• Analyse exclusion and inequality focusing on the most vulnerable and disadvanted people.

• Assess the stakeholders’ autonomy and cappabilities.

• Evaluate the extent to which the stakeholders are involved in the social change promoted.

România, 2013 jligero@polsoc.uc3m.es

3.4 CRITERIA BASED EVALUATION

This approach assesses the programme acording to a set criteria and it is more focused on accountability than on learning.

Pre-defined criteria: E.G. DAC criteria (effectiveness, efficiency, impact, relevance, sustainability) Ad-hoc criteria taking into account the key evaluation questions highlighted by the different stakeholders.

România, 2013 jligero@polsoc.uc3m.es

Diferentes aproximaciones evaluativas

Aproximación evaluativa Preguntas

Dimensiones según la teoría del cambio. • Preguntas relacionadas con la Estructura/ Diseño.• Preguntas relacionadas con los Procesos.• Preguntas relacionadas con los Resultados

Criterios Preguntas que definan el criterio. Por ejemplo, preguntas para eficacia, de eficiencia, pertinencia, cobertura,…

Pluralista, democrático, orientada en los stakeholders

Las preguntas proceden de los actores (es complementario con el resto de aproximaciones)

Teoría crítica o transformador Las preguntas se orientan a : - cambios operados en las cuestiones detectadas en los análisis de realidad.- Desarrollo de competencias y capacidades de los actores para el cambio. - Participación, reivindicación y procesos de cambio de los propios actores.

România, 2013 jligero@polsoc.uc3m.es

4. OPERACIONALIZACIÓN

România, 2013 jligero@polsoc.uc3m.es

4. OPERATIONALIZATION

I order the questions and to do measurable the criteria/questions. Two kinds of work:

A) Vertical operationalization: Definition of key dimensions depending on the evaluative approach

B) Horizontal operationalization:

I. Formulation of the evaluation questions II. Identification of indicators

România, 2013 jligero@polsoc.uc3m.es

TRABAJO VERTICAL Y HORIZONTAL

Dimensiones, criterios, necesidades de actores, aspectos de cambio,…

Preguntas Aspectos que definen la pregunta (opcional)

Indicadores Técnicas o fuentes de recogida de información

1, Definición

de preguntas.

2, Indicadores para cada pregunta.3, Fuentes o técnicas.

România, 2013 jligero@polsoc.uc3m.es

INDICADOR

Las preguntas de evaluación (criterios o subcriterios). Suelen ser conceptos teóricos que no tienen porqué atender al hecho de que puedan ser medidas o no.

El indicador, por el contrario, es una variable medible, observable y registrable que aporta una información que contesta a la pregunta de evaluación, por lo general a través de aproximaciones.

România, 2013 jligero@polsoc.uc3m.es

România, 2013 jligero@polsoc.uc3m.es

România, 2013 jligero@polsoc.uc3m.es

FORMULACIÓN INDICADOR

Los indicadores deben ser redactados como condiciones lógicas que si se cumplen contestan a la pregunta de evaluación. Se fija un estado, un punto o una condición a partir del cual se puede contestar afirmativa o negativamente a la pregunta formulada. En el caso del consumo de cannabis la redacción del indicador podría ser el que se indica en la tabla siguiente:

Ejemplo de pregunta de evaluación e indicador

Pregunta de evaluación Indicador

Disminución del consumo de marihuana entre los escolares.

Incremento con relación al semestre pasado de la percepción del riesgo en el consumo de marihuana/hachís.

România, 2013 jligero@polsoc.uc3m.es

CASOS PARA INDICADORES

Caso A.En un programa de motivación a la lectura de los “clásicos” desarrollado por una biblioteca, se quiere evaluar el grado de eficacia de la medida.

Pregunta Indicador

¿Se despierta la sensibilización hacia los autores clásicos?

România, 2013 jligero@polsoc.uc3m.es

5. TÉCNICAS

România, 2013 jligero@polsoc.uc3m.es

5. TÉCNICAS Y FUENTES

1. Ejes de clasificación

• Fuentes primarias – fuentes secundarias.

• Cualitativo – Cuantitativo.

• Estructurada – no estructurada.

2. Listado de técnicas más usuales

• Encuesta.

• Observación.

• Entrevistas.

• Grupos de discusión/ Focus groups

• Historia de vida.

• Fuentes secundarias (puede ser cualquiera de las expuestas anteriormente).

• Análisis documental (e-mails, actas, calendarios, expedientes,…)

• Dinámicas de grupos.

România, 2013 jligero@polsoc.uc3m.es

6. ELECCIONES METODOLÓGICAS

România, 2013 jligero@polsoc.uc3m.es

LA INFLUENCIA DEL CONTEXTO

România, 2013 jligero@polsoc.uc3m.es

¿LA INFLUENCIA DEL CONTEXTO?

România, 2013 jligero@polsoc.uc3m.es

HIPÓTESIS PRINCIPAL:

PROGRAMA,

SERVICIO

CAMBIOS EN LA

REALIDAD

El programa produce cambios

România, 2013 jligero@polsoc.uc3m.es

MÉTODOS DE EVALUACIÓN DE IMPACTO Estrategias apoyadas en la lógica de la distribución al azar:

• Diseño experimental. Selección aleatoria de los grupos. Diferencias en diferencias.

• Diseño cuasiexperimental.

• Réplica del modelo experimental pero con grupo de comparación no equivalante.

• Identificación de grupos similares.

• Construidos estadísticamente (emparejamiento estadístico)

• Series temporales (existe la posibilidad de complementarlas con grupo de comparación).

• Discontinuidad de la regresión

• Diseños no experimentales (modelos que no permiten extraer el efecto neto) Contrafactuales falsos.

• Comparación antes– después; línea base - postest.

• Comparación postest con grupo de comparación no equivalente.

• Sólo después (se compara con fuentes bibliográficas).

Modelización (identificación de posibles variables intervinientes).

• Correlación, asociación, contribución de las variables de implementación con

las de resultados.

• Controlando sólo una variable

• Estandarización estadística de poblaciones.

• Cálculo de la media de los efectos de la variable.

• Controlando varias variables.

• Regresión múltiple.

• Ecuaciones estructurales

.

România, 2013 jligero@polsoc.uc3m.es

AZAR O CONTRAFACTUALES• Diseño experimental. Selección aleatoria de los grupos. Diferencias en diferencias.

• Diseño cuasiexperimental.

• Réplica del modelo experimental pero con grupo de comparación no equivalante.

• Identificación de grupos similares.

• Construidos estadísticamente (emparejamiento estadístico)

• Series temporales (existe la posibilidad de complementarlas con grupo de comparación):

• Discontinuidad de la regresión

• Medias móviles

• ARIMA

• Diseños no experimentales (modelos que no permiten extraer el efecto neto) Contrafactuales falsos.

• Comparación antes– después; línea base - postest.

• Comparación postest con grupo de comparación no equivalente.

• Sólo después (se compara con fuentes bibliográficas).

România, 2013 jligero@polsoc.uc3m.es

MODELIZACIÓN

Modelización (identificación de posibles variables intervinientes).

• Controlando sólo una variable

• Estandarización estadística de poblaciones.

• Cálculo de la media de los efectos de la variable.

• Controlando varias variables.

• Regresión múltiple.

• Ecuaciones estructurales

România, 2013 jligero@polsoc.uc3m.es

MÉTODOS DE EVALUACIÓN DE IMPACTO

AZ

AR

, C

ON

TR

AF

AC

TU

AL

România, 2013 jligero@polsoc.uc3m.es

9. INTERPRETACIÓN

România, 2013 jligero@polsoc.uc3m.es

OBJETIVOS DEL PROGRAMA TIEMPO JOVEN

Integración, no gueto

Ruptura del esquema de

bandas

Aceptación de las diferencias

Desarrollo personal

Ciudadanía y responsabiliz

ación

România, 2013 jligero@polsoc.uc3m.es

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (I de 5)

România, 2013 jligero@polsoc.uc3m.es

-+ + +

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (2 de 5)

România, 2013 jligero@polsoc.uc3m.es

+- - -

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (3 de 5)

România, 2013 jligero@polsoc.uc3m.es

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN(4 de 5)

++ + +

Todos los objetivos (outcome y outputs) positivos

România, 2013 jligero@polsoc.uc3m.es

Soluciones

proactivas disminuye

B2.347

Escuchar música clásica

(indicador) disminuye

B 1.619

Cumplir sueños

disminuye B1.481

Participación en

asociación disminuye

B1.107

Amigos mismo origen

aumenta B0.025

Resolución de conflictos disminuye

B 0.195

Racismo

(entre un 6% y un

7%)

MODELO TEÓRICO PARA REDUCIR EL RACISMO

România, 2013 jligero@polsoc.uc3m.es

ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN(5 de 5)

România, 2013 jligero@polsoc.uc3m.es

CAJA

NEGRA ?

+

- + +

NECESIDAD DE EVALUAR PROCESOS (C. Weiss)

România, 2013 jligero@polsoc.uc3m.es

Procesos

+

LOS PROCESOS PRODUCEN RESULTADOS

+

Resultados

România, 2013 jligero@polsoc.uc3m.es

Procesos

-

LOS PROCESOS PRODUCEN RESULTADOS

+

Resultados

România, 2013 jligero@polsoc.uc3m.es

Procesos

-

LOS PROCESOS PRODUCEN RESULTADOS

-

Resultados

România, 2013 jligero@polsoc.uc3m.es

?

-.

-

ANÁLISIS SISTÉMICO

România, 2013 jligero@polsoc.uc3m.es

Definición de interpretación.

No es narrar sino explicar qué

es lo que está pasando. Dotarle

de sentido, dar una explicación

a todos los datos.

România, 2013 jligero@polsoc.uc3m.es

SECUENCIA PARA LOS PROPÓSITOS

Comprensión, ilustración (enlightenment). Comprensión, ilustración (enlightenment).

Rendimiento de cuentasRendimiento de cuentas MejoraMejora

România, 2013 jligero@polsoc.uc3m.es

Planificación Mejora

Medición

Acción

MEJORA Y APRENDIZAJE

EXCELENCIA

MEJORA CONTINUA Bucle de la calidad (Edward Deming)

BUCLE DE LA MEJORA

România, 2013 jligero@polsoc.uc3m.es

¿ PARA QUÉ SIRVE LA EVALUACIÓN?

Comprender lo qué ocurre.

Rendir cuentas, responsabilizar.

Mejorar de forma sustentada.

Identificar y comprobar la (s) teoría (s) en la que se apoya.

Construir conocimiento particular y global.

….

România, 2013 jligero@polsoc.uc3m.es

DEFINICIÓN DE EVALUACIÓN

Recoger y analizar sistemáticamente una

información para poder comprender y dotar de

significado a lo que ocurre en un programa, de

lo que se deducirán unos juicios específicos

que permitirán rendir cuentas y tomar

decisiones sobre la mejora.

România, 2013 jligero@polsoc.uc3m.es

FASES DE LA EVALUACIÓN

(2012)

4. OPERACIONALIZACIÓN: PREGUNTAS, INDICADORES O

SISTEMAS DE MEDIDA

2. DEFINCIÓN DE UNIDAD Y ANÁLISIS

DE CONTEXTO

5. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS

7. TRABAJO DE CAMPO

8. ANÁLISIS DE DATOS

9. INTERPRETACIONES

1. MOTIVACIÓN PARA EVALUAR, ENCARGO

12. INFLUENCIA, COMUNICACIÓN DE RESULTADOS

6. DISEÑO METODOLÓGICO

10. JUICIOS

11. RECOMENDACIONES

3. ELECCIÓN APROXIMACIÓN EVALUATIVA

România, 2013 jligero@polsoc.uc3m.es

România, 2013 jligero@polsoc.uc3m.es

OBJECTIVES

Main concepts in evaluation Phases to disegn and to do evaluation Main theorical approaches. The possibilities and the use of

evaluations.

România, 2013 jligero@polsoc.uc3m.es

Mulțumesc mult

Juan Andrés Ligero Lasa

jligero@polsoc.uc3m.es

www.magisterevaluacion.es

Recommended