Upload
juan-pedregosa
View
14.610
Download
2
Embed Size (px)
DESCRIPTION
Curso sobre evaluación aplicada a la gestión de proyectos culturales
Citation preview
www.e-‐itd.conhttp://blog.transit.eswww.asceps.org
Etapas de un proyecto
Beneficios de la evaluación
enfoca los aspectos más relevantes
permite conocer el grado de cumplimiento y desarrollo del proyecto
identifica dificultades que impiden el cumplimiento de los objetivos
favorece la toma de decisiones
integra la dimensión diseño-‐planificación
mejora el desarrollo de los procesos y resultados
aumenta el conocimiento de las tareas realizadas
incrementa la implicación de los equipos y de los partners
(si es publicada), valoriza técnicamente el proyecto
aporta competencias analíticas a quienes la realizan
es más necesaria, más fácil y más útil cuanto más se practica
Algunos apuntes sobre el uso de la evaluación
El inicial approach americano y su traslado a las políticas nacionales europeas
La importancia de la Comisión Europea, especialmente en el ámbito de la Cultura http://www.eipa.eu/en/activities/show/&tid=2330
Otras disciplinas: educación, sanitario, servicios sociales http://www.institutodeevaluacion.mec.es/
Evaluación evaluar.(Del fr. évaluer).1. tr. Señalar el valor de algo.2. tr.
Estimar, apreciar, calcular el valor de algo. Evaluó los daños de la inundación en varios millones. U. t. c. prnl.3. tr. Estimar los conocimientos, aptitudes y rendimiento de los alumnos
evaluación.(De evaluar).1. f. Acción y efecto de evaluar.2. f. Examen escolar. Hoy tengo la evaluación de matemáticas.
Definiciones de evaluación “Proceso sistemático mediante el cual se obtiene
la información necesaria sobre los resultados, previstos o no, y el funcionamiento de un programa cultural para saber en qué medida se logran los objetivos y se desarrolla la producción,y poder tomar así las decisiones oportunas para reconducir dicho programa mediante la modificación de cualquiera de sus aspectos” (Rosselló )
“Evaluación es realizar un juicio, basado en evidencias, sobre el valor y calidad de un proyecto” (Dean, Goodlad, Hamilton)
Definiciones de evaluación “Examen crítico del desarrollo y de los efectos actuales y
potenciales de un programa o proyecto y se orienta a aumentar la eficacia del mismo y a proporcionar una base orientadora para el diseño e implementación de programas futuros” (Fernández Ballesteros)
“Cómo y por qué (no) funciona una iniciativa”
Objetivos de la evaluación Conocer las razones que favorecen o dificultan el
desarrollo del proyecto
Saber de qué manera se consiguen los objetivos previstos
Facilitar la toma de decisiones sobre el desarrollo y resultados
COMPLEMENTARIEDADES Evaluación cuantitativa
Verifica hipótesis mediante pruebas empíricas
Utiliza métodos estructurados para la recogida de datos y análisis estadístico
Evaluación cualitativa Da valor al contexto y las
dimensiones humanas
Se orienta a los procesos y se basa en el lenguaje
Busca conocer las percepciones sobre un tema o dimensión
http://www.mcu.es/cooperacion/docs/MC/Evaluacion_politicas_locales_cor.pdf
Conceptos paralelos Monitoraje: comprobación del cumplimento parcial de lo
establecido
Auditoría: control del resultado y del cumplimiento del procedimiento (establecido o no por la ley)
Validación: aprobación (externa)
Revisión crítica: peer review
Criterios básicos de evaluación
EFICACIA: comprobación del cumplimiento de los objetivos del proyecto
EFICIENCIA: relación entre el cumplimiento de los objetivos y su relación con los recursos utilizados
PERTINENCIA: adecuación del proyecto al problema, necesidad u oportunidad planteada
Criterios básicos de evaluación
IMPACTO: adecuación a las finalidades u objetivos a largo plazo del proyecto
VIABILIDAD: posibilidad de continuación y desarrollo futuro
Objetivos Medios Resultados
Eficiencia Viabilidad
Eficacia
Pertinencia
Impacto
http://www.ec.europa.eu/europeaid/evaluation/methodology/methods/mth_ccr_es.htm
Problema/necesidad
Organización/proyecto cultural
Metodología de evaluación Evaluar la evaluabilidad del proyecto
Identificar los destinatarios
Decidir quién la hará
Establecer el alcance de la evaluación
Indicar las dimensiones principales
Elaborar los indicadores y escalas de síntesis
Formular las técnicas e instrumentos para la obtención de datos
Presentar los resultados
Mille Galán, José Manuel.-‐ Manual bàsic d'elaboració i avaluació de projectes.-‐ Ajuntament de Barcelona. 2002
Rosselló Cerezuela, David.-‐ Diseño y evaluación de proyectos culturales. Ariel, Barcelona, 2004.
Metodología de evaluación Evaluar la evaluabilidad del proyecto:
Un proyecto será evaluable cuando dé una respuesta suficiente a:
Por qué se quiere hacer Qué se quiere conseguir
Cómo se quiere conseguir
A quién se dirige Donde se realizará Cuando se realizará Quién lo realizará
Con qué se hará
Metodología de evaluación Identificar los destinatarios
Equipos responsables y técnicos de proyecto Promotores del proyecto (dirigentes, donantes,
financiadores, mecenas)
Destinatarios: clientes, usuarios, participantes,
Metodología de evaluación Decidir quién la hará
EVALUACIÓN INTERNA Conocimiento directo de la acción
Facilidad para su continuidad Promueve la participación y la implicación
Proclividad a la inobjetividad Más económica
Equipo directivo, persona o grupo “ad hoc” http://tibidabo-‐project.gesem.net/
Metodología de evaluación Decidir quién la hará
EVALUACIÓN EXTERNA Percepción de intromisión o control
Mayor apariencia de objetividad
Puede promover legitimidad y/o prestigio
Implica mayor inversión de recursos
Consultores, investigadores, expertos, instituciones locales http://www.sharedintelligence.net/viewproject.php?
projectid=71
Metodología de evaluación Establecer el tipo de evaluación
Evaluación inicial
Evaluación de resultados
Evaluación de proceso
Evaluación de impacto
..
Metodología de evaluación Establecer el tipo de evaluación
Evaluación de resultados Comprobación del nivel de cumplimiento de los objetivos del
proyecto y cumplimiento de las previsiones
Verifica cómo lo programado ha sido ejecutado
Comprueba cómo el proyecto modifica la situación de partida
Conoce la opinión de los destinatarios
Observa otros resultados
Determina las causas que han permitido o no su cumplimiento
Metodología de evaluación Establecer el tipo de evaluación
Evaluación de proceso Comprueba el cumplimiento y funcionamiento de las
periodificaciones del proyecto.
Comprueba la adecuación de la organización y su funcionamiento
Verifica la adecuación de los recursos humanos y materiales a disposición
Metodología de evaluación Establecer el tipo de evaluación
Evaluación de impacto Mide los efectos a largo plazo
Verifica los cambios en el contexto general
Observa los cambios en el contexto cultural
Metodología de evaluación Indicar las dimensiones principales
Organización y funcionamiento Gestión económica Implementación Seguimiento Calidad artística Satisfacción Participación comunitaria Comunicación Atención a la diversidad Género …
Metodología de evaluación Indicar las dimensiones principales
Establecimiento del listado de preguntas básicas, teniendo presente los criterios básicos de evaluación (eficacia, eficiencia, pertinencia, impacto, sostenibilidad)
Determinar los contenidos específicos de cada dimensión
Metodología de evaluación Elaborar los indicadores y escalas de síntesis
Características: Permiten medir los cambios y resultados
Son singulares de cada proyecto Necesitan del contraste con otras referencias
Se acoplan preferentemente al tipo de evaluación: indicadores de proceso, resultado e impacto
Hay cualitativos y cuantitativos
Metodología de evaluación Elaborar los indicadores y escalas de síntesis
Aspectos clave Delimitar los contenidos de la evaluación
Fijarlos en el inicio Comprobar si se podrá recoger la información
Decidir las técnicas e instrumentos para la recogida de información
Verificar si son válidos, fiables,claros, útiles, representativos y específicos
Metodología de evaluación Elaborar los indicadores y escalas de síntesis
Aspectos clave Verificar si son:
válidos, si miden realmente lo que quieren medir
claros, fáciles de interpretar
útiles, organizativa y técnicamente
Específicos, si sirven para medir un solo factor
Representativos; si comprenden todos los individuos y cuestiones que han de medir
Metodología de evaluación Elaborar los indicadores y escalas de síntesis
Smart system: Simple and precise
Measurable and quantifiable
Achievable and ambitious
Realistic, compatible with the whole of the project
Temporary, wiht a deadline of execution
Metodología de evaluación Elaborar los indicadores y escalas de síntesis
Formulación de escalas de síntesis Instrumento que visualiza el proceso de evaluación
Reducción de la complejidad a pocas variables
Utilización de series tipo deficiente…excelente, insatisfactorio…satisfactorio
Una cifra informa… un indicador indica
-‐ ¿Podemos decir que un concierto experimental con 35 asistentes fue peor que un concierto de un grupo popular con 70?
-‐ ¿Podemos decir que el taller de fotografía digital programado (15 usuarios) fue mejor que el programado con con chavales (8 usuarios)
-‐ Si utilizamos sólo números absolutos no nos indican nada, sólo nos informan
…la idea de utilizar indicadores es que nos ayuden a tomar decisiones…
(NO A LOS INDICADORES PORQUE SÍ)
Ejemplos de indicadores algo más complejos
-‐ ¿Podemos decir que un concierto experimental con 35 asistentes fue peor que un concierto de un grupo popular con 70?
Si, si estandarizamos las variables para hacerlas comparables.
Al estandarizar, transformamos los datos que tenemos en otros que son comparables entre sí
Ejemplo 1:
valor real – valor mínimo /valor máximo-‐valor mínimo
Concierto experimental:
35-‐4/55-‐4 = 0,6
Concierto pop:
70-‐10/250—10= 0,25
Al estandarizar, transformamos los datos que tenemos en otros que son comparables entre sí
Ejemplo 2:
Valor maximo – valor real /valor máximo-‐valor mínimo
Concierto experimental:
55-‐35/55-‐4 = 0,39
Concierto pop:
250-‐70/250—10= 0,75
Ejemplo de selección de destinatarios
Total de destinatarios posibles 25 países ALC
Objetivo: Delección de 2 países donde implementar proyectos culturales basados en redes sociales distribuidas
Metodología de selección:
1. Creación del indicador de posibilidades de implementación
2. Selección de 10 mejores
3. Profundización en perfil país + industrias culturales
4. Selección de 5 mejores
5. Profundización en sector cultural local : 2 ganadores
Los datos estadísticos utilizados para la creación del indicador surgen básicamente de la ITU (Internacional Telecommunication Union) y son estadísticas del año 2006. Estos datos, tras ser tratados para poder ser utilizados en un único indicador, se combinaron de la siguiente forma:
0,60*Penetración de Internet + 0,35*Penetración de banda ancha + 0,05*penetración de telefonía móvil.
Donde:
-‐ Penetración de Internet: usuarios / población total
-‐ Penetración Banda ancha: suscriptores banda ancha/ población total
-‐ Penetración telefonía móvil: suscriptores de teléfono móvil/ población total
IDH: Índice de desarrollo humano
IDH -‐ parámetros
1 - Vida larga y saludable: medida según la esperanza de vida al nacer.
2 - Educación: medida por la tasa de alfabetización de adultos y la tasa bruta combinada de matriculación en educación primaria, secundaria y superior, así como los años de duración de la educación obligatoria.
3 - Nivel de vida digno: medido por el PIB per cápita PPA en dólares internacionales.
IDH -‐ cálculo
Metodología de evaluación Formular las técnicas e instrumentos para la
obtención de datos: Técnicas cualitativas:
Entrevistas en profundidad Observación directa (y material visual)
Juicio de expertos (y peer review)
Análisis de documentación
Estudio de casos Focus groups
Metodología de evaluación Formular las técnicas e instrumentos para la
obtención de datos: Desarrollo de las herramientas de seguimiento (monitoraje)
y desarrollo de evaluación Establecimiento estrategia recogida de datos
Periodificación entrega de resultados Verificación de los resultados Comparación con las predicciones
Análisis de resultados Redacción del informe de evaluación
Metodología de evaluación El informe de evaluación
Partes básicas: Descripción del proyecto de evaluación (marco, objetivos,
metodología, tipo de evaluación, dimensiones, indicadores, instrumentos)
Resultados principales (cumplimento de objetivos, resultados no esperados)
Conclusiones, recomendaciones, propuestas, lecciones obtenidas, puntos fuertes y débiles
Apéndices
La evaluación y su momentum
EVALUACIÓN EX ANTE o inicial
EVALUACIÓN IN ITINERE o de proceso
EVALUACIÓN EX POST o final
BATERÍA INDICADORES UNESCO
http://culturayeconomia.org/noticias/unesco-‐presento-‐el-‐estudio-‐de-‐indicadores-‐en-‐cultura-‐y-‐desarrollo-‐para-‐colombia/
FEMP
http://www.femp.es/Portal/Front/Atencion_al_asociado/BuenasPracticasDetalle/_Q416TFyB0rLgu8Ibp07KmrDTXbuB1NzlZqOUAlHmbQSVwGSAouTsjX_LThJgxK1I08ogWIR8xByU__eHlCrD_X1y_3ssghqpA1JoMEc12Mxf64O-‐OXu20Sd98AWqwe0e8Gp7ek5OctM
CULTURA EUROPA
http://europa.eu.int/comm/culture/eac/sources_info/evaluation/evaluation_en.html
Teoria del cambio:
http://www.theoryofchange.org/
E-‐Herramienta para evaluación
http://www.evaluationforall.org.uk/
Logical Framework tool: http://europa.eu.int/comm/europeaid/qsm/project_en.htm
/
Logical Framework tool: http://europa.eu.int/comm/europeaid/qsm/project_en.htm
New Approaches to Evaluating Community Initiatives, Vol. 1: Concepts, Methods, and Contexts
Edited by James P. Connell, Anne C. Kubisch, Lisbeth B. Schorr, and Carol H. Weiss
http://www.theoryofchange.org/html/origins.html
http://www.uv.es/~cursegsm/IIIbloque/indicadoresCult.pdf
LASI PROJECT
http://www2.warwick.ac.uk/fac/soc/wbs/research/lgc/research/lasi/
Projecte Tibidabo
http://tibidabo-‐project.gesem.net/
Evaluate Europe handbook
http://www.evaluate-‐europe.net
Curso evaluacion
http://www.eipa.eu/en/activities/show/&tid=2330
Instituto evaluacion
http://www.institutodeevaluacion.mec.es/
BIBLIOGRAFÍA
Rosselló Cerezuela, David.-‐ Diseño y evaluación de proyectos culturales. Ariel, Barcelona, 2004.
Mille Galán, José Manuel.-‐ Manual bàsic d'elaboració i avaluació de projectes.-‐ Ajuntament de Barcelona. 2002
L'évaluation à la Commission Européenne. Guide des procédures et structures d'évaluation actuellement en vigueur dans les programmes de coopération externes de la Commission. EuropeAid Office de Cooperation. Bruselas. 2001
VV AA.-‐ Monogràfic: la qualitat en l'acció socioeducativa. Revista Educació Social. Fundació Pere Tarrés. Barcelona. 2002
Monnier, Eric.-‐ Evaluación de la acción de los poderes públicos. Ministerio de Economía y Hacienda. Instituto de Estudios Fiscales. Madrid 1995
Nohria, Nitin y G. Eccles, Robert (edit).-‐ Networks and Organizations. Structure, form and action. Harvard Business School Press. Boston 1992
Chen, Huey-‐Tsyh.-‐ Theory-‐driven evaluations. Sage Publications. Newbury Park, California. 1900
New Approaches to Evaluating Community Initiatives, Vol. 1: Concepts, Methods, and Contexts
Edited by James P. Connell, Anne C. Kubisch, Lisbeth B. Schorr, and Carol H. Weiss
http://www.theoryofchange.org/html/origins.html
Hugues, Jenny y Nieuwenhuis, Loek.-‐ A project manager’s guide to evaluation. Universität Bremen. 2006