Upload
talentosolidario
View
117
Download
0
Embed Size (px)
Citation preview
Catalina Parra Baño
Medición de ImpactoPrograma de Talento Solidario
Fundación Botín
Catalina Parra Baño Madrid, 25 de junio de 2014
Catalina Parra Baño2
Qué es la medición de impacto
• “Evaluación del impacto” • Entidades sociales y entidades públicas• Enorme variedad de definiciones de
“impacto”
29/04/2013
Ni siquiera las instituciones internacionales de enorme peso, que
han invertido miles de millones de Euros en programas de desarrollo
pueden decir que tienen resuelta la definición de medición de impacto.
Catalina Parra Baño3
Qué es la medición de impacto
• Network of Networks on Impact Evaluation, “No existe una definición universalmente aceptada para la evaluación rigurosa del impacto.”
• Development Assistance Committee de la Organization for Economic Cooperation and Development (OECD): “los efectos primarios y secundarios, positivos y negativos, producidos por una intervención de desarrollo, directamente o indirectamente, con o sin intención.”
• La Gates Foundation añade a esta tipo de definición un matiz :“cambios últimos que tienen que ser sostenibles en el tiempo.”
• SIAA: Social impact analysis is the process of analysing the social changes, both positive and negative, which arise from an organisation’s work.
NONIE Impact, Evaluations and Development Guidance on Impact Evaluation p. ix IbidThe Gates Foundation (Fay Twersky, Jodi Nelson y Amy Ratcliffe), Guide to Actionable Measurement 2010 p. 10
29/04/2013
Catalina Parra Baño429/04/2013
En una empresa o activo financiero medimos la rentabilidad económica de los fondos…
¿Cómo se sabe si ha merecido la pena una “inversión” cuyo fin primordial no es la
rentabilidad económica?
…¿Cómo se sabe si ha merecido la pena una “inversión” cuyo fin primordial no es la
rentabilidad económica?
Catalina Parra Baño55
De la rentabilidad al impacto
Donación Inversión financiera
Deuda condicionada
Venture Philanthropy
Préstamos Participativos
Capital Emprendimiento Social
Bonos Impacto Social
Inversión Ética
Microfinanzas
Retorno Social Retorno Financiero
29/04/2013
Catalina Parra Baño6
Preguntas para empezar
• ¿Para qué medir?• ¿Cuando? • ¿Para quién?• ¿Cómo?• ¿Quien?
29/04/2013
Catalina Parra Baño7
Para qué se mide el impacto
• Informar sobre el cumplimiento de nuestra estrategia.• Impulsar el desarrollo e implantación de mejores practicas.• Evaluar la eficiencia de un proyecto/programa.• Evaluar la eficacia de un proyecto/programa.• Asignar responsabilidades• Distribuir recursos• Aprendizaje y mejora• Justificar una subvención/donación• Para pagar una subvención• Justificar un impacto económico que influya en un retorno financiero• Para motivar
29/04/2013
Catalina Parra Baño8
Cuando medir
Pensar en medir desde el diseño del proyecto-programa-empresa:– Temas como atribución, grupos de control, etc.
estarán resueltos.– Si se hace a posteriori, la medida será más
imprecisa y será necesario establecer un nuevo modelo a futuro
29/04/2013
Catalina Parra Baño9
Para quién medir: a cada uno una medida
Proyecto/entidad
Órgano de Gobierno
Beneficiarios
Trabajadores
VoluntariosFilántropo
AAPP: regulador
Entidad Financiera
Sociedad Civil
AAPP: financiador
Otros
29/04/2013
Catalina Parra Baño10
Quién mide
Proyecto
Grupo de
interés
Grupo de
interés
Grupo de
interés
Grupo de
interés
Grupo de
interés
Experto Independiente
Experto Independiente
29/04/2013
Catalina Parra Baño11
El proceso de medición de impactoLa EVPA propone una metodología de gestión del impacto
Fijación de Objetivos
Análisis de grupos de interés
Medición de Resultados
Verificación y evaluación d el
impacto
Seguimiento e Informe
EVPA European Venture Philanthropy Association
Modificaciones actuación
Que se completa con otros conceptos
29/04/2013
Catalina Parra Baño12
Elementos usados en empresa sector lucrativo
• Existen más de 300 Marcos integrados por Normas, Estándares e Índices*
Hugo Narrillos, “Economía Social”, Ecobook 2012
La norma más Utilizada en la RSC es El Global Reporting
Initiative (GRI), que cubre lo económico, social y
medioambiental
Estándares:AA1000ISAE 3000ISO 26000SGE 21
Índices Bursátiles: • Dow Jones Sustainability
Index (USA)• Jantzi Social Indexes
(Canada)• FTSE4Good (Inglés)
29/04/2013
Catalina Parra Baño13
No existe un único enfoque ni metodología aceptado para la medición de valor social
• En su estudio sobre SROI para la Gates Foundation en 2008, Melinda Tuan identificó y analizó ocho diferentes maneras de intentar calcular valor social, cada una implantada por al menos una fundación o entidad muy respetada en el sector:*– Cost-Effectiveness Analysis– Cost-Benefit Analysis– Social Return on Investment (SROI) – Benefit-Cost Ratio– BACO Ratio– Expected Return– Cost per Impact – Investment Bubble Chart
* Tuan, Melinda, Measuring and/or Estimating Social Value Creation: Insights into Eight Integrated Cost Approaches preparado la Gates Foundation. 2008. pp 10-23
29/04/2013
Catalina Parra Baño14
No existe un único enfoque ni metodología aceptado para la medición de valor social
• Otros relevantes– IRIS (impact Reporting Investment Standars)– GRIIS (Global Impact Investing Rating System)– LBG: London benchmarking Group: empresarial
RSC– ONLBG: http://bit.ly/1qHbTd9
* Tuan, Melinda, Measuring and/or Estimating Social Value Creation: Insights into Eight Integrated Cost Approaches preparado la Gates Foundation. 2008. pp 10-23
29/04/2013
Catalina Parra Baño15
Medidas
Inputs controlables
Actividades
Productos
Resultados (outcomes)
Impactos
Med
idas
de
cam
bio
Med
idas
de
ejec
ució
n
Resultados directos y más inmediatos, necesarios pero no suficientes para producir resultados o impacto.
Cambios intermedios observable y medibles. Pueden ser pasos hacía un impacto.
Fuente: The results hierarchy – inputs to impacts. En A Guide to Actionable Measurement, Bill & Melinda Gates Foundation* Marta Rey, “Cómo eveluar los resultados de las Organizaciones No lucrativas”,
Inputs no-controlables*
29/04/2013
Catalina Parra Baño16
Otros parámetros a tener en cuenta
• Atribución:Proporción de cambios atribuible al proyecto o iniciativa que se mide.
• Desplazamiento:Proporción del cambio que se produce impidiendo otros cambios positivos.
• Peso Muerto:Proporción de los cambios que se hubieran conseguido aún sin la iniciativa.
• Decrementos:Deterioro de un cambio con el paso del tiempo.
• Ajuste del objetivo:Ajuste o modificación de los objetivos con el paso del tiempo para lograr el impacto deseado.
• Grupos de Control:Grupo de población objetivo de la intervención que no se somete a ella pero se mide para comprobar los efectos atribuibles a la intervención
Fuente: Economía Social, valoración y medición de la inversión social, Hugo Narrillos Roux 2012
29/04/2013
Catalina Parra Baño17
Algunos ejemplos
29/04/2013
Catalina Parra Baño18
BACO Ratio
Retorno esperado =
Resultado(outcome)
Probabilidad del resultado
Contribución filantrópica
X X
Coste
Cada uno de los parámetros debe estar correctamente calculado. Algunos pueden requerir cálculos más complejos, como un VAN del Resultado por ejemplo.
29/04/2013
Catalina Parra Baño19
Nivel Definición Pueden responder a:
Eficacia comprobada
Impacto confirmado por investigación experimental.
¿Hay diferencias estadísticamente válidas para participantes vs. un grupo al azar de control?
Eficacia demostrada
En base a datos recogidos de manera sistemática que comparan participantes con personas parecidas que no reciben servicios, se concluye que los participantes se benefician.
¿Tienen los participantes mejores resultados que personas comparables que no participan en los programas?
Eficacia aparente alta
En base a datos recogidos de manera sistemática, los participantes parecen beneficiarse de un programa específico.
¿Quién accede a sus servicios? ¿En qué programas participan?¿Qué resultados consiguen?
Eficacia aparente Aunque no exista un proceso para recoger y analizar datos de manera sistemática, basándose en los datos que la entidad tiene, se puede asumir que los participantes se benefician de un programa específico.
¿Qué resultados positivos parecen surgir de los programas?
Evid
enci
a de
efic
acia
Más
Men
osEscala de evidencia de impacto de Edna McConnell Clark Foundation
29/04/2013
Catalina Parra Baño20
SROI
Retorno Social de la Inversión
(SROI)
Valor Actual de los Impactos
Valor Actual de la Inversión
=
Un cálculo correcto del SROI requiere tener en cuenta muchos parámetros propios de la metodología que hay que estimar como atribución, desplazamiento, etc.
29/04/2013
Requiere además asignar valores a la tasa de crecimiento haciendo muy fácilmente subjetivo el proceso de cálculo.
Catalina Parra Baño2129/04/2013
Proyecto/organización: Introducción
al análisis SROI
Fase 1 Fase 2
Grupos de interésCambios deseados/
no deseadosInputs Productos/Outputs
En quién influimos/afectamos Quién nos influye/afecta
¿Qué crees que cambiará para ellos?
¿Qué "inversiones" se hacen? ¿Qué entra en el proceso?
¿Qué valor tienen los imputs en términos monetarios?
¿Cuáles son las salidas
inmediatas?
Resumen numérico de actividades
Catalina Parra Baño2229/04/2013
Fase 2
Resultados/ Outcomes (qué cambia)
Descripción Indicador Fuente Cantidad Duración Comienzo del Output
Aproximador financiero
Valor monetario
Fuente
¿Cómo describiría el actor/grupo de interés los cambios?
¿Cómo los mediríamos?
¿De dónde sacamos la información?
¿Cómo cuantificamos el cambio?
¿Cuánto tiempo dura el resultado? (números)
¿Los cambios se observan ya durante la actividad o al periodo siguiente?
¿Qué indicador financiero o aproximador se usará para calcular el cambio?
¿Cuál es el valor monetario del cambio?
De donde obtenemos la información?
Catalina Parra Baño2329/04/2013
Fase 4
"Peso muerto" Deadweight %
Desplazamiento/ Displacement %
Atribución/ Attribution %
Disminución/ Drop off %
Impacto/Impact
¿Habría ocurrido lo mismo sin el proyecto?
¿Qué otras actividades o proyectos hemos desplazado?
¿Quién más ha contribuido a generar el cambio?
¿Los resultados decaen con el tiempo?
Cantidad y tiempos de aproximación financiera, menos peso muerto, desplazamiento y atribución
0% 0% 0% 0% 0,00
0% 0% 0% 0% 0,00
0% 0% 0% 0% 0,00
0% 0% 0% 0% 0,00
0% 0% 0% 0% 0,00
0% 0% 0% 0% 0,00
0% 0% 0% 0% 0,00
Catalina Parra Baño2429/04/2013
Cálculo del retorno social
Tasa de descuento 5,0%
Año 0 Año 1 Año 2 Año 3 Año 4 Año 5
0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00 0,00
n
∑Impactos/(1+i)t
t=1
n
∑Imputs/(1+i)t
t=1
= SROI
Catalina Parra Baño2529/04/2013
Catalina Parra Baño26
Ejemplo
• A construir en la Clase
29/04/2013
Catalina Parra Baño27
Recomendaciones• Involucrar a los beneficiarios y otros grupos de interés para informar el
proceso de evaluación. • Identificar el tipo y el alcance de intervención para evaluar.• Articular una teoría sobre la relación entre la intervención y los resultados,
un “theory of change” para evaluar.• Decidir cómo tratar el tema de la “atribución”.• Aprovechar múltiples métodos de evaluación para evaluar eficacia.• Aprovechar conocimiento relevante que ya existe en el campo.• Tener en cuenta las actividades y contribuciones no-económicas de la
entidad financiadora además de sus subvenciones.• Utilizar evaluadores independientes para mayor credibilidad, eficiencia,
capacidades específicas o mayor eficiencia.• Diseñar los procesos de evaluación para identificar consecuencias
inesperadas, además de las consecuencias previstas.Fuentes: NONIE (Network of Networks for Impact Evaluation) del World Bank, Gates Foundation, NEF, y otros.
29/04/2013
Catalina Parra Baño28
¡Muchas Gracias!
29/04/2013
Catalina Parra Baño29
Bono de impacto social
29/04/2013
Catalina Parra Baño30
Bibliografía I• El SROI (social return on investment):Un método para medir el impacto social de las inversiones. Análisis
Financiero. Hugo Narrillos Roux, dic 2010• Guide to Social Return on Investment, SROI Network• Economía Social: Valoración y medición de la inversión social (método SROI) Ecobook, Hugo Narrillos Roux• Measuring Social Value By Geoff Mulgan Stanford Social Innovation Review Summer 2010• A Guide to Actionable Measurement, Bill & Melinda Gates Foundation ( Fay Twersky, Jodi Nelson y Amy
Ratcliffe)• MEASURING AND/OR ESTIMATING SOCIAL VALUE CREATION: Insights Into Eight Integrated Cost
Approaches Prepared for Bill & Melinda Gates Foundation Impact Planning and Improvement Prepared by Melinda T. Tuan Dec 15th 2008
• Calculated Impact By Paul Brest, Hal Harvey, & Kelvin Low, Stanford Social Innovation Review, Winter 2009 • A Practical Guide to measuring and managing impact EVPA April 2013,
http://ebookbrowse.com/a-practical-guide-to-impact-measurement-evpa-pdf-d458228160• New Philanthropy Capital (2011) Principals of Good Impact Reporting London: NPC• New Philanthropy Capital (2011) Talking about Results London: NPC• NONIE (2010) Impact Evaluation and Development Guidance on Impact Evaluation NONIE
http://www.h3s-sroi.com/images/stories/PD_Articulo_HNR_Marzo_2012.pdf• Presentation of Report produced by GECES Sub-group on Social Impact Measurement – 28 November
2013, Rapporteur: Lisa Hehenberger Research Director, European Venture Philanthropy Association
29/04/2013
Catalina Parra Baño31
Bibliografía II• Cómo los filántropos persiguen el “Santo Grial” de la medición de impacto,
Comnpromiso Emprearial, Majeska y Parra, enero-feb 2013• http://www.compromisoempresarial.com/carrusel/2013/02/como-los-filantropos-persi
guen-el-santo-grial-de-la-medicion-de-impacto/• • Bonos de impacto social: Financiando el éxito y no solo las buenas intenciones,
Compromiso Empresarial, sept 2011, Majeska • http://www.compromisoempresarial.com/rsc/2011/10/bonos-de-impacto-social-financi
ando-el-exito-y-no-solo-las-buenas-intenciones/• • “La novedad de los ‘pay for success’ es que los donantes conocen si su contribución dio
resultados” Compromiso Empresarial, sept 2011, Majeska • http://www.compromisoempresarial.com/profesionales-rsc-ong-management/2011/10
/la-novedad-de-los-pay-for-success-es-que-los-donantes-conocen-si-su-contribucion-dio-resultados/
• Reinventar la solidaridad: bonos de impacto social• 16 Feb, 2012, La Regla de William, Catalina Parra• • ESTUDIO DEL VALOR SOCIALDE LAS BECASDE LA FUNDACIÓN CAROLINA, Fundación
Carolina, Doc trabjo num 52, diciembre de 2011, Kristin Majeska y Catalina Parra
29/04/2013