Serveis d’avaluació Titular · 1. Introducció 2. Serveis d’avaluació a mida • Avaluació de les necessitats • Avaluació de l’impacteamb evidència • Avaluació de

Nom de la presentació

TitularSubtítol

Serveis d’avaluacióCompromesos amb l’impacte de les organitzacions


Sumari:

1. Introducció

2. Serveis d’avaluació a mida

• Avaluació de les necessitats

• Avaluació de l’impacte amb evidència

• Avaluació de l’impacte autopercebut en els beneficiaris

• Avaluació de l’execució d’un servei externalitzat i dels seus efectes

• Avaluació de convocatòries de finançament

2. Consultoria: Definició de la teoria del canvi per millorar el nostre impacte

social (4 sessions)

• Teoria del canvi, indicadors i qüestionaris – individual o grupal

• Teoria del canvi, indicadors i qüestionaris + eina web – individual o grupal

3. Eines web d’avaluació

• Seguiment de plans estratègics i objectius

• Eina d’avaluació de l’impacte


Beneficis de l’avaluació

Rendir comptes cap a agents clau, com grans finançadors, donants, socis,

voluntaris, mitjans de comunicació o destinataris.

Conèixer millor l’organització i prendre decisions estratègiques. L’avaluació

permet disposar d’informació rigorosa, molt important per a conèixer com és

l’organització i com es pot avançar cap al model desitjat.

Fer seguiment individualitzat, donant feedback constant al destinatari o al seu

entorn més immediat, de tal manera que es clarifica la intervenció, els seus efectes, i la

manera en que es pot continuar avançant.

Millorar la gestió, tot detectant quins són els factors que fan que l’impacte millori o

empitjori.


Visió dels nostres serveis d’avaluació

Evitar el cosisme, és a dir, evitar fer coses perquè sí. La voluntat de l’avaluació és en primer lloc detectar

elements que evidenciïn que les actuacions que fem generen l’impacte esperat, i en segon lloc fer les coses de la

manera més eficient possible.

Avaluar des de petit i avançar cap a gran. Avançar en el camí de l’avaluació implica una incorporació de noves

eines, maneres de fer, i una nova cultura organitzativa. Entenem que el canvi s’ha de produir de manera gradual per

a evitar resistències en la pròpia organització.

Començar a analitzar l’impacte final. L’impacte final està apareixent com un bon enfocament d’avaluació, ja que

és útil per a prendre decisions estratègiques i de gestió, i a més a més permet fer difusió de la nostra activitat. Molts

dels projectes i eines que es plantegen tenen en compte la incorporació de l’impacte o l’efecte en el beneficiari.

Per començar una avaluació cal tenir molt clars la missió, objectius i estratègia. Un aspecte fonamental de

l’avaluació és tenir un projecte o organització amb una finalitat i objectius ben treballats. Per a garantir aquesta bona

fonamentació molts dels projectes proposen l’elaboració de la teoria del canvi del programa o organització.

Avaluació no com a procés burocràtic sinó com a procés útil. L’avaluació no ha de ser un exercici que estem

obligats a fer, sinó un exercici que ens permeti aprendre i rendir comptes, per tant, un procés útil.


Necessitats detectades

Existeix un interès creixent en l’impacte

Molt pes de les avaluacions a mida,

Necessitat de ser més eficient i repensar els projectes.

Manca de cultura de l’avaluació.

Equips sobrecarregats.

Entitats amb models diversos i estadis diversos.


Les dimensions d’avaluació

Necessitats Recursos Processos Resultats Impacte

Quin és el perfil diana? Com són? Quines necessitats tenen?

Quins recursos econòmics hi ha? Quin personal? Com són els voluntaris i els treballadors? Com es distribueixen?

Quins factors potencien l’impacte? Quins processos cal prioritzar i quins canviar?

Fem totes aquelles accions que ens havíem plantejat? Actuem d’acord amb el que planifiquem?

Fins a quin punt aconseguim el nostre impacte? Quins factors són clau en l’impacte? A quins perfils impactem millor?


1. Serveis d’avaluació a mida


Avaluació de les necessitatsObjectiu principal:

Analitzar en profunditat les necessitats de les persones al que es dirigeix el nostre projecte, estratificant el col·lectiu segons perfils i factors diversos: territorials, de gènere, socials, educatius, laborals, culturals, etc. El projecte aporta especial valor quan es relacionen les necessitats dels perfils concrets amb els recursos existents.

Utilitat: • Millora de la gestió *****• Reorientacions estratègiques ***• Transparència / Rendició de comptes • Difusió **

Marc de referència:

• Elaboració de la Teoria del Canvi• Plec de clàusules / Projecte + Entrevistes en profunditat

Abast: Necessitats > Recursos > Processos > Resultats > Impacte

Dimensions •Programa / Projecte•Organització

Metodologia - Revisió documental - Entrevistes en profunditat i focus grup- Enquesta a mostra aleatòria amb marge d’error <5

Resultats -Informe d’anàlisi de les necessitats en comparació als recursos i serveis disponibles. Es fa un anàlisi del grau de resposta actual a les necessitats, aportant coneixement per a prendre decisions en base a on prioritzar recursos.- Resum executiu


Avaluació de l’impacte amb evidènciaObjectiu principal:

Comprovar si la intervenció que s’està duent a terme realment genera els efectes en el beneficiari i en quin grau s’està produint.

Utilitat: • Millora de la gestió *• Reorientacions estratègiques **• Transparència / Rendició de comptes **• Difusió ****



Abast: Recursos > Processos > Resultats > Impacte


Metodologia -Grups aleatoris de control i d’intervenció-Workshop amb persones clau de l’organització-Enquesta a mostra aleatòria amb marge d’error <5

Resultats - Informe d’anàlisi de l’impacte generat en el beneficiari. S’acompanya d’un anàlisi amb els factors que fan millorar l’impacte i els perfils que millor i pitjor s’estan impactant. - Resum executiu- Article acadèmic amb evidència científica sobre l’impacte o no de la intervenció.


Avaluació de l’impacte autopercebut pels beneficiarisObjectiu principal:

Comprovar si la intervenció que s’està duent a terme realment genera els efectes en el beneficiari i en quin grau s’està produint. També es posa èmfasi en els elements dels processos i dels resultats immediats que faciliten o debiliten l’impacte.

Utilitat: • Millora de la gestió ****• Reorientacions estratègiques **• Transparència / Rendició de comptes **• Difusió *





Metodologia - Entrevistes en profunditat i focus grup- Workshop amb persones clau de l’organització- Enquesta a mostra aleatòria amb marge d’error <5

Resultats -Informe d’anàlisi de l’impacte generat en el beneficiari. S’acompanya d’un anàlisi amb els factors que fan millorar l’impacte i els perfils que millor i pitjor s’estan impactant. - Resum executiu


Avaluació de l’execució d’un servei externalitzat i dels seus efectesObjectiu principal:

Comprovar si la intervenció que s’està duent a terme s’està fent d’acord amb els requisits inicials de l’externalització. A més a més també s’analitzen els efectes autopercebuts del servei en el beneficiari amb l’objectiu de poder disposar d’indicadors inicials referents a l’impacte del servei.

Utilitat: • Millora de la gestió *****• Reorientacions estratègiques **• Transparència / Rendició de comptes **• Difusió *





Metodologia - Anàlisi en profunditat dels plecs- Entrevistes en profunditat i focus grup- Workshop amb persones clau de l’organització- Enquesta a mostra aleatòria amb marge d’error <5

Resultats -Informe d’anàlisi de l’impacte generat en el beneficiari. S’acompanya d’un anàlisi amb els factors que fan millorar l’impacte i els perfils que millor i pitjor s’estan impactant. - Resum executiu


2. Consultoria per a l’avaluació de l’impacte

(Format millora de la gestió – 4 sessions)


Consultoria: Definició de la teoria del canvi per millorar el nostre impacte

social (4 sessions)

Objectiu de la consultoria: Ajudar a construir la teoria del canvi que fonamenta els projectes i/o

programes d’una entitat per tal d’alinear-los amb la seva estratègia, així com la generació

d’indicadors bàsics i la creació de qüestionaris per als agents clau.

Funcions:

•Capacita a l’entitat perquè pugui realitzar una avaluació focalitzada als principals canvis perseguits

o als anomenats “canvis clau” del destinatari de la intervenció.

•Permet reflexionar sobre l’alineació entre l’estratègia de l’entitat i els seus projectes i programes.

•Permet assentar les bases per avaluar l’impacte sobre el destinatari dels programes i projectes,

aportant indicadors bàsics i qüestionaris que es poden passar als principals agents clau relacionats

amb la intervenció.

Sessions de treball presencials: 4 sessions de 2-3h de durada.

Productes finals:

•Mapa conceptual de la teoria del canvi de l’entitat o programa.

•Llistat d’Indicadors per fer seguiment de la cadena d’impactes.

•Qüestionaris d’avaluació


3. Eines web d’avaluació


Definició de l’avaluació de l’impacte

Moment inicial Moment final

O1 O2

Inputs Activitats Outputs OutcomesImpacte

social

Definicions:

Canvis duraders o significatius en la vida de persones, provocats per una acció o una

sèrie d’accions (Roche,1999: 21)

Moltes definicions d’impacte es refereixen a resultats d’una cadena lògica, en la qual

els inputs i activitats de l’organització porten a una sèrie de productes, efectes i

finalment, a una sèrie d’impactes socials. (Ebrahim; Rangan, 2010)


Perspectives d’avaluació de l’impacte a nivell mundial

Nom Descripció Mètodes Organitzacions

StrategicPhilantropy

Apareix en el marc de fundacionsfilantròpiques, i busquen calcular el retorn de la inversió. Utilitzen mètriques provinents del món financer.

- SROI- BACO (Best Avaiable CharityOption)

-Bill and Melinda Gates- Foundation- Robin Hood Foundation- Acumen Fund- Ford Fundation

Outcomemeasurement

Alinear les accions i les estratègies a la missió, i mesurar-ho. Mesurar el performance des de tots els punts de la cadena lògica.

- Actionablemeasurement- Quadre de comandament adaptat

Sector no lucratiu anglosaxó

Impactmeasurement

Mesurar si hi ha hagut canvis causats per la intervenció. Implica el càlcul del contrafactual.

- Monitoring and evaluation- Impactmeasurement

Projectes de cooperació al desenvolupament


Com funciona l’eina

Gestió persones

involucrades

Qüestionaris

Anàlisi dades

Rendició comptes

Seguiment individualitzat

Millora continua

DestinatariVoluntaris

Agents clauFamiliars

Estandarditzat Personalitzable

Destinatari Procés Impacte


L’eina

Què permet?

- Disposar d’una base de dades amb informació segons diferents perfils

de persones: Usuari, Familiars del beneficiari, Professionals/educadors,

Escoles amb les que col·laborem, o altres que desitgem introduir.

- Generar qüestionaris per als diferents perfils de persones amb qui es

relaciona l’entitat. Una part serà estàndard (genèrica) i una altra part

personalitzable.

- Passar o enviar els qüestionaris ja sigui en paper o via web, i fer-ho de

manera individualitzada o anònima.

- Processar tota la informació per obtenir informes (consultables en la

propia eina, en pdf, word o excel) sobre:

- Com són els usuaris (dades descriptives)

- Com fem la feina (processos)

- Com treballem en xarxa

- Com estan els indicadors estratègics en comparació amb la mitjana

d’altres entitats

- Impacte en els usuaris


L’eina

Què permet?

- Obtenir informes agregats (en general de tothom), per grups, o de

manera individualitzada per persona.

- Alta compatibilitat amb excel: poder volcar informació dels nostres

excels a la eina, i de l’eina generar excels.


L’eina

Per a què la podem fer servir?

1. Com a simple base de dades i prou

2. Com a simple eina per a generar qüestionaris i processar la informació

recollida

3. Com a eina integral de gestió de contactes, seguiment de l’evolució

individualitzada, mesurament de l’impacte


L’eina

Com s’estructura?

1. Entitat i programa i grup

Hi haurà informació molt bàsica de l’entitat, dels grups d’usuaris que hi ha,

del tipus de programa/programes que es desenvolupen, i configuració bàsica

de l’eina.

2. Persones

Serà la pròpia base de dades. Els contactes es podran agrupar en perfils (i

subperfils si es vol). Per exemple els usuaris, educadors, familiars,

col·laboradors, escoles, etc...

3. Qüestionaris

Serà el gestor de qüestionaris. Es generaran qüestionaris estàndard pel fet

de ser “centre obert”. Es podran editar, crear de nous, enviar, imprimir o

introduir les dades a mà.

4. Resultats i impacte

Es podran consultar o bé descarregar informes individuals, per grups o

generals sobre: Com són els beneficiaris, com es treballa, com es fa treball

en xarxa, com estan els indicadors clau, i quin impacte s’està fent.


Principals funcionalitats i característiques

plas.peretarres.org

Plas!Eina de seguiment de plans estratègics i integrals


Què permet l’eina web Plas?

Població diana

Recursos i agents

Processos Resultats

Quin és el perfil diana? Com són?

Quins recursos econòmics hi ha? Quins organismes i agents implicats? Què fa cadascú i com ho fa?

Quines actuacions i objectius ressolem millor? En que hem de millorar? Fem totes aquelles

accions que ens havíem plantejat? Actuem d’acord amb el que planifiquem?A quanta gent estem intervenint?

Permet fer un seguiment i avaluació constant d’un Pla estratègic o integral,

focalitzant-se especialment en la població diana, els recursos i agents

implicats, el procés d’implementació de les actuacions, i fer un primer

aprofundiment dels resultats obtinguts.

Permet respondre a preguntes com...


1. Adaptació a tot tipus i dimensions de plans Siguin estratègics o integrals

2. Estructuració clara en 4 grans

funcionalitats


3. Tota la informació d’un Pla centralitzada i relacionada entre sí

Capacitat per recollir informació clau

sobre actuacions, organismes

implicats, població destinatària,

objectius i grau d’execució.


4. Funcionalitats per a la recollida d’informació bàsica i útil de les actuacions

Indicadors estandarditzats en funció del tipus d’actuació i població a

la que es dirigeix el Pla


5. Seguiment anual de les actuacions en funció del seu grau d’execució

Seguiment anual de tota la informació clau de les actuacions en funció

del seu grau d’execució: pressupost, indicadors de procés, població

diana, organismes implicats, etc.


6. Informació constant sobre el grau d’execució del pla i els seus objectius

Informes automatitzats que calculen anualment el grau d’assoliment dels

objectius i estratègies en funció dels indicadors clau que es van

recopilant.


7. Informació constant sobre la població diana a la que es dirigeix el pla

i sobre com s’està executant el Pla


Tipus d’informes i consultes que ofereix l’eina:

• Reptes, objectius i actuacions

• Actuacions segons servei

• Reptes i objectius amb grau de resposta objectius

• Actuacions segons grau de resposta

• Actuacions segons temàtica

• Dades clau (tota la informació referent a resultats i indicadors, filtrada per les

principals variables)

• Fitxes d'actuacions (tota la informació de cada actuació, en format de fitxa, i

filtrada per les principals variables)

• Taula General Actuacions (tota la informació de la base de dades, ordenada en

format excel en funció de les actuacions. D'aquesta manera es pot obtenir

qualsevol tipus d'informació sota qualsevol tipus de demanda)


La opinió dels usuaris...

Permet tenir tota

la informació en

un mateix lloc i

tothom pot

accedir a ella en

qualsevol

moment

Facilita la relació de la

informació entre sí, per

exemple: permet

relacionar fàcilment els

objectius amb les

actuacions

Permet la recollida

d'un mateix tipus de

dades de manera que

l'avaluació posterior

és més uniforme

És molt valuós que

l'eina ofereixi

informes, com el

que permet tenir

tota la informació

en un mateix excel

Permet tenir

dades explotades

molt més

ràpidament

Facilita molt la

feina: tant per

qüestió de

temps com per

un fet de qualitat

a l'hora de fer les

coses


Consultoria i Estudis

934 101 602 Ext. 3508

Carolines, 10 08012 Barcelona

Twitter: @consult_estudis

[email protected]

www.peretarres.org/consultoria-estudis

mailto:[email protected]



Documents

Serveis d’avaluació Titular · 1. Introducció 2. Serveis d’avaluació a mida • Avaluació de les necessitats • Avaluació de l’impacteamb evidència • Avaluació de