I risultati del progetto Kublai

Valutazione del Progetto KublaiRisultati Completi

primo draft

Status della valutazioneWhat Status

Casi studio In fase di completamento

Survey Completata - 81 rispondenti su 575 portatori di progetto contattati in 4 istanze: Prima mail generale contenente la

survey Seconda mail collettiva di richiamo Mail collettiva di richiamo da parte

dello staff di Uval Messaggio personale sulla piattafoma a

oltre 200 promotori iscritti negli anni 2011-2014

Analisi dei dati Della piattaforma Completata

Studio di fattibilità In corso

Obiettivi della valutazioneObiettivo generale• Fornire un strumento utile ad una presa di decisione

razionale ed evidence-based

Obiettivi specifici• Valutazione dei risultati del progetto Kublai dal 2008 fino

ad oggi• Studio di fattibilità sull’assetto futuro dell’iniziativa• Informazione e sensibilizzazione sul progetto interna alla

amministrazione e nei confronti dell’opinione pubblica

Obiettivi del progettoObiettivi principali• Migliorare l’impatto dei fondi strutturali• Migliorare il coinvolgimento degli utenti nei finanziamenti

pubblici• Fornire ai creativi competenze necessarie alla

progettazione e alla redazione di bandi• Coinvolgere i creativi nei programmi di finanziamento

pubblico attraverso un approccio informale e peer to peer

Obiettivi accessori• Aumentare il numero di utenti supportati attraverso

l’utilizzo di meccanismi peer to peer • Raggiungere nuove competenze utili al Ministero• Diffondere verso altri programmi approcci alla Kublai• Incoraggiare la condivisione di conoscenza e idee fra i

partecipanti

Benefici attesi per i partecipanti

Benefici dell’iniziativa• Generica acquisizione di competenze in materia di

elaborazione dei progetti• Ottenimento di specifici consigli utili al miglioramento del

progetto• Promozione e comunicazione del progetto verso possibili

finanziatori• Capacità di networking ed accesso a possibili

collaboratori del progetto• Conseguimento di concrete collaborazioni con altri

Kublaiani

Mappa dei partecipanti

Metodologia

Risultati per criterio di valutazione

• Rilevanza• Efficienza• Efficacia• Addizionalita’• Sostenibilita’

Rilevanza: domande, indicatori e fonti di valutazione

Domanda Indicatore Fonte

Si è coinvolto il target previsto (creative innovativi con scarse competenze progettuali da aree svantaggiate)?

% di utenti nuovi ai finanziamenti pubblici

survey portatori di progetto

% da sud Italia; % laureati survey portatori di progetto

valutazione originalità di progetti

desk-based analisi dei progetti

% di utenti che non avevano realizzato progetti autonomi fino ad oggi


distribuzione geografica utenti attiv/portatori di progettoi


% di progetti con forte componente web

Dati piattaforma

Adeguatezza del peer to peer % di partecipanti che hanno proposto idee di progetto;

Dati piattaforma

% di utenti che valutano utile/molto utile I consigli di altri kublaiani


Rilevanza – Area d’impatto dei progetti

15%

12%

42%

31%

NordCentroSud e IsoleLivello Nazionale

Rilevanza - Area di provenienza dei progettisti

56%

44%Regione competitivaRegione convergente

Rilevanza – Genere dei progettisti

54%

46% MaschileFemminile

Rilevanza – Età dei progettisti

42% ha meno di 35 anni

Rilevanza – Anno d’iscrizione alla piattaforma

12%

11%

10%

11%

14%

26%

16%

2008200920102011201220132014

Rilevanza – Livello educativo dei progettisti

1%

26%

48%

15%

10%

Scuole ElementariScuole SuperioriLaureaMasterDottorato di Ricerca

73% ha laurea

Rilevanza – Status lavorativo dei progettisti

16%

17%

31%

27%

9%

StudenteIn cerca di occu-pazioneLibero professionistaDipendenteImprenditore

67% e’ occupato

Rilevanza – Anni di esperienza dei progettisti

15%

10%

34%

41% <11-33-10>10

75% ha più di 3 anni di esperienza

Rilevanza – Esperienza precedente a Kublai

Efficienza: domande, indicatori e fonti di valutazione


Si è ottenuta una adeguata partecipazione?

n. utenti; % utenti attivi; trend nel tempo

dati di progetto

n. commenti dati di progetto

n. commenti totali/n commenti staff

dati piattaforma

costo per commento; costo per utente

dati piattaforma/dati di progetto

si è riuscito ad aiutare un numero di utenti più' elevati dei servizi tradizionali?

costo per utente supportato / anno

dati di progetto

Efficienza: risultati della valutazione

Budget totale (7 anni) € 1.441.514,00

N. Commenti totali 15959

N. Utenti totali 3861

N. Progetti totali 576

Costo per commento € 90,33

Costo per utente € 373,35

Costo per progetto € 2.502,63

Costo per commento in EUR

Efficacia e addizionalità: domande, indicatori e fonti di valutazione


Valore dei consigli ricevuti % di utenti che rispondono utile o molto utile


Quanto ha fornito elementi unici rispetto ad altre piattaforme? % di utenti che rispondono si


Lo staff centrale ha fornito consigli utili? % di utenti che rispondono utile o molto utile


I kublaiani hanno fornito consigli utili? % di utenti che rispondono utile o molto utile


Servizi più utili di Kublai survey portatori di progetto

Saresti disposto a pagare una fee (10 E mensuali) per usare Kublai / attribuisci un valore ai consigli ricevuti su Kublai - % di utenti che rispondono si



Efficacia dell’autoselezione % di progetti di successo fra I 50 più discussi

analisi desk e dati piattaforma

corrispondenza fra progetti più discussi e progetti vincitori

dati piattaforma; risultati awards

Acquisizione di competenze Scelta multipla: % di utenti che rispondono si


Esempi di progetti migliorati sensibilmente

Casi di studio

I progetti sono diventati realtà? (incl. data)

% di utenti che rispondono si ; % su categorie specifiche


% di utenti che hanno ricevuto finanziamenti ; % su categorie specifiche


se si, in che misura questo successo è attribuibile a Kublai % di utenti che rispondono rilevante o molto rilevante


Impatto su cittadini numero totale utenti dei servizi realizzati

Survey portatori di progetto

nuove collaborazioni reclutate tramite Kublai

numero intervista a committente

Efficacia e addizionalità: domande, indicatori e fonti di valutazione

Efficacia – Utilità percepita delle varie attività

La partecipazione al forum web

Il feedback ricevuto da altri Kublaiani

La partecipazione ad eventi

Uso di materiale prodotto dal progetto

Il feedback ricevuto dallo staff

1 1.5 2 2.5 3 3.5 4 4.5 5

Efficacia – Benefici percepiti dalle varie attività

Acquisizione di nuove collaborazioni con un’amministrazione pubblica

Visibilità e capacità di ottenere finanziamenti pubblici o privati

Apertura di collaborazioni con altri Kublaiani

Acquisizione di skills professionali

Miglioramento dell’idea progettuale

Sviluppo dell’attitudine alla condivisione e collaborazione

1 1.5 2 2.5 3 3.5 4 4.5 5

Efficacia – Realizzazione del progetto

31%

23%

46%Si, esattamente come previstoSi, in maniera di-fferenteNo

54% ha realizzato il progetto

Efficacia – Rapporto fra feedback forniti e ricevuti

14%

4%

43%

20%

19%

Dato molto di piùDato un po di piùParitarioRicevuto un po di piùRicevuto molto di più

39% ha saldo positivo contro il 18% con saldo negativo

Efficacia – Misura in cui sono state condivise informazioni

5%

18%

27%32%

18%

Per nullaPocoAbbastanzaMoltoMoltissimo

Il 50% ha condiviso molto, il 23% ha condiviso poco

Efficacia – Soddisfazione generale di Kublai

Si No0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai?

Il 30% sarebbe disposto a pagare almeno 5 EUR/mese

Addizionalità – Realizzazione del progetto senza Kublai

53%

10%

21%

16%

SiSi, avrei avviato un'iniziativa diversa/più deboleSi, ma ci avrei messo più tempoNo

47% ha avuto un effetto addizionale da Kublai

(Base: solo chi ha realizzato il progetto)

Addizionalitá – Giudizio su Kublai rispetto ad altri servizi alla progettazione

7%

18%

18%

4%

21%

32% Molto meno utileMeno utileDi uguale utilitàPoco più utileMolto più utileUtile, ma in maniera diversa

57% ha avuto valore aggiunto da Kublai rispetto ad altri servizi

(base: solo chi ha utilizzato altri servizi)


La partecipazione è in crescita?

utenti attivi/mese; visite/ mese

dati piattaforma

I progetti supportati sono continuati?

% di utenti che rispondono si


Hanno condotto alla creazione di imprese e posti di lavoro?

% di utenti che rispondono si survey portatori di progetto

Gli enti beneficiari sono interessati ai servizi di Kublai?

numero di enti interviste a stakeholder

L’approccio Kublai è stato adottato da altri enti pubblici?

numero casi citati intervista a committente / stakeholder

Sostenibilità: domande, indicatori e fonti di valutazione

Sostenibilitá – trend della partecipazione (2008 = 100)

Sostenibilità – Progetti e creazione di attivitá economiche

Si No0%

10%20%30%40%50%60%70%80%90%

100%

Il progetto è ancora attivo?Ha creato un'impresa, un'associazione o una cooperativa a seguito del progetto?

Rilevanza - Analisi empirica sull’impatto

Analisi Metodologia

Creazione di gruppi basati sulle variabili di profilo

K-means clustering

Estrazione di due variabili: Utilità percepita

o Feedback ricevuto dallo staffo Feedback ricevuto da altri Kublaianio Uso di materiale del progettoo Partecipazione ad eventio Partecipazione al forum web

Impatto percepitoo Sviluppo dell’attitudine alla

condivisione e alla collaborazioneo Miglioramento dell’idea progettualeo Miglioramento di skills professionalio Apertura di collaborazioni con altri

Kublaianio Visibilità e capacità di ottenere

finanziamentio Acquisizione di collaborazioni con

un’amministrazione pubblica

Factor analysis

Correlazione tra i fattori estratti e variabili qualitative

Univariate Anova – univariate analysis of variance

Correlazione tra variabili Pearson's chi-squared test

Risultati dell’analisi empirica (1)• PRESENZA di correlazione significativa tra impatto/utilitào Provenienza da regioni convergentio Difficoltà nella realizzazione del progettoo Condivisione delle informazioni

• MANCANZA di correlazione significativa tra impatto/utilitào Esperienza in redazione di progetti o Esperienza in gestione di iniziativeo Aver già ottenuto finanziamenti prima di Kublaio Esperienza professionaleo Livello educativoo Tipo di occupazione

Risultati dell’analisi empirica (2)• Gli utenti con minore esperienza manageriale hanno una percezione maggiore di:o Utilità dell’uso del materiale di progettoo Utilità del feedback ricevuto dallo staffo Utilità del feedback ricevuto dagli altri Kublaianio Utilità di Kublai nell’acquisizione di skills professionali

• Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria

• Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo

• Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri Progetti su Kublai

Rilevanza….in altre parole

• I Kublaiani del sud ed quelli senza esperienza manageriale giudicano Kublai piú utile

• I Kublaiani con esperienza manageriale hanno maggiore probabilitá di realizzare il progetto, ma lo avrebbero realizzato indipendentemente da Kublai

• Non ci sono altre differenze significative nell’impatto fra Kublaiani skilled/unskilled

Bottlenecks nell’interazione (TBC)

Conclusioni generali (TBC)

Idee per lo studio di fattibilitá (1) (TBC)

Idee per lo studio di fattibilitá (2) (TBC)

Prossimi stepsWhat WhenWebinar sullo studio di fattibilità 4 Luglio

Conclusione analisi dei dati della piattaforma

6 Luglio

Conclusione dei casi studio13 Luglio

Invio report finale sulla valutazione sulla base dei commenti ricevuti

20 Luglio

Conclusione dello studio di fattibilità 31 Luglio

Grazie per l’attenzione!

www.open-evidence.com

David OsimoFrancesco Mureddu C/Roc Boronat 117 8th Floor 08018 Barcelona Spain Phone: +34 934 [email protected]@open-evidence.com

mailto:[email protected]

mailto:[email protected]

Allegato – analisi empirica

Anova output – esempio caso significativo

Sum of Squares df Mean

Square F Sig.

Perceived Impact

Between Groups 4,846 1 4,846 5,046 ,028

Within Groups 72,032 75 ,960

Total 76,878 76

Perceived utility

Between Groups 4,427 1 4,427 4,628 ,035

Within Groups 75,573 79 ,957

Total 80,000 80

Anova output – Statistica descrittiva

N Mean Std. Deviation

Std. Error

95% Confidence Interval for Mean Minimu

mMaximu

m

Between-

Component

Variance

Lower Bound

Upper Bound

FAC1_1 Perceived Impact

Competitivo 41 -,2261676

,92705156

,14478113

-,5187812

,0664460

-1,42236 1,57135

Convergente 36 ,2766494 1,03723504

,17287251

-,0743005

,6275992

-1,42236 2,55376

Total 77 ,0089157 1,00576182

,11461720

-,2193643

,2371956

-1,42236 2,55376

Model

Fixed Effects ,9800133

5,111682

89-,213568

0,231399

4

Random Effects

,25172823

-3,18959

483,20742

62 ,10136068

FAC1_2 Perceived utility

Competitivo 45 -,2091052

,97655226

,14557582

-,5024939

,0842836

-2,12679 1,56963

Convergente 36 ,2613815 ,97997167

,16332861

-,0701933

,5929562

-1,85412 1,56963

Total 81 ,0000000 1,00000000

,11111111

-,2211182

,2211182

-2,12679 1,56963

Model

Fixed Effects ,9780686

7,108674

30-,216310

8,216310

8

Random Effects

,23606644

-2,99950

852,99950

85 ,08676337

Means plotsIm

patto

per

cepi

to

Regioni competitive Regioni convergenti

Means plotsUt

ilità

perc

epita

Regioni competitive Regioni convergenti

Means plotsIm

patto

per

cepi

to

In che misura ha condiviso informazioni sul progetto?

Si Si, ma avrei avviato un’iniziativa diversa/più debole

Si, ma avrei impiegato più tempo

No

Means plotsUt

ilità

perc

epita


Si Si, ma avrei avviato un’iniziativa diversa/più debole

Si, ma avrei impiegato più tempo

No

Means plotsUt

ilità

perc

epita


Per nulla Poco Abbastanza Molto Moltissimo

Means plotsUt

ilità

perc

epita


Per nulla Poco Abbastanza Molto Moltissimo

Anova output – esempio caso non significativo

Sum of Squares df Mean

Square F Sig.

FAC1_1 Perceived Impact

Between Groups 1,480 1 1,480 1,457 ,231Within Groups 75,181 74 1,016

Total 76,661 75

FAC1_2 Perceived utility

Between Groups 3,979 1 3,979 4,100 ,046Within Groups 75,707 78 ,971

Total 79,687 79

Means plots

Capacità manageriali Variabile composta da esperienza in progettazione, esperienza in

gestione di initiative ed ottenimento previo di finanziamenti

Impa

tto p

erce

pito

Means plotsUt

ilità

perc

epita

Capacità managerialiVariabile composta da esperienza in progettazione, esperienza in

gestione di initiative ed ottenimento previo di finanziamenti

Pearson's chi-squared test – esempio caso significativo

Value df Asymp. Sig. (2-sided)

Pearson Chi-Square 13.034a 4 ,011

Likelihood Ratio 13,673 4 ,008

Linear-by-Linear Association 1,513 1 ,219

N of Valid Cases 80

a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39.

No SiEsperienza manageriale

00%

10%

20%

30%

40%

50%

60%Molto bassa Bassa Media Alta Molto alta

Utilità del materiale di progetto

(Il rispondente ha già gestito dei progetti)

Analisi della correlazione (1)



00%

10%

20%

30%

40%

50%


Utilità del feedback ricevuto dallo staff

Analisi della correlazione (3) Utilità del feedback ricevuto dagli altri Kublaiani


00%

05%

10%

15%

20%

25%

30%

35%


Analisi della correlazione (4) Utilità di Kublai nell’acquisizione di skills professionali


00%

05%

10%

15%

20%

25%

30%

35%


Analisi della correlazione (5) Ha realizzato il progetto?


00%

10%

20%

30%

40%

50%

60%

70%Si Si, in maniera diversa No


Sarebbe riuscito a realizzare il suo progetto senza Kublai?


00%

10%

20%

30%

40%

50%

60%

70%

80%

90%

SiSi, ma avrei avviato un’iniziativa diversa/più debole_x000d_Si, ma avrei impiegato più tempoNo


Regioni competitive Regioni convergenti00%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai

Government & Nonprofit

I risultati del progetto Kublai