Ewaluacja produktu projektu innowacyjnego

Alicja ZajączkowskaAlicja Zajączkowska

Gdańsk, 29.03.2011

Roczny Plan Działań współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego.

DYLEMATY EWALUACJI ZEWNĘTRZNEJ PRODUKTU PROJEKTU INNOWACYJNEGO (1)

1. Jaki jest cel ewaluacji zewnętrznej?

2. Co należy rozumieć pod pojęciem” rzeczywiste efekty testowanego produktu”?

3. Co jest przedmiotem ewaluacji zewnętrznej w projekcie innowacyjnym?innowacyjnym?

4. Jakie kryteria zastosować w ewaluacji zewnętrznej w projekcie innowacyjnym?

5. Różnice: Monitoring a ewaluacja wewnętrzna a ewaluacja zewnętrzna a walidacja?

6. Jakie metody zbierania danych stosować? Proporcje między danymi pierwotnymi a danymi wtórnymi w ewaluacji zewnętrznej.

7. Jaki może być koszt ewaluacji zewnętrznej?

DYLEMATY EWALUACJI ZEWNĘTRZNEJ PRODUKTU PROJEKTU INNOWACYJNEGO (2)

8. Na jakim etapie cyklu życia projektu innowacyjnego planujemy ewaluację zewnętrzną?

9. Kiedy podjąć współpracę z ewaluatorem zewnętrznym?

10. Jaki typ ewaluacji zewnętrznej zastosować - ewaluacja 10. Jaki typ ewaluacji zewnętrznej zastosować - ewaluacja końcowa na zakończenie testowania, czy ewaluacja bieżąca -on going?

11. Różnice: Monitoring a Ewaluacja wewnętrzna a Ewaluacja zewnętrzna a Walidacja?

12. Ile współpracy, a ile niezależności przy prowadzeniu ewaluacji zewnętrznej testowanego produktu?

ZARZĄDZANIE EWALUACJĄ ZEWNĘTRZNĄ

1. Zarządzanie zakresem ewaluacji zewnętrznej

2. Zarządzanie zamówieniem ewaluacji zewnętrznej

3. Zarządzanie czasem ewaluacji zewnętrznej

4. Zarządzanie zasobami ludzkimi ewaluacji zewnętrznej

5. Zarządzanie komunikacją

6. Zarządzanie jakością ewaluacji zewnętrznej

7. Zarządzanie kosztami ewaluacji zewnętrznej

8. Zarządzanie ryzykiem ewaluacji zewnętrznej

GŁÓWNE ETAPY PROCESU EWALUACJIGŁÓWNE ETAPY PROCESU EWALUACJI

1. Planowanie ewaluacji2. Opracowanie projektu ewaluacji3. Zbieranie informacji – badania terenowe4. Opracowanie i analiza danych4. Opracowanie i analiza danych5. Sformułowanie wniosków i rekomendacji6. Prezentacja wyników ewaluacji

Jak projektodawca powinien zaplanować w projekcie działania związane z ewaluacją zewnętrzną i czym

ewaluacja zewnętrzna różni się od walidacji produktu?

• Zgodnie z Wytycznymi w zakresie wdrażania projektów innowacyjnych i współpracy ponadnarodowej w ramach PO KL ewaluacja zewnętrzna stanowi jeden z elementów II etapu realizacji projektu- czyli wdrożenia. realizacji projektu- czyli wdrożenia.

• W ramach analizy rzeczywistych efektów testowanego produktu projektodawca musi uwzględnić ewaluację zewnętrzną.

• Ewaluacja ta służy zbadaniu efektywności produktu i powinna zostać wpisana w planie działań, harmonogramie oraz budżecie.

KIEDY PLANUJEMY EWALUACJĘ ZEWNĘTRZNĄ?

Planowanie ewaluacji zewnętrznej:

1. Ewaluacja we Wniosku projektowym

2. Ewaluacja w Strategii wdrażania2. Ewaluacja w Strategii wdrażania

3. Ewaluacja w Raporcie metodologicznym ewaluacji (projekt ewaluacji)

STRATEGIA WDRAŻANIA

V. Sposób sprawdzenia, czy innowacja działa

Należy określić, jakie efekty zastosowania innowacji mogą zostać uznane za wystarczające uzasadnienie dla jej stosowania na szerszą skalę oraz podać, w jaki sposób będą one weryfikowane – tj. konieczne jest zdefiniowanie:

a. w jaki sposób dokonana zostanie ocena wyników testowania,a. w jaki sposób dokonana zostanie ocena wyników testowania,

b. jak zostanie przeprowadzona zewnętrzna ewaluacja produktu finalnego (w tym jak zostanie wyłoniony zewnętrzny ewaluator, jaki będzie zakres ewaluacji, jak zostaną zdefiniowane zadania ewaluatora).

Lista sprawdzająca oceny strategii

8. Czy planowane podejście do monitoringu w fazie testowania i ewaluacji skuteczności produktu gwarantuje rzetelność oceny produktu finalnego?

CO POWI%IE% ZAWIERAĆ PROJEKT CO POWI%IE% ZAWIERAĆ PROJEKT EWALUACJI?EWALUACJI?

1. Przedmiot ewaluacji

2. Kryteria oceny

3. Pytania ewaluacyjne

4. Metody badawcze

5. Próbę badawczą

6. Sposób prezentacji wyników

DEFINICJE EWALUACJI UE 2007DEFINICJE EWALUACJI UE 2007--20132013

1. Ewaluacja jest definiowana jako osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów.

2. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów.

3. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

Analiza rzeczywistych efektów testowanego produktu

Badanie rzeczywistych efektów testowanego produktu obejmuje dwa elementy:

1. zgromadzenie wszystkich danych z fazy testowania (opinie osób przeprowadzających test –(opinie osób przeprowadzających test –przedstawicieli obu grup docelowych, opinie obserwatorów ze strony zespołu projektowego, ocena skutków stosowania produktu) i ich ocenę;

2. ewaluację zewnętrzną.

Monitoring i/a ewaluacja

Nie istnieje jedna, uniwersalna definicja monitoringu i ewaluacji,a wiele stosowanych pojęć jest niejednoznacznych i zależą odprzyjmowanych założeń metodologicznych i koncepcji dociekańbadawczych.

W bardzo ogólnym ujęciu można powiedzieć, że:W bardzo ogólnym ujęciu można powiedzieć, że:

• monitoring mówi nam, co się dzieje,

• ewaluacja odpowiada na pytanie dlaczego tak się dzieje.

Monitoring jest dla ewaluacji bazą – bez danych zbieranych wprocesie monitoringu trudno byłoby prowadzić ewaluację.

Współcześnie ewaluacja ciągła (on going) zlewa sięz monitoringiem – będąc jego dopełnieniem w trakciepodsumowywania projektu.

MONITORING TESTOWANIA

Testowanie musi być przez cały czas monitorowane.

Konieczne jest zaplanowanie procesu oceny –formularzy do notowania uwag, ankiet do badaniaopinii i ocen.opinii i ocen.

Ważne jest, by wszystkie opinie pojawiające się wtrakcie testowania zostały zarejestrowane.

Należy przewidzieć cykliczne spotkania uczestnikówfazy testowania z ekspertami zespołu, poświęconedyskusjom nad wszelkimi pojawiającymi sięproblemami.

CELE EWALUACJI ZEWNĘTRZNEJ

• Ze względu na specyfikę projektów innowacyjnych – nastawionychna wypracowanie nowych, skuteczniejszych rozwiązań – ewaluacjapowinna przede wszystkim zmierzać do udzielenia odpowiedzi napytanie o to, czy wypracowany produkt (proponowane podejście)faktycznie jest lepszy, skuteczniejszy i bardziej efektywny niżstosowane dotychczas.stosowane dotychczas.

• Powinniśmy otrzymać odpowiedź na pytanie, czy proponowanepodejście okazało się atrakcyjną alternatywą dla metod stosowanychwcześniej (czy jest bardziej skuteczne, tańsze lub przynajmniejefektywne), co wpływa na jego skuteczność (czy są to metody pracy,dobór grup docelowych, organizacja procesu wsparcia, czy inneczynniki), czy możliwe jest zwiększenie skutecznościproponowanych metod i pod jakimi warunkami.

Wstępna wersja

produktu finalnego

Wymiar

EWALUACJA ZEWNĘTRZNA TESTOWANEGO PRODUKTU

Grupa kontrolnaGrupa docelowa projektu w

wymiarze testowania

Zastosowanie innowacyjnego

rozwiązania

Zastosowanie tradycyjnego

rozwiązania

Odbiorcy Użytkownicy Odbiorcy Użytkownicy

Rzeczywiste efekty

testowania

Zmiany w

odbiorcach

Korzyści/ straty dla

użytkowników

Zmiany w

odbiorcach

Korzyści/ straty dla

użytkowników

Efekty netto

testowania

innowacji

Porównanie rzeczywistych efektów testowania innowacji w odniesieniu do

odbiorców i użytkowników z uzyskanymi efektami przy zastosowaniu

tradycyjnego rozwiązania

Wymiar

testowania

Grupa kontrolnawymiarze testowania

EFEKT NETTO PROJEKTUEFEKT NETTO PROJEKTU

C z y n n i k i

w p ł y w a j ą c eD a n y P r o j e k t

W s z y s t k i e p o z o s t a ł e

c z y n n ik i

B e n e f i c j e n c ig r u p a p r o j e k t o w a

1 0 0 b e z r o b o t n y c h

g r u p a k o n t r o ln a 1 0 0

b e z r o b o t n y c h

16

E f e k t y7 5 o s ó b z n a la z ł o

n o w ą p r a c ę

5 0 o s ó b z n a l a z ł o

n o w ą p r a c e

7 5 % s z a n s a

z n a le z ie n ia p r a c y w

p r z y p a d k u

u c z e s t n i c z e n i a w

p r o j e k c i e

5 0 % s z a n s a

z n a l e z ie n ia p r a c y

b e z u c z e s t n i c z e n i a

w p r o g r a m ie

E f e k t e m n e t t o p r o g r a m u s z k o l e n io w e g o j e s t w z r o s t

s z a n s n a z n a l e z ie n i e p r a c y p r z e z b e z r o b o t n y c h

ETAP PLANOWANIA PROJEKTU

ETAP WDRAŻANIA PROJEKTU

ETAP ZAMYKANIA PROJEKTU

ETAP PO ZAKOŃCZENIU

PROJEKTU

EWALUACJA EX-ANTE

EWALUACJA OKRESOWA =

EWALUACJA MID-TERM

EWALUACJA KOŃCOWA

EWALUACJA EX - POST

Analiza efektów oczekiwanych

Analiza efektów rzeczowych

Analiza efektów rzeczywistych

Analiza efektów odroczonych

Studium wykonalności - stan gotowości

projektu do realizacji

Usprawnienia- monitorowanie zmiany

Realizacja celów szczegółowych

Osiągnięcie celów ogólnych

KRYTERIA EWALUACJIKRYTERIA EWALUACJI

1. TRAFNOŚĆ (RELEVANCE)

2. EFEKTYWNOŚĆ (EFFICIENCY)

3. SKUTECZNOŚĆ (EFFECTIVENESS)3. SKUTECZNOŚĆ (EFFECTIVENESS)

4. UŻYTECZNOŚĆ (UTILITY)

5. TRWAŁOŚĆ (SUSTAINABILITY)

TABLICA 3: DEFI%IOWA%IE KRYTERIÓW EWALUACJI

Kryterium Definiowanie

Trafność W jakim stopniu cele projektu są zgodne z potrzebami beneficjentów?

CELE A POTRZEBY

Efektywność W jakim stopniu poniesione nakłady w projekcie są ekonomiczne?

NAKŁADY A EFEKTY

Skuteczność W jakim stopniu cele projektu zostały osiągnięte? PLAN A WYKONANIE

Użyteczność Na ile rzeczywiste efekty projektu są zgodne z potrzebami

EFEKTY A POTRZEBY Użyteczność Na ile rzeczywiste efekty projektu są zgodne z potrzebami beneficjentów?

EFEKTY A POTRZEBY

Trwałość W jakim zakresie efekty projektu są długotrwałe? Co zmieniło się w ludziach i otoczeniu po jakimś czasie od zakończenia projektu?

WPŁYW NA CEL OGÓLNY PROJEKTU

Wartość dodana

W jakim stopniu projekt jest innowacyjny? KREATYWNOŚĆ

KRYTERIA EWALUACJI PRODUKTU (za Poradnikiem)

1. Adekwatność (czy produkt odpowiada realnym potrzebom?).

2. Efektywność (czy produkt przynosi zakładane efekty przy zakładanych kosztach, czy koszty te nie mogłyby być niższe, dając porównywalne efekty?).

3. Skuteczność (czy produkt jest skuteczny, czy jego 3. Skuteczność (czy produkt jest skuteczny, czy jego stosowanie przynosi zakładane wyniki?).

4. Oddziaływanie/wpływ (czy wdrożenie produktu będzie skutkowało zwiększeniem szans na osiągnięcie celów PO KL?).

5. Trwałość efektów (czy jest prawdopodobne funkcjonowanie produktu po zakończeniu finansowania projektu?).

POTENCJAŁ PRODUKTU

Potencjał produktu na upowszechnianie (potencjalna użyteczność dla rozwoju realizowanej polityki społecznej) jest tym wyższy im wyższa jest:

1. innowacyjność produktu finalnego2. adekwatność w kontekście priorytetów polityki 3. skuteczność w rozwiązywaniu problemów grupy docelowej

21

3. skuteczność w rozwiązywaniu problemów grupy docelowej4. efektywność finansowa usług oferowanych z wykorzystaniem produktu5. replikowalność i możliwość adaptacji w innych obszarach 6. nakłady konieczne w celu wdrożenia (im wyższe tym ocena niższa, choć

nie zawsze, np. przy wysokich kosztach zaniechania)

KRYTERIA OCENY PRODUKTU FINALNEGOKRYTERIA OCENY PRODUKTU FINALNEGO

Przydatność produktu innowacyjnego Waga (0–1)

Ocena produktu

(1–5) Zgodność produktu ze strategią wdrażania w zakresie celu i grupy docelowej

0,10

Skuteczność produktu (korzyści dla grup docelowych) 0,20

Aktualność potrzeby wprowadzenia produktu 0,20 Aktualność potrzeby wprowadzenia produktu 0,20

Stopień skomplikowania produktu (łatwość zastosowania wypracowanych narzędzi)

0,15

Możliwości zastosowania przez użytkowników (prawne, organizacyjne)

0,10

Efektywność (nakłady do rezultatów) wprowadzenia rozwiązania

0,10

Unikatowość rozwiązania 0,15

SKUTECZNOŚĆ PRODUKTU (KORZYŚCI DLA GRUP DOCELOWYCH)

• Ocenie podlega zakładana (szacowana) skutecznośćproduktu wobec opisanych we wniosku idoprecyzowanych w strategii problemów grupdocelowych – jak dalece produkt ma szansę sprzyjaćdocelowych – jak dalece produkt ma szansę sprzyjaćrozwiązywaniu tych problemów, w jaki sposóbbędzie wywierał wpływ na sytuację grupdocelowych.

UNIKATOWOŚĆ ROZWIĄZANIA

• Kryterium dotyczy stopnia innowacyjnościproponowanego rozwiązania – jeśli dotyczy onoobszaru/grupy/problemu, którym nikt inny się niezajmuje, w którym jak dotąd nie działają żadnezajmuje, w którym jak dotąd nie działają żadneinstrumenty – wówczas ocena będzie wyższa niż wsytuacji, gdy produkt dotyczy kwestii co prawdaaktualnych, ale wokół których podejmowane są liczneinicjatywy usprawniające.

WYMIARY I SKALA INNOWACYJNOŚCIWYMIARY I SKALA INNOWACYJNOŚCI

WYMIAR I%%OWACJI

1. Grupa docelowa

grupy dotychczas nie wspierane -

pomijane, grupy dotychczas wspierane biernie

grupy wspierane aktywnie ale oferuje się im

modyfikację dotychczasowych form

SKALA I%%OWACJI

pomijane, wykluczone

wspierane biernie dotychczasowych form

wsparcia

2. Problemnowy problem - brak narzędzi interwencji

znany problem - brak narzędzi interwencji

znany problem - niewystarczające,

nieskuteczne narzędzia interwencji

3. Formy wsparcianowatorskie

metody działania znane metody

wobec nowych grup

Doskonalenie metod wobec tych samych grup -

przeróbka stosowanej metody/ adaptacja metody z

"zewnątrz"

SKALA I%%OWACYJ%OŚCI

1. ZE WZGLĘDU %A WYBÓR GRUPY DOCELOWEJ:Na ile projekt dociera do odbiorców, którzy do tej pory nie byli objęci tego typu działaniami?

2. ZE WZGLĘDU %A TYP POTRZEB:

SKALA INNOWACYJNOŚCISKALA INNOWACYJNOŚCI

Na ile projekt odpowiada na potrzeby i oczekiwania odbiorców, które wcześniej nie były rozpoznane i zaspokajane?

3. ZE WZGLĘDU %A FORMĘ USŁUGI:Na ile zastosowane narzędzia, metody, forma i sposób przekazu nie były stosowane wcześniej dla spełnienia oczekiwań odbiorców?

4. DOSTĘP%OŚĆ W PRZESTRZE%I:Na ile projekt możemy uznać za unikatowy w skali lokalnej, czy krajowej? (dostępność podobnych rozwiązań w skali region/kraju itd.)

UŻYTKOWNICY ODBIORCY

GRUPA DOCELOWA w projekcie innowacyjnym

Wymiar testowania Wymiar testowania

Wymiar

upowszechniania

Wymiar docelowy Wymiar docelowy

REALIZACJA PROJEKTU REALIZACJA PROJEKTU –– ETAP 1ETAP 1

Diagnoza i analiza problemu

OCE%A

Tworzenie partnerstwa (jeśli jest przewidziane)

Opracowanie wstępnej wersji produktu oraz strategii wdrażania

projektu innowacyjnego

Upowszechnianie i włączanie do głównego nurtu polityki

REALIZACJA PROJEKTU REALIZACJA PROJEKTU –– ETAP 2ETAP 2

Testowanie opracowanego produktu

Analiza rzeczywistych efektów testowania produktu (ewaluacja

zewnętrzna)OCENA - EWALUACJAUpowszechnianie i włączanie

do głównego nurtu polityki zewnętrzna)

Opracowanie produktu finalnego na podstawie wyników analizy

OCENA - WALIDACJA

Upowszechnianie i włączenie do głównego nurtu polityki

do głównego nurtu polityki

HARMONOGRAM WDRAŻANIA INNOWACJIHARMONOGRAM WDRAŻANIA INNOWACJI

ETAP 1 ETAP 2 ETAP 3

do 8 miesięcy do 2

miesięcynp. 12 miesięcy

do 2

miesięcydo 12 miesięcy

Kreowanie Innowacji Testowanie Innowacji Transfer Innowacji

Upowszechnianie i włączanie

wstępnej wersji Produktu

Finalnego

Upowszechnianie i włączanie

wstępnej i testowanej wersji

Produktu Finalnego

Upowszechnianie i włączanie

Produktu Finalnego

2.Ostateczna wersja produktu finalnego 1.Wstępna wersja produktu finalnego

Tablica: Schemat strategii upowszechniania i włączania do głównego nurtu polityki

STRATEGIA UPOWSZECH%IA%IA I MAI%STRIMI%GU (metody, techniki, narzędzia)

ZAKRES DZIAŁAŃ

DZIAŁANIA UPOWSZECHNIAJĄCE TRANSFER INFORMACJI

DZIAŁANIA MAINSTRIMINGOWE

TRANSFER WDROŻEŃ

STRATEGIA EDUKACJI SPOŁECZ%EJ STRATEGIA REPLIKOWA%IA PRODUKTU

Wpływ na praktykę – Mainstriming horyzontalny

Wpływ na legislacje - Mainstriming wertykalny

1.Transfer wiedzy i umiejętności

Promocja Produktu Projektu

Innowacyjnego

Przekazywanie i wymiana

informacji o Produkcie Projektu

Innowacyjnego

1.Transfer wiedzy i umiejętności o Produkcie Projektu Innowacyjnego do podmiotów zainteresowanych replikowaniem (informacja, szkolenia, doradztwo, instruktarz, praktyki wdrożeniowe, itp.)

1. Działalność rzecznicza na rzecz systemowego stosowania Produktu Projektu Innowacyjnego.

2. Wykorzystywanie Produktu Projektu Innowacyjnego przez użytkowników i odbiorców ze wsparciem doradczym twórców Produktu.

2. Udzielanie rekomendacji, opinii, stanowisk w zakresie rozwiązań prawnych i systemowych odnośnie Produktu Projektu Innowacyjnego.

MODELE EWALUACJI

Ewaluacja biurokratyczna jest najczęściej „narzucana” z zewnątrz – jest nakazem prawnym formułowanym w wytycznych.

Ewaluator jest niejako na usługach tych agencji rządowych, które sprawują nadzór i kontrolę. rządowych, które sprawują nadzór i kontrolę.

W rezultacie jego rola często sprowadza się w praktyce do tworzenia dokumentów (raportów), które warto mieć na wypadek zewnętrznej kontroli.

MODELE EWALUACJI

Ewaluacja autokratyczna sprowadza ewaluatora do roli eksperta.

Nie jest on konsultantem, jak w przypadku ewaluacji biurokratycznej, lecz raczej akademickim badaczem społeczności. społeczności.

Stosowane przez niego metody muszą być rzetelnie i niezawodne a poza tym – tak jak każdy ekspert –musi być on znawcą przedmiotu ewaluacji.

Nie ma obowiązku konsultowania kryteriów ewaluacji albowiem – jako ekspert – wie jakie standardy jakości działania odnieść do badanych obiektów.

MODELE EWALUACJI

Ewaluacja demokratyczna - zakres odpowiedzialności ewaluatora oraz prawomocność działań nie są lokowane „na zewnątrz”.

Ewaluator nie jest na usługach polityków, czy osób odpowiedzialnych za sprawowanie nadzoru pedagogicznego, lecz społeczności, dla której pracuje. lecz społeczności, dla której pracuje.

Ewaluator występuje tutaj jako moderator w procesie komunikowania się wielu grup osób zainteresowanych jakością efektów działań, projektów, czy edukacji.

Jego rola polega na animowaniu procesu wymiany informacji i wspieranie procesu badawczego i wnioskowania.

MODELE EWALUACJI

Ewaluacja demokratyczna - Inna jest rola ewaluacji. Informacje, jakich dostarcza ewaluacja demokratyczna nie służą „uspokajaniu sumienia” oraz rozliczaniu się z efektów pracy przed przedstawicielami nadzoru, lecz są wykorzystywane w procesie doskonalenia pracy realizatora projektu, czy szkoły raczej z wewnętrznych pobudek.projektu, czy szkoły raczej z wewnętrznych pobudek.

Realizator, czy szkoła definiuje siebie jako organizacja nie tylko wspierająca/ ucząca innych, ale również ucząca się.

Dzięki ewaluacji realizator projektu, czy szkoła dowiaduje się czegoś nowego o sobie samej i stąd czerpie motywacje do podejmowania działań projakościowych.

Dziękuję za uwagę

Roczny Plan Działań współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego.