Beata Ciężka

Beata CiężkaBeata Ciężka

Metodologia badań ewaluacyjnych

WOJEWÓDZTWO PODKARPACKIE

Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach

Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013

Ewaluacja jest rodzajem badania

a więc

metodologia badań ewaluacyjnych czerpie z dorobku metodologicznego nauk, w szczególności nauk społecznych:

- Socjologii - Pedagogiki - Psychologii - Ekonomii- Nauk o zarządzaniu


Ewaluacja pozytywistyczna vs. humanistyczna

Paradygmat pozytywistyczny zakłada:- Obiektywne istnienie rzeczywistości - Niezależność badacza od przedmiotu poznania i sytuacji

badawczej- Przyjmowanie a priori eksplorowanych kategorii pojęciowych

Paradygmat humanistyczny zakłada:- Interakcyjne konstruowanie rzeczywistości- „Prawda” stanowi rodzaj konsensusu uzgodnionego między

działającymi podmiotami- Badacz wywiera wypływ na rzeczywistość i sam doznaje wpływu - Kategorie pojęciowe wyłaniają się w trakcie badań i mogą być

wyjaśnione tylko w towarzyszącym im kontekście- Maksymalne uspołecznienie całego przebiegu ewaluacji


Konsekwencje zaprezentowanych rozważań metodologicznych w ewaluacji funduszy strukturalnych

Założenie możliwości kreowania rzeczywistości społecznej poprzez zastosowanie interwencji

Zastosowanie metodologii „pomiaru wskaźników” Założenie stosowania zestawu z góry określonych kryteriów

oceny

Ale: Partycypacyjność w formułowaniu założeń ewaluacji Uznawanie ważności kontekstu Uznawanie różnorodności punktów widzenia Stosowanie triangulacji (w tym szerokiego wachlarza metod

jakościowych)


5

Triangulacja

Zwielokrotnienie: Metod i technik badawczych Źródeł informacji Typów danych Technik analitycznych Teorii wyjaśniających Liczby osób realizujących badania

Zastosowanie Lepsze poznanie i zrozumienie badanego obiektu Uwzględnianie różnych punktów widzenia Bardziej „zobiektywizowana” analiza


6

Założenia badań ilościowych i ich

zastosowanie

Obejmują gromadzenie i analizę informacji liczbowych (również informacji, które można zakodować w formie liczb np. opinii – badania sondażowe)

Wykorzystywane są do poznania rozkładów częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi zmiennymi

Podlegają analizie statystycznej i regułom w niej obowiązującym

Badania ilościowe umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji

Zasadniczym pytaniem jest: ILE?


7

Założenia badań jakościowych i ich zastosowanie

Dotyczą opisu, poznania i zrozumienia badanych zjawisk

Dane jakościowe są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych

Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w znaczeniu ilościowym

Pozwalają na sformułowanie odpowiedzi na pytania: co?, jak?, dlaczego?

Są wieloznaczne i wielowymiarowe, trudno na ich podstawie formułować uogólnienia


Badania z zastosowaniem triangulacji – przykłady


Badanie ewaluacyjne dotyczące realizacji perspektywy równości płci przez Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich na lata 2004-2006


Badanie reprezentatywne ludności Polski powyżej 15 roku życia – badanie na 1000 osobowej ogólnopolskiej próbie reprezentatywnej (blok pytań w Pentor Omnibus).

Badanie liderów opinii - wywiady pogłębione z przedstawicielami środowisk naukowych, świata polityki oraz przedstawicielami środowisk kobiecych (7IDI).

PERSPEKTYWA SPOŁECZNA

25 Indywidualnych wywiadów pogłębionych (IDI) z wybranymi przedstawicielami instytucji

Ankieta internetowa (CAWI) obejmująca wszystkich pracowników instytucji mających związek ze SPO RZL

Desk Research

Badania ukierunkowane na dwie perspektywy:

1) Ogólna perspektywa - znajomości i stosunku do zasady równości płci

2) Perspektywa związana ze SPO RZL – stosunek oraz ocena konkretnych rozwiązań i działań lub ich braku

Poziom projektowy

PERSPEKTYWA PROJEKTU

Case Studies 20 wybranych projektów w ramach wszystkich działań (próba celowa)

500 wywiadów telefonicznych wspomaganych komputerowo (CATI) – próba warstwowa wszystkich projektów

Ankieta internetowa (CAWI) adresowana do wszystkich projektodawców (projekty zakończone i będące w trakcie)

Poziom instytucjonalny

Bariery realizacji celów w projektach Schematu b. Działania 2.3 SPO RZL


Metody jakościowe

Badanie dokumentacji (Desk research)Wywiady indywidualne w: Polskiej Agencji Rozwoju Przedsiębiorczości (PARP), Ministerstwa Rozwoju Regionalnego (MRR), ekspertem z organizacji pracodawców (PKPP Lewiatan) Zogniskowany wywiad grupowy - FGI (Focus Group

Interview) 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP

(różnych wielkości i branż) korzystających ze szkoleń i korzystających z dofinansowania z funduszy UE

1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i nie korzystających z dofinansowania z funduszy UE


Studium przypadku (Case Study) 10 projektów wybranych

projektów: analiza dokumentacji projektowej; pogłębione wywiady indywidualne z koordynatorami; pogłębione wywiady indywidualne z osobami odpowiedzialnymi za

promocję i rekrutację; wywiady telefoniczne (lub indywidualne) z przedstawicielami

punków rekrutacyjnych współpracujących z realizatorem projektu – (jeżeli realizator projektu korzystał ze wsparcia regionalnych punktów rekrutacyjnych);

wywiad indywidualny/grupowy z przedstawicielami firm szkoleniowych współpracujących z realizatorem projektu;

wywiady z osobami odpowiedzialnymi za projekt Polskiej Agencji Rozwoju Przedsiębiorczości.


Metody ilościowe

1200 wywiadów telefonicznych (CATI Computer Assisted Telephone Interviewing) w tym:

600 wywiadów na próbie reprezentatywnej ogólnopolskiej wśród MSP

oraz 100 wywiadów na próbie MSP branży elektronicznej 100 wywiadów na próbie MSP branży turystycznej z

wybranych regionów 100 wywiadów na próbie MSP branży przemysłu drzewnego 100 wywiadów na próbie BO projektu „Szkolenie kadr MŚP w

zakresie wdrażania norm BHP” 100 wywiadów na próbie BO projektu „Ogólnopolski program

szkoleń w zakresie ochrony środowiska 100 wywiadów na próbie BO projektu „Inwestycja w kadry”


Wiele ewaluacji skupia się na pomiarze efektów

dlatego kluczową rolę stanowi dobrze zdefiniowany system wskaźników

oraz prawidłowo przygotowany i systematycznie

prowadzony monitoring


Przykładowe metody stosowane w ewaluacji wykorzystujące dane monitoringowe


Potrzeby

Cele Nakłady Działania Produkty

Rezultaty

Oddziaływanie

Skuteczność

Efektywność

Użyteczność i Trwałość

Trafność


Ewaluacja oparta na teorii projektu

Benchmarking

Ocenianie efektów programu/projektu poprzez porównanie ich z efektami podobnych programów/projektów, które zostały uznane za udane i mogą służyć jako przykład

W procesie porównania zidentyfikowane zostają silne i słabe strony programu/projektu oraz wyszukiwane są nowe rozwiązania, które mogą podnieść jakość osiąganych celów


Grupy porównawcze

Porównanie dwóch grup podmiotów, z których jedna grupa była beneficjentem danego projektu lub programu, druga grupa natomiast nie korzystała z pomocy

Ocena efektu netto Metoda może być z powodzeniem stosowana do ewaluacji

szczegółowej różnych typów projektów i programów, zwłaszcza tych związanych ze wsparciem dla sektora produkcyjnego (np. granty dla małych i średnich przedsiębiorstw) oraz działaniami w zakresie rozwoju zasobów ludzkich (np. wsparcie dla bezrobotnych)


20

Dziękuję za uwagę!

Beata Cięż[email protected]


Documents

Beata Ciężka