Upload
doxuyen
View
221
Download
0
Embed Size (px)
Citation preview
METODOLOGIA PROCESU METODOLOGIA PROCESU METODOLOGIA PROCESU METODOLOGIA PROCESU EWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGO
Ewaluacja programów operacyjnych - wyzwania, inspiracje, przyszłość
Urząd Marszałkowski Województwa Kujawsko-PomorskiegoToruń , 25 – 26 czerwca 2013 roku
EWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGO
SYLWIA JASKUŁASYLWIA JASKUŁASYLWIA JASKUŁASYLWIA JASKUŁA
PEDAGOGIUM Wyższa Szkoła Nauk Społecznychw Warszawie
DWIE GŁÓWNE DROGI OBECNEJ EWALUACJI W POLSCE
ADMINISTRACJAADMINISTRACJAADMINISTRACJAADMINISTRACJA OŚWIATAOŚWIATAOŚWIATAOŚWIATARozporządzenie Rady Europy z dnia 21 czerwca 1999 r. ustanawiające przepisy ogólne w sprawie funduszy strukturalnych (Nr 1083 z dnia 11
Rozporządzenie Ministra Edukacji Narodowej z dnia 7 października 2009 r. o nadzorze pedagogicznym
strukturalnych (Nr 1083 z dnia 11 lipca 2006 r.)
narzędzie oceny efektywności i skuteczności
narzędzie nadzoru
•funkcja konkluzywna•funkcja administracyjna
•funkcja kontrolna•funkcja oceniająca / porównawcza
REDUKCJA FUNKCJI EWALUACJI (DEWALUACJA EWALUACJI)
DEFINICJE EWALUACJI W DOKUMENTACJI ADMINISTRACYJNEJ
„Ewaluacja to ocena/oszacowanie jakości (stopnia)
realizacji programu (tzn. jego faktycznych rezultatów)
w stosunku do wcześniejszych założeń (tzn.
oczekiwanych efektów).”
„Ewaluacja jest definiowana jako osąd (ocena) wartości „Ewaluacja jest definiowana jako osąd (ocena) wartości
interwencji publicznej dokonany przy uwzględnieniu
odpowiednich kryteriów (skuteczności, efektywności,
użyteczności, trafności i trwałości) i standardów.”
"Ewaluacja to okresowa ocena efektywności,
skuteczności, oddziaływania, trwałości i zgodności
projektu w kontekście założonych celów.”
DEFINICJE EWALUACJI W TRADYCJI AKADEMICKIEJ
systematyczne badanie wartości konkretnego obiektusystematyczne badanie wartości konkretnego obiektu
Joint Committee on Standards for Educational Evaluation (1981r.)
K. ASPINWALL, T. SIMKINS, J.F. WILKINSON, J. MCAULEY
Ewaluacja jest procesem. Obejmuje wydawanie
opinii o wartości działania poprzez
systematyczne, jawne zbieranie i analizowanie
o nim informacji w odniesieniu do znanych o nim informacji w odniesieniu do znanych
celów, kryteriów i wartości.
Managing evaluation in education. A developmental approach, Rouledge, London and New York 1992, ss. 2-7
L. STOLL, D. FINK
Ewaluacja jest procesem doskonalenia
obejmującym rozwój osobowy, grupowy jaki i
instytucjonalny. Przy czym sam proces jest
równie istotny jak rezultaty.równie istotny jak rezultaty.
Changing our Schools. Linking school effectivenes and school improvemment, Open University Press, 1996, ss. 166-171
EWALUACJA JAKO „ZAPROSZENIE DO ROZWOJU” (H. SIMONS)
Ewaluacja to uspołeczniony proces
zmierzający do określenia wartości danego
obiektu lub działania według przyjętych
kryteriów w celu jego udoskonalenia, kryteriów w celu jego udoskonalenia,
lepszego rozumienia i/lub rozwoju.
L. Korporowicz
S. Jaskuła
WSPÓŁCZESNE DYLEMATY W WYBORZE FUNKCJI EWALUACJI
REALIZOWANEREALIZOWANEREALIZOWANEREALIZOWANE ZMARGINALIZOWANEZMARGINALIZOWANEZMARGINALIZOWANEZMARGINALIZOWANE
funkcja administracyjna funkcja uspołeczniająca
funkcja technokratyczna funkcja animująca
funkcja konkluzywna funkcja motywującafunkcja konkluzywna funkcja motywująca
funkcja kontrolna funkcja formatywna
EWALUACJA A OCENIANIE
EWALUACJA EWALUACJA EWALUACJA EWALUACJA OCENAOCENAOCENAOCENAproces osąd
uczenie się kontrola
≠
doskonalenie klasyfikacja
dialog legitymizacja
interakcje procedura
uczestnictwo społeczne sterowanie
EWALUACJA (KLUCZOWE ELEMENTY ROZUMIENIA EWALUACJI)
refleksja aksjologiczna
procesualność interakcja, dyskurs „aktorów”
systematyczne badanie wartości konkretnego obiektusystematyczne badanie wartości konkretnego obiektu
etyka ewaluatora
dynamika społecznego konstruowania(społecznie zróżnicowani aktorzy)
założenie istnienia
O K
ON
IEC
ZN
OŚ
CI W
IDZ
EN
IA P
RO
CE
SU
EW
ALU
AC
JI
1.
1.
1.
1.
2.
2.
2.
2.
3.
3.
3.
3.
4.
4.
4.
4.
5.
5.
5.
5.
6.
6.
6.
6.
7. 7.7.7.8
.8
.8
.8
.
DIALOG, DEBATA, DYSKURS
PLAN
PROJEKT
GENEROWANIE DANYCH
ANALIZA DANYCH
RAPORT
UPOWSZECHNIANIE WYNIKÓW
WYKORZYSTANIE WYNIKÓW
DEBATA,
GENEROWANIE
ANALIZA DANYCH
UPOWSZECHNIANIE
WYKORZYSTANIE
PR
OC
ES
I P
RO
JEK
T E
WA
LUA
CJI
1 1112 222
3 3334 444
5 5556 666
7 7778 888
DIALOG, DEBATA , DYSKUR
PLAN
PROJEKT
GENEROWANIE DANYCH
ANALIZA DANYCH
RAPORT
UPOWSZECHNIANIE WYNIKÓW EWALUACJI
WYKORZYSTANIE WYNIKÓW EWALUACJI
PROCES
DEBATA ,
ANALIZA DANYCH
UPOWSZECHNIANIE
WYKORZYSTANIE
11112 222
3 3334 444
5 5556 666
7 7778 888
9 999
OBIEKT
OBSZAR
PYTANIA KLUCZOWE
KRYTERIA
METODOLOGIA
PRÓBA BADAWCZA
HARMONOGRAM
ZESPÓŁ
ZASOBY
PROJEKT
O KONIECZNOŚCI WIDZENIA USPOŁECZNIONEGO (ZINTEGROWANEGO) PROCESU EWALUACJI
1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA
LOG
,DE
BATA
, D
YSK
UR
S
PLA
N
PR
OJE
KT
GE
NE
RO
WA
NIE
D
AN
YCH
AN
ALIZA
DA
NYC
H
RA
PO
RT
UP
OW
SZE
CH
NIA
NIE
W
YNIK
ÓW
WYK
OR
ZYSTA
NIE
W
YNIK
ÓWD
EB
ATA ,
GE
NE
RO
WA
NIE
AN
ALIZA
DA
NYC
H
UP
OW
SZE
CH
NIA
NIE
WYK
OR
ZYSTA
NIE
inicjowanie debaty; interakcja pomiędzy wszystkimi podmiotami procesu ewaluacyjnego; rozpoznawanie potrzeb; integracja
całego środowiska; ujawnianie potencjałów społecznych konkretnych grup i osób
O KONIECZNOŚCI WIDZENIA USPOŁECZNIONEGO (ZINTEGROWANEGO) PROCESU EWALUACJI
1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA
LOG
,DE
BATA
, D
YSK
UR
S
PLA
N
PR
OJE
KT
GE
NE
RO
WA
NIE
D
AN
YCH
AN
ALIZA
DA
NYC
H
RA
PO
RT
UP
OW
SZE
CH
NIA
NIE
W
YNIK
ÓW
WYK
OR
ZYSTA
NIE
W
YNIK
ÓWD
EB
ATA ,
GE
NE
RO
WA
NIE
AN
ALIZA
DA
NYC
H
UP
OW
SZE
CH
NIA
NIE
WYK
OR
ZYSTA
NIE
kształtowanie ogólnej kultury ewaluacyjnej, tworzenie demokratycznych wartości oraz doświadczeń; wzajemna
edukacja aktorów sceny ewaluacyjnej
O KONIECZNOŚCI WIDZENIA USPOŁECZNIONEGO (ZINTEGROWANEGO) PROCESU EWALUACJI
1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA
LOG
,DE
BATA
, D
YSK
UR
S
PLA
N
PR
OJE
KT
GE
NE
RO
WA
NIE
D
AN
YCH
AN
ALIZA
DA
NYC
H
RA
PO
RT
UP
OW
SZE
CH
NIA
NIE
W
YNIK
ÓW
WYK
OR
ZYSTA
NIE
W
YNIK
ÓWD
EB
ATA ,
GE
NE
RO
WA
NIE
AN
ALIZA
DA
NYC
H
UP
OW
SZE
CH
NIA
NIE
WYK
OR
ZYSTA
NIE
gromadzenie wiedzy ogólnohumanistycznej przydatnej w poznawaniu osobowości jednostek i struktury poszczególnych
grup; unikanie marginalizacji konkretnych grup i punktów widzenia w procesie pozyskiwania i zarządzania danymi
O KONIECZNOŚCI WIDZENIA USPOŁECZNIONEGO (ZINTEGROWANEGO) PROCESU EWALUACJI
1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA
LOG
,DE
BATA
, D
YSK
UR
S
PLA
N
PR
OJE
KT
GE
NE
RO
WA
NIE
D
AN
YCH
AN
ALIZA
DA
NYC
H
RA
PO
RT
UP
OW
SZE
CH
NIA
NIE
W
YNIK
ÓW
WYK
OR
ZYSTA
NIE
W
YNIK
ÓWD
EB
ATA ,
GE
NE
RO
WA
NIE
AN
ALIZA
DA
NYC
H
UP
OW
SZE
CH
NIA
NIE
WYK
OR
ZYSTA
NIE
tworzenie jakościowo nowych treści sprzyjających postępowi; podmiotowe uwzględnianie potrzeb poznawczych wszystkich
uczestniczących w procesie ewaluacji; doświadczenie międzykulturowe
O KONIECZNOŚCI WIDZENIA USPOŁECZNIONEGO (ZINTEGROWANEGO) PROCESU EWALUACJI
1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA
LOG
,DE
BATA
, D
YSK
UR
S
PLA
N
PR
OJE
KT
GE
NE
RO
WA
NIE
D
AN
YCH
AN
ALIZA
DA
NYC
H
RA
PO
RT
UP
OW
SZE
CH
NIA
NIE
W
YNIK
ÓW
WYK
OR
ZYSTA
NIE
W
YNIK
ÓWD
EB
ATA ,
GE
NE
RO
WA
NIE
AN
ALIZA
DA
NYC
H
UP
OW
SZE
CH
NIA
NIE
WYK
OR
ZYSTA
NIE
zwiększanie możliwości użycia rezultatów ewaluacji poprzez różne podmioty procesu ewaluacyjnego; redukcja obaw i ryzyka
związanego z procedurami ewaluacyjnymi i udostępnieniem danych; innowacja i zmiana społeczna; refleksja
O POTRZEBIE ROZWOJU EWALUACJI CZWARTEJ GENERACJI
GENERACJE EWALUACJIGENERACJE EWALUACJIGENERACJE EWALUACJIGENERACJE EWALUACJI ROZUMIENIEROZUMIENIEROZUMIENIEROZUMIENIE EWALUACJIEWALUACJIEWALUACJIEWALUACJIPIERWSZA GENERACJA EWALUACJI
EWALUACJA POMIAROWA (PARAMETRYCZNA)
mierzalność efektów i środków
DRUGA GENERACJA
EWALUACJA OPISOWA
opis mocnych i słabych stron programów w odniesieniu do
E. G. Guba, Y. S. Lincoln, Fourth Generation Evaluation. Sage Publ., Newbury Park 1989
GENERACJA EWALUACJI
OPISOWA programów w odniesieniu do założonych celów
TRZECIA GENERACJA EWALUACJI
EWALUACJA OCENIAJĄCA (MENEDŻERSKA)
ocena osiągniętych celów programu
CZWARTA GENERACJA EWALUACJI
EWALUACJA DEMOKRATYCZNA (USPOŁECZNIONA /DIALOGICZNA)
głęboka partycypacja wszystkich stron zaangażowanych w program
PROCES TRANSFORMACJI REALIZACJI BADAŃ EWALUACYJNYCH
GENERACJEGENERACJEGENERACJEGENERACJE REALIZACJA BADAŃ EWALUACYJNYCHREALIZACJA BADAŃ EWALUACYJNYCHREALIZACJA BADAŃ EWALUACYJNYCHREALIZACJA BADAŃ EWALUACYJNYCH IMPLIKACJEIMPLIKACJEIMPLIKACJEIMPLIKACJE
PIERWSZA GENERACJA EWALUACJI
Techniki pomiaru socjometrycznego,
psychometrycznego i dydaktycznego
nastawionego na uchwycenie wyników w
konkretnym momencie czasowym
Redukcjonizm w ewaluacji
(brak postrzegania
procesu)
DRUGA GENERACJA EWALUACJI
Pomiar związany z gromadzeniem materiałów i
techniki opisowe uświadamiające znaczenie
zmian w czasie
Próby opracowań teorii
ewaluacyjnych (początki
myślenia procesualnego)
E. G. Guba, Y. S. Lincoln, Fourth Generation Evaluation. Sage Publ., Newbury Park 1989
EWALUACJI zmian w czasie myślenia procesualnego)
TRZECIA GENERACJA EWALUACJI
Wielowymiarowość w analizach, co spowodowało,
że na ostateczne decyzje miała wpływ znacznie
większa liczba „aktorów ewaluacji”, jak również
czynniki instytucjonalne, organizacyjne i społeczne
wymagające analizy sekwencyjnej
Systematyczność
prowadzonych badań
(rodzi się potrzeba
metodologii procesu)
CZWARTA GENERACJA EWALUACJI
Badania ilościowe i jakościowe, obejmujące swoim
zasięgiem i oddziaływaniem wiele aspektów
rzeczywistości, biorąc pod uwagę wymagania i
metodologię konstruowania procesu
ewaluacyjnego
Dążenie do stworzenia
interaktywnego modelu
ewaluacji (świadomy
rozwój metodologii
procesu)
POMIAR SKUTECZNOŚCI DZIAŁAŃ
REFLEKSYJNE ROZPOZNANIE
OBIEKTYWNA WSPIERANIE WARTOŚCI
EWOLUCJA EWALUACJI
OBIEKTYWNA OCENA
WSPIERANIE WARTOŚCI KONKRETNEGO DZIAŁANIA
STWIERDZENIE OSIĄGNIĘCIA ZAMIERZONYCH CELÓW
WYKORZYSTANIEWALORÓW INTERAKCYJNYCH POMIĘDZY UCZESTNIKAMI PROCESU EWALUACJI