EVALVACIJA (šolskih razvojnih) PROJEKTOV

Elektrotehniško-računalniška strokovna šola in gimnazija Ljubljana 23. oktober 2013

Katja Pavlič Škerjanc, katja.pavlic@zrss.si

Ekspertna skupina za šolske razvojne projekte(ES-ŠRP)

Program

Čas Vsebina Izvajalec - Oblika

14.00 – 15.30

DELAVNICA: Predstavitve razvojne naloge

Člani/-ce ES-ŠRPModeracija: Katja Pavlič Škerjanc

15.30 – 16.00 Odmor

16.00 – 17.30

Samoevalvacija in evalvacija (šolskih razvojnih) projektov

Katja Pavlič ŠkerjancInteraktivno predavanje

1. Spremljava/-nje (monitoring)

2. Presoja/-nje (assessment) 3. O/-Vrednotenje (evaluation)

NAČRT RAZVOJNEGA PROJEKTA(izvajanja, spremljanja in evalviranja)

1. Cilji2. Pričakovani rezultati

KAZALNIKI kakovosti rezultatov (kvantitativni in kvalitativni) Kriteriji in merila za

ocenjevanje kakovosti

3. Dejavnosti za doseganje ciljev KAZALNIKI kakovosti

procesov (kvantitativni in kvalitativni) Kriteriji in merila za

ocenjevanje kakovosti

4. Omejitve in tveganja

Načini odpravljanja omejitev in zmanjševanja tveganj

5. Nujni pogoji (za uspešno izvedbo)

6. SPREMLJAVA in7. EVALVACIJA

8. DISEMINACIJA

Responzivna evalvacija

• Responzivna ali prožno odzivna evalvacija

• se sproti prožno odziva na dogajanja in na potrebe po evalvacijskih ugotovitvah,

• zato je tudi njen načrt bolj prožen in odprt,

• tako da ga je mogoče med izvajanjem modificirati in dograjevati.

• Njeno nasprotje je: preordinatna evalvacija.

Participativna evalvacija

• Participativna (tudi: participatorna) evalvacija

• se izvaja v tesnem sodelovanju vseh,

• ki projekt izvajajo • in/oz. uporabljajo

njegove storitve in rezultate;

• vsi zato tudi soodločajo, kaj se evalvira, koga se vključi, katere metode in tehnike

se uporabijo ...

EVALVACIJA PO KORAKIH

Evalvacija je proces (aktivnost, faza projekta, postopek …), s katerim

ugotovimo, • kako in kako dobro poteka naše delo (redno ali v okviru projekta),• kakšne rezultate dosegamo, • kakšne učinke ima naše delo in na koga (oz. jih pričakujemo od svojega

dela)

Sklopi VPRAŠANJ, ki običajno usmerjajo EVALVACIJO:

1. Ali je projekt dosegel načrtovane cilje? Ali je pripeljal do želenih

sprememb? Če ne, zakaj ne?

2. Ali so projektne aktivnosti potekale, kot je bilo načrtovano? Če ne, zakaj

ne? Kaj je delovalo dobro in kaj ne?

3. Katere koristne zaključke se še lahko sprejme na podlagi zbranih

informacij glede poteka in organizacije projekta, sodelujočih pri izvajanju

projekta (zaposlenih in zunanjih sodelavcih), opreme idr.?

EV

ALV

AC

IJA

Notranja evalvacij

a

CILJNE SKUPINE

Ekspertna skupina

konzorcija

Skrbnikprojekta

Strokovna in administrativna

podpora

Drugi vključeni v

projekt

UČITELJI

drugi učitelji, ki sodelujejo v projektu

učitelji, ki NE sodelujejo v projektu

ŠOLSKIPROJEKTNI TIM

DIJAKI

dijaki, ki sodelujejo v projektu

učenci/dijaki, ki NE sodelujejo v projektu

RAVNATELJ

EV

ALV

AC

IJA

Vrste raziskovalnih/evalvacijskih tehnik

neposredno/posredno

individualno/skupinsko

pisna/ustna

javna/anonimna

enkratna/večkratna

primarni dokumenti

sekundarni dokumenti

EVALVACIJA V ŠOLSTVU = = pedagoško raziskovanje

OPAZOVANJE ANKETA INTERVJUANALIZA

DOKUMENTACIJE

Instrumenti raziskovanja

OPAZOVANJE ANKETA INTERVJUANALIZA

DOKUMENTACIJE

Zapisnik

Protokol

Anketnivprašalnik

Izobraževalna dokumentacija

Programi

Ocenjevalnelestvice

Drugo

Seznamvprašanj

Zapisnik

PosnetekLiteratura

Študije

EVALVACIJA V ŠOLSTVU = = pedagoško raziskovanje

METODE NAMEN PREDNOSTI IZZIVI

Vprašalniki, ankete, ček liste

Ko je potrebno hitro in/ali enostavno pridobivanje velikega števila informacij na neogrožajoč način

Anonimna, nizki stroški administriranja, primerjave in analiza, veliko podatkov, veliko vprašalnikov že obstaja

Ne dajejo celotne slike, problematika vzorčenja, neosebni, navodila lahko vplivajo na pristranskost odgovorov

Intervjuji (s posamezniki)

Ko je potreben celovito razumevanje izkušenj, doživljanj posameznika, ali se naučiti več o odgovorih na vprašalnike

Pridobitev celovitih in poglobljenih podatkov, razvoj medosebnih odnosov, fleksibilnost do intervjuvancev

Časovno zamuden, zahtevno analiziranje odgovorov, otežena primerljivost, intervjuvar lahko vpliva na odgovore intervjuvanca

Opazovanja

Pridobivanje točnih informacij o tem kako nekaj deluje, predvsem proces

Vpogled v proces , možnost prilagajanja dogodkom, ko se pojavijo

Težave pri interpretiranju opazovanega vedenja, kompleksnost kategorizacije opazovanj, vplivanje na vedenje opazovancev, neekonomično

Intervju (z več udeleženci – fokusne skupine)

Raziskovanje posameznih vsebinskih področji skozi skupinsko diskusijo, izmenjava mnenj, argumentiranje…

Hitro in zanesljivo pridobivanje splošnega vtisa ali pridobivanja informacij

Zahtevno analiziranje odgovorov in ugotovitev, težavna časovna usklajenost 6 – 8 ljudi

Študija primera

Vodenje celovitega procesa razumevanja posameznega primera (posameznika)

Celovit opis izkušenj posameznika v procesu

Časovno zamudno, bolj je prisotna globina informacij kot širina

Triangulacija pomeni uporabo raznovrstnih strategij zbiranja podatkov. S triangulacijskimi evalvacijskimi pristopi povečamo natančnost in veljavnost evalvacije. Norman K. Denzin je identificiral štiri vrste triangulacije (Denzin, 1978):

1. podatkovna triangulacija: vključuje uporabo različnih virov podatkov o istem vprašanju, kot so npr.: intervjuji z ljudmi na različnih položajih ali z različnimi pogledi na obravnavano vprašanje;

2. evalvatorska triangulacija: pomeni vključenost evalvatorjev različnih strok, da bi se izognili pristranskosti (upoštevanju pogledov ene same osebe);

3. teoretična triangulacija: uporaba raznovrstnih perspektiv ali teorij pri interpretaciji ene vrste podatkov;

4. metodološka triangulacija: uporaba raznovrstnih metod pri proučevanju določenega programa oziroma enote evalvacije, kot so npr.: intervjuji, vprašalniki, dokumentacija, opazovanje.

TRIANGULACIJA

Priprava in IZVEDBA PARTICIPATIVNE EVALVACIJE ŠRP: Korak za korakom

1. korak: Odločitev, do katere stopnje bo evalvacija (glede na kontekst in okoliščine) participativna, in določitev evalvacijske skupine

2. korak: Priprava osebne izkaznice projekta3. korak: Priprava evalvacijskega načrta (vključno z izbiro

metod in tehnik zbiranja podatkov)4. korak: Zbiranje, obdelava in analiza podatkov5. korak: Interpretacija podatkov in priprava poročil(a)6. korak: Oblikovanje zaključkov kot navodil in priporočil

(za ravnanje v prihodnje oz. v podobnih situacijah)

• Za izvedbo evalvacije so pomembni vsi njeni koraki, za njeno uspešnost (uporabnost) pa so najpomembnejši prvi.

• Različni deležniki bodo v evalvacijo vključeni na različnih stopnjah (nekateri samo v eni ali dveh).

PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak

3. korak: Priprava evalvacijskega načrta / načrta evalvacije ŠRP (vključno z izbiro metod in tehnik zbiranja podatkov)

Določitev evalvacijskih kriterijev in vprašanj:

Evalvacijski kriteriji so lahko npr. naslednji: Relevantnost Učinkovitost Prenosljivost …Ko izberemo kriterije, oblikujemo evalvacijska vprašanja, npr.:Ocenjevanje učinkovitosti:1. Katere spremembe smo dosegli zaradi novih aktivnosti?2. Kako bomo spremembo izmerili? 3. Kako jo bomo ocenili (kad dokazuje, da je dobra oz. slaba)?4. Kako bomo dokazali, da je posledica nove aktivnosti?

PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak: Krovni evalvacijski kriteriji

Določitev evalvacijskih kriterijev in vprašanj

Evalvacijski kriteriji so odvisni predvsem od vrste evalvacije, med najpogostejšimi so naslednji:

1. Ustreznost (angl. relevance)

2. Učinkovitost (angl. efficiency)

3. Uspešnost (angl. effectiveness)

4. Vplivnost/Učinek (angl. impact)

5. Trajnost (angl. sustainability)

PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak: Krovni evalvacijski kriteriji

Kriterij Opis

Ustreznost (angl. relevance)

Ali so zastavljeni cilji ŠRP primerno oblikovani za reševanje problema, ki ga naslavlja projekt?[ Ocena ustreznosti z vidika ustreznosti raziskovalnega vprašanja in hipoteze ter sprememb, do katerih naj bi/je prišlo]

Učinkovitost (angl. efficiency)

Kako učinkovito (predvsem z vidika stroškov te r vloženega časa in dela) so bili vložki (angl. inputs) preoblikovani v izložke (angl. outputs)? Ali bi lahko več dosegli v istem času na kak drug način?[ Ocena učinkovitosti vseh sodleujočih pri izvajanju aktivnosti; ugotavljanje zamud in vzrokov zanje – sprotna poročila o poteku]

Uspešnost (angl. effectiveness)

V kolikšni meri so uresničeni kratkoročni oz. neposredni cilji ŠRP?[ So bili cilji jasno opredeljeni? So izvedljivi? Merljivi? … glej metodo za doseganje ciljev S.M.A.R.T. Specific – Measurable – Achiveable/Attainable – Realistic/Relevant/Rewarding – Time-Bound]

PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak: Krovni evalvacijski kriteriji

Kriterij Opis

Vplivnost/Učinek (angl. impact

Kakšni so dolgoročni učinki ŠRP na neposredno in širše okolje?[ Kako in koliko cilji šolskega projekta prispevajo k doseganju pirše zastavljenih ciljev, npr. razvojnih ciljev konzorcija?]

Trajnost (angl. sustainability)

Kolikšna je verjetnost, da bodo koristi in učinki ŠRP obstali tudi, ko bo projekt že zaključen?[ Ali bodo na voljo človeški in morebitni finančni viri? Projekt po tem kriteriju pogosto lahko ocenimo šele naknadno, v času njegove zaključne evalvacije pa le ocenimo oz. previdimo trajnost njegovih rezultatov oz. učinkov in/oz. opredelimo pogoje zanjo.]

Kaj so 3 temeljna evalvacijska vprašanja?

Načrt (evalvacije) ŠRP

A. O katerih vidikih ŠRP želimo/moramo izvedeti

največ?

B. Zakaj so prav ti vidiki najpomembnejši?

C. Kako bomo uporabili (oz. bodo uporavljene) zbrane

informacije in ugotovitve?

1.

2.

3.