Tcd 2014 onsdag_05 mintra trainingportal_evaluering

1

Spørreundersøkelser og evaluering av opplæringstiltak

Kontakt: Ranja TendalLeder avdeling for kursutvikling

Mobil: +47 48 25 40 78E-post: ranja.tendal@mintra.no

2

Hva ønsker jeg å oppnå? •At det blir gjennomført gode evalueringer.

Hva vil jeg dere skal ta med dere? •Vite noe om hva som skal til for å gjennomføre en treffsikker evaluering.•Vite hvordan Spørreundersøkelsesmodulen i Trainingportal kan brukes til ulike typer evalueringer.

Hvem er dette mest relevant for? •Alle som er involvert i å utvikle og planlegge opplæringstiltak eller evaluere dem.

3

• Hva er evaluering?

• Hvorfor gjennomfører vi evalueringer?

• Hvordan hente ut den informasjonen du ønsker av en evaluering?

• Når må du starte planleggingen av evalueringstiltak?

• Hvordan bruker du spørreundersøkelsesmodulen i Trainingportal?

4

I vår sammenheng: en systematisk måling av et opplæringstiltak

Evaluering – sette verdi på en prestasjon, et resultat eller en effekt (resultatevaluering)

Hva er evaluering?

5

Hva er evaluering?

I vår sammenheng: en systematisk måling av et opplæringstiltak

6

Hva er evaluering?

I vår sammenheng: en systematisk måling av et opplæringstiltak

•Systematisk:₋ Planlagt (utvalg av personer som deltar, metode som brukes, hvordan vi følger opp

resultater)₋ Etterprøvbart/mulig å gjenta

7

Hva er evaluering?

I vår sammenheng: en systematisk måling av et opplæringstiltak

•Måling:₋ Tester/eksamen₋ Spørreundersøkelse₋ Intervjuer₋ Før, under og etter gjennomføring

8

Hva er evaluering?

I vår sammenheng: en systematisk måling av et opplæringstiltak

•Opplæringstiltak…₋ Hva er det egentlig vi ønsker å evaluere?

9

Hvorfor gjennomfører vi evalueringer?

• Vi ønsker å vite at vi har oppnådd det vi ville.

• Har vi gjennomført et tiltak som vi vil fortsette å bruke?

• Kan vi gjøre noen justeringer for å få et enda bedre resultat?

?

10

Coursez No of participants

Score (1-6)

COM: Weight control in projects 333 4,5

COM: Project progress monitoring and reporting 1230 4,7

COM: Project planning for Engineering 937 4,7

COM: Project planning and schedule development 1067 4,6

QRM: Audit and verification (A&V) database 307 4,8

QRM: The Way We Work (W3) – an introduction (A2) 6841 4,2

ENG: Aibel project execution method, proVision (A1) (eng + norw.) 4076 4,6

ENG: Handle design quality control 398 5,1

ENG: Introduction to EIS (E1) 2256 4,4

ENG: Project execution MMO; Method (A4) 722 4,5

ENG: Project execution MMO; Plan process (A4) 382 4,6

PRO: Introduction to procurement in Aibel 1541 4,6

PRO: Procurement preparations in projects 421 4,5

HSE: HSE – My responsibility! – Mod 1; All employees 3519 5,0

HSE: HSE – My responsibility! – Mod 2; Project personnel 1869 4,9

CON: Prepare work packages (prefab and assembly) 534 4,4

CON: AST Rotation for leaders (read access) 228 4,0

Satisfaction scores per 10.04.2014

11

Hensikt/Læringsmål

Innhold

Metode

Ramme-faktorer

Deltaker-forutsetninger

Evaluering

Formål/intensjon

Didaktisk relasjonsmodellBjørndal og Lieberg, 1979

12

Resultatevaluering

Likte de det?

Reaksjon

Nivå 1

Læring

Lærte de det?

Nivå 2

Anvendelse

Brukte de det senere?

Nivå 3

Nytte

Ga det ønsket effekt?

Nivå 4

Kilde: Kirkpatrick

13

Reaksjon – likte de det?

• Måling på enkleste nivå

• Gir svar på om brukeren likte læremetoden, kursopplegget eller instruktøren

• Måles ofte gjennom evalueringsskjemaer .............

14

Læring – lærte de det?

• Måler om brukerne:₋ endret holdninger ₋ forbedret kunnskaper ₋ økt sine ferdigheter

• Måles ofte gjennom post-tester (satt opp mot pre-tester)

• Testene må knyttes direkte opp mot læringsmålene. (Har du forsøkt å lage testen før du lager kursopplegget? Spennende fremgangsmåte!)

15

Anvendelse – brukte de det senere?

• Måler om brukerne tar med seg sin nye kompetanse inn i hverdagen

• Gir svar på om brukeren endrer atferd som et resultat av den nye kunnskapen

• Måles gjennom observasjon og medarbeidersamtaler eller gjennom gode spørreundersøkelser en stund etter gjennomført opplæring.

16

Nytte – ga det ønsket effekt?

• Læring på organisasjonsnivå

• Nytten av tiltaket er det avgjørende for virksomheten som finansierer opplæringen

• Ved evaluering av nytte₋ Vent med å måle resultater til det er gått rimelig tid etter opplæringen₋ Utfør målinger både før og etter opplæringen₋ Vær fornøyd med indikasjoner dersom det er umulig å få sikre resultater₋ Bruk en kontrollgruppe hvis mulig

17

Eksempel

18

Eksempel

«Vestteknikk skal ha de mest lærerike, holdningsskapende og engasjerende kursene i markedet.»

Overordnet hensikt:Unngå ulykker og skader ved arbeid i gassutsatte områder.

Målsetning med kurset:•Brukeren skal få kunnskap om hvordan man kan best beskytte seg selv og andre ved bruk av riktig utstyr.•Brukeren skal få forståelse og kunnskap rundt faremomenter ved arbeid i gassutsatte områder.•Brukerne skal kjenne til muligheter og begrensninger ved gassmålingsutstyr i relevante situasjoner.

19

Eksempel – Nivå 1 evaluering

Likte de det?«Vestteknikk skal ha de mest lærerike, holdningsskapende og engasjerende kursene i markedet.»

20

Eksempel – Nivå 2 evaluering

Lærte de det?

21

Eksempel – Nivå 3 evaluering

Etter 3 måneder: Sender ut en spørreundersøkelse for å kartlegge hvor mange av kursdeltakerne som har endret sin holdning til å bruke gassmåleutstyr og verneutstyr etter at kurset er gjennomført.

Observasjon på arbeidsstedet bør også være en del av denne vurderingen.

Brukte de det senere?

22

Eksempel – Nivå 4 evaluering

Ga det ønsket effekt?Har vi oppnådd hensikten: Unngå ulykker og skader ved arbeid i gassutsatte områder.

Hvordan kan vi måle det?

•ulykkesstatistikker•Sykefraværsrapporter•+++

Må altså gjøres en før måling for sammenligning.

23

Oppsummering

Nivå Fokus på Hva som måles Tidspunkt etter opplæringen

Nivå 1 (reaksjon) Reaksjoner Grad av tilfredshet hos deltagerne Umiddelbart

Nivå 2 (læring) Læring I hvilken grad individuelle læringsmål er oppnådd hos deltagerne

Umiddelbart

Nivå 3 (anvendelse) Anvendelse (eller atferd)

I hvilken grad deltagerne har endret atferd og anvender sine kunnskaper, ferdigheter osv.

Etter ca. 2 – 3 måneder

Nivå 4 (nytte) Resultater (eller nytte)

I hvilken grad det er oppnådd resultater og nytte av opplæringen for virksomheten

Innen rimelig tid (veldig avhengig av ønsket effekt)

24

Spørreundersøkelser i Trainingportal

25

Spørreundersøkelser i Trainingportal

• Tilgjengelig for de aller fleste som har egen portal, henvend deg til dinkontakt i Mintra Trainingportal hvis funksjonaliteten ikke er aktivert.

• Lag spørreundersøkelser og send til brukere i din portal, eller knytt til kurs• Sett krav til svar (må besvares/når besvares)• Se svar og resultat pr. kurs eller for alle kurs undersøkelsen er knyttet til• Besvarelsene kan være anonyme

26

Spørreundersøkelser i Trainingportal

27

Spørreundersøkelser i Trainingportal

28

Spørreundersøkelser i Trainingportal

29

Spørreundersøkelser i Trainingportal

30

Spørreundersøkelser i Trainingportal

31