Tcd 2014 onsdag_05 mintra trainingportal_evaluering

1

Spørreundersøkelser og evaluering av opplæringstiltak

Kontakt: Ranja TendalLeder avdeling for kursutvikling

Mobil: +47 48 25 40 78E-post: [email protected]

2

Hva ønsker jeg å oppnå? •At det blir gjennomført gode evalueringer.

Hva vil jeg dere skal ta med dere? •Vite noe om hva som skal til for å gjennomføre en treffsikker evaluering.•Vite hvordan Spørreundersøkelsesmodulen i Trainingportal kan brukes til ulike typer evalueringer.

Hvem er dette mest relevant for? •Alle som er involvert i å utvikle og planlegge opplæringstiltak eller evaluere dem.

3

• Hva er evaluering?

• Hvorfor gjennomfører vi evalueringer?

• Hvordan hente ut den informasjonen du ønsker av en evaluering?

• Når må du starte planleggingen av evalueringstiltak?

• Hvordan bruker du spørreundersøkelsesmodulen i Trainingportal?

4

I vår sammenheng: en systematisk måling av et opplæringstiltak

Evaluering – sette verdi på en prestasjon, et resultat eller en effekt (resultatevaluering)

Hva er evaluering?

5

Hva er evaluering?


6

Hva er evaluering?


•Systematisk:₋ Planlagt (utvalg av personer som deltar, metode som brukes, hvordan vi følger opp

resultater)₋ Etterprøvbart/mulig å gjenta

7

Hva er evaluering?


•Måling:₋ Tester/eksamen₋ Spørreundersøkelse₋ Intervjuer₋ Før, under og etter gjennomføring

8

Hva er evaluering?


•Opplæringstiltak…₋ Hva er det egentlig vi ønsker å evaluere?

9

Hvorfor gjennomfører vi evalueringer?

• Vi ønsker å vite at vi har oppnådd det vi ville.

• Har vi gjennomført et tiltak som vi vil fortsette å bruke?

• Kan vi gjøre noen justeringer for å få et enda bedre resultat?

?

10

Coursez No of participants

Score (1-6)

COM: Weight control in projects 333 4,5

COM: Project progress monitoring and reporting 1230 4,7

COM: Project planning for Engineering 937 4,7

COM: Project planning and schedule development 1067 4,6

QRM: Audit and verification (A&V) database 307 4,8

QRM: The Way We Work (W3) – an introduction (A2) 6841 4,2

ENG: Aibel project execution method, proVision (A1) (eng + norw.) 4076 4,6

ENG: Handle design quality control 398 5,1

ENG: Introduction to EIS (E1) 2256 4,4

ENG: Project execution MMO; Method (A4) 722 4,5

ENG: Project execution MMO; Plan process (A4) 382 4,6

PRO: Introduction to procurement in Aibel 1541 4,6

PRO: Procurement preparations in projects 421 4,5

HSE: HSE – My responsibility! – Mod 1; All employees 3519 5,0

HSE: HSE – My responsibility! – Mod 2; Project personnel 1869 4,9

CON: Prepare work packages (prefab and assembly) 534 4,4

CON: AST Rotation for leaders (read access) 228 4,0

Satisfaction scores per 10.04.2014

11

Hensikt/Læringsmål

Innhold

Metode

Ramme-faktorer

Deltaker-forutsetninger

Evaluering

Formål/intensjon

Didaktisk relasjonsmodellBjørndal og Lieberg, 1979

12

Resultatevaluering

Likte de det?

Reaksjon

Nivå 1

Læring

Lærte de det?

Nivå 2

Anvendelse

Brukte de det senere?

Nivå 3

Nytte

Ga det ønsket effekt?

Nivå 4

Kilde: Kirkpatrick

13

Reaksjon – likte de det?

• Måling på enkleste nivå

• Gir svar på om brukeren likte læremetoden, kursopplegget eller instruktøren

• Måles ofte gjennom evalueringsskjemaer .............

14

Læring – lærte de det?

• Måler om brukerne:₋ endret holdninger ₋ forbedret kunnskaper ₋ økt sine ferdigheter

• Måles ofte gjennom post-tester (satt opp mot pre-tester)

• Testene må knyttes direkte opp mot læringsmålene. (Har du forsøkt å lage testen før du lager kursopplegget? Spennende fremgangsmåte!)

15

Anvendelse – brukte de det senere?

• Måler om brukerne tar med seg sin nye kompetanse inn i hverdagen

• Gir svar på om brukeren endrer atferd som et resultat av den nye kunnskapen

• Måles gjennom observasjon og medarbeidersamtaler eller gjennom gode spørreundersøkelser en stund etter gjennomført opplæring.

16

Nytte – ga det ønsket effekt?

• Læring på organisasjonsnivå

• Nytten av tiltaket er det avgjørende for virksomheten som finansierer opplæringen

• Ved evaluering av nytte₋ Vent med å måle resultater til det er gått rimelig tid etter opplæringen₋ Utfør målinger både før og etter opplæringen₋ Vær fornøyd med indikasjoner dersom det er umulig å få sikre resultater₋ Bruk en kontrollgruppe hvis mulig

17

Eksempel

18

Eksempel

«Vestteknikk skal ha de mest lærerike, holdningsskapende og engasjerende kursene i markedet.»

Overordnet hensikt:Unngå ulykker og skader ved arbeid i gassutsatte områder.

Målsetning med kurset:•Brukeren skal få kunnskap om hvordan man kan best beskytte seg selv og andre ved bruk av riktig utstyr.•Brukeren skal få forståelse og kunnskap rundt faremomenter ved arbeid i gassutsatte områder.•Brukerne skal kjenne til muligheter og begrensninger ved gassmålingsutstyr i relevante situasjoner.

19

Eksempel – Nivå 1 evaluering

Likte de det?«Vestteknikk skal ha de mest lærerike, holdningsskapende og engasjerende kursene i markedet.»

20


Lærte de det?

21


Etter 3 måneder: Sender ut en spørreundersøkelse for å kartlegge hvor mange av kursdeltakerne som har endret sin holdning til å bruke gassmåleutstyr og verneutstyr etter at kurset er gjennomført.

Observasjon på arbeidsstedet bør også være en del av denne vurderingen.

Brukte de det senere?

22


Ga det ønsket effekt?Har vi oppnådd hensikten: Unngå ulykker og skader ved arbeid i gassutsatte områder.

Hvordan kan vi måle det?

•ulykkesstatistikker•Sykefraværsrapporter•+++

Må altså gjøres en før måling for sammenligning.

23

Oppsummering

Nivå Fokus på Hva som måles Tidspunkt etter opplæringen

Nivå 1 (reaksjon) Reaksjoner Grad av tilfredshet hos deltagerne Umiddelbart

Nivå 2 (læring) Læring I hvilken grad individuelle læringsmål er oppnådd hos deltagerne

Umiddelbart

Nivå 3 (anvendelse) Anvendelse (eller atferd)

I hvilken grad deltagerne har endret atferd og anvender sine kunnskaper, ferdigheter osv.

Etter ca. 2 – 3 måneder

Nivå 4 (nytte) Resultater (eller nytte)

I hvilken grad det er oppnådd resultater og nytte av opplæringen for virksomheten

Innen rimelig tid (veldig avhengig av ønsket effekt)

24

Spørreundersøkelser i Trainingportal

25


• Tilgjengelig for de aller fleste som har egen portal, henvend deg til dinkontakt i Mintra Trainingportal hvis funksjonaliteten ikke er aktivert.

• Lag spørreundersøkelser og send til brukere i din portal, eller knytt til kurs• Sett krav til svar (må besvares/når besvares)• Se svar og resultat pr. kurs eller for alle kurs undersøkelsen er knyttet til• Besvarelsene kan være anonyme

26


27


28


29


30


31

Recruiting & HR

Tcd 2014 onsdag_05 mintra trainingportal_evaluering