Evaluering af arbejdsmiljøindsatser – en teoretisk ramme

Evaluering af arbejdsmiljøindsatser – en teoretisk ramme

SAM d. 16. april 2013

Peter HasleProfessor

Aalborg Universitet København

Peter HaslePeter Hasle

Center for forskning i arbejdsmiljøindsatser og virkemidler (CAVI)

Problemstilling• Hvilke sammenhænge er der mellem de samfunds-

mæssige indsatser og arbejdsmiljøarbejdet i virksomhederne?

• Samarbejde mellem AAU, DTU, RUC, Teamarbejdsliv og AU (DPU)

• Konkrete projekter om AMO, certificering og små virksomheder

• Tværgående teoriprojekt om virkemidler– Herunder arbejde for Arbejdsmiljørådet om evaluering

af arbejdsmiljøindsatser


På vej ind i evalueringssamfundet

• New public management:– Markedsgørelse samt kontrakt- og målstyring

• Evaluerer om mål opfyldes• Evidens for om noget virker• Alle aktiviteter og tiltag skal gøres målbare• Fra politiske valg til teknokratiske valg

Hvad er evaluering

Definition:• En systematisk bedømmelse af udfald, præstationer

og organisering af samfundsmæssige aktiviteter rettet mod fremtidige handlingssituationer

Implikationer:• Et anvendelsessigte• En opdragsgiver med et defineret formål• Konkret empirisk• Den korte bane

Evaluering og forskning

Delvist sammenfald• Evaluering anvender forskningsbaserede metoder• Forskning rettes sig også mod programmer som

evalueres• Evaluering i sig selv et forskningsobjekt

Forskelle• Kort eller langt sigt• Beslutningsbehov eller erkendelsesinteresse• Teori eller empiri

Peter Hasle

Evalueringsparadigmer

• Klassisk effektevaluering

• Responsiv evaluering

• Monitorering og evaluering

• Evidensbaseret evaluering

– Effektevaluering

– Realistisk evaluering

• Pragmatisk evaluering

Peter Hasle

Klassisk effektevaluering

• Det historiske udgangspunkt– Troen på det moderne fremskridtssamfund

• Positivismen som dominerende videnskabsteori– Sandhed afgøres gennem testning af målbare

hypoteser• Samfundsmæssige problemer løses af store

programmer som testes empirisk• Problem: Forudsætninger (kontekst, implementering

og politisk fokus) ændrer sig, inden det kan afgøres om et program testes positivt eller negativt

Peter Hasle

Responsiv evaluering(også proces og formativ evaluering)

• Formål: at skabe mening for interessenter og øge deres udbytte af et program

• Bygger på læringsteori og socialkonstruktivisme• Observation af processer dominerende metode

– Kvalitativt men også kvantitativt• Varierende grad af evaluator involvering

– Fra distanceret observatør over aktionsforskning til selvevaluering

• Problem: muligt præg af tilfældighed og præferencer

Peter Hasle

Monitorering og evaluering

• New Public Management (NPM) lægger vægt på markedsgørelse og accountability

• Monitorering er en løbende evaluering af om de forventede resultater nås

• Billede af udviklingstendenser - modsat den almindelige evaluerings engangsbillede

• Bygger typisk på key performance indicators (KPI) for proces- eller mellemvariable

• Problem: svært at forklare udviklingen i KPIer

Peter Hasle

Evidensbaseret evaluering

• Med NPM nye krav om sikkerhed for at noget virker• Evidens er viden som kan sandsynliggøre om et

udsagn er sandt eller falsk• Stor strid om hvordan sandhed skal forstås• Kontekstafhængighed eller -uafhængighed en

væsentlig skillelinje– Fx afgørende for i hvilken udstrækning evidens kan

og skal præge dag til dag-handlinger

Peter Hasle

Effektevaluering(også summativ evaluering)

• Bygger på ”randomized control trials” (RCT) som gylden standard

• Inspireret af den biomedicinske forskning• Ideen er at kontekst kan neutraliseres gennem

randomisering• Alternativt og med lavere kvalitet er kontrolgrupper og

før- og eftermålinger• I princippet altid kvantitativt• Problem: bl.a. randomisering vanskelig og manglende

overførbarhed til andre kontekster

Peter Hasle

Realistisk evaluering(også virkningsevaluering)

• Bygger videnskabsteoretisk på kritisk realisme:– Der findes en objektiv virkelighed, men den kan ikke

direkte erkendes• Spørgsmålet flyttes

– fra: om det virker– til: hvordan det virker

• Fokus på kontekst og mekanismer• Problem: kan kontekst og mekanismer

operationaliseres og generaliseres

Peter Hasle

Pragmatisk evaluering

• Vi vil gerne vide lidt om det hele:– Har det effekt? (effektevaluering)– Hvordan virker det? (realistisk)– Hvordan kan vi forbedre indsatsen? (responsiv)– Hvad kan vi få indenfor den fastlagte ramme?– Vi vil gerne have legitimeret vores aktiviteter (hvad

vil vi helst ikke have at vide?)• Den mest almindelige evalueringsform• Problem: Tendens til overfladiske og uklare svar på de

mange spørgsmål

Peter Hasle

Realistisk evaluering

Udgangspunkt:• Evaluering retter sig mod sociale aktiviteter/

programmer• Her findes ingen sikre kausale sammenhæng

(naturlove)• Sammenhæng mellem indsats og effekt er altid

afhængig af kontekst• Det interessante er at finde frem til ”halv-regulariteter”

(som regel vil noget bestemt ske hvis der tages højde for kontekst)– Hvad virker for hvem under hvilke omstændigheder

Peter Hasle


En model for realistisk evaluering

Kontekst

ResultatProgram-teori

Mekanisme

Pawson, 1997 & 2006

Antagelsen om hvordan

indsatsen virker

Årsagssammenhænge som fremkalder

resultater

Ændringer i arbejdsmiljøet

Eksternt: Marked, stakeholders. Internt: Ledelse & organisation

Vigtige karakteristika ved virkemidler• Teoribaserede• Virkemidler omsættes aktivt af aktørerne• Lange årsagskæder hvor alle led har betydning for

resultatet• Mekanismerne er ikke lineære og har mange feed back

loops• Mekanismerne er forankret i flere delvist overlappende

sociale systemer• Virkemidlerne er åbne systemer som selv forandrer de

betingelser som de arbejder underKonklusion: • Virkemidler komplekse og effekter svære at forudsige

Pawson, 2006

Peter Hasle

Kompeksiteten i virkemiddelmekanismer

Pawson, 2006

Peter Hasle

Realistisk evalueringscyklus

Teori

Hypotese

Observation

Empiriskanalyse

M: mekanismeK: kontekstR: resultat

Programteori:Hvad virker for hvem under hvilke omstændigheder

Flerstrenget data-indsamling om M, K og R

Hvad virker for hvem under hvilke omstændigheder

Peter Hasle


Den grundlæggende forståelse af arbejdsmiljøindsatsers effekt

MekanismerIndsats Kontekst Resultat

Teknisk mekanisme:• Forandringen i arbejdsmiljøet (sikkerhedsskærmen, ventilations-

systemet, hjælpemidlet til løft)Social mekanisme:• Det som får mennesker til at handle anderledes (investere i

løsninger, anvende løsninger)Det psykosociale arbejdsmiljø:• Tekniske og sociale mekanismer falder typisk sammen

Viden ændrer handlingerUddannelse Afhænger af

mulighed Resultat


Virkemidler- regulering, incitamenter og viden


En udfoldet model for sammenhængen mellem virkemidler på samfundsniveau

og effekt

Virkemidler: Regulering Incitamenter Viden

Indsats: Kombination

af virkemidler

Mekanismer: Tvang Normer Imitation

Kontekst: Intern Ekstern

Effekt: Ændringer i

arbejdsmiljøet

Bygger på • Virkemidler (policy instruments) (Vedung 1998)• Realistisk evaluering (Pawson & Tilley, 1997)• Nyinstitutionel teori (DiMaggio & Powel, 1991)

– Bygger på aktørers behov for at fremstå legitime overfor omgivelser


En samlet virkemiddelmodel

Politik Indsats VirkemiddelM

ålgruppe

Effekt

Kontekst

Afsendersiden Modtagersiden

Virkemiddel

Virkemiddel

Programteori


Forbedring af arbejdsmiljøet ved opmuring

Peter Hasle

Nedsættelse af belastninger ved opmuringKombination af virkemidlerRegulering: • Påbud fra AT om reduktion af

belastninger• Påbudspause mens løsninger

bliver udviklet• Påbud på grundlag af ny vejledning

fra BARIncitament:• Tilskud til udvikling og afprøvning

af hjælpemidlerViden: • En vejledning med detaljeret

beskrivelse af hjælpemiddel og arbejdsgange

• Formidlet gennem flere kanaler af alle involverede parter

MekanismerTvang: • Indledende påbud• Påbud efter løsning er udviklet.Normer: • Fælles budskab fra arbejdsgivere

og fagforeninger signalerer at den ny metode er den etisk rigtige at anvende

Imitation:• Arbejdsgivere og murere obser-

verer flere og flere tilfælde hvor metoden anvendes i praksis og overbevises dermed om at det er sådan man gør i branchen


Evaluering af samfundsmæssige arbejdsmiljøindsatser

Formål med evaluering• Læring, men også legitimeringFør evaluering• Udvikling af programteori• Planlægning af evalueringScenarier• Evaluering af den begrænsede indsats

– selvevaluering• Evaluering af den omfattende indsats

– Professionel og fokuseret evaluering• Tværgående evaluering

– Professionel mere forskningspræget evaluering• Evaluering af et program

– Monitorering, registrering af aktiviteter og analyse af enkelt-stående evalueringer


Evaluering af virksomhedens egne arbejdsmiljøindsatser

• Realistisk evaluering også relevant i denne sammenhæng– Hvordan omsættes arbejdsmiljøpolitikker til konkrete

ændringer som forbedrer arbejdsmiljøet?– Hvilke virkemidler har vi til fremkalde de ønskede

handlinger?– Hvilke mekanismer får dem til at virke?– Hvordan spiller de sammen med virksomhedens

kontekst?• Vi mangler et mere specifikt begrebsapparat for

virkemidler og mekanismer


Tak for ordet

• Læs mere om CAVIs forskning på: www.cavinet.dk

• Deltag i diskussioner om virkemidler i CAVIs netværk: http://dea.nu/cavi

• Peter Hasle: [email protected]

http://www.cavinet.dk/

http://dea.nu/cavi

http://dea.nu/cavi

mailto:[email protected]

Documents

Evaluering af arbejdsmiljøindsatser – en teoretisk ramme