26
1 praktische theorie Niets zo praktisch als een goede theorie REIN HAUDENHUYSE De Realist Evaluation onderzoeksmethode

Jbom rein haudenhuyse

Embed Size (px)

DESCRIPTION

 

Citation preview

Page 1: Jbom rein haudenhuyse

1praktische theorie

Niets zo praktisch als een goede theorie

REIN HAUDENHUYSE

De Realist Evaluation onderzoeksmethode

Page 2: Jbom rein haudenhuyse

2praktische theorie

Pag.

wat doe ik, wie ben ik

Page 3: Jbom rein haudenhuyse

3praktische theorie

Pag.

het onzichtbare zien

  In onderzoek gaan we vaak op zoek naar een theorie (verklaringsmodel)– op de welke we onze ‘acties’ kunnen

bouwen (verantwoorden)

  Maar hoe zien we datgene dat niet zichtbaar is?

Page 4: Jbom rein haudenhuyse

4praktische theorie

Pag.

empirische generalisatie

theorie

hypothesen

observaties

inductie

deductietheorie ontwikkelen

hypothese testen

Page 5: Jbom rein haudenhuyse

5praktische theorie

Pag.

maar…

All generalizations are dangerous, including this one

(Dumas, A)

Even with the best and most supportive data, theories are never proved. At best, they are not disconfirmed by the data. There may be alternative theories that would provide equally plausible or better interpretations…

(Weiss, C)

Page 6: Jbom rein haudenhuyse

6praktische theorie

Pag.

een theorie bewijzen…

  - een gebrek aan veranderingen in bepaalde indicatoren betekent niet noodzakelijk dat niets goed aan het gebeuren is.

  - gemeten veranderingen in een evaluatie zijn niet noodzakelijk veroorzaakt door het programma / beleid.

  - we weten niet wanneer de verwachte uitkomsten zich zullen manifesteren (10 jaar?)

  - maar ook: één zwarte zwaan maakt nog niet alle zwanen zwart

Page 7: Jbom rein haudenhuyse

7praktische theorie

Pag.

Realist evaluation

  uitkomsten/ effecten vloeien enkel uit bepaalde mechanismen die geactiveerd worden in bepaalde omstandigheden.

  (Pawson & Tilley, 1996/2006)

  niet: werkt het of werkt het niet?  wel: wat heeft gewerkt, voor wie en

in welke omstandigheden?

Page 8: Jbom rein haudenhuyse

8praktische theorie

Pag.

mechanismencontext

uitkomsten

Page 9: Jbom rein haudenhuyse

9praktische theorie

Pag.

buskruit

  Onsteekt niet altijd wanneer de vlam wordt aangelegd. Waarom?

  Ontploft niet altijd wanneer de vlam is aangelegd. Waarom?

Page 10: Jbom rein haudenhuyse

10praktische theorie

Pag.

buskruit

  CMO configuration  Context: droog, genoeg poeder, zuurstof,

voldoende blootstelling aan de hitte …

  Mechanimen: chemische samenstelling (juiste mix van sulfaat + koolstof + natrium nitraat, dichtheid van van de vlokken)

  Uitkomsten: onsteking die zorgt voor de explosie– toepassing: vuurwerk, kogel afvuren of mijn

Page 11: Jbom rein haudenhuyse

11praktische theorie

Pag.

componenten

  Een beleid of een project zijn geen dingen die werken of niet werken, maar bevatten eerder bepaalde ideeën (theorieën) die werken voor bepaalde mensen in bepaalde omstandigheden

  (Pawson, 2006)

  verschuiving evaluatie  project => componenten  winnaars & verliezers

Page 12: Jbom rein haudenhuyse

12praktische theorie

Pag.

programma specificatie

theorie

hypothesen

observaties

mechanismen (m)

contexten (c)

uitkomsten (o)

wat zou kunnen werken voor wie

& in welke omstandigheden

wat werkt ,voor wie en in welke

omstandigheden

multi-methode data verzameling

& analyse van m,c,o

Page 13: Jbom rein haudenhuyse

13praktische theorie

Pag.

Hoe kan een theorie praktisch zijn?

  Theorieën= fundamenten van ons handelen

  Veronderstellingen die we vaak impliciet stellen

  -over hoe iets werkt  -over ‘jongeren’

Page 14: Jbom rein haudenhuyse

14praktische theorie

Pag.

sport » jeugdcriminaliteit

  wat veronderstellen we?  - sport heeft een effect op het individu =

zelfvertrouwen, positief zelfbeeld, morele ontwikkeling.

  - zelfvertrouwen, positief zelfbeeld hebben effect op anti-sociaal gedrag.

  - vermindering antisociaal gedrag effect op criminaliteit.

  - jongeren die criminele feiten plegen hebben een laag zelfbeeld en geen zelfvertrouwen.

  - aanbieden van vrijetijdsactiviteiten vervangt het doen van criminele activiteiten.

Page 15: Jbom rein haudenhuyse

15praktische theorie

Pag.

wat zegt onderzoek over onze theorieën

  - positief effect van sport op het individu is afhankelijk van – context, type begeleiding, karakteristieken van deelnemers en

sport concept

  - geen rechtlijnig verband tussen positief zelfbeeld en anti-sociaal gedrag

  - geen rechtlijnig verband tussen verhoogd zelfvertrouwen en minder criminaliteit

  onze basispremissen (logica) zijn niet ‘getest’, ‘gespecifieerd’ of ‘juist’

Page 16: Jbom rein haudenhuyse

16praktische theorie

Pag.

Hoe gaan we aan de slag?

1. expliciteren & articuleren van onze assumpties

Context - Mechanismen –Uitkomsten

2. selecteren van theorieën die we willen onderzoeken/evalueren

3. theorieën evalueren (onderzoek)4. theorieën specificeren

Page 17: Jbom rein haudenhuyse

17praktische theorie

Pag.

1. veronderstellingen

  Hoe werkt het, denken we?– Project documenten (bijv. visieteksten)

– retoriek – realiteit (!)

– Bevraging van betrokkenen (stakeholders)– hoe percipiëren zij de manier waarop iets

werkt?– niet evident om veronderstellingen te

articuleren (!)

Page 18: Jbom rein haudenhuyse

18praktische theorie

Pag.

2. Selecteren (concentrate fire)

Welke theorie?  - centraal (core business)  - waarover discussie/weerstand is

Welke theorie niet?- waar al reeds voldoende ‘bewijs’ beschikbaar is

Draagt bij tot een meer gedragen en duidelijke visie

Page 19: Jbom rein haudenhuyse

19praktische theorie

Pag.

3. theorieën evalueren

  onderzoeksdiscipline?– kwantitatief en kwalitatief – multi-methoden

  onderzoeksinstelling?– mijnwerker vs reisgenoot– wederzijds leerproces (gelijken)

Page 20: Jbom rein haudenhuyse

20praktische theorie

Pag.

3. theorieën evalueren

  onderzoeksdesign?– niet (quasi-)experimenteel wel CMO

– geen controle groep (RCT) design (populatie-

locatie)– sociaal wetenschappelijk onderzoek: zinloos en onpraktisch

– onbeantwoordbaar: wat indien de deelnemer niet/wel meegedaan

had of het project niet/wel geïmplementeerd zou geweest zijn.

– een controle groep heeft niets te maken met hetgeen we

onderzoeken. Zal geen beter begrip genereren over onze

inspanningen.

Page 21: Jbom rein haudenhuyse

21praktische theorie

Pag.

3. theorieën evalueren

  onderzoeksdesign?– niet controleren op of uitschakelen van

storende/controle variabelen in functie van het kunnen generaliseren, maar wel specificeren. – Je kan niet iemand zijn geslacht of SES

uitschakelen of controleren in de realiteit – wel subgroepen (winnaars – verliezers)

Page 22: Jbom rein haudenhuyse

22praktische theorie

Pag.

3. theorieën evalueren

  indicatoren?– coherente en logische manier gelinkt kunnen

worden aan de activiteiten en aan de uikomsten die verwacht worden van deze activiteiten

  methoden?– hangin’ out & asking questions– formeel & informeel– spontaniteit (gevaar van structuur)

– eigen onderzoek: ervaringen van jongeren

Page 23: Jbom rein haudenhuyse

23praktische theorie

Pag.

4. theorie specificeren

  Wat heeft nu gewerkt, voor wie en in welke omstandigheden?

  Wat heeft nu niet gewerkt, voor wie en in welke omstandigheden?

Page 24: Jbom rein haudenhuyse

24praktische theorie

Pag.

Iedereen onderzoeker

  academici– kritische vriend, reisgenoot– inzicht wetenschappelijke literatuur

– systematic review– domein/discipline overschrijdend

– competentie toepassing onderzoeksmethoden

– bouwen aan een cumulatief kennisproces

Page 25: Jbom rein haudenhuyse

25praktische theorie

Pag.

laatste woord

  Wees niet  - te haastig met meten  - te snel in het zoeken naar bevindingen

  zonder eerst een goed begrip te hebben van wat precies onderzocht zal worden

Page 26: Jbom rein haudenhuyse

26praktische theorie

DANK U

rhaudenh&vub.ac.be

QuickTime™ en een-decompressor

zijn vereist om deze afbeelding weer te geven.