Upload
steunpunt-jeugd
View
811
Download
2
Embed Size (px)
DESCRIPTION
Citation preview
1praktische theorie
Niets zo praktisch als een goede theorie
REIN HAUDENHUYSE
De Realist Evaluation onderzoeksmethode
2praktische theorie
Pag.
wat doe ik, wie ben ik
3praktische theorie
Pag.
het onzichtbare zien
In onderzoek gaan we vaak op zoek naar een theorie (verklaringsmodel)– op de welke we onze ‘acties’ kunnen
bouwen (verantwoorden)
Maar hoe zien we datgene dat niet zichtbaar is?
4praktische theorie
Pag.
empirische generalisatie
theorie
hypothesen
observaties
inductie
deductietheorie ontwikkelen
hypothese testen
5praktische theorie
Pag.
maar…
All generalizations are dangerous, including this one
(Dumas, A)
Even with the best and most supportive data, theories are never proved. At best, they are not disconfirmed by the data. There may be alternative theories that would provide equally plausible or better interpretations…
(Weiss, C)
6praktische theorie
Pag.
een theorie bewijzen…
- een gebrek aan veranderingen in bepaalde indicatoren betekent niet noodzakelijk dat niets goed aan het gebeuren is.
- gemeten veranderingen in een evaluatie zijn niet noodzakelijk veroorzaakt door het programma / beleid.
- we weten niet wanneer de verwachte uitkomsten zich zullen manifesteren (10 jaar?)
- maar ook: één zwarte zwaan maakt nog niet alle zwanen zwart
7praktische theorie
Pag.
Realist evaluation
uitkomsten/ effecten vloeien enkel uit bepaalde mechanismen die geactiveerd worden in bepaalde omstandigheden.
(Pawson & Tilley, 1996/2006)
niet: werkt het of werkt het niet? wel: wat heeft gewerkt, voor wie en
in welke omstandigheden?
8praktische theorie
Pag.
mechanismencontext
uitkomsten
9praktische theorie
Pag.
buskruit
Onsteekt niet altijd wanneer de vlam wordt aangelegd. Waarom?
Ontploft niet altijd wanneer de vlam is aangelegd. Waarom?
10praktische theorie
Pag.
buskruit
CMO configuration Context: droog, genoeg poeder, zuurstof,
voldoende blootstelling aan de hitte …
Mechanimen: chemische samenstelling (juiste mix van sulfaat + koolstof + natrium nitraat, dichtheid van van de vlokken)
Uitkomsten: onsteking die zorgt voor de explosie– toepassing: vuurwerk, kogel afvuren of mijn
11praktische theorie
Pag.
componenten
Een beleid of een project zijn geen dingen die werken of niet werken, maar bevatten eerder bepaalde ideeën (theorieën) die werken voor bepaalde mensen in bepaalde omstandigheden
(Pawson, 2006)
verschuiving evaluatie project => componenten winnaars & verliezers
12praktische theorie
Pag.
programma specificatie
theorie
hypothesen
observaties
mechanismen (m)
contexten (c)
uitkomsten (o)
wat zou kunnen werken voor wie
& in welke omstandigheden
wat werkt ,voor wie en in welke
omstandigheden
multi-methode data verzameling
& analyse van m,c,o
13praktische theorie
Pag.
Hoe kan een theorie praktisch zijn?
Theorieën= fundamenten van ons handelen
Veronderstellingen die we vaak impliciet stellen
-over hoe iets werkt -over ‘jongeren’
14praktische theorie
Pag.
sport » jeugdcriminaliteit
wat veronderstellen we? - sport heeft een effect op het individu =
zelfvertrouwen, positief zelfbeeld, morele ontwikkeling.
- zelfvertrouwen, positief zelfbeeld hebben effect op anti-sociaal gedrag.
- vermindering antisociaal gedrag effect op criminaliteit.
- jongeren die criminele feiten plegen hebben een laag zelfbeeld en geen zelfvertrouwen.
- aanbieden van vrijetijdsactiviteiten vervangt het doen van criminele activiteiten.
15praktische theorie
Pag.
wat zegt onderzoek over onze theorieën
- positief effect van sport op het individu is afhankelijk van – context, type begeleiding, karakteristieken van deelnemers en
sport concept
- geen rechtlijnig verband tussen positief zelfbeeld en anti-sociaal gedrag
- geen rechtlijnig verband tussen verhoogd zelfvertrouwen en minder criminaliteit
onze basispremissen (logica) zijn niet ‘getest’, ‘gespecifieerd’ of ‘juist’
16praktische theorie
Pag.
Hoe gaan we aan de slag?
1. expliciteren & articuleren van onze assumpties
Context - Mechanismen –Uitkomsten
2. selecteren van theorieën die we willen onderzoeken/evalueren
3. theorieën evalueren (onderzoek)4. theorieën specificeren
17praktische theorie
Pag.
1. veronderstellingen
Hoe werkt het, denken we?– Project documenten (bijv. visieteksten)
– retoriek – realiteit (!)
– Bevraging van betrokkenen (stakeholders)– hoe percipiëren zij de manier waarop iets
werkt?– niet evident om veronderstellingen te
articuleren (!)
18praktische theorie
Pag.
2. Selecteren (concentrate fire)
Welke theorie? - centraal (core business) - waarover discussie/weerstand is
Welke theorie niet?- waar al reeds voldoende ‘bewijs’ beschikbaar is
Draagt bij tot een meer gedragen en duidelijke visie
19praktische theorie
Pag.
3. theorieën evalueren
onderzoeksdiscipline?– kwantitatief en kwalitatief – multi-methoden
onderzoeksinstelling?– mijnwerker vs reisgenoot– wederzijds leerproces (gelijken)
20praktische theorie
Pag.
3. theorieën evalueren
onderzoeksdesign?– niet (quasi-)experimenteel wel CMO
– geen controle groep (RCT) design (populatie-
locatie)– sociaal wetenschappelijk onderzoek: zinloos en onpraktisch
– onbeantwoordbaar: wat indien de deelnemer niet/wel meegedaan
had of het project niet/wel geïmplementeerd zou geweest zijn.
– een controle groep heeft niets te maken met hetgeen we
onderzoeken. Zal geen beter begrip genereren over onze
inspanningen.
21praktische theorie
Pag.
3. theorieën evalueren
onderzoeksdesign?– niet controleren op of uitschakelen van
storende/controle variabelen in functie van het kunnen generaliseren, maar wel specificeren. – Je kan niet iemand zijn geslacht of SES
uitschakelen of controleren in de realiteit – wel subgroepen (winnaars – verliezers)
22praktische theorie
Pag.
3. theorieën evalueren
indicatoren?– coherente en logische manier gelinkt kunnen
worden aan de activiteiten en aan de uikomsten die verwacht worden van deze activiteiten
methoden?– hangin’ out & asking questions– formeel & informeel– spontaniteit (gevaar van structuur)
– eigen onderzoek: ervaringen van jongeren
23praktische theorie
Pag.
4. theorie specificeren
Wat heeft nu gewerkt, voor wie en in welke omstandigheden?
Wat heeft nu niet gewerkt, voor wie en in welke omstandigheden?
24praktische theorie
Pag.
Iedereen onderzoeker
academici– kritische vriend, reisgenoot– inzicht wetenschappelijke literatuur
– systematic review– domein/discipline overschrijdend
– competentie toepassing onderzoeksmethoden
– bouwen aan een cumulatief kennisproces
25praktische theorie
Pag.
laatste woord
Wees niet - te haastig met meten - te snel in het zoeken naar bevindingen
zonder eerst een goed begrip te hebben van wat precies onderzocht zal worden
26praktische theorie
DANK U
rhaudenh&vub.ac.be
QuickTime™ en een-decompressor
zijn vereist om deze afbeelding weer te geven.