Upload
others
View
8
Download
0
Embed Size (px)
Citation preview
Methodologie van praktijkgericht onderzoekdr. Jac Christis
Methodologie van praktijkgericht onderzoekdr. Jac Christis
26 november 2020
3
Inhoud
Ter Ingeleide ........................................................................................................................................................................................................................................ 5
Voorwoord: een boek met een geschiedenis ................................................................................................................................................................... 7
1. De methodologie van praktijkgericht fundamenteel en toegepast onderzoek ..................................................................................13
2. Fundamenteel (praktijkgericht) onderzoek: de empirische cyclus ............................................................................................................29
3. De professional en de interventiecyclus..................................................................................................................................................................49
4. Interventies uitvoeren en/of onderzoeken: orde in de chaos .......................................................................................................................65
5. Toegepast onderzoek in het kader van de interventiecyclus: de designs van toegepast onderzoek ...................................85
6. Toegepast onderzoek en de A3 methode: kwaliteitsbewaking zonder onderzoeksplan ........................................................... 107
7. Het driestromen model: combi neren van praktijkgericht funda menteel en toegepast onderzoek .......................................119
8. Organization Theory and Philosophy: dissolving the realism-constructivism debate ................................................................ 131
9. Problems: objective facts or subjective constructions? .............................................................................................................................. 149
Bibliografie ......................................................................................................................................................................................................................................165
4
5
Ter Ingeleide
Voor u ligt een boek over de methodologie van
praktijkgericht fundamenteel en toegepast
onderzoek. Het boek is geschreven door dr. Jac
Christis, ter gelegenheid van zijn afscheid als lector
‘Organisatieontwerp en Verandering’ (O&V)* aan de
Hanzehogeschool, waar hij van 2009 – 2020 lector is
geweest. Het lectoraat O&V maakt onderdeel uit van
het Marian van Os Centre of Expertise Ondernemen en
is verbonden aan het Instituut voor Bedrijfskunde. Het
lectoraat heeft ‘Slim Organiseren’ als kernthema en richt
zich op de sectoren MKB, zorg en het HBO. Het lectoraat
richt zich op het ondersteunen van individuele bedrijven
en instellingen op het gebied van procesinnovatie. Doel
daarvan is om door middel van slim organiseren zowel
de kwaliteit van de organisatie (in termen van kosten,
tijd en kwaliteit) als die van de arbeid (in termen van
stressrisico’s en leermogelijkheden) te verbeteren.
Jac heeft als grondlegger van het lectoraat een
stevige basis gelegd voor de toekomst. Hij heeft een
naam opgebouwd als specialist op het gebied van
systeemtheorie en organisatieontwerp (integratie Lean/
QRM/MST) en op het gebied van werkstress en werkdruk.
Op beide gebieden wordt de bijdrage van het lectoraat als
vernieuwend ervaren. Jac mag trots zijn op de behaalde
resultaten, die hij samen met zijn competente, bevlogen
en betrokken onderzoeksgroep heeft gerealiseerd. Het
werkveld heeft grote waardering voor de ontwikkelde
instrumentaria, zoals de werkdrukinstrumenten voor
HBO- en zorginstellingen. Ook heeft het lectoraat
beduidende meerwaarde voor het onderwijs en
scholing van docenten, zowel voor opleidingen in het
economisch domein, als in het technisch domein en de
zorgopleidingen. Dat alles doet het lectoraat op basis van
deugdelijke kennisontwikkeling, waarin wetenschappelijke
gedegenheid en praktijkrelevantie hand in hand gaan. Jac
publiceert regelmatig in wetenschappelijke tijdschriften
en is mede daardoor een veelgevraagd spreker, ook
internationaal.
Wij hebben Jac ervaren als een degelijke, kritische en
veelzijdige onderzoeker. Slim onderzoeken om slim
te organiseren gaan bij Jac hand in hand. De manier
waarop praktijkgericht onderzoek wordt vormgegeven,
zowel uitgevoerd door lectoren en docentonderzoekers
als door studenten, heeft hem altijd in grote mate
geboeid. Hij zat ook zeker voor in de klas, wanneer het
gesprek ging over hoe wij onderzoek uitvoeren in de
vele innovatiewerkplaatsen die de Hanzehogeschool rijk
is. Met name was hij daarin begaan met het helpen van
studenten die soms vastliepen in hoe ze een vraagstuk
uit de praktijk onderzoekmatig kunnen aanpakken. Jac
is door de jaren heen voor het Centre of Expertise een
belangrijke sparring partner geweest in het denken
over en vormgeven van praktijkgericht onderzoek in de
context van het HBO. Dit thema, dat in den lande volop
in ontwikkeling is, heeft hem geïnspireerd om een aantal
artikelen aan te wijden. Inmiddels vormen deze artikelen
de basis voor dit serieuze boek, waarin Jac handreikingen
biedt voor lectoren en docentonderzoekers om
praktijkgericht onderzoek uit te voeren in het HBO.
* Het lectoraat ‘Organisatieontwerp en Verandering’ (O&V) heette voorheen het lectoraat ‘Arbeidsorganisatie & Arbeidsproductiviteit’ (A&A).
6
Het praktijkgerichte onderzoek in het HBO heeft de
afgelopen decennia een enorme vlucht voorwaarts
genomen. De Hanzehogeschool is hierin een belangrijke
speler, met meer dan 50 lectoren verbonden aan
drie grote Centres of Expertise en drie kenniscentra.
Middels ons praktijkgerichte onderzoek willen wij impact
realiseren, ter versterking van instellingen en bedrijven
in de regio. Ons praktijkgerichte onderzoek, zowel
toegepast als fundamenteel, is tevens van eminent
belang voor het leer- en ontwikkelproces van onze
studenten en docentonderzoekers. Wij hebben dan
ook enorm veel waardering voor deze prachtige reeks
artikelen die Jac als ‘legacy’ aan de Hanzehogeschool
schenkt. Mogelijk vormt deze reeks artikelen een opmaat
voor een handboek methodologie voor lectoren en
docentonderzoekers in het HBO.
Wij zijn Jac veel dank verschuldigd voor zijn inspirerende
en degelijke bijdragen aan de Hanzehogeschool en de
beroepspraktijk en wensen hem een hele goede toekomst
toe.
Drs. Renate Coumou, dean Instituut voor Bedrijfskunde
Dr. Hugo Velthuijsen, directeur Marian van Os Centre of
Expertise Ondernemen
7
Voorwoord: een boek met een geschiedenis
Van een artikel naar een boek
Dit boek is begonnen als een artikel over de A3 methode
waarvan mijn Nijmeegse meelezers (Jan Achterbergh
en Harrie Regtering) zeiden dat het materiaal voor
drie artikelen bevatte: voordat je de A3 methode kunt
uitleggen moet je eerst behandelen wat het verschil
is tussen praktijkgericht fundamenteel en toegepast
onderzoek. Dat was goed gezien. Het ene artikel werden
er drie en telkens als ik merkte dat een onderwerp te veel
ruimte in beslag begon te nemen werd het een nieuw
artikel. Zo ging het van een naar drie, van drie naar vijf,
van vijf naar zeven artikelen en als er geen deadline was
geweest waren het er nog meer geworden. Deze artikelen
zijn de hoofdstukken van dit boek geworden.
Aan de zeven artikelen heb ik twee nooit
gepubliceerde artikelen toegevoegd die nog
steeds relevant zijn voor het onderwerp. Het
eerste is een Wittgensteiniaans analyse van het
realisme-constructivisme debat en het tweede een
Wittgensteiniaans analyse van de vraag of problemen
nu objectieve feiten of subjectieve constructies zijn. Het
eerste beschouw ik nog steeds als een van mijn beste
artikelen en het tweede zou ik hebben herschreven als ik
meer tijd had gehad.
Lector aan de Hanzehogeschool: integreren
praktijkgericht fundamenteel en toegepast onderzoek
Ga ik verder terug in de tijd, dan is dit boek begonnen
in januari 2009 en het resultaat van mijn werk als lector
Organisatieontwerp en Verandering (‘slim organiseren’)
aan de Hanzehogeschool Groningen. Een lector
moet samen met het werkveld onderzoeksvoorstellen
ontwikkelen (vraagarticulatie), daar externe financiering
voor zien te krijgen (acquisitie) en, als dat lukt, het
onderzoek samen met docenten en studenten uitvoeren
(praktijkgericht onderzoek). Dat betekent in mijn opvatting
dat je
• Samen met docentonderzoekers studenten begeleidt
bij hun toegepaste onderzoeksprojecten (zie het
artikel over de A3 methode).
• Samen met docentonderzoekers praktijkgericht
fundamenteel onderzoek uitvoert dat, in de woorden
van Van Aken en Andriessen, nieuwe, generieke
kennis voor de praktijk oplevert (het verschil tussen
praktijkgericht fundamenteel en toegepast onderzoek
is het thema van het hele boek).
• In bijvoorbeeld SIA-RAAK projecten het toegepast
onderzoek van studenten combineert en integreert
met het praktijkgerichte fundamenteel onderzoek
van de docentonderzoekers (zie het artikel over het
driestromen model).
Daarnaast heb ik, samen met Annet Jantien Smit,
cursussen ‘Designs van praktijkgericht onderzoek’
gegeven aan docenten en docententeams van
de Hanzehogeschool. Uitgangspunt daarvan was
de beslisboom waarmee het eerste artikel van dit
boek eindigt en dat in de daaropvolgende artikelen
uitgewerkt wordt. Het is altijd ons idee geweest
deze beslisboom tot een handboek uit te werken: je
kijkt naar je onderzoeksvraag, bepaalt aan de hand
daarvan om wat voor soort onderzoek het gaat en
welke onderzoeksdesigns daarbij horen, je slaat het
desbetreffende hoofdstuk open en weet wat je voor
8
je onderzoek moet doen. Docenten hebben ons vaak
gevraagd ‘wanneer komt dat boek er nou?’ Dit is niet dat
boek, maar wel een eerste stap daar naar toe.
UHD systeemtheorie aan de Radboud Universiteit
Nijmegen: wat zijn kundes?
Ga ik nog verder terug in de tijd dan kom ik terecht
bij november 1998, de start van mijn tijd als UHD
Systeemtheorie aan de bedrijfskundeopleiding van de
Radboud Universiteit Nijmegen. Veel van de ideeën die
in dit boek staan vinden daar hun oorsprong: over wat
praktijkwetenschappen of kundes zijn, waarom je die als
onderzoeker en als professional kunt beoefenen en wat
de verschillen tussen het praktijkgerichte fundamentele
onderzoek van de een en het toegepast onderzoek van
de ander zijn. Dat vereist enige toelichting.
Als bachelor coördinator heb ik destijds meegewerkt
aan het ontwikkelen van een nieuw profiel voor de
opleiding bedrijfskunde en een nieuw daarop aangepast
curriculum. In dat profiel staat (nog steeds) dat deze
opleiding studenten opleidt tot academisch onderzoeker
en/of professional in de sociaalwetenschappelijke
en integrale bedrijfskunde. Daaraan is een discussie
voorafgegaan over wat kundes in het algemeen en
bedrijfskunde in het bijzonder nu eigenlijk is: een
interdiscipline die je als onderzoeker en als professional
kunt beoefenen en die studenten in staat stelt problemen
in hun onderlinge samenhang (integraal) te analyseren en
op te lossen. Ik neem de elementen een voor een door,
want ze komen allemaal in dit boek terug.
Interdiscipline. Dus geen technische, geen
economische, maar sociaalwetenschappelijke
bedrijfskunde en dus ook drie grote
sociaalwetenschappelijke vakken in het curriculum.
Onderzoeker en professional. Dus niet alleen het HBO
maar ook de universiteit leidt professionals op. Onze
studenten kregen daarom al in het eerste jaar een cursus
onderzoeksmethodologie waarin zowel de empirische
cyclus (de onderzoeker) als de interventiecyclus (de
professional) behandeld werd en in het derde jaar een vak
interventiemethodologie. En onze studenten mochten,
ook in de master, afstuderen op toegepast, bijvoorbeeld
diagnostisch onderzoek, want dat behoort tot de praktijk
van professional.
Academisch onderzoeker en professional. Het
academisch gehalte van de opleiding ligt besloten in het
academisch gehalte van de gebruikte begrippen (taal) en
theorieën of, eenvoudig geformuleerd, in het academisch
gehalte van de gebruikte literatuur. Aan een HBO
opleiding ben je aangewezen op goede professionele
literatuur. En tot mijn schande moet ik bekennen dat ik te
laat heb ontdekt dat er ook goede professionele literatuur
bestaat. In mijn ervaring is het verschil dit: universitaire
studenten moeten veel (academische) literatuur lezen en
doen weinig praktijkprojecten en HBO studenten hoeven
minder (professionele) literatuur te lezen en doen meer
praktijkprojecten. Het is zeker niet zo dat het een betere
professionals oplevert dan het ander. Volgens mij is het
gewoon van de kwaliteit van je opleiding afhankelijk of je
goede professionals aflevert.
Integrale bedrijfskunde. Daar bestaat geen vak voor
(alhoewel je zou kunnen verdedigen dat systeemtheorie
daarbij helpt). Onder de bezielende leiding van Herman
van den Bosch zijn we destijds met semesterteams gaan
werken: stabiele teams van docenten die verschillende
vakken geven aan een beperkt aantal soortgelijke
studenten, namelijk die van hetzelfde semester. Elk
semester had een thema, een integratie vak en een
integratieproject. Integreren leer je aan de hand van
concrete probleemgevallen.
Je kunt je voorstellen dat dit curriculum niet
zonder slag of stoot tot stand is gekomen. We gingen
van een opleiding met een groot aantal kleine vakken
naar een opleiding met een klein aantal grote vakken
(deels facultair vastgestelde vakken). Bovendien
kwamen er door het nieuwe profiel nieuwe vakken
9
bij. De verdelingsruimte was dus klein: er moesten
vakken geschrapt en/of samengevoegd worden. Van
Thompson (1967) is de uitspraak dat een curriculum een
wapenstilstand is en een curriculumwijziging een oorlog.
Dat was in Nijmegen niet anders.
Leerstoelgroep ‘Organization Design & Change’: de
methodologie van toegepast onderzoek
Ik was als UHD verbonden aan de leerstoelgroep
‘Organization Design & Change.’ Die leerstoelgroep
bestond voor de helft uit een bolwerk van
systeemtheoretici en sociotechnici. De sociotechniek is,
in de woorden van Ulbo de Sitter, een structuurtheorie
die ontwerpers gebruiken voor structuuranalyse
(diagnose) en structuurbouw (herontwerpen). Wij waren
dus ontwerpers die de sociotechniek door fundamenteel
onderzoek verder ontwikkelden, bijvoorbeeld door die te
integreren met het werk van andere systeemtheoretici,
met het werk van Porter en Christensen, met ‘lean
production’ of empirisch te vergelijken met theorieën
over Shared Service Centers en Multidimensionaal
Organiseren.
En we begeleidden studenten bij hun toegepaste
afstudeeronderzoek. Die afstudeerprojecten
hadden vaak de volgende standaardvorm: wat zijn
de problemen van organisatie X (op het gebied van
de kwaliteit van de organisatie, van de arbeid en
van de arbeidsverhoudingen), zijn deze problemen
structuurbepaald en zo ja, in welke richting moet die
structuur herontworpen worden (oplossingsruimte)?
Gestuurd door het methodologieonderwijs schreven al die
studenten op dat hun design dat van een case studie is
(lage externe en hoge interne validiteit). Dat past natuurlijk
niet op een diagnostisch onderzoek: of organisatie
X problemen heeft is onafhankelijk van de vraag of
andere organisaties problemen hebben. Idem voor de
structuurvraag en de oplossingsruimte. Dat leidde tot,
soms felle, discussies met de methodologiecollega’s.
De weerslag daarvan kun je nalezen in het artikel
van Achterbergh, Vriens, Doorewaard (2009) over de
logica van diagnostisch onderzoek (verschenen in het
liber amicorum voor Piet Verschuren) en het artikel
van Christis, Fruytier (2013) over de methodologie
van praktijkgericht onderzoek (verschenen in het liber
amicorum voor Hans Doorewaard). In dat laatste artikel
staat de eerste versie van de beslisboom die centraal
staat in dit boek en waarmee je, aan de hand van je
onderzoeksvraag, kunt bepalen wat voor type onderzoek
een student uitvoert en welke designs daarbij horen.
Bovendien heb ik een aantal jaren meegedaan aan
de scriptiegroep van Marc van Hooft over participatief
actieonderzoek (Marc is een specialist op dit gebied).
Studenten die daaraan meededen voerden geen
onderzoek uit, maar organiseerden als facilitator ‘future
search conferences’ of burgerparticipatieprojecten.
In Nijmegen kon je dus niet alleen als toegepast
onderzoeker afstuderen, maar ook als facilitator, die zelf
geen onderzoek uitvoert.
Onderzoeker bij het NIA: van socioloog naar
bedrijfskundige
Voordat ik aan de Nijmeegse bedrijfskunde opleiding
kwam te werken heb ik tien jaar als onderzoeker gewerkt
bij het Nederlands Instituut voor Arbeidsomstandigheden
(NIA), voorheen het CCOZ, daarna NIA-TNO en nu
een TNO instituut. Ik kwam daar binnen als socioloog,
afgestudeerd in de sociologie van arbeid en bedrijf. En
ik ging daar als bedrijfskundige uit. Dat is bijzonder,
want ik kan mij uit mijn studententijd herinneren dat ik
vrienden die pedagogie of onderwijskunde studeerden,
plaagde met de opmerking dat wat zij deden geen echte
wetenschap was: een beetje psychologie, een beetje
sociologie en veel te praktijkgericht. Dan sociologie: dat
is echte wetenschap. Ik leed in die tijd aan wat Campbell
(2005) het etnocentrisme van de basisdisciplines noemt.
Dat veranderde aan het NIA. Daar werd praktijkgericht
10
onderzoek uitgevoerd en dat vereist een interdisciplinaire
aanpak. Als je een brede belangstelling hebt dan is de
bedrijfskunde ideaal: je kunt neuzen in alle disciplines
en interdisciplines: niet alleen de sociologie, maar ook
de psychologie, antropologie, economie, geschiedenis,
filosofie en recht van arbeid en organisatie. En doordat je
zoektocht gestuurd wordt door het probleem waar je mee
bezig bent loop je minder kans jezelf te verliezen in deze
zoektocht.
Ik vind dus bedrijfskunde het mooiste vak dat
er is. Ik ben mij ervan bewust dat niet iedereen dat
enthousiasme deelt. Volgens Ewald Engelen moet je die
opleiding zo snel mogelijk opheffen. Ik kan mij daar iets
bij voorstellen. Wanneer ik op feestjes en partijen vertel
dat ik bedrijfskundige ben, wordt daar door anderen
vaak aan toegevoegd: ‘maar hij is eigenlijk socioloog
hoor!’ Ik denk echter dat Ewald het met me eens is (1)
dat de economische wetenschap eerder voor opheffing
in aanmerking komt: die richt veel meer schade aan, (2)
dat het meer gaat om goede en slechte bedrijfskunde en
economie, temeer omdat (3) Ewald zelf terecht cum laude
gepromoveerd is op een bedrijfskundig proefschrift over
industriële democratie: er moet dus, ook volgens Ewald,
goede bedrijfskunde mogelijk zijn.
Leiding geven en coördineren
In mijn NIA tijd werd mij in een functioneringsgesprek
het volgende meegedeeld: ‘Jac, je bent een prima
onderzoeker, maar je zit aan de top van je loopbaan.
Wil je doorgroeien, dan moet je leidinggevende worden.
Je zult het met ons eens zijn dat zoiets niets voor jou
is. Eigenlijk hoor jij op de universiteit thuis. Daarvoor
zul je moeten promoveren en wij geven je uren om
daarmee te beginnen.” Dat was een prima voorstel
en in 1998 ben ik cum laude gepromoveerd op het
onderwerp ‘Arbeid, organisatie en stress’ bij dezelfde
promotor als Ewald. Wij behoren beide tot de ‘Veit
Bader school’: goede bedoelingen en nieuwe ideeën
zijn niet genoeg. Je moet onderzoeken of die nieuwe
ideeën ook goede ideeën zijn. Dat is hard werken. Als je
daarbij theoretische en praktische problemen tegenkomt
dan los je die op door (1) te differentiëren (door meer
begrippen en onderscheidingen te introduceren) en
(2) te desaggregeren (door meer analyseniveaus te
introduceren).
Al snel na het afronden van mijn proefschrift kwam
ik in Nijmegen terecht. En wat gebeurt daar? Binnen de
kortste keren werd ik semester coördinator en niet lang
daarna leerstoelgroep coördinator (omdat de hoogleraar
Dean van de faculteit was geworden). Ik moest dus
taaklasttabellen invullen en samen hebben we de BaMa
structuur ingevoerd (van een tweejarig doctoraal naar een
eenjarige master). En niet lang daarna werd ik bachelor
coördinator met als opdracht: ontwikkel een voorstel voor
een nieuw profiel en een daarop aangepast curriculum.
Voor iemand die niet geschikt is voor een leidinggevende
functie zijn dit toch op zijn minst semi-leidinggevende
functies.
Terug naar de hogeschool en het lectoraat: mijn ‘dream
team’
Ik moet zeggen dat ik van al mijn coördinerende functies,
het coördineren van het lectoraat het leukste heb
gevonden. Toen ik in 2009 aan de Hanze begon zat ik in
Nijmegen een beetje vast. Ik ben de Hanzehogeschool
Groningen dan ook dankbaar dat ze me de kans hebben
gegeven mijn beroepsloopbaan met plezier in mijn
werk te kunnen beëindigen (in Groningen heb ik de lol
in mijn werk weer teruggevonden). De ontvangst door
de lectoren en programmamanager van het Kennis
Centrum Arbeid was een warm bad en de samenwerking
uitermate prettig. Dat geldt ook voor de samenwerking
met (de teamleiders van) de opleidingen Bedrijfskunde,
Management in de Zorg en Technische Bedrijfskunde
en voor de gesprekken met de opeenvolgende
Deans van het Instituut voor Bedrijfskunde (vooral
11
de werkoverleggen met mijn eerste Dean, Rob van
Linschoten, heb ik als beginnend lector als bijzonder
prettig ervaren).
Maar bovenaan staat de samenwerking met
mijn docentonderzoekers (mijn ‘dream team’). Ik ben
begonnen als een controlefreak die niets uit handen
kan geven en zich overal verantwoordelijk voor voelt.
Dat hebben ze stap voor stap ‘afgebroken.’ Dat begon
met Hester (mijn management assistente): “Jac, heb
je nog werk voor me?” en met Rechiena: “Jac, ik ben
projectleider. Zal ik de vergaderingen voorbereiden
en de agenda opstellen?” En ik ben geëindigd als
iemand die de zaken los kan laten en op zijn team
durft te vertrouwen. Ik hoef nu niet meer van te
voren alle problemen opgelost en alle beslissingen
genomen te hebben. In plaats daarvan kan ik tijdens
vergaderingen ontspannen achterover leunen om te
zien hoe mijn team problemen bediscussieert, oplost
en beslissingen neemt, hoe moeilijk die problemen en
beslissingen ook zijn. Ik discussieer natuurlijk wel mee
(zonder discussie krijg ik geen nieuwe ideeën) maar het
lectoraat hebben we in de loop der tijd georganiseerd
als een samenwerkingsproces: iedereen doet met alles
mee, praat over alles mee en beslist over alles mee.
In die zin zijn we het tegendeel van een hiërarchisch
georganiseerde ‘lectoraatspyramide.’
Tijdens een van onze vergaderingen hebben
we eens een felle discussie gehad over de vraag of
leidinggevenden hun medewerkers moeten kunnen
motiveren en inspireren. Mijn docentonderzoekers
vonden van wel en ik van niet: dan ga je er vanuit dat
medewerkers niet gemotiveerd en geïnspireerd zijn. Dat
lijkt mij beledigend voor die medewerkers en zelf ben
ik nooit met motiveren of inspireren bezig geweest (“als
je niet gemotiveerd bent, kom je er niet in”). Uiteindelijk
kwamen we op het volgende compromis uit: je moet
elkaar motiveren en inspireren. Volgens mij zijn we daar
erg goed in geslaagd en was dat eerder het onbedoelde
resultaat van de manier waarop we samenwerkten dan
van bewuste pogingen daartoe. Dus: jullie waren een
inspirerende club waar ik veel van heb geleerd en erg van
heb genoten: ik zal de samenwerking met jullie missen.
Expertisecentrum ‘slim organiseren’
Bij mijn aanstellingsgesprek met het CvB werd mij
naar mijn ambities gevraagd. Mijn antwoord luidde: het
ontwikkelen van een expertisecentrum ‘slim organiseren.’
Volgens mij zijn we daar goed in geslaagd. Een thema
(‘slim organiseren’) toepassen in drie sectoren (MKB, zorg
en HBO onderwijs) levert synergie op, zowel inhoudelijk
als in werkwijze: docentonderzoekers kunnen makkelijk
van project/sector wisselen.
Vanaf het begin hebben we geprobeerd onze
praktijkproducten in de vorm van web-based online
handleidingen te gieten. De eerste was nog uitproberen
en leren. De tweede (over het integreren van lean
procesverbetering met duurzaamheid) was al een stuk
beter. Bij het ontwerpen van zo’n website worden de
taken verdeeld en moet iedereen ‘met de billen bloot.’
Je producten worden door anderen becommentarieerd
en gecorrigeerd. Dat is even wennen. Ook die stap
zijn we goed doorgekomen. We hebben geleerd te
accepteren dat je niet overal even goed in kunt zijn en
van anderen kunt leren. Je kunt dan gezamenlijk trots
zijn op het eindresultaat. Onze derde website (over
werkdrukvermindering door procesverbetering) is dan
ook een ‘beauty’ geworden. Daarin hebben we het in
een eerder project ontwikkelde werkdrukinstrument voor
teamleiders in de zorg gekoppeld aan een methodiek om
knelpunten op werkdrukgebied te analyseren en op te
lossen. De website is erg mooi geworden
(https://minderwerkdrukindezorg.nl/). Volgens ons is
het de enige methodiek die op zoek gaat naar feitelijke
in plaats van naar ervaren werkdruk. Hiermee kun je
voorkomen dat een discussie die start met de feitelijke
werkdruk (‘daar hebben we allemaal last van’) eindigt
12
in een discussie over ervaren werkdruk (‘dat is voor
iedereen anders’). Je voorkomt zo, met andere woorden,
dat je in het fitness centrum zwetend op een hometrainer
zit en denkt: ‘maar het begon toch allemaal met de
werkdruk die te hoog was? Hoe ben ik dan hier terecht
gekomen?’. De belangstelling uit het veld is dan ook
groot. We hebben in opdracht van Zestor een variant
voor het HBO gemaakt en in opdracht van de Stichting
Openbare Bibliotheken een variant voor de bibliotheken.
En het nog lopende project over de organisatie
van het voortraject bij klantspecifieke productie (hoe
organiseer je de samenwerking tussen verkoop,
engineering, werkvoorbereiding en planning?) staat
als een huis en zal zeker ook een mooi praktijkproduct
opleveren.
Jac Christis
november 2020
13
1. De methodologie van praktijkgericht fundamenteel en toegepast onderzoek
Of: wat is er mis met het onderscheid tussen fundamenteel en praktijkgericht onderzoek?
Praktijkgericht onderzoek hoort vooral bij de toegepaste wetenschappen, praktijkwetenschappen, ontwerpwetenschappen of kundes. Praktijkgericht onderzoek kan zowel fundamenteel zijn (het domein van de onderzoeker) als toegepast (het domein van de professional). Het is daarom een misverstand om praktijkgericht onderzoek te contrasteren met fundamenteel (ook wel: theoriegericht) onderzoek. In deze bijdrage inventariseren we de gevolgen van dit misverstand voor (het onderwijs in) de methodologie van praktijkgericht onderzoek.
1. Waarom zou praktijkgericht onderzoek niet fundamenteel kunnen zijn?
Inleiding
In de Nederlandse discussie treffen we twee opvattingen
aan over praktijkgericht onderzoek. In de ‘Doorewaard/
Verschuren (D/V) traditie’ wordt praktijkgericht
onderzoek gecontrasteerd met fundamenteel onderzoek:
praktijkgericht onderzoek is iets anders dan fundamenteel
onderzoek en daar heb je dus ook een andere
methodologie voor nodig. In de ‘Van Aken/Andriessen
(VA&A) traditie’ wordt gesteld dat praktijkgericht
onderzoek wel degelijk fundamenteel is: het is een vorm
van ‘use-inspired basic research’ (Stokes 1997). Binnen
praktijkgericht onderzoek maken VA&A een onderscheid
tussen verklarend en ontwerpgericht onderzoek. Voor
verklarend onderzoek zou geen en voor ontwerpgericht
onderzoek zou wel een nieuwe methodologie vereist zijn.
Dat is de methodologie van ontwerpgericht onderzoek,
design science, of design research.
In deze bijdrage sluit ik aan bij de ‘VA&A traditie.’ Ik maak
echter binnen praktijkgericht onderzoek een verschil
tussen fundamenteel en toegepast onderzoek. En ik zal
laten zien:
• Dat ontwerpgericht onderzoek ook verklarend
onderzoek is.
• Dat er geen verschil bestaat tussen de methodologie
van zuiver fundamenteel en praktijkgericht
fundamenteel onderzoek: in beide gevallen doorloop
je de empirische cyclus.
• Dat er een groot verschil bestaat in de methodologie
van praktijkgericht fundamenteel en toegepast
onderzoek. In het laatste geval doorloop je niet de
empirische, maar de interventiecyclus.
• Dat er daarom vooral behoefte bestaat aan een
‘Handboek Methodologie van Toegepast Onderzoek
in het kader van de Interventiecyclus’ zowel voor
studenten als voor docenten die hen moeten
begeleiden.
14
Doorewaard en Verschuren: fundamenteel versus
praktijkgericht onderzoek
Als je, zoals in de D/V traditie een onderscheid maakt
tussen fundamenteel (theoriegericht) en praktijkgericht
onderzoek, ga je er van uit dat praktijkgericht onderzoek
niet fundamenteel kan zijn. Dat lijkt mij onjuist. In de
wetenschap treffen we naast de ‘basic sciences’ of
zuivere wetenschappen ook ‘applied sciences’ aan.
Daartoe behoren niet alleen de geneeskunde en de
technische wetenschappen, maar ook onderwijskunde,
bedrijfskunde, communicatiewetenschappen, rechten,
bouwkunde, Europa studies, enzovoort. Ze hebben
met elkaar gemeen dat ze zich ieder specialiseren op
het analyseren en oplossen van praktijkproblemen. We
noemen ze daarom ook wel praktijkwetenschappen of
ontwerpwetenschappen. Wij noemen dit in dit artikel
voortaan de kundes.
Het praktijkgericht onderzoek van de kundes
kan twee vormen aannemen. Het kan fundamenteel
onderzoek zijn dat gericht is op het ontwikkelen van
nieuwe generieke kennis voor de desbetreffende kunde.
En het kan toegepast onderzoek zijn waarin deze kennis
door professionals gebruikt wordt bij het analyseren
en oplossen van problemen van individuele patiënten,
leerlingen, bedrijven, gezinnen, regio’s, enzovoort.
Neem kankeronderzoek als voorbeeld. Eerste vraag:
is dat fundamenteel onderzoek? Antwoord: ja, want het
levert nieuwe generieke kennis op over oorzaken van en
oplossingen voor kanker. Het is, met andere woorden,
fundamenteel, theoriegericht onderzoek. Tweede vraag:
is het praktijkgericht onderzoek? Antwoord: ja, want
het is op zoek naar oorzaken van en oplossingen voor
praktijkproblemen. Daarom stoppen we er zoveel geld in.
Derde vraag: is het toegepast onderzoek? Antwoord: nee,
want het genereert nieuwe kennis die vervolgens door
de professional in toegepast onderzoek gebruikt wordt.
Het toegepast onderzoek van de arts daarentegen is
niet gericht op het genereren van nieuwe geneeskundige
kennis. Daarom wordt binnen de geneeskunde een
onderscheid gemaakt tussen theoretische en klinische
geneeskunde. Conclusie: praktijkgericht onderzoek
kan zowel fundamenteel als toegepast zijn. Als dat
zo is moet je geen onderscheid tussen fundamenteel
en praktijkgericht onderzoek maken. Tussen beide
vormen van praktijkgericht onderzoek (fundamenteel en
toegepast) bestaan grote methodologische verschillen.
Dat heeft verstrekkende gevolgen voor zowel het
onderwijs in de methodologie van praktijkgericht
onderzoek als voor de praktijk van dat onderzoek zelf.
Van Aken en Andriessen: ontwerponderzoek als nieuw
paradigma
VA&A stellen terecht dat er, zoals in de geneeskunde en
technische wetenschappen, wel degelijk praktijkgericht
fundamenteel onderzoek bestaat. Zij noemen dat
ontwerpgericht onderzoek (ook design science en design
research). Dit onderzoek is gericht op het ontwikkelen
van nieuwe wetenschappelijke kennis in de vorm van
generieke oplossingen voor generieke veldproblemen.
En ze onderscheiden dit van het ontwikkelen van
specifieke oplossingen voor specifieke veldproblemen
door professionals. Dat betekent dat je twee vormen
van ontwerpen hebt: het ontwerpen van generieke
oplossingen en van specifieke oplossingen. En zij
concentreren zich op de methodologie van het ontwerpen
van generieke oplossingen.
VA&A benadrukken terecht dat het onderzoek
van lectoraten in het HBO gericht moet zijn op het
ontwikkelen van generieke kennis en oplossingen.
Lectoraten dienen dus meer te doen dan alleen studenten
te begeleiden bij hun toegepaste praktijkprojecten. Om
lectoraten daarbij te helpen hebben ze hun ‘Handboek
Ontwerpgericht Wetenschappelijk Onderzoek’
geschreven. Dat boek is bedoeld voor lectoraten, niet
voor studenten. Een term voor twee verschillende dingen
(ontwerpen van generieke en specifieke oplossingen) is
15
niet handig. Uit de context is telkens af te leiden om welke
vorm van ontwerpgericht onderzoek het gaat: om de
fundamentele of de toegepaste vorm.
VA&A maken dus geen onderscheid tussen
praktijkgericht fundamenteel en toegepast onderzoek
(ze vinden toegepast onderzoek geen goede term).
Dat is jammer, want op deze wijze weten we niet
hoe we studenten bij hun toegepaste praktijk- en
afstudeerprojecten moeten begeleiden. Die analyseren
immers specifieke problemen en ontwerpen daar
specifieke oplossingen voor. Daarvoor hebben we een
‘Handboek Toegepast Onderzoek’ (in het kader van de
interventiecyclus) nodig.
VA&A introduceren wel een ander onderscheid,
namelijk dat tussen praktijkgericht verklarend en
praktijkgericht ontwerponderzoek. Zij zijn van
mening dat praktijkgericht ontwerponderzoek een
eigen methodologie vereist (een nieuw paradigma).
In deze bijdrage zal ik onder meer laten zien dat
ontwerponderzoek ook verklarend onderzoek is en dat
praktijkgericht fundamenteel onderzoek methodologisch
niet verschilt van zuiver fundamenteel onderzoek en
dus ook geen nieuwe methodologie vereist. Tussen
praktijkgericht fundamenteel en toegepast onderzoek
bestaan echter grote methodologische verschillen. Wat
daarom eerst en vooral vereist is in het HBO, is een
handleiding praktijkgericht toegepast onderzoek voor
studenten en docenten.
Voor het onderbouwen van deze conclusies ga
ik eerst in op het onderscheid tussen praktijkgericht
fundamenteel en praktijkgericht toegepast onderzoek in
de kundes. En vervolgens behandel ik de gevolgen van
dit onderscheid voor (het onderwijs in) de methodologie
van praktijkgericht onderzoek.
2. De toegepaste wetenschappen, praktijkwetenschappen, ontwerpwetenschappen of kundes
De drie kenmerken van de kundes: praktijkgericht,
interdisciplinair en integraal
De kundes zijn ten eerste praktijkwetenschappen. Ze
specialiseren zich ieder op een soort praktijkprobleem:
bedrijfskunde op bedrijfsproblemen, onderwijskunde
op onderwijsproblemen, geneeskunde op
gezondheidsproblemen, communicatiewetenschappen
op communicatieproblemen, enzovoort. De
basisdisciplines daarentegen concentreren zich op
de grondslagenproblemen van hun eigen discipline.
Omdat praktijkproblemen zich niet aan de disciplinaire
organisatie van de basiswetenschappen houden
hebben we de kundes nodig. Ze vormen als het ware
de brug tussen de basiswetenschappen enerzijds en
praktijkproblemen anderzijds. Zouden de basisdisciplines
praktijkwetenschappen zijn, dan hadden we de kundes
niet nodig. Daarom hebben alle kundes:
the common problem of bridging the gap between
the social system that produces scientific knowledge,
on the one hand, and the social system where
professional practice takes place, on the other
(Simon 1967: 16).
Dat betekent dat kundes, ten tweede, noodzakelijkerwijs
interdisciplinair zijn: het zijn interdisciplines. Je kunt de
kundes ook disciplines noemen (met subdisciplines),
maar dan zie je niet waarin ze verschillen van de
basisdisciplines: alleen de kundes zijn interdisciplines.
Daarom kloppen we voor gezondheidsproblemen bij de
geneeskunde aan, niet de biologie, voor bestuurskundige
problemen bij de bestuurskunde, niet bij de sociologie en
voor economische problemen bij de economie, niet bij de
psychologie. Economie is dus, in mijn opvatting, ook een
kunde, zij het een merkwaardige. Die is erin geslaagd in
16
de loop der tijd alle psychologische (‘homo economicus’)
en alle sociologische (zuivere markten) uit haar
theorievorming te verwijderen. Dat heeft haar verklarend
en voorspellend vermogen geen goed gedaan. Dat wordt
dan ook, in homeopathische doses, gecorrigeerd door
psychologische elementen (‘behavioral economics’) en
sociologische elementen (‘institutional economics’) toe
te voegen. Lukt dat, dan wordt de economie weer een
interdiscipline.
Natuurlijk kun je voor praktische problemen ook bij
de basisdisciplines aankloppen. Je moet ze dan eerst
geïnteresseerd krijgen (het moet ook bijdragen aan de
verdere ontwikkeling van hun basisdiscipline) en als dat
lukt krijg je een eenzijdige, want disciplinaire analyse van
het probleem. Daarom wordt in kankeronderzoek gebruik
gemaakt van inzichten uit de meest uiteenlopende
basisdisciplines. Die inzichten worden omgezet in
een nieuwe interdisciplinaire theorie, in dit geval over
oorzaken en gevolgen van – verschillende vormen van –
kanker. Omgekeerd leveren de basisdisciplines inzichten
aan de meest uiteenlopende kundes. Van biologische
inzichten wordt niet alleen in de geneeskunde gebruik
gemaakt, maar bijvoorbeeld ook in de milieukunde en de
aardwetenschappen.
Omdat praktijkproblemen zelden ‘stand alone’
optreden (het zijn vaak ‘wicked problems’ of ‘problem
messes’) dienen de kundes, ten derde, integraal te zijn.
Ze dienen in staat te zijn verschillende bedrijfskundige,
onderwijskundige of geneeskundige problemen in hun
onderlinge samenhang te analyseren en op te lossen.
Voor dat probleem bestaat geen theoretische oplossing:
er bestaat niet zoiets als een integrale geneeskundige,
bestuurskundige of bedrijfskundige theorie, waarin alle
geneeskundige, bestuurskundige of bedrijfskundige
problemen in hun onderlinge samenhang beschreven en
verklaard worden.
Er bestaat dus een groot contrast tussen de kundes
als interdisciplines en de basisdisciplines: die zijn niet
praktijkgericht, niet interdisciplinair en niet integraal.
In die zin is al het onderzoek van de kundes ‘mode 2’
onderzoek of praktijkgericht onderzoek. Daar staat echter
tegenover dat de kundes niet zonder de basisdisciplines
(‘mode 1’ onderzoek) kunnen. Vergelijk je de kundes
met een boom, dan vormen de basisdisciplines waarvan
gebruik wordt gemaakt de wortels van de boom: de
sociologie, psychologie, economie, enzovoort van
organisaties en de sociologie, psychologie, economie,
enzovoort van het recht. De takken van de boom worden
gevormd door de verschillende subspecialisaties of
functionele deeldisciplines binnen de kundes. Die
specialiseren zich verder in deelproblemen van de kunde.
In de geneeskunde zijn dat de verschillende ziektes en
aandoeningen en/of de verschillende delen van ons
lichaam. In de bedrijfskunde zijn dat de verschillende
organisatieproblemen (strategie-, marketing-, plannings-,
personeelsproblemen, enzovoort). En in het recht
correspondeert dit met de verschillende vormen
van recht (publiekrecht, privaatrecht, contractrecht,
internationaalrecht, enzovoort). De kundes zijn dus via
de basisdisciplines diep geworteld in de wetenschap en
reiken via hun takken tot ver in de praktijk. In de stam
van de boom dienen de twee problemen van de kundes
opgelost te worden (zie uitvoerig hierover Christis 2009):
• Het probleem van interdisciplinariteit: het integreren
van de ‘wortelvakken’ (basisdisciplines).
• Het probleem van integraliteit: het integreren van de
‘takkenvakken’ (functionele deeldisciplines).
Kundes: de rol van de onderzoeker en de professional
Kundes kun je beoefenen als onderzoeker die nieuwe
kennis voor de kunde produceert en als professional
die bestaande kennis toepast op individuele
probleemgevallen. In de geneeskunde staat dit bekend
als het verschil tussen theoretische en klinische
geneeskunde:
17
[I]t will be useful to begin by distinguishing between
theoretical and clinical medicine. What could be
called theoretical medicine consists of a body of
laws and theories, many of them involving causality
… This kind of causal claim is described as generic,
because it covers many cases. In clinical medicine,
however, a doctor examines a particular patient and
has to find out what causes that patient’s symptoms.
… This is an instance of single case, rather than
generic causality. … Medical students generally learn
theoretical medicine to begin with, and then, when
they have mastered some current medical knowledge,
they learn how to apply it to individual patients in
clinical practice (Gillies 2019: 1).
Dit is in de overige kundes niet anders. Elke kunde
bestaat uit een ‘body of knowledge’ dat door
onderzoekers verder ontwikkeld wordt, dat studenten
zich in het onderwijs eigen maken om het vervolgens als
professionals in hun beroepspraktijk toe te passen of om
het als promovendus verder te ontwikkelen. Professionals
in de technische beroepen die zich als professional
verder willen ontwikkelen kunnen een Professional
Doctorate (PD) volgen. Ze krijgen dan een jaar les in
inhoudelijke vakken om zo hun kennis te updaten. Die
kennis moeten ze dan in het tweede jaar toepassen op
een probleem in hun bedrijfspraktijk. Een PD is dus geen
PhD voor professionals.
De onderzoeker ontwikkelt nieuwe, generieke kennis
voor de kundes. Dat onderzoek verschilt methodologisch
niet van dat van de basis wetenschappen of van zuiver
fundamenteel onderzoek. Het is echter wel degelijk
praktijkgericht onderzoek. Het wordt immers uitgevoerd
in het kader van de kundes en het is de taak van die
kundes nieuwe kennis te ontwikkelen voor het analyseren
en oplossen van praktijkproblemen (geneeskundige,
onderwijskundige, bedrijfskundige, enzovoort
problemen).
Professionals gebruiken bestaande kennis voor het
analyseren en oplossen van praktijkproblemen. Dat
onderzoek is deels beschrijvend van aard (wat zijn de
problemen?) en deels verklarend van aard (wat zijn
daarvan de oorzaken en daarvoor de oplossingen?).
Dat onderzoek levert nieuwe kennis op over en voor het
probleemgeval dat onderzocht wordt. Het levert echter
geen nieuwe kennis op voor de desbetreffende kunde:
het is dus geen fundamenteel, maar toegepast empirisch
onderzoek.
Natuurlijk ontwikkelen professionals in hun
toegepaste onderzoek ook nieuwe, creatieve
oplossingen. Een docent ontwikkelt een nieuwe
lesmethode, een school een nieuw anti-pestprogramma
of een bedrijf een nieuwe planningsmethodiek.
Dit ligt voor de hand, want de praktijk staat onder
handelingsdwang en kan voor oplossingen niet op de
wetenschap wachten. Het gaat echter om specifieke
oplossingen: je weet dat het in dit geval werkt, maar
niet of het in andere gevallen ook zal gaan werken. Dat
moet nog onderzocht worden. Het is dan de taak van
de kundes om die slimme oplossingen op te sporen,
ze op hun wetenschappelijke merites te beoordelen, te
veralgemeniseren door ze op te nemen in abstractere
begrippen en theorieën om ze daarna te respecificeren
voor gebruik ervan in andere contexten. Volgens mij is
dit wat we in praktijkgericht fundamenteel onderzoek,
ontwerpgericht onderzoek en lectoraatsonderzoek doen.
Methodologische verschillen tussen praktijkgericht
fundamenteel en toegepast onderzoek
Toegepast onderzoek verschilt methodologisch wel van
het praktijkgericht fundamenteel onderzoek. Omdat je
in toegepast onderzoek geen nieuwe theorie toetst heb
je, ten eerste, geen generaliseringsprobleem (externe
validiteit) en neemt, ten tweede, het verklaringsprobleem
(interne validiteit: klopt mijn verklaring?) een andere vorm
aan.
18
Externe validiteit. Wanneer je na onderzoek tot de
conclusie komt dat een patiënt de griep heeft of dat de
werkdruk bij een opleiding erg hoog is, dan is de vraag
‘kun je dit generaliseren?’ onzinnig. Immers, of iemand
de griep heeft en of de werkdruk hoog is, is onafhankelijk
van de vraag of iemand anders de griep heeft en of
de werkdruk bij een andere opleiding hoog is. De arts
generaliseert niet van een patiënt naar een populatie.
In plaats daarvan vraagt de arts zich af ‘tot welke van
de bekende populaties behoort mijn patiënt: die van
de virusinfecties, van de bacteriële infecties of van de
hypochonders?’
Interne validiteit. Toegepast onderzoek is verklarend
onderzoek. Je bent echter niet op zoek naar nieuwe,
nog onbekende oorzaken. In plaats daarvan luidt je
onderzoeksvraag
• In diagnostisch onderzoek: welke van alle mogelijke
en bekende oorzaken zijn in dit geval aanwezig en
verklaren het probleem (oorzaken van ongewenste
gevolgen)?
• In ontwerpgericht onderzoek: welke van alle mogelijke
en bekende oplossingen gaan in dit geval tot succes
leiden (oorzaken van gewenste gevolgen)?
De professional wordt hier geconfronteerd met wat wel
het probleem van de kloof tussen wetenschap en praktijk
genoemd wordt of wat Schön (1983) het verschil tussen
de ‘high ground’ van de theorie en de ‘swamp’ van de
praktijk noemt. De professional moet de generieke
kennis van de wetenschap weer contextualiseren:
welke combinatie van meewerkende, tegenwerkende,
terugwerkende, modererende en interveniërende
factoren bepalen in dit geval de ongewenste gevolgen
(diagnostisch onderzoek) en de gewenste gevolgen
(ontwerpgericht onderzoek)? De professional moet,
met andere woorden, al die andere factoren die in
fundamenteel onderzoek worden buitengesloten (zoals
in een ‘randomized control trial’), nu weer ‘insluiten.’ De
interne validiteit van fundamenteel onderzoek verhoog je
door voor de werking van andere oorzaken A, B en C te
controleren om zo te kunnen bewijzen dat X een oorzaak
van Y is. De interne validiteit van toegepast onderzoek
verhoog je door omgekeerd te kijken welke van alle
mogelijke oorzaken X, A, B en C in dit geval aanwezig zijn.
Je mag, met andere woorden, geen oorzaken over het
hoofd zien of uitsluiten. Dat geldt zowel voor diagnostisch
onderzoek (oorzaken van ongewenste gevolgen of
problemen) als voor ontwerpgericht onderzoek (oorzaken
van gewenste gevolgen of doelen). Let wel, we hebben
het hier over ontwerpgericht onderzoek in het kader van
de interventiecyclus, dat wil zeggen, over het ontwerpen
van specifieke oplossingen voor specifieke problemen.
Dat betekent dat toegepast onderzoek, alhoewel het
over ‘single cases’ gaat, geen casestudie is (zie Christis,
Fruytier 2013). Gerring (2006; 2007) noemt diagnostisch
onderzoek, om het te onderscheiden van een casestudie,
een ‘single outcome study.’ Dat betekent omgekeerd
dat je als professional weinig hebt aan een handleiding
casestudie onderzoek. Daarin wordt veel aandacht
besteed aan de wijze waarop je cases selecteert om
zo de externe validiteit te verhogen. En er wordt veel
aandacht besteed aan de wijze waarop je de interne
validiteit kunt verhogen. Echter, de professional die
toegepast onderzoek uitvoert selecteert geen cases:
die cases selecteren de professional met de vraag: kun
je mijn problemen analyseren en oplossen? Bovendien
heeft de professional geen generaliseringsprobleem:
externe validiteit is niet van toepassing op toegepast
onderzoek. En het vergroten van je interne validiteit doe
je in toegepast onderzoek op een andere manier dan
in fundamenteel onderzoek. Je zoekt immers niet naar
nieuwe, nog onbekende oorzaken. In plaats daarvan wil
je weten welke combinatie van bekende oorzaken in dit
geval aanwezig is. Hetzelfde geldt voor de wijze waarop
professionals hun interventie evalueren. Een generieke
oplossing kun je wel, maar een specifieke oplossing kun
19
je niet met een RCT evalueren. Dat doen professionals (de
arts, docent, sociaal werker, enzovoort) dan ook niet. Die
gebruiken daar een ander design voor.
De onderzoeker en de professional: een samenvatting
Samengevat zien de verschillen tussen het praktijkgericht
fundamentele onderzoek van de onderzoeker en het
praktijkgericht toegepast onderzoek van de professional
er als volgt uit:
Onderzoeker Professional
Kennisprobleem wetenschap (kunde)
Handelingsprobleem praktijk
Genereert nieuwe kennis Past bestaande kennis toe
Fundamenteel onderzoek Toegepast onderzoek
Empirische cyclus Interventiecyclus
Wetenschappelijk: productdefinitie en procesdefinitie
Wetenschappelijk: alleen procesdefinitie
Tabel 1. De onderzoeker en de professional
(Christis, Fruytier 2013: 225).
In de kundes start de onderzoeker met een
kennisprobleem van de kunde en eindigt met nieuwe
kennis voor de kunde. Dat is fundamenteel onderzoek
dat plaats vindt in het kader van de empirische cyclus
(de dialoog tussen idee en bewijs). Dat onderzoek is
wetenschappelijk, zowel in een productdefinitie (het
levert nieuwe wetenschappelijke kennis) als in een
procesdefinitie (die kennis is op wetenschappelijk
verantwoorde wijze verworven). De professional
daarentegen start met een handelingsprobleem van de
praktijk en past bestaande kennis toe op individuele
gevallen of ‘single cases.’ Dat is toegepast onderzoek
dat plaats vindt in het kader van de interventiecyclus. Dit
onderzoek is niet wetenschappelijk in de productdefinitie,
want levert geen nieuwe wetenschappelijke kennis op.
Het dient echter wel op wetenschappelijk verantwoorde
wijze uitgevoerd te worden (procesdefinitie).
3. Misverstanden over praktijkgericht onderzoek
Contrasteer praktijkgericht onderzoek niet met
fundamenteel (theoriegericht) onderzoek
Wij contrasteren niet, zoals velen dat, al of niet in
navolging van het werk van Doorewaard en Verschuren
wel doen, fundamenteel (theoriegericht) onderzoek met
praktijkgericht onderzoek. Zoals we hebben laten zien
kan praktijkgericht onderzoek zowel fundamenteel als
toegepast zijn. En VA&A wijzen er terecht op dat het
onderzoek van lectoraten praktijkgericht fundamenteel
onderzoek zou moeten zijn.
Vervang de term ‘toegepast onderzoek’ niet door
praktijkgericht onderzoek
Dat betekent dat we niet de term ‘toegepast onderzoek’
overbodig vinden (omdat het van lineair denken zou
getuigen) en vervangen door praktijkgericht onderzoek.
Zouden we dat wel doen, dan hebben we geen
naam meer voor het onderzoek dat professionals
uitvoeren. Dat onderzoek is immers niet fundamenteel,
want genereert geen nieuwe wetenschappelijke
kennis. Het is wel praktijkgericht, want analyseert
praktijkproblemen en ontwerpt daar oplossingen voor.
Omdat professionals bestaande kennis toepassen op
individuele gevallen noemen we dat praktijkgericht
toegepast onderzoek (of gewoon: toegepast onderzoek
in het kader van de interventiecyclus). In dit onderzoek
wordt de interventiecyclus (of regulatieve cyclus)
doorlopen. We vervangen toegepast onderzoek dus
niet door praktijkgericht onderzoek, maar maken binnen
praktijkgericht onderzoek een onderscheid tussen
fundamenteel en toegepast onderzoek.
Toegepast onderzoek is ook het type onderzoek dat
HBO studenten leren uitvoeren als voorbereiding op hun
beroepspraktijk. Dat betekent dat ze onderwezen moeten
worden in de methodologie van toegepast onderzoek.
Dat leren ze niet uit handboeken over de methodologie
20
van fundamenteel onderzoek, want die gaan over een
andere vorm van onderzoek. Ze worden daar eerder
door in verwarring gebracht. Ze zeggen dan bijvoorbeeld
dat hun diagnostisch onderzoek, bijvoorbeeld naar de
omvang en oorzaken van de werkdruk bij een opleiding,
een kwalitatieve case studie is. Hun N is immers 1, dus
een casestudie en een casestudie is altijd kwalitatief.
Ze verwarren dan een casestudie (een van de designs
van fundamenteel onderzoek) met diagnostisch
onderzoek (een van de designs van toegepast
onderzoek). Vervolgens schrijven ze uit hun handboek
over dat hun onderzoek daarom een lage externe en
hoge interne validiteit heeft. Maar een diagnostisch
onderzoek heeft geen generaliseringsprobleem en in
het handboek staat niet hoe je de interne validiteit van
een diagnostisch onderzoek veilig stelt. Wanneer ze
vervolgens in hun diagnostisch onderzoek een enquête
(een methode van dataconstructie) gebruiken weten
ze niet meer of hun onderzoek kwantitatief (enquête)
of kwalitatief (N is 1) is. Ze verwarren dan een design
met de gebruikte methoden van dataconstructie. En
als de survey niet op een steekproef berust weten
ze niet of ze nu wel of geen generaliseringsprobleem
hebben. Ze verwarren dan de case (de opleiding met
een probleem) met de waarnemingseenheden waarmee
je uitspraken over de case wil doen. Drie ingevulde
enquêtes is te weinig om uitspraken over de opleiding
te doen (representativiteit van je gegevens). Maar of de
werkdruk van die opleiding hoog is, is onafhankelijk van
de vraag hoe hoog de werkdruk bij andere opleidingen
is (externe validiteit is niet van toepassing: je hebt geen
generaliseringsprobleem). Je mag deze studenten dus
niet vragen om algemene conclusies uit hun onderzoek
te trekken (de bijdrage van hun onderzoek aan de
wetenschap). Wat je ze wel mag vragen is of ze het
onderzoek een volgende keer anders zouden doen: zou je
dan een andere theorie met andere begrippen toepassen
en dus over andere dingen gegevens verzamelen en
zou je dat met andere methoden van dataconstructie
(en analyse) gedaan hebben? Je vraagt ze dan wat ze
conceptueel, theoretisch en methodologisch geleerd
hebben van hun onderzoek.
Wees voorzichtig met de term ‘toegepaste
wetenschappen’
Wel vinden we de term ‘applied sciences’ misleidend als
aanduiding van de kundes. Een hele reeks van auteurs
(Polanyi 1985, Stokes 1997, Vincenti 1990, Auyang
2004) heeft erop gewezen dat in de kundes niet alleen
toegepast, maar ook fundamenteel, praktijkgericht
onderzoek plaats vindt. Vergelijk bijvoorbeeld Stokes
(1997) over het verschil tussen ‘pure basic research
and use-inspired basic research.’ Zie ook Polanyi: “The
structure of systematic technology which comprises a
large part of engineering is essentially similar to that of
pure science and its advances consist, like those of pure
science, in the expansion of a system of knowledge by a
series of original contributions” (1956: 240; mijn nadruk).
In de woorden van Vincenti: “[Engineering], though it may
apply science, is not the same as … applied science”
(Vincenti 1990: ). Vandaar dat je de kundes beledigt
als je zegt dat de basiswetenschappen nieuwe kennis
ontwikkelen die in de ‘applied sciences’ wordt toegepast.
Die kennis moet eerst ‘bewerkt’ en verder ontwikkeld
worden tot nieuwe interdisciplinaire kennis voordat
die nieuwe kennis door de professional kan worden
toegepast. Nieuwe geneeskundige kennis wordt in de
geneeskunde, niet in de basisdisciplines ontwikkeld.
Ga niet uit van een conflict tussen praktische relevantie
en methodologische grondigheid
We zien niet, zoals zovelen dat wel doen, een conflict
tussen ‘rigor and relevance’, tussen methodologische
grondigheid en praktische relevantie (Andriessen 2014).
Kankeronderzoek dient niet alleen methodologisch
grondig te zijn, maar is ook uitermate praktisch relevant.
21
En omgekeerd is toegepast onderzoek niet alleen
praktisch relevant, maar dient ook methodologisch
grondig te zijn. Anders zadel je de praktijk op met
verkeerde diagnoses en oplossingen. Andriessen
lijkt het hiermee inmiddels eens te zijn. In 2016
wordt (voor de beoordeling van bachelor scripties
bedrijfskunde) het begrip bruikbaarheid geïntroduceerd.
Onderzoeksresultaten zijn bruikbaar als ze relevant zijn
voor de bedrijfspraktijk en als ze op methodologisch
grondige wijze tot stand zijn gekomen: “Het voordeel van
het begrip ‘bruikbaarheid’ is dat relevantie en grondigheid
daarbij onlosmakelijk met elkaar verbonden zijn en dus
beide goed (genoeg) moeten zijn” (Schilder, Munneke,
Andriessen 2016: 66). Ze trekken daaruit de volgende
conclusie: “Ons voortschrijdend inzicht op basis van dit
onderzoek is dat de voor bachelor studenten vereiste
grondigheid van het afstudeerwerk verre van bescheiden
moet zijn, maar juist zeer deugdelijk: goed afgestemd op
de praktijksituatie. … Dit vraagt mogelijkerwijs een groter
begrip van onderzoeksmethodologie dan tot nu toe het
geval is” (68-69). Dat roept echter de vraag op wat we
onder onderzoeksmethodologie moeten verstaan en wat
de onderzoeksmethodologie van toegepast onderzoek is
(het type onderzoek dat veel studenten uitvoeren).
Onderzoeksmethodologie: verwar een
onderzoeksdesign niet met methoden van
dataconstructie
Zowel fundamenteel als toegepast onderzoek zijn vormen
van empirisch onderzoek en moeten dus voldoen aan
de criteria van meetvaliditeit en betrouwbaarheid: ze
moeten methodologisch grondig zijn. Hoe je aan deze
criteria voldoet is afhankelijk van de gekozen methode
van dataconstructie. Daarvan te onderscheiden is het
design of ontwerp van je onderzoek. Een design gaat
over de strategie die je gebruikt om de externe en interne
validiteit van je onderzoek te verhogen. Hoe je dat doet is
afhankelijk van het design dat je kiest.
Onderzoeksmethodologie gaat over beide en je moet
design en methoden van dataconstructie niet door
elkaar halen: “Failing to distinguish between design and
method leads to poor evaluation of designs. Equating
cross-sectional designs with questionnaires, or case
studies with participant observation, means that the
designs are often evaluated against the strengths and
weaknesses of the method rather than their ability to
draw relatively unambiguous conclusions or to select
among rival hypotheses” (De Vauss 2012: 9; zie ook
Christis, Smit 2018). Een case studie is een design waarin
je verschillende methoden van dataconstructie kunt
gebruiken, waaronder bijvoorbeeld gestandaardiseerde
vragenlijsten. Omgekeerd is een survey of enquête een
methode van dataconstructie die je in verschillende
designs kunt toepassen.
Voor fundamenteel onderzoek kun je kiezen uit een
breed scala van onderzoeksdesigns die je helpen de
interne validiteit (kan ik bewijzen dat mijn verklaring
klopt?) en de externe validiteit (kan ik de gevonden
verklaring ook generaliseren?), zie hierover verder het
artikel over fundamenteel onderzoek in het kader van de
empirische cyclus. Wat zijn echter de designs die je in
toegepast onderzoek gebruikt?
De designs van toegepast onderzoek
Zoals we gezien hebben is een diagnostisch onderzoek
geen casestudie. Je hebt geen generaliseringsprobleem
(externe validiteit) en de interne validiteit is van een
andere aard dan in fundamenteel onderzoek. Dat komt
omdat je bestaande theorieën toepast op een ‘single
case.’ Het is ook geen experiment, cross-sectionele
studie of longitudinale (cohort) studie. Hetzelfde geldt
voor de volgende fasen van het toegepast onderzoek: het
ontwerpen van oplossingen, het implementeren daarvan
en het evalueren van de bereikte resultaten. Je evalueert
een specifieke oplossing en je kunt daarvoor niet de
designs van fundamenteel evaluatieonderzoek gebruiken
22
waarin je generieke oplossingen evalueert. Je gebruikt
dus geen ‘randomized control trial’ (RCT).
Stel dat je als docent een nieuwe lesmethode
ontwikkelt of als sportwetenschapper een nieuw
bewegingsprogramma. Je neemt dus niet een elders
ontwikkelde methode of programma over om die aan
lokale omstandigheden aan te passen en in te voeren.
In plaats daarvan ontwikkel je iets nieuws. Je zou dan
vooraf je klas in een interventiegroep en controlegroep
kunnen indelen zodat je achteraf kunt bewijzen dat
jouw nieuwe methode of programma de oorzaak is
van beter leren of meer bewegen. Maar waarom zou
je dat doen? Voor een RCT zijn je aantallen te klein (je
kunt niet randomiseren), de interventie is niet blind en
tijdens het proces heb je geen controle over factoren
die de resultaten kunnen beïnvloeden: leerlingen uit
beide groepen zien, praten en beïnvloeden elkaar. Dat
kun je niet verbieden. Als je interventie succesvol is en
je twijfelt over de vraag of dat dankzij of ondanks jouw
nieuwe lesmethode of bewegingsprogramma is, kun je
ook andere methoden gebruiken. Ten eerste ligt aan je
interventie een idee ten grondslag over waarom die zou
werken. Je denkt dat interventie I via stappen A, B en
C leidt tot gewenst gevolg Y. Je kijkt dan of de stappen
A, B en C ook daadwerkelijk hebben plaats gevonden
(een vorm van processtracing). Je weet dan niet alleen
dat, maar ook waarom je interventie succesvol was. Als
je dan nog steeds twijfelt kun je ook een ‘single case
experiment’ doen: je stopt de interventie drie weken
en kijkt wat er dan met de resultaten gebeurt. Als de
resultaten omlaag gaan is dat aanvullend bewijs voor het
succes van je interventie. Is dat niet het geval, dan kun je
weer naar het proces kijken: was de interventie fout, of is
er iets mis gegaan bij stap A, B of C? Als daar iets mis is
gegaan kun je op zoek gaan naar de oorzaken daarvan.
Op deze wijze ontdek je achteraf de meewerkende en
tegenwerkende factoren die van invloed zijn op het
resultaat van je interventie. Natuurlijk is het beter die
vooraf in je implementatieonderzoek te ontdekken: welke
aanvullende maatregelen heb ik nodig om van mijn
interventie een succes te maken (wat zijn meewerkende
en tegenwerkende factoren)?
Dit was een lang verhaal om duidelijk te maken
dat je in toegepast onderzoek niet de designs van
fundamenteel onderzoek toepast. In plaats daarvan
gebruik je de designs van toegepast onderzoek, dat wil
zeggen, de designs van achtereenvolgens diagnostisch,
ontwerpgericht, implementatie en evaluatieonderzoek.
In al die designs stel je andere vragen die je op een
andere manier moet beantwoorden. Die designs vertellen
je, met andere woorden, wat je moet doen om de interne
validiteit van je toegepaste onderzoek te vergroten.
Dat betekent dat voor het onderwijs aan HBO
studenten alleen die handleidingen bruikbaar zijn die de
logica van de interventiecyclus volgen en die studenten
daar stapsgewijs doorheen leiden: wat moet je doen
in een diagnostisch onderzoek, wat vervolgens in een
ontwerpgericht onderzoek, enzovoort. Handleidingen
fundamenteel onderzoek gaan niet helpen. Die bevatten
stof die de student niet nodig heeft en niet de stof die
ze wel nodig hebben. Bovendien leiden ze tot het soort
verwarringen die we eerder beschreven hebben.
Maak binnen praktijkgericht onderzoek geen verschil
tussen kwantitatief en kwalitatief onderzoek
In de D/V traditie wordt niet alleen een onderscheid
gemaakt tussen fundamenteel en praktijkgericht
onderzoek. In een volgende stap wordt binnen
praktijkgericht onderzoek een onderscheid gemaakt
tussen kwantitatief en kwalitatief praktijkgericht
onderzoek, zie de desbetreffende handleidingen van
Doorewaard, Tjemkes (2019) en van Doorewaard, van de
Ven (2019).
Het onderscheid tussen kwantitatief en kwalitatief
onderzoek kan betrekking hebben op:
• Het aantal cases: kleine of grote N.
23
• Het meetniveau van je gegevens: nominaal, ordinaal,
interval of rationiveau.
• De gebruikte analyse techniek: kwantitatief als
je de statistiek gebruikt en kwalitatief als je de
verzamelingenleer en de logica van noodzakelijke en
voldoende voorwaarden gebruikt.
Voor fundamenteel onderzoek (en dus ook voor
fundamenteel praktijkgericht onderzoek) is het
onderscheid niet zo bruikbaar omdat je in de
onderzoekspraktijk de meest uiteenlopende combinaties
tegenkomt zoals ‘kwalitatieve’ casestudies waarin
‘kwantitatieve’ gegevens van intervalniveau gebruikt
worden en ‘kwantitatieve’ (grote N) studies waarin de
kwalitatieve analysetechniek van de verzamelingenleer
gebruikt wordt, zoals in de studie van Ragin, Fisk (2017).
Je kunt dus beter aangeven wat het aantal cases is dat
je onderzoekt, welke meetniveaus je gebruikt en welke
analysetechniek je toepast. Dan hoef je niet meer aan te
geven of je onderzoek nu kwalitatief of kwantitatief is.
Voor toegepast onderzoek is het onderscheid zeker
onbruikbaar. Ten eerste gebruik je hier niet de designs
van fundamenteel onderzoek. Je N is altijd 1, of het nu
om een persoon, gezin, afdeling, organisatie, regio of
wat dan ook gaat. Maar je onderzoek is geen casestudie.
Ten tweede gebruik je tijdens de verschillende fasen
van je toegepast onderzoek de meest uiteenlopende
methoden van dataconstructie. In de beschrijving van het
probleem combineer je bijvoorbeeld gestandaardiseerde
vragenlijsten, bestaande databestanden (over levertijden)
en procesobservaties. Bij de analyse van de oorzaken
combineer je semigestructureerd interviews met
procesobservaties. En bij het ontwerponderzoek gebruik
je open interviews of focusgesprekken voor het bepalen
van de functionele vereisten waaraan de oplossing
moet voldoen. Ten derde gebruik je, niet verwonderlijk,
de meest uiteenlopende analysetechnieken:
je operationaliseert bijvoorbeeld vooraf bij de
gestandaardiseerde vragenlijsten en een gedeelte van de
procesobservaties, bij de open interviews en een ander
gedeelte van de procesobservaties codeer je achteraf.
En een gedeelte van de gegevens analyseer je met de
descriptieve statistiek. Je kunt studenten die toegepast
onderzoek gaan doen dus niet dwingen vooraf te kiezen
tussen een kwantitatief of kwalitatief design (wat dat ook
moge zijn).
Maak geen onderscheid tussen praktijkgericht
verklarend en praktijkgericht ontwerponderzoek
Van Aken (2011) zegt terecht dat praktijkgericht
onderzoek ook fundamenteel kan zijn. Binnen
praktijkgericht fundamenteel onderzoek maakt hij
echter een onderscheid tussen verklaren en ontwerpen:
“Waar verklarend onderzoek zich alleen bezig houdt
met oorzaken, houdt ontwerponderzoek zich ook bezig
met oplossingen” (2011: 26). Volgens Van Aken moet
daarom ook “een onderscheid worden gemaakt tussen
verklarend praktijkgericht onderzoek en ontwerpgericht
praktijkgericht onderzoek” (28). Bij het eerste gaat het
om diagnostisch onderzoek en “[d]it type praktijkgericht
onderzoek kan de klassieke methodologie van
sociaalwetenschappelijk onderzoek gebruiken”(28). Dat is
niet zo bij ontwerpgericht onderzoek: “[d]aarvoor is een
andere methodologie nodig”(28).
Dit is om meerdere redenen onjuist. Ten eerste is
diagnostisch onderzoek geen fundamenteel onderzoek.
Je toetst daarin geen nieuwe theorie over oorzaken en
gevolgen, maar past bestaande theorieën toe. Daarom
kun je voor het ontwerpen van diagnostisch onderzoek
niet terecht bij de klassieke methodologie. Zoals we
gezien hebben leer je daar alles over het ontwerpen
van experimenten, case studies, cross-sectionele en
longitudinale studies, maar niets over het ontwerpen
van een diagnostisch onderzoek. Dat komt omdat een
diagnostisch onderzoek geen vorm van fundamenteel
maar van toegepast onderzoek is. Ten tweede ben
24
je ook in ontwerponderzoek bezig met oorzaken en
verklaringen. In fundamenteel praktijkgericht onderzoek
ben je op zoek naar generieke oplossingen die ook wel
ontwerpopstellingen genoemd worden. Oplossingen
zijn oorzaken van gewenste uitkomsten en ook volgens
Van Aken moet je hypothesen daarover toetsen en
alternatieve hypothesen uitsluiten: “Ontwerpopstellingen
… geven niet alleen bij het gegeven type veldprobleem
een onderzochte generieke interventie met de verwachte
uitkomsten, maar ook een verklaring voor die uitkomsten.
We noemen dat de generatieve mechanismen” (33).
Een generatief mechanisme is het causale mechanisme
dat leidt van oorzaak of interventie X naar uitkomst of
gevolg Y. Voor onderzoek daarnaar wordt het Interventie,
Context, Mechanisme, Outcome (ICMO) model gebruikt.
Dat is een verklarend model en de wijze waarop je
hypothesen daarover toetst dient, zoals al het verklarend
onderzoek, aan de eis van interne validiteit te voldoen.
Slaag je daarin, dan weet je niet alleen dat iets werkt
(“pragmatische validiteit”), maar ook waarom het werkt
(mechanisme M) en in welke context (C) het werkt. Je
kunt dus de interne validiteit van dit onderzoek (klopt mijn
verklaring?) niet vervangen door pragmatische validiteit
(werkt het?).
Voor dit type onderzoek heb je geen nieuwe
methodologie nodig. In de klassieke methodologie
literatuur kun je nalezen hoe je dit kunt doen met
bijvoorbeeld een experiment, een vergelijkende
casestudie of een vorm van ‘process tracing.’ Dat
ligt voor de hand want het gaat hier om vormen van
fundamenteel onderzoek. De resultaten hiervan gebruikt
de professional om specifieke veldoplossingen te
ontwerpen. De professional staat dan voor het probleem
te onderzoeken of datgene wat generiek werkt ook in dit
geval gaat werken. Daarvoor kan de professional niet
terecht bij de klassieke methodologie literatuur. In plaats
daarvan heeft de professional een handleiding ‘toegepast
onderzoek in het kader van de interventiecyclus’ nodig.
Is het onderscheid tussen fundamenteel en toegepast
onderzoek lineair?
Velen denken dat het traditionele onderscheid tussen
‘basic’ en ‘applied science’ of tussen praktijkgericht
fundamenteel en praktijkgericht toegepast onderzoek
getuigt van lineair denken: toegepast onderzoek als
doorgeefluik naar de praktijk van de in fundamenteel
onderzoek verkregen inzichten. Dat is volgens
ons om minstens drie redenen onjuist. Ten eerste
hebben we eerder gezien dat de verhouding tussen
wetenschappelijke basisdisciplines en kundes niet
lineair is: in de kundes wordt, inderdaad met behulp van
inzichten uit de basisdisciplines nieuwe, interdisciplinaire
kennis ontwikkeld. Deze nieuwe kennis wordt ontwikkeld
in praktijkgericht fundamenteel onderzoek en gebruikt in
toegepast onderzoek.
Ten tweede is, binnen de kundes, de verhouding
tussen wetenschappelijke kennis en de toepassing
daarvan door professionals niet lineair: professionals
worden bij hun interventies altijd geconfronteerd met
wat we de kloof tussen wetenschap en praktijk genoemd
hebben. Wetenschap levert algemene kennis, terwijl
de professional kennis nodig heeft over de unieke
kenmerken van het cliëntsysteem. Dit is het onderwerp
van Schön (1983): hoe redden professionals zich in het
moeras van de praktijk? Professionals dichten die kloof
gedeeltelijk op basis van hun op ervaring gebaseerde,
impliciete kennis. Wanneer ze daaraan twijfelen of
wanneer die onvoldoende is, gaan ze onderzoek doen.
Toegepast onderzoek is niets anders dan onderzoek
waarin de kloof tussen wetenschap en praktijk, tussen
algemene en specifieke oplossingen gedicht wordt.
De professional lijkt hierin op de expert schaker. Die
weet meteen wat hij moet doen, weet ook dat hij aan
tunnelvisie zou kunnen lijden en onderzoekt daarom of
hij wel gelijk heeft. En soms weet ook de expert schaker
niet meteen wat hij moet doen. Dan moet hij sowieso
onderzoek doen.
25
En ten derde hoeft het niet zo te zijn dat het de
wetenschap is die nieuwe oplossingen verzint voor
de praktijk. Vaak is het andersom: het is de praktijk
(bedrijven, scholen, docenten) die met problemen
geconfronteerd wordt en die, onder handelingsdwang,
daar oplossingen voor moet verzinnen. Het is dan de
taak van de kundes om die oplossingen op te sporen,
ze op hun merites te beoordelen (zijn het ook slimme
oplossingen?), te veralgemeniseren door ze op te nemen
in abstractere begrippen en theorieën om ze daarna te
respecificeren voor gebruik ervan in andere contexten.
Volgens mij is dit ook wat in ontwerpgericht
onderzoek in de VA&A traditie gedaan wordt: start met
een idee dat aan de wetenschap of aan de praktijk kan
zijn ontleend. Zoek vervolgens professionals in bedrijven,
scholen, zorginstellingen, enzovoort die daarmee willen
experimenteren. Beschouw deze experimenten als cases
waarop je bijvoorbeeld een vergelijkende casestudie
uitvoert. En communiceer de resultaten van je onderzoek
over wat waarom in welke context werkt terug aan de
praktijk (in de vorm van instrumenten of handleidingen) en
aan de wetenschap (in de vorm van artikelen). Daar ben
ik het helemaal mee eens (zie verder het artikel over het
driestromen model). Het enige wat ik zeg is, ten eerste, dat
de professionals die in hun eigen praktijk experimenteren
toegepast onderzoek in het kader van de interventiecyclus
uitvoeren en de ontwerpgerichte onderzoekers
praktijkgericht fundamenteel onderzoek in het kader van
de empirische cyclus uitvoeren. Dat zijn verschillende
vormen van onderzoek die ook methodologische van
elkaar verschillen. En ik zeg, ten tweede, dat je voor dat
praktijkgerichte fundamenteel onderzoek geen nieuwe
methodologie nodig hebt. Je doet, net als de zuiver
fundamenteel onderzoeker, onderzoek naar oorzaken en
gevolgen, met dien verstande dat je je specialiseert op
ongewenste (problemen) en gewenste (doelen) gevolgen.
Dat heeft gevolgen voor wat je onderzoekt, maar niet voor
hoe je dat doet.
Fundamenteel onderzoek: zuiver en praktijkgericht.
Omdat praktijkgericht onderzoek zowel fundamenteel
als toegepast kan zijn, bestaat er ook een onderscheid
tussen zuiver fundamenteel en praktijkgericht
fundamenteel onderzoek. Alle bovengenoemde auteurs
(Polanyi, Stokes, Vincenti, Auyang) wijzen erop dat dit
onderscheid niet methodologisch van aard is (Polanyi:
ze zijn “essentially similar”). Vandaar dat je met
praktijkgericht fundamenteel onderzoek Nobelprijzen kunt
winnen. En vandaar dat je ook geen nieuwe methodologie
of paradigma nodig hebt.
Om misverstanden te voorkomen: soms is het
onderscheid makkelijk te maken. Soms is het moeilijker
en gaat het om een grijs middengebied (maar dat
sommige dingen grijs zijn betekent niet dat zwart en
wit niet bestaan). En belangrijker: vaak is fundamenteel
onderzoek beide. Het is niet ongebruikelijk om
wetenschappelijk onderzoek af te sluiten met een
concluderende paragraaf waarin zowel de opbrengsten
voor de zuivere (‘basic science’) als de praktijkgerichte
wetenschap (‘applied science’) samengevat worden.
Het verschil is dus niet methodologisch, maar volgens
mij institutioneel van aard en heeft betrekking op de
organisatie, aansturing en financiering van fundamenteel
onderzoek. Polanyi was een groot voorstander van de
vrijheid van fundamenteel onderzoek (in zowel haar
zuivere als praktijkgerichte vorm) en verdedigde dat
tegen marxisten als Bernal die voorstander waren
van een planmatige aanpak van al het fundamenteel
onderzoek. Die strijd heeft Polanyi verloren. Zeker
nu er, na het einde van de koude oorlog, minder geld
beschikbaar is voor wetenschappelijk onderzoek wordt in
de aansturing en financiering ervan praktische relevantie
steeds belangrijker. Sommigen beoordelen dit positief
en noemen het de overgang van ‘mode 1’ naar ‘mode 2’
onderzoek (Nowotny et al. 2001). Anderen beoordelen het
negatiever en noemen het de overgang van academische
naar postacademische wetenschap (Ziman 2000).
26
Voor het WO is deze discussie over de vrijheid van
onderzoek uitermate belangrijk (zie het recente pleidooi
van Feringa). Voor het HBO is deze discussie niet zo
interessant: onderzoeksfinanciering uit de 1e geldstroom
is, in vergelijking met de universiteit, gering. Wij zijn
dus aangewezen op 2e en 3e geldstroom financiering.
Die krijgen we alleen als we, in onze vraagarticulatie,
aantonen dat ons onderzoek praktisch relevant is. En dat
geld krijgen we alleen als we een kennisleemte vullen,
dat wil zeggen, als we nieuwe, algemene kennis voor de
praktijk ontwikkelen.
4. Conclusies en vooruitblikWe hebben laten zien dat in de kundes zowel
praktijkgericht fundamenteel als praktijkgericht toegepast
onderzoek plaats vindt. Het een behoort tot het domein
van de onderzoeker en het ander tot het domein van de
professional. Vervolgens hebben we de misverstanden
behandeld die optreden wanneer je praktijkgericht
onderzoek contrasteert met fundamenteel onderzoek
(D/V traditie) of wanneer je binnen praktijkgericht
onderzoek een onderscheid maakt tussen verklarend en
ontwerpgericht onderzoek (VA&A traditie). En tenslotte
hebben we laten zien dat er geen methodologische
verschillen bestaan tussen zuiver fundamenteel en
praktijkgericht fundamenteel onderzoek en grote
verschillen tussen de methodologie van praktijkgericht
fundamenteel en praktijkgericht toegepast onderzoek.
Ik ben mij ervan bewust dat mijn bijdrage vol ‘kritiek’
en ‘correcties’ staat. Ik beschouw echter mijn kritiek
op de VA&A traditie als een vorm van ‘vriendelijke
kritiek.’ In deze traditie wordt er terecht op gewezen dat
praktijkgericht onderzoek fundamenteel kan zijn en dat
lectoraten gericht moeten zijn op dit type onderzoek:
genereren van generieke, nieuwe praktijkgerichte kennis.
In vergelijking daarmee is mijn kritiek op de D/V traditie
‘onvriendelijker’: wanneer je praktijkgericht onderzoek
contrasteert met fundamenteel onderzoek sla je de
verkeerde weg in. In die zin sta ik in de VA&A traditie, met
dien verstande dat daarin verbeteringen mogelijk zijn.
Bovendien is een aanvulling (geen correctie) nodig in de
vorm van een handleiding toegepast onderzoek. Volgens
mij wordt deze traditie daar alleen maar beter van.
De verschillende onderscheidingen die ik heb
aangebracht vormen het onderwerp van de volgende
artikelen, het eerste over fundamenteel onderzoek in
het kader van de empirische cyclus, het tweede en
derde over de interventiecyclus en het vierde over de
designs van toegepast onderzoek in het kader van de
interventiecyclus. Daarin gebruiken we de volgende
beslisboom voor het bepalen van je onderzoeksdesign
(Figuur 1). Daarmee kun je aan de hand van je
onderzoekvraag bepalen wat voor soort onderzoek je
gaat doen en welke onderzoeksdesigns daar bij horen.
In het vijfde artikel (Design thinking en de A3 methode)
presenteer ik een methodiek voor het begeleiden van
studenten en professionals bij het uitvoeren van hun
toegepaste onderzoek waar wij in het onderwijs goede
ervaringen mee hebben opgedaan. En in het zesde artikel
(over het driestromen model) laat ik zien hoe je in een
lectoraat het toegepast onderzoek van studenten kunt
combineren met het fundamenteel onderzoek van het
lectoraat (lector en docentonderzoekers). Dat model is
geïnspireerd op, maar verschilt van het tweestromen
model van Van Aken en Andriessen.
27
Figuur 1. Soorten onderzoek en onderzoeksdesigns (zie ook Christis, Fruytier 2013: 228).
Formuleer onderzoeksvraag
Fundamenteel
Kies design: experiment, case, enz.
Beschrijven Verklaren
Bepaal aard onderzoek
Toegepast
EvaluatieImplementatieOntwerpgerichtDiagnostisch
Bepaal design ahv vraag
28
29
2. Fundamenteel (praktijkgericht) onderzoek: de empirische cyclus
De designs van fundamenteel onderzoek
Praktijkgericht onderzoek kan zowel fundamenteel als toegepast zijn. Omdat zuiver fundamenteel en praktijkgericht fundamenteel onderzoek methodologisch niet van elkaar verschillen gaat dit artikel over de methodologie van fundamenteel onderzoek in het kader van de empirische cyclus. We lichten eerst met een voorbeeld de empirische cyclus toe. Daarna behandelen we een aantal kenmerken van de empirische cyclus. Vervolgens gaan we nader in op het verschil tussen onderzoeksontwerp en methoden van dataconstructie. Het een gaat over de interne en externe validiteit van je onderzoek en het ander over de meetvaliditeit en betrouwbaarheid van je gegevensverzameling. Tot slot werken we dit uit voor de twee vormen van fundamenteel empirisch onderzoek: beschrijvend en verklarend onderzoek.
1. De empirische cyclus: uitleg met een voorbeeld
De empirische cyclus
Fundamenteel onderzoek volgt de logica van de
empirische cyclus. Daarin doorloop je vier fasen. In de
inductieve fase verzamel je gegevens en zoek je naar
patronen daarin. In de abductieve fase verzin je voor die
patronen een verklaring. In de deductieve fase leid je uit
je verklarende idee hypothesen af die je in de inductieve
fase toetst. Dan weet je of je nieuwe idee ook een goed
idee is: nieuwe ideeën verzinnen is makkelijk, maar
bewijzen dat het goede ideeën zijn is hard werken. In
schema:
Theorie
Patroon
Abductie Deductie
Inductie/ Beschrijven
Inductie/Toetsen/Verklaren
Hypothesen
Empirie
Figuur 1. De empirische cirkel (zie ook Blaikie 1993: 157).
30
De term ‘abductie’ komt van Peirce: “Abduction consists
in studying facts and devising a theory to explain them”
(CP 5.145) en “Abduction is the process of forming an
explanatory hypothesis” (CP 5.171). Een abductie is dus
een hypothese over een verschijnsel die, als hij waar
zou zijn, het verschijnsel zou verklaren. Omdat je niet
weet of de verklaring waar is moet je dat toetsen: “That
which is to be done with the hypothesis is to trace out
its consequences by deduction, to compare them with
the results of experiment by induction, and to discard
the hypothesis, and try another, as soon as the first has
been refuted; as it presumably will be” (CP 7.220). Zo
geformuleerd is een abductie geen ‘inference to the best
explanation.’ Zo’n ‘inference’ gebruik je als je niet kunt
toetsen.
Ik reserveer de term ‘hypothese’ voor de deductieve
fase. Het resultaat van de abductieve fase is een
verklarend idee dat je uitwerkt in een theorie. In de
deductieve fase leid je daaruit hypothesen af die je in de
inductieve fase toetst. Bij wijze van voorbeeld: het idee
is dat er naast productiekosten ook transactiekosten
bestaan. Dat idee werk je uit in een theorie (wat zijn
transactiekosten en waardoor worden ze bepaald?).
Daaruit leid je hypothesen af die je gaat toetsen. Het
resultaat is de transactiekostentheorie (TCE) van
Williamson. Een theorie is dus meer dan een verzameling
hypothesen: uit een theorie kun je onbepaald veel
uitspraken en hypothesen afleiden. Vandaar dat je
theorieën alleen ‘indirect’ kunt toetsen: theorieën zijn
‘ondergedetermineerd’ door de feiten. En vandaar dat
de TCE zich ontwikkelt tot een onderzoeksprogramma:
in verschillende rondes wordt de theorie verfijnd en
toegepast op nieuwe onderwerpen.
Zowel het beschrijven van patronen als het toetsen
van verklarende hypothesen zijn inductief, omdat
in beide gevallen gebruik gemaakt wordt van een
steekproef uit alle mogelijke, waaronder toekomstige
gegevens. In het ene geval gaat het om empirisch
beschrijvend en in het andere geval om empirisch
verklarend onderzoek.
De empirische cyclus: disruptive innovation
(Christensen)
Als voorbeeld van het doorlopen van de empirische
cyclus nemen we het onderzoek van Christensen naar
‘disruptive innovation.’ In Christensen (2006) beschrijft
hij op systematische wijze al deze stappen. Christensen
deed al langer onderzoek naar technologische innovatie.
Dat is een onderzoeksgebied waarin telkens nieuwe
vormen van technologische innovatie ontdekt worden:
incrementele en radicale innovatie, competentie
versterkende en vernietigende innovatie, modulaire
en architecturale innovatie. Elk nieuw onderscheid
beschrijft en verklaart een verschijnsel dat door het
vorige onderscheid niet verklaard kon worden: het zijn
afwijkende verschijnselen of anomalieën die om een
nieuwe verklaring vragen.
In zijn onderzoek ontdekte Christensen een nieuw
afwijkend verschijnsel. In een aantal gevallen worden de
zittende dominante spelers in een sector (bijvoorbeeld
producenten van hoogwaardige en dure mainframes)
verdrongen door nieuwe toetreders die met een in
vergelijking ‘armoedig’ en goedkoper product (zoals
de eerste pc’s) langzaam een weg naar boven afleggen
totdat ze de grote spelers verdrongen hebben. Dat is voor
hem aanleiding een nieuw onderscheid te introduceren,
dat tussen ‘sustaining innovation’ en ‘disruptive
technology.’ In het eerste geval leidt technologische
verbetering tot producten waarmee je meer kunt doen
dan de gemiddelde klant nodig heeft (zoals steeds betere
mainframes). In het tweede geval start je met een nieuw
product dat minder kan dan de gemiddelde klant nodig
heeft en dat je vervolgens gaat verbeteren totdat je, in dit
geval, met de verbeterde pc’s de mainframe producenten
uit de markt hebt gedrukt.
31
Christensen: inductieve fase
Christensen start dus in de inductieve fase met de
ontdekking van een nieuw patroon. Wat hij vervolgens
doet in deze fase is het opbouwen van een data base:
“It entailed building a database of all components and
technologies in every disk-drive model ever announced
by any company in the world between 1976 and 1992;
of the revenue histories of every disk-drive company;
and of the market shares of each competitor by
product segment. This data were a complete census,
not a statistical sample” (40). Vervolgens worden
deze gegevens over technologische vernieuwingen
gecategoriseerd in twee soorten: sustaining en disruptive.
En tot slot wordt gekeken of het patroon zich telkens
voordoet: bij sustaining innovation overleven de zittende
dominante spelers en bij disruptive innovation niet.
Je zit hier nog steeds in de beschrijvende fase.
Ook als je regressieanalyses gebruikt doe je dat voor
beschrijvende doeleinden. Een regressielijn vat op
eenvoudige wijze je gegevens samen: het is een data
verdichter (‘data condenser’). Voor een verklaring van
de verschijnselen moet je naar de volgende fase: “My
finding that the industry’s leading firms almost always
triumphed in battles of sustaining innovation and that
entrant firms typically beat the incumbent leaders when
disruptive innovations emerged was the conclusion of this
stage in the process of building the theory of disruption;
at this point in the research, this was a statement of
correlation”(41).
In de inductieve, beschrijvende fase (1) bouw je dus
een database op, (2) je categoriseert de gegevens en (3)
met behulp daarvan kijk je of je de patronen, bijvoorbeeld
in de vorm van correlaties, terugvindt in je data. Je kunt
nu in de inductieve fase blijven. Dat betekent dat je gaat
kijken of hetzelfde patroon zich ook in andere sectoren
voordoet. En, belangrijker, je moet volgens Christensen,
op zoek gaan naar afwijkingen van het patroon. Die
helpen je bij de zoektocht naar verklaringen. Zo wist IBM
als enige mainframe producent ontwrichting te ontlopen.
Hoe kan dat?
Christensen: abductieve fase
In de abductieve fase ga je op zoek naar mogelijke
verklaringen voor de gevonden patronen of correlaties:
“researchers, through careful observation, move beyond
statements of correlation to define what causes the
outcome of interest. … Their understanding of causality
enables researchers to assert what actions managers
ought to take to get the results they need” (42). De
verklaring die Chistensen ontwikkelde ontstond uit
gesprekken met Bruggelman over de wijze waarop
bedrijven hun bronnen alloceren (‘the resource allocation
process’). Zittende bedrijven (‘incumbents’) investeren
niet in ontwrichtende technologieën omdat het niet past
in hun business model: waarom zou je investeren in
goedkope producten met kleine marges als je klanten
hebt die dure producten met grote marges kopen?
Hiermee konden ze ook afwijkende gevallen uit de
beschrijvende fase verklaren. IBM, dominant in de markt
van de mainframes wist disruptie door pc’s te ontlopen
door een aparte business unit voor de pc-markt op te
zetten met een eigen business model. Blijkbaar kun
je business modellen niet vermengen. In de pc-markt
bedien je andere klanten die een andere marketing
vereisen, je hanteert een andere winstformule (kleine
marges op veel producten) en je maakt een product
waarvoor andere processen nodig zijn die je op een
andere manier organiseert.
Van ‘symptom-based’ naar ‘cause-based’ definities
Net als in de geneeskunde, leidt het vinden van oorzaken
tot een nieuwe, op oorzaken gebaseerde definitie van
het verschijnsel. Omdat zittende bedrijven over alle
benodigde kennis en resources beschikken om een
ontwrichtende technologie op de markt te brengen,
kan de verklaring niet in de aard van de technologie zelf
32
liggen: “In other words, it was not a technology problem;
it was a business model problem. I made a mistake when
I labeled the phenomenon as a disruptive technology;
the disruptive business model in which the technology is
deployed paralyzes the incumbent leader” (43). Vandaar
dat de term ‘disruptive technology’ wordt vervangen door
de term ‘disruptive innovation’: “A disruptive innovation
is financially unattractive for the leading incumbent to
pursue, relative to its profit model and relative to other
investments that are competing for the organization’s
resources” (49).
Dit betekent dat je, net als in de geneeskunde, je
data base moet updaten. Er komen nieuwe voorbeelden
bij, bijvoorbeeld van niet-technologische ontwrichtende
innovaties (zoals de wijze waarop Toyota wereldleider in
de auto-industrie is geworden). En er gaan voorbeelden
af: niet elk geval waarin zittende bedrijven door nieuwe
toetreders verdrongen worden zijn voorbeelden van
ontwrichtende innovatie. Dat is alleen wanneer dat
verdringingsproces verklaard wordt door onverenigbare
business modellen. Christensen wijst er dan ook
regelmatig op dat innovaties die als ontwrichtend
bestempeld worden volgens zijn theorie niet ontwrichtend
zijn.
Christensen: deductieve fase
Uit de theorie worden in de deductieve fase hypothesen
afgeleid die nu over oorzaken gaan (gehanteerde
business modellen) en over contexten waarin de
hypothese wel of niet opgaat. Zo voorspelt de theorie dat
je ontwrichting kunt voorkomen door het opzetten van
een aparte business unit, ver van het hoofdkantoor en
met een eigen business model.
Christensen: inductief toetsende fase
De theorie wordt tenslotte getoetst door hem toe te
passen op andere sectoren (‘de theorie geldt voor
sector A, maar geldt hij ook voor sector B, en als voor
B, dan ook voor sector C, enzovoort?’). Het aantal
sectoren waarop de theorie inmiddels is toegepast is
indrukwekkend. Daarbij gaat het niet alleen om vele
verschillende industriële sectoren, maar ook om sectoren
als onderwijs en gezondheidszorg. Maar er zijn altijd
sectoren waarop de theorie nog niet is toegepast: ook
toetsen blijft een inductief proces.
Aanvullend bewijs krijgt de theorie als je vooraf kunt
voorspellen welke technologie later ontwrichtend zal
blijken te zijn (zoals Christensen in 1995 bijvoorbeeld
deed voor de flash memory). Je past dan je theorie
niet toe op andere sectoren, maar op de toekomst. Je
beantwoordt daarmee wat Christensen de ‘killer question’
noemt: ‘‘It clearly applies to the history of the disk-drive
industry. But does it apply to its future as well?’’
Ook in de toetsende fase is het opsporen
van anomalieën een belangrijk onderdeel van het
onderzoeksproces. Je gebruikt ze om je theorie te
verbeteren: “As noted previously, these improvements are
made by sharpening the definitions and measures of the
phenomena, by defining better categorization schemes,
and by refining our understanding of the mechanism of
causality” (47).
Christensen: toepassing in de interventiecyclus
Bedrijven kunnen de theorie van Christensen gebruiken
om te kijken of ze bedreigd worden door ontwrichtende
innovaties (diagnose) en wat ze daaraan kunnen doen
(ontwerp oplossingen). Aanvullend bewijs voor de
theorie wordt dan ook geleverd door bedrijven die
ontwrichting weten te ontlopen door het advies van
Christensen te volgen: zet een nieuwe business unit op
met een eigen, afwijkend business model (zoals Intel
deed voor de ontwikkeling, productie en verkoop van de
processor Celeron en Kodak met zijn goedkope digitale
fotocamera’s). Praktische toepassing van de theorie kan
dus aanvullend bewijs voor de juistheid ervan leveren.
33
2. Kenmerken van de empirische cyclusDe cyclus als dialoog tussen theoretisch idee en
empirisch bewijs
Ragin (1994) noemt de empirische cyclus een dialoog
tussen idee en bewijs. Je ziet een patroon, hebt een
idee over de verklaring ervan en moet vervolgens dat
idee empirisch zien te bewijzen. De cyclus start met
beschrijvend onderzoek. Beschrijvend onderzoek heeft
een belangrijke functie. Ten eerste is het, ook voor
beleidsmakers, belangrijk te weten hoe de werkloosheid
of de armoede zich ontwikkelt, hoeveel en welke mensen
schuldproblemen hebben, enzovoort. Ten tweede vormt
het de start van de empirische cyclus. Als je dat verkeerd
doet loop je het risico verklaringen te gaan zoeken voor
verschijnselen die niet of niet in die omvang bestaan.
Replicatieonderzoek in de psychologie leidt hier tot
onthutsende resultaten (Chambers 2017). En omgekeerd:
als verschijnselen je ontgaan kun je ook niet op zoek naar
verklaringen daarvoor.
Dat wil niet zeggen dat elke onderzoeker met
beschrijvend onderzoek begint. De wetenschap is een
collectieve onderneming. Daarin kristalliseren zich
onderzoeksprogramma’s rond bepaalde onderwerpen.
In die programma’s
• Wordt de cyclus voortdurend doorlopen.
• Kan iedereen op elk moment van de cyclus
instappen.
• Kan alles betwijfeld worden: we voeren voortdurend
conceptuele, theoretische, empirische en, zeker in de
kundes, praktische discussies.
• Streven we naar het combineren van verschillende
vormen van onderzoek en van bewijs: ‘reliable
knowledge’ (Ziman 1978) vereist robuuste bewijzen.
Onderzoeksprogramma’s kunnen zich kristalliseren
rond theoretische benaderingen en rond empirische
verschijnselen. Als je naar een TCE congres gaat krijg je
presentaties over verschillende onderwerpen die vanuit
dezelfde theorie belicht worden: niet alleen het ‘kopen of
maken’ vraagstuk, maar ook het privatiseringsvraagstuk,
enzovoort (volgens Williamson kun je elk vraagstuk dat je
kunt herformuleren als een contractueel vraagstuk met
de TCE bestuderen). Als je daarentegen naar een ‘kopen
of maken’ congres gaat krijg je presentaties waarin
hetzelfde onderwerp vanuit verschillende theoretische
benaderingen belicht wordt (niet alleen TCE maar ook
vanuit de ‘resource based view’ of RBV). Praktijkgerichte
onderzoekers gaan bij voorkeur naar het laatste soort
congres. Ze combineren verschillende theorieën en
vertalen dat in vuistregels als: alleen uitbesteden als
de productiekosten lager zijn (bedrijfseconomie), de
transactiekosten lager zijn (TCE) en het niet om een
kerncompetentie gaat (RBV).
Theoretisch en empirisch onderzoek
Trek je een horizontale streep door de cyclus, dan krijg
je een theoretisch gedeelte (abductie en deductie) en
een empirisch gedeelte met twee vormen: beschrijven
van patronen en toetsen van verklaringen voor die
patronen. De dialoog tussen theorie en empirie neemt in
de verschillende wetenschappen verschillende vormen
aan. Die dialoog is in de fysica strak gekoppeld, neemt
in de biologie andere vormen aan en is in de sociale
wetenschappen losjes gekoppeld (de klacht over
theorieloze empirie en empirieloze theorie).
Onderzoek in de bovenste helft van de cyclus kan
twee vormen aannemen: conceptueel onderzoek en
theoretisch onderzoek. Voor beschrijvend onderzoek
heb je begrippen nodig: voordat je het aantal werklozen
kunt tellen moet je eerst definiëren wie waarom als
werkloos telt. Voor verklarend onderzoek heb je naast
begrippen ook theorieën over oorzaken, causale
mechanismen en gevolgen nodig: in verklarend
onderzoek beschrijf je in termen van oorzaken en
gevolgen. In die zin vereist elk empirisch onderzoek
conceptueel en theoretisch voorwerk. Maar je kunt
34
je ook specialiseren, zoals in theoretische fysica of
experimentele fysica.
In conceptueel onderzoek neem je een begrip
als onderwerp en onderzoek je wat de beste wijze
van definiëren en operationaliseren van dat begrip is.
Voorbeelden zijn studies van het ILO (International Labour
Office) over de verschillende manieren waarop het begrip
‘werkloosheid’ gedefinieerd, geoperationaliseerd en
gemeten wordt en studies in de politieke wetenschappen
waarin onderzocht wordt op welke wijzen het begrip
‘democratie’ gedefinieerd, geoperationaliseerd en
gemeten wordt en hoe zich dit verhoudt tot de data
bestanden waarvan veel democratie onderzoek gebruik
maakt.
In theoretisch onderzoek construeer je nieuwe
theorieën, óf omdat je een nieuw fenomeen ontdekt
hebt (zoals Christensen), óf omdat je denkt een betere
theorie te hebben voor het verklaren van al bekende
fenomenen (zoals Williamson). Deze theorieën kunnen
zich vervolgens ontwikkelen tot onderzoeksprogramma’s.
In empirisch onderzoek, tenslotte, beschrijf je wat het
geval is (beschrijvend onderzoek) of toets je verklarende
theorieën over de oorzaken van wat het geval is
(verklarend onderzoek).
Figuur 2. De verschillende vormen van onderzoek.
Wetenschappelijk onderzoek
Conceptueel onderzoek
Beschrijvend onderzoek
Designs van fundamenteel onderzoek
Methoden van dataconstructie en analyse
Genereren nieuwe kennis(fundamenteel onderzoek)
Empirisch onderzoek
Toepassen bestaande kennis(toegepast onderzoek)
Interventiecyclus
Designs van toegepast onderzoek
Theoretisch onderzoek
Verklarend onderzoek
Empirische cyclus:
35
De verschillende vormen van onderzoek
Omdat we in toegepast onderzoek ook beschrijven
en verklaren (bijvoorbeeld in diagnostisch onderzoek
waarin we problemen beschrijven en vervolgens naar
verklaringen zoeken) en omdat de wijze waarop we
dat doen in toegepast onderzoek anders is dan in
fundamenteel onderzoek, krijgen we het volgende
overzicht van vormen van onderzoek. Ze corresponderen
met het feit dat we in de wetenschap altijd conceptuele,
theoretische, empirische en praktische discussies voeren:
Omdat in toegepast onderzoek geen nieuwe theorie
getoetst wordt kom je daarin andere problemen
tegen die je op een andere manier moet oplossen:
je hebt daar andere designs voor nodig. In een
diagnostisch onderzoek heb je bijvoorbeeld geen
generaliseringsprobleem (externe validiteit). Daar hoef
je dus in je design geen voorzieningen voor te treffen.
Echter, ook in toegepast onderzoek moet je gegevens
verzamelen en de wijze waarop je dat doet moet, net als
in fundamenteel onderzoek, valide en betrouwbaar zijn.
Er bestaat dus een verschil tussen je onderzoeksdesign
aan de ene kant en je methoden van dataconstructie aan
de andere kant.
3. Het verschil tussen onderzoeksdesigns en methoden van dataconstructie
Wat is een design?
Een onderzoeksdesign gaat niet over de logistiek,
maar over de logica van je onderzoek (Yin 1989: 29).
Je kunt immers pas een onderzoeksplan maken als
je weet welk onderzoeksdesign je gaat toepassen. Je
design gaat over de vraag wat de slimste strategie is
om je nieuwe idee of theorie empirisch te bewijzen:
“A research design is not just a work plan. A work plan
details what has to be done to complete the project
Experiment
Questionnaire
Interview (structured or loosely
structured)
Observation
Analysis of documents
Unobtrusivemethods
Case study
Questionnaire
Interview (structured or loosely
structured)
Observation
Analysis of documents
Unobtrusivemethods
Longitudinal design
Questionnaire
Interview (structured or loosely
structured)
Observation
Analysis of documents
Unobtrusivemethods
Cross-sectional design
Questionnaire
Interview (structured or loosely
structured)
Observation
Analysis of documents
Unobtrusivemethods
Design type
Method of data collection
Figuur 3. Onderzoeksdesigns en methoden van dataconstructie (De Vauss 2012: 10).
36
but the work plan will flow from the project’s research
design. The function of a research design is to ensure
that the evidence obtained enables us to answer the
initial question as unambiguously as possible” (De Vauss
2012: 9). Daarvoor moet je bijvoorbeeld kunnen bewijzen
dat je alternatieve verklaringen hebt uitgesloten. Dat
heet de interne validiteit van je onderzoek. Een design
vertelt je hoe je dat gaat doen, dat wil zeggen, welke
strategie je daarvoor gaat gebruiken. Alle designs zijn
strategieën voor het verhogen van de interne validiteit.
Ze verschillen van elkaar in de manier waarop je dat doet
(experimentele controle, gerandomiseerde controle,
statistische controle, enzovoort). De Vauss onderscheidt
de volgende vier designs (we zullen dit later verder
uitwerken), zie Figuur 3 (pag. 35).
Design versus methoden van dataconstructie
Dit eenvoudige schema maakt duidelijk dat je het kiezen
van een onderzoeksdesign niet moet verwarren met
het kiezen van een methode van gegevensverzameling:
“Failing to distinguish between design and method
leads to poor evaluation of designs. Equating cross-
sectional designs with questionnaires, or case studies
with participant observation, means that the designs are
often evaluated against the strengths and weaknesses
of the method rather than their ability to draw relatively
unambiguous conclusions or to select among rival
hypotheses” (De Vauss 2012: 9).
Je kiest eerst een design en pas daarna bepaal je
welke – combinatie van – technieken je gaat gebruiken om
gegevens te verzamelen. Kiezen voor een gevalsstudie
betekent niet dat je noodzakelijkerwijs – alleen maar –
kwalitatieve gegevens gebruikt en kiezen voor een
experiment betekent niet dat je noodzakelijkerwijs
– alleen maar – kwantitatieve gegevens gebruikt. Dat
maakt het onderscheid tussen kwantitatief en kwalitatief
onderzoek onbruikbaar: is een case studie waarin je een
gestandaardiseerde vragenlijst gebruikt nu kwalitatief
(want een case) of kwantitatief (want gestandaardiseerde
vragenlijst)?
De onbruikbaarheid van het onderscheid tussen
kwantitatief en kwalitatief
Het onderscheid tussen kwantitatief en kwalitatief
onderzoek kan verwijzen naar
• Het aantal onderzochte cases: kleine N en grote N.
• Het meetniveau van je gegevens: nominaal, ordinaal,
interval en ratio.
• De gebruikte analysetechniek: waarschijnlijkheidsleer
en statistiek of Boleaanse algebra en
verzamelingenleer.
Het aantal feitelijke combinaties dat we in onderzoek
aantreffen is groter dan de eenvoudige tweedeling in
kwantitatief en kwalitatief onderzoek. Je kunt daarom
beter aangeven wat het aantal cases is dat je onderzoekt,
wat het meetniveaus is van je gegevens en welke
analysetechniek (statistiek of verzamelingenleer) je
gebruikt. Je hoeft dan geen antwoord meer te geven op
de vraag of je onderzoek kwantitatief of kwalitatief is.
Voor toegepast onderzoek in het kader van de
interventiecyclus is het onderscheid totaal ongeschikt.
Je onderzoekt altijd een case (het probleem van een
persoon, gezin, afdeling, bedrijf, land, enzovoort). Maar
je design is geen case study (zie Gerring 2006). En in
toegepast onderzoek combineer je altijd meerdere
manieren van dataconstructie, werk je met gegevens
van verschillende meetniveau’s en gebruik je meerdere
analysetechnieken.
Analysetechnieken gebaseerd op de statistiek
Statistische technieken en regressieanalyses worden
voor drie doeleinden gebruikt (Berk 2004):
• Om te beschrijven (‘descriptive statistics’): een
regressielijn is een beknopte beschrijving van je
gegevens (een ‘data condenser’).
37
• Om conclusies over een populatie te trekken
(‘inferential statistics’). Dat stelt eisen aan je
steekproef en aan het statistisch model dat je
gebruikt.
• Om verklaringen te toetsen (‘causal inference’): je
moet dan bewijzen welke van de gevonden correlaties
causaal zijn (‘correlation does not imply causation’).
Dat stelt hoge eisen aan het onderliggend statistisch
model.
Het eerste is statistisch gesproken relatief makkelijk
(Berk: drie hoeraatjes), het tweede al moeilijker (Berk:
twee hoeraatjes) en het derde heel erg moeilijk en
volgens sommigen onmogelijk (Berk: een hoeraatje).
Dit wil overigens niet zeggen dat beschrijvend onderzoek
gemakkelijk is. Integendeel, beschrijvend onderzoek
kan heel moeilijk zijn. De moeilijkheid is echter niet
gelegen in het onderliggende statistisch model, maar
in je gegevensverzameling: het proces van definiëren,
operationaliseren en meten.
Analysetechnieken gebaseerd op de verzamelingenleer
Gebruik je de verzamelingenleer, zoals in de door Ragin
ontwikkelde vorm van ‘Qualitative Comparative Analysis’
(QCA), dan ben je op zoek, niet naar de causale bijdrage
van afzonderlijke factoren (‘variables compete’) maar
naar de bijdrage van combinaties of configuraties van
factoren (‘variables combine’). In statistisch onderzoek
vergelijk je variabelen met elkaar en verdwijnen de
cases uit het zicht in de zoektocht naar ‘correlations
across cases.’ In een QCA vergelijk je cases met elkaar
op basis van combinaties van factoren. Je zoekt naar
configuraties die voldoende of noodzakelijk zijn voor de
uitkomst. Je onderzoekt dus geen covariaties met behulp
van de statistiek. In plaats daarvan zoek je voldoende
en noodzakelijke voorwaarden met behulp van de
verzamelingenleer. Bij een voldoende voorwaarde is X
een subset van Y: altijd als je X aantreft, tref je ook Y aan.
Altijd als de benzine op is staat je wagen stil. Maar het
omgekeerde is niet waar: er zijn ook andere configuraties
die tot Y leiden (het principe van equifinaliteit). Bij een
noodzakelijk voorwaarde is Y een subset van X: altijd
als je Y aantreft, tref je ook X aan. Maar het omgekeerde
is niet waar. Bij wijze van voorbeeld. Omvang is een
noodzakelijke voorwaarde voor arbeidsdeling en
bureaucratisering: alle bureaucratische bedrijven zijn
groot. Maar niet alle grote bedrijven zijn bureaucratisch:
Buurtzorg Nederland is een grote, niet-bureaucratische
organisatie.
Goertz en Mahony (2012) stellen voor kwalitatief
onderzoek te definiëren als onderzoek dat ‘within-case’
analyses combineert met analysetechnieken gebaseerd
op de verzamelingenleer:
“Instead we see differences in basic orientations to
research, such as whether one mainly uses within-
case analysis to make inferences about individual
cases (as qualitative researchers do) or whether one
mainly uses cross-case analysis to make inferences
about populations (as quantitative researchers do).
We even suggest that the two traditions are best
understood as drawing on alternative mathematical
foundations: quantitative research is grounded in
inferential statistics (i.e. probability and statistical
theory), whereas qualitative research is (often
implicitly) rooted in logic and set theory” (2).
Goertz en Mahoney wijzen terecht op de grote verschillen
tussen beide analysetechnieken. Maar ook de analyse
techniek van de verzamelingenleer kan op grote data
sets (grote N) toegepast worden zoals in Ragin, Fiss
(2017). De studie van Ragin en Fiss is informatief omdat
daarin dezelfde dataset zowel statistisch als theoretisch
geanalyseerd wordt. Onderzocht wordt de relatie tussen
ras, klasse, testscores en armoede. De dataset is die van
Fischer et al. (1996) Inequality by design. Dit onderzoek
38
was op haar beurt een reactie op de beroemde en
beruchte studie van Herrnstein en Murray (1994) The
Bell Curve: Intelligence and Class Structure in American
Life. De studie van Ragin en Fiss laat zien dat in dit
geval onderzoek naar configuraties meer en vooral
beleidsrelevantere informatie oplevert dan statistisch
variabelenonderzoek.
Kwaliteitscriteria empirisch onderzoek
Omdat er een verschil bestaat tussen design en
methoden van dataconstructie, bestaat er ook een
verschil tussen de kwaliteitscriteria die we daarvoor
hanteren. Omdat in elk empirisch onderzoek, van
welke aard dan ook, gegevens verzameld worden
dient dit onderzoek te voldoen aan de criteria van
meetgeldigheid en betrouwbaarheid. Onderzoeksdesigns
van fundamenteel onderzoek worden beoordeeld op de
criteria van interne en externe validiteitvaliditeit. Zoals we
in het artikel over toegepast onderzoek zullen zien, ligt
dat bij de designs van toegepast onderzoek anders.
Kwaliteitscriteria methoden dataconstructie:
meetvaliditeit en betrouwbaarheid
De wijze waarop je gegevens verzameld moet aan twee
criteria voldoen: meetvaliditeit (meet je wat je wilt meten?)
en betrouwbaarheid (de resultaten van de meetmethode
moeten onafhankelijk zijn van de persoon die de methode
toepast en van de context waarin die toegepast wordt).
Deze criteria (meetvaliditeit en betrouwbaarheid) zijn
zo algemeen geformuleerd, dat ze je niet vertellen wat
je moet doen om daaraan te voldoen. Dat weet je, ten
eerste, pas als je weet om wat voor soort begrippen het
gaat. Werkloosheid kun je direct meten, voor het meten
van intelligentie of betrokkenheid heb je indicatoren
nodig. En ook de ‘output gap’ (wat zou Nederland
geproduceerd hebben zonder recessie?) kun je alleen
indirect meten.
En dat weet je, ten tweede, pas als je voor een
van de technieken hebt gekozen. Als je voor een
gestandaardiseerde vragenlijst kiest is het vooraf
operationaliseren van je begrippen essentieel: de items
van je vragenlijst zijn de laatste stap van het proces
van operationaliseren (van begrip via dimensies naar
indicatoren). Kies je voor open interviews, dan is het
proces van achteraf coderen essentieel: dat doe je in
verschillende rondes en liefst niet alleen (‘interrater
reliability’). Operationaliseren is dus hetzelfde als
vooraf coderen: hoe verder je gaat in het vooraf
operationaliseren, des te minder hoef je achteraf te
coderen. Het heeft dus weinig zin om open interviews te
houden als er al goede operationalisaties beschikbaar
zijn. Je komt er dan als onderzoeker achteraf achter dat
de resultaten van je codering wel of niet overeenkomen
met bestaande operationaliseringen. Je komt er dan,
met andere woorden, achter dat je het onderzoek niet
goed hebt voorbereid. Omgekeerd heeft het weinig zin
studenten die gestructureerde interviews gebruiken te
dwingen hun gegevens achteraf te coderen.
Ik wil er ook op wijzen dat deze criteria zo
algemeen geformuleerd zijn dat ze onafhankelijk zijn
van welke wetenschapsfilosofische (ontologische en
epistemologische) positie dan ook. Of je nu positivist,
empiricist, realist, constructivist of wat dan ook bent,
wanneer je empirisch onderzoek doet zal je altijd een
antwoord moeten kunnen geven op de vraag of je manier
van verzamelen van gegevens valide en betrouwbaar
is. Dat is zo wanneer je wil weten wat de omvang en
ontwikkeling van de werkloosheid is en dat is zo wanneer
je wil weten wat het betekent om werkloos te zijn.
Kwaliteitscriteria onderzoeksdesign: interne en externe
validiteit
Je design is gericht op het vergroten van de interne
validiteit (klopt de gevonden verklaring, dat wil zeggen,
ben je erin geslaagd alternatieve verklaringen uit te
39
sluiten?) en de externe validiteit van je onderzoek (kun je
de gevonden verklaring generaliseren naar de populatie?).
Ook deze criteria zijn zo algemeen geformuleerd dat
ze je niet vertellen wat je moet doen om daaraan te
voldoen. Dat weet je pas als je voor een van de designs
gekozen hebt. Kies je voor een ‘randomized control trial’
(RCT) dan gebruik je randomisatie voor het uitsluiten
van andere verklaringen. Kies je voor een etnografische
veldstudie of een ‘grounded theory approach’, dan ben
je voortdurend bezig met het formuleren en toetsen
van alternatieve verklaringen: de etnograaf bestudeert
bij wijze van spreken elke avond zijn aantekeningen of
‘field notes’, categoriseert observaties en formuleert
alternatieve hypothesen die hij de komende dagen gaat
toetsen (die hypothesen sturen dus zijn proces van
gegevensverzameling). Je gebruikt hiervoor ook andere
toetsen dan in statistisch onderzoek.
En ook deze criteria zijn zo algemeen
geformuleerd dat ze onafhankelijk zijn van
welke wetenschapsfilosofische (ontologische en
epistemologische) positie dan ook. Of je nu positivist,
empiricist, realist, constructivist of wat dan ook bent,
wanneer je empirisch verklarend onderzoek doet zal je
altijd een antwoord moeten kunnen geven op de vraag
of je alternatieve verklaringen kunt uitsluiten en of je de
gevonden conclusies kunt generaliseren.
4. Empirisch onderzoek: beschrijvend onderzoek
Beschrijven en verklaren
Beschrijvende uitspraken gaan over wat het geval is
en verklarende uitspraken over waarom dat zo is. In
het eerste geval beschrijf je bijvoorbeeld de omvang
van de werkloosheid in Nederland op dit moment
of ontwikkelingen daarin over de afgelopen jaren. In
verklarend onderzoek zoek je naar de oorzaken van die
omvang of ontwikkelingen. Je beschrijft dan in termen
van oorzaken en gevolgen. In fundamenteel onderzoek
maak je ruzie met elkaar over wat nu de oorzaken van
werkloosheid zijn. In toegepast onderzoek gebruik je
die theorieën om te bepalen welke van die oorzaken in
dit geval aanwezig zijn en wat je in dit geval kunt doen
om die oorzaken of de werking ervan uit te schakelen.
Wanneer je interventies succes hebben is dat aanvullend
bewijs voor de juistheid van de toegepaste theorie.
Wanneer je interventies geen succes hebben (ondanks
kwantitatieve verruiming blijft de inflatie laag) ga je
twijfelen aan de juistheid van de toegepaste theorie. Of
je vertrouwt een theorie en past hem toe in toegepast
onderzoek. Of je vertrouwt hem niet en onderzoekt hem
in fundamenteel onderzoek. Vergelijk een theorie met een
bril. Of je zet hem op om naar de wereld te kijken. Of je
zet hem af om hem te bestuderen. Beide tegelijk kan niet.
Voor beschrijvend onderzoek heb je alleen begrippen
nodig. Voor verklarend onderzoek heb je daarnaast
een theorie over oorzaken en gevolgen nodig. Kort
geformuleerd: zonder begrippen weet je niet wat je ziet
en zonder theorieën weet je niet waar je moet kijken (naar
oorzaken en gevolgen).
Conceptuele en empirische discussie
In empirisch onderzoek maken we een onderscheid
tussen conceptuele discussies (hoe definiëren we het
begrip ‘werkloos’?) en empirische discussies (heb je het
aantal werklozen goed geteld?). In onderstaande figuur
staan de gegevens over werkloosheid weergegeven
voor zes verschillende definities van werkloosheid of
‘unemployment’ (U-1 tot U-6).
Een conceptuele discussie gaat over de vraag: waarom
hanteer je welke van de zes definities van werkloosheid?
Voor een antwoord op die vraag helpt het niet naar de
feiten (het bovenstaande plaatje) te kijken. Die vertellen
je niet welke van de zes waarom de beste definitie
is. In plaats daarvan moet je naar jezelf kijken en wat
je waarom belangrijk vindt. Alle zes de definities zijn
40
gebaseerd op overeenkomsten. Ze verschillen van
elkaar in welke overeenkomsten relevant gevonden
worden. Als je een paar uur per week werken relevant
vindt tel je die mensen mee. Vind je dat niet dan tel je
ze niet mee. In beide gevallen zal je moeten uitleggen
waarom je welke overeenkomsten wel of niet relevant
vindt.
Een conceptuele discussie gaat dus niet over
de feiten, dat wil zeggen, over de overeenkomsten
en verschillen tussen de dingen: daar zijn er te veel
van. In plaats daarvan gaat die discussie over welke
overeenkomsten we waarom relevant of belangrijk
vinden: “concepts express and direct our interests”
(Wittgenstein). Begrippen zijn dus altijd waardeafhankelijk.
Dat kunnen morele waarden zijn (zoals bij het begrip
moord). Het kunnen echter ook praktische waarden zijn
(zoals bij het begrip onkruid).
Omdat de waarde afhankelijkheid van begrippen
zo belangrijk is, hier een paar voorbeelden. Mannen
kunnen oud en jong, groot en klein, dik en dun en
getrouwd en ongetrouwd zijn. Van al die overeenkomsten
en verschillen vonden we getrouwd en ongetrouwd zo
interessant dat we daar een apart begrip voor hebben
geïntroduceerd: ongetrouwde mannen zijn vrijgezellen.
Wat we geconstrueerd of geproduceerd hebben is het
begrip, niet het verschijnsel: ook voor de introductie van
het begrip bestonden er ongetrouwde mannen. Je kunt
mensen per ongeluk, uit zelfverdediging en met opzet
Figuur 4. Werkloosheid in Amerika.
41
of met voorbedachte rade doden. Dat laatste noemen
we moord. Dat doen we niet omdat we met opzet doden
zo interessant vinden, maar omdat we dat moreel
verwerpelijk vinden. We gebruiken een morele waarde bij
onze definitie. Ook hier geldt: wat we construeren is het
begrip, niet het verschijnsel. Ook voor de introductie van
het begrip moord werden er mensen met opzet gedood.
En, tot slot, wetenschappers hebben de definitie van
het begrip planeet veranderd zodat Pluto niet meer als
planeet telt. Dat deden ze niet om morele redenen, maar
omdat ze dat handiger vonden voor hun classificatie van
hemellichamen. En om de (wereldwijde) fanclubs voor
het behoud van Pluto als planeet hebben ze een nieuwe
categorie gecreëerd, die van dwergplaneet. Dat deden
ze niet omdat dit handig was, maar om die fanclubs
tevreden te stellen. Maar Pluto is nog steeds diezelfde
modderige ijsbal die het eerder was.
We trekken hieruit de volgende conclusies. (1)
Definities zijn altijd normatief: ze functioneren als regels
waarmee je kunt kijken of het begrip juist of onjuist
wordt gebruikt. Zeggen dat er getrouwde vrijgezellen
zijn is geen ontdekking, maar onzin. Je hebt dan niet
begrepen wat het woord ‘vrijgezel’ betekent. En zeggen
dat we zonder begrippen niets kunnen beschrijven
is geen ontdekking, maar een misleidende herhaling
van een definitie: beschrijven betekent of is hetzelfde
als begrippen gebruiken om te vertellen wat het
geval is. Zeggen dat er geen beschrijvingen zonder
begrippen bestaan is hetzelfde als zeggen dat er geen
getrouwde vrijgezellen bestaan: het verschil tussen
beschrijven met en zonder begrippen is net zo onzinnig
als het verschil tussen getrouwde en ongetrouwde
vrijgezellen. (2) Definities zijn altijd waardeafhankelijk:
we hebben waarden nodig om te bepalen welke van alle
overeenkomsten en verschillen we waarom belangrijk
vinden. (3) Daarbij kan het om de meest uiteenlopende
waarde gaan: morele waarden (moord), praktische
waarden (onkruid), epistemische waarden (planeet). Je
kunt, zoals bij je keuze voor de definitie van werkloosheid
ook verschillende waarden combineren.
Wanneer je een ruime definitie van werkloosheid
hanteert kan dat om – een combinatie van – verschillende
waarden gaan. Morele waarden: je vindt dat mensen
recht hebben op een fatsoenlijke baan met een
fatsoenlijke beloning. Een baan van een paar uur per
week behoort daar niet toe. Epistemische waarden:
met een ruime definitie kun je beter verklaren waarom
de lonen niet stijgen en/of waarom zoveel mensen
ontevreden zijn, terwijl het ‘zo goed gaat met de
economie.’ Definitiekeuzes kunnen ook economische
gevolgen hebben. Met een ruime definitie van
werkloosheid gaan centrale banken minder snel de rente
verhogen om oververhitting en inflatie te vermijden.
Een empirische discussie gaat over de vraag of je
goed geteld hebt. Daarvoor moet je eerst het begrip
gedefinieerd hebben, anders kun je niet gaan tellen:
betekenisvragen (van de woorden die we gebruiken)
gaan altijd vooraf aan waarheidsvragen (van de dingen
die we daarmee zeggen). Maar een conceptuele
keuze of beslissing verandert niets aan de feiten: het
bovenstaande plaatje blijft hetzelfde. Ook als je mensen
met een paar uur werk niet meetelt blijft het aantal
mensen met een paar uur werk hetzelfde. Onze waarden
spelen een belangrijke rol bij het definiëren van onze
begrippen. Maar bij het tellen neemt de werkelijkheid het
over. Anders geformuleerd: of het aantal mensen met
een paar uur werk toe- of afneemt is onafhankelijk van
de vraag of je ze wel of niet meetelt als werkloos. Het
zijn dus niet de feiten die waardeafhankelijk zijn, maar
de begrippen die we gebruiken in ons onderzoek naar
de feiten. Zeggen dat er geen objectieve feiten bestaan
omdat feiten waardeafhankelijk zijn is dus een ernstige
vergissing. Je verwart dan een conceptuele met een
empirische discussie. En je introduceert dan een onzinnig
onderscheid tussen objectieve en subjectieve feiten. Je
voegt dan aan de zinnige vraag of het regent de onzinnige
42
vraag toe of het objectief of subjectief regent. Wanneer
je zegt dat feiten subjectief, want waardeafhankelijk zijn,
kom je, waarschijnlijk onbedoeld, in het verkeerde kamp
van de feitenontkenners terecht. Wanneer je daarentegen
zegt dat begrippen waardeafhankelijk zijn onderstreep je
het belang van conceptuele discussies, dat wil zeggen,
van discussies die je moet voeren voordat je op zoek kunt
gaan naar de feiten.
Feiten zijn dus ook geen sociale constructies. Wat
wij construeren zijn de begrippen die we gebruiken,
zoals het begrip ‘werkloos’ (wie zou dat anders moeten
doen?). Maar ontwikkelingen in de omvang van de
werkloosheid worden door veel factoren bepaald, zoals
bijvoorbeeld het uitbreken van een pandemie. Een
daarvan is inderdaad de definitie die gebruikt wordt:
wanneer de centrale bank een krappe definitie gebruikt
loopt ze het risico te snel in te grijpen en zo, onbedoeld,
de werkloosheid te vergroten (zoals bij de ‘double dip’
recessie in de EMU na de financiële crisis van 2008).
Onderzoek naar betekenissen
Het woord ‘betekenis’ kan verschillende betekenissen
hebben, zoals woordbetekenis (wat betekent het woord
‘werkloos’ of ‘verpleegkundige’?), persoonlijke betekenis
(wat betekent verpleegkundige zijn voor jou?), sociale
betekenis (wat betekent het om verpleegkundige te zijn?)
of symbolische betekenis (waar staat het beroep van
verpleegkundige symbool voor?).
Dit zijn allemaal beschrijvende vragen. Belangrijk
is, dat hermeneutisch of fenomenologisch onderzoek
niet gereduceerd kan worden tot het onderzoeken van
persoonlijke betekenissen. Veel van dat onderzoek is juist
gericht op sociale betekenissen. Voor de hermeneutiek
(het interpreteren van oude Bijbelteksten) ligt dat voor de
hand: je kunt niet meer naar persoonlijke betekenissen
vragen. En de persoonlijke betekenis van de negende
symfonie van Beethoven is iets anders dan bijvoorbeeld
de muzikale betekenis ervan.
Onderzoek naar sociale betekenissen kan verschillende
vormen aannemen. Zo onderzocht Benner (Power and
excellence in nursing) de vraag ‘wat betekent het om
verpleegkundige te zijn?’ door een inhoudsanalyse uit
te voeren op verhalen van verpleegkundigen over wat zij
als expertprestaties beschouwden. En Watson (In search
of management) onderzocht de vergelijkbare vraag ‘wat
betekent het om manager te zijn?’ met behulp van een
etnografische veldstudie. Daarvan te onderscheiden zijn
beschrijvend vragen als ‘wat doen managers?’ (zoals
in Mintzberg The nature of managerial work) of wat
doen verpleegkundigen (als voorbereiding op eventuele
curriculumwijzingen in de opleiding tot verpleegkundige)?
Al deze studies wijzen op het belang van beschrijvend
onderzoek.
Uitkomsten van beschrijvend onderzoek
naar betekenissen kunnen natuurlijk opgenomen
worden in verklarend onderzoek. Wanneer mensen
prestatiebeloning zien als een symbool van wantrouwen
(“ze vinden dat we niet hard genoeg werken want anders
zouden ze geen prestatiebeloning invoeren”) zullen ze
anders reageren dan wanneer ze prestatiebeloning zien
als een erkenning van hun individuele prestatie.
5. Empirisch onderzoek: de designs van verklarend onderzoek
Verklaren: het CMO model
Causale verklaringen hebben de volgende algemene
vorm: oorzaak X (of combinatie van oorzaken X1…n) heeft,
door haar inwerking (mechanisme M) op systeem Z, effect
of uitkomst Y. Dit heet ook wel het context, mechanisme,
uitkomst of ‘outcome’ (CMO) model van verklaren. Of
het slikken van aspirines (X) leidt tot het verlichten van
hoofdpijn (Y) is mede afhankelijk van de toestand van ons
lichaam (Z). Het gaat dus altijd om de causale kracht of
capaciteit van de aspirine (‘active power’) en de causale
ontvankelijkheid van ons lichaam (‘passive power’).
43
Het CMO model is door Pawson (1989) geïntroduceerd
en is op haar beurt gebaseerd op het werk van
Bhaskar (1975; 1979). Bhaskar schrijft voor filosofen.
Als methodoloog leer je daar niet veel van. Pawson
schrijft voor methodologen. Hij is een van de weinigen
die geprobeerd heeft methodologische conclusies
te trekken uit het werk van Bhaskar. Die conclusies
hebben betrekking op hoe je als empirisch onderzoeker
verschijnselen meet en hoe je ze verklaart. Het
‘realistische interview’ is de eerste opbrengst en het CMO
de tweede. Daar leer je als methodoloog veel van.
Causale mechanismen
Dat aspirines hoofdpijn kunnen verlichten komt omdat
de werkzame stof van aspirine (acetylsalicylzuur )
de werking van bepaalde enzymen (DOX) blokkeert
waardoor het lichaam geen prostaglandines produceert.
Prostaglandines produceren op hun beurt pijn,
ontstekingen en temperatuurverhogingen. Ze beschermen
echter ook de maag. Het blokkeren van de productie van
prostaglandines heeft dus zowel positieve gevolgen (je
hebt minder hoofdpijn en koorts) als negatieve gevolgen
(bijwerkingen): je kunt er maagbloedingen van krijgen
(zie Auyang (z.j.)). Aspirine is een goed voorbeeld van wat
tegenwoordig mechanisme verklaringen genoemd worden.
Mechanismen kun je als volgt definiëren: “A mechanism
for a phenomenon consists of entities and activities
organized in such a way that they are responsible for the
phenomenon” (Illari, Williamson 2012: 120).
Twee hoofdvormen vormen van verklarend onderzoek
Dit betekent dat verklarend onderzoek twee vormen kan
aannemen:
• Of je zoekt, zoals in een RCT of QCA, naar constante
relaties tussen X en Y.
• Of je zoekt, zoals in laboratorium experimenten of
case studies, naar het causale mechanisme M dat Y
produceert.
In het eerste geval onderzoek je of X de oorzaak is van Y.
Bij wijze van voorbeeld: je wagen staat stil omdat er geen
benzine in zit. Vraag: waarom is dat zo? Antwoord: omdat
wagens altijd stil staan als er geen benzine in zit. Kennis
van deze algemene relatie kan op ervaring gebaseerd zijn
en ze kan gebaseerd zijn op wetenschappelijk onderzoek.
Daarin heb je of hoge correlaties ontdekt of ontdekt dat
de afwezigheid van benzine een voldoende maar niet
noodzakelijke voorwaarde is voor het stil staan van je
wagen (er zijn ook andere oorzaken die tot hetzelfde
resultaat leiden).
In het tweede geval onderzoek je waarom dat zo is,
dat wil zeggen, waarom de wagen benzine nodig heeft
om te kunnen rijden. Je gaat dan als het ware onder de
motorkap kijken en legt uit waarom een auto met een
verbrandingsmotor benzine nodig heeft. Je beschrijft dan
het causale mechanisme dat Y produceert.
In onderzoeksprogramma’s, zoals in de geneeskunde,
proberen we beide vormen van verklaren te combineren.
Snow toonde destijds aan dat gebruik van de waterpomp
op Broadstreet de oorzaak was van de cholera epidemie
in Londen. We noemen dit een oorzaak omdat we deze
kennis kunnen gebruiken om cholera te vermijden: door
geen gebruik meer te maken van die waterpomp. Maar
pas later ontdekte Koch dat de ‘echte’ oorzaak gelegen
is in de aanwezigheid van micro-organismen in het
water. Daarvoor heb je een theorie nodig over wat die
organismen op basis van welke eigenschappen in ons
lichaam kunnen doen.
Om te kunnen bewijzen dat X (de waterpomp, het
micro-organisme) de oorzaak is van Y (cholera) moet
je andere verklaringen kunnen uitsluiten. Dat is de
belangrijkste functie van je onderzoeksdesign. Die
designs verschillen van elkaar in de wijze waarop ze dat
doen.
44
Een ordeningsmodel
We hebben twee hoofdvormen van verklarend onderzoek
onderscheiden: onderzoek dat op zoek is naar constante
relaties tussen oorzaak en gevolg (X-Y onderzoek)
en onderzoek dat op zoek is naar het mechanisme
dat de relatie tussen X en Y verklaart (M onderzoek).
In de sociale wetenschappen vereist M onderzoek
een case study. Je traceert daarin het proces dat van
X via tussenstappen naar Y leidt. Vandaar de naam
‘procestracing.’
X-Y onderzoek kan experimenteel en observationeel
zijn. In experimenteel onderzoek manipuleer je zelf de
relevante variabelen. Experimenteel onderzoek kan
verschillende vormen aannemen zoals het laboratorium
experiment (LE), de ‘Randomized Control Trial’ (RCT)
en het natuurlijk experiment (NE). In observationeel
onderzoek manipuleer je de relevante variabelen
niet: je onderzoek berust op niet-experimentele
data. Observationeel onderzoek kan gebaseerd
zijn op de statistiek (variabelenonderzoek) en op de
verzamelingenleer (configuratie onderzoek). In het
een ben je op zoek naar covariaties en in het ander
naar noodzakelijke en/of voldoende voorwaarden.
Variabelenonderzoek kan cross sectioneel en
longitudinaal zijn. En configuratie onderzoek heeft de
vorm van een vergelijkende case study: je vergelijkt
cases, maar het aantal cases dat je onderzoekt kan groot
zijn. In schema (met de designs vetgedrukt):
Constante relaties tussen X en Y: experimentele
designs
Voor onderzoek naar constante relaties tussen X en Y
kun je verschillende designs gebruiken. Omdat je weet
dat Y niet alleen door X, maar ook door andere factoren
beïnvloed wordt (die andere factoren heten ‘cofounders’)
kun je voor een laboratorium experiment kiezen. Je weet
Designs verklarend onderzoek
X-Y onderzoek
Experimenteel
Variabelenonderzoek
Cross sectioneel
RCTLE NE
Observationeel
Configuratie onderzoek
Longitudinaal Vergelijkende case study
M onderzoek (process tracing)Case study
Figuur 5. De designs van fundamenteel, verklarend onderzoek.
45
dan voor welke andere factoren je moet controleren en je
schakelt die uit of houdt die constant (externe controle).
Bovendien zorg je ervoor dat het object waarop je
experimenteert hetzelfde blijft (interne controle: je Petri
schaaltjes). En tenslotte varieer je de onafhankelijke
variabele (je interventie). Op deze wijze produceer je
in het experiment de constante relatie tussen X en
Y. Cartwright noemt een experiment dan ook een
nomologische machine: alles moet in het experiment op
zijn plaats zitten om die constante relatie te krijgen. Het
kan jaren duren voordat je dat voor elkaar hebt.
Dat betekent omgekeerd dat die constante relatie of
‘wet’ buiten het experiment niet meer optreedt. Buiten
het experiment treden al die andere factoren wel op en
blijft het object niet hetzelfde. Experimenteel gevonden
wetten zijn ceteris paribus (CP) wetten en buiten het
experiment zijn de ceteris niet meer paribus. Dat aspirines
hoofdpijn verlichten is dan ook geen uitspraak over wat
altijd gebeurt. In plaats daarvan is het een uitspraak
over wat aspirines kunnen doen, gegeven de toestand
van ons lichaam. Het is, met andere woorden, een
uitspraak over causale capaciteiten (van aspirines) en
causale ontvankelijkheden (van ons lichaam). Daarom
kan Cartwright (1983) zeggen dat de natuurwetten liegen.
En daarom kan Weick zeggen dat “[w]hen experimental
findings support a theory the theory, not the findings,
is generalized to the world outside the laboratory and
people will predict what will happen in that world based
on the theory” (Weick 1983: 494).
Je kunt, zoals in een RCT, ook die andere factoren
randomiseren. Je vervangt dan experimentele controle
door randomisatie. Randomisatie heb je onder andere
nodig wanneer interne controle (hetzelfde object)
onmogelijk is. Je kunt een patiënt niet zowel behandelen
als niet behandelen. Om het effect van de behandeling
te bepalen heb je dus vergelijkbare personen nodig. Ook
die zijn moeilijk te vinden. Daarom randomiseren we. En
daarom treffen we in de fysica geen RCT’s aan.
Doordat je het toeval laat bepalen wie in de interventie
en wie in de controle groep komen te zitten, kun je er
vanuit gaan dat die andere factoren of ‘cofounders’ gelijk
verdeeld zijn over beide groepen. Het enige verschil is
dan het wel of niet ontvangen van de ‘treatment.’ Door
de gemiddelde effecten van beide groepen te meten
kun je bepalen of interventie X de oorzaak is van Y. In
een RCT onderzoek je dus gemiddelde effecten: over
de individuele gevallen in beide groepen kun je geen
uitspraken doen. Nog sterker, de interventiegroep bevat
altijd gevallen waar, ondanks interventie X resultaat Y niet
optreedt. En de controlegroep bevat altijd gevallen waar,
ondanks de afwezigheid van interventie X resultaat Y wel
optreedt. RCT’s zijn dus geen ‘single case’ verklaringen.
Daarom moeten we in toegepast onderzoek altijd
kijken of de gevonden verklaring ook in dit geval, waar
al die andere factoren wel een rol kunnen spelen, van
toepassing is.
Tenslotte kunnen we, wanneer we geluk hebben
en weten waar we naar moeten kijken situaties
ontdekken waarin de wereld voor ons een interventie
en controle groep heeft ‘klaar gezet.’ Dat heet een
natuurlijk experiment. Het cholera onderzoek van
Snow is daarvan het beroemdste voorbeeld. Een ander
voorbeeld is het onderzoek van Card en Krueger (1994)
naar het effect van het verhogen van het minimumloon
op de werkgelegenheid: daalt die of niet? Daarvoor
onderzochten ze de ‘fast food’ keten restaurants in
twee op elkaar lijkende regio’s (New Jersey en Oost
Pennsylvania) waarvan in de een wel en in de ander niet
het minimumloon verhoogd werd. De wereld zelf heeft
dus voor een interventie- en controlegroep gezorgd. De
werkgelegenheid bleek niet te dalen. De discussie gaat
natuurlijk over de vraag of de twee regio’s inderdaad op
alle relevante overige variabelen hetzelfde zijn. Voor een
natuurlijk experiment geldt hetzelfde als voor een RCT:
je hebt aanvullend onderzoek nodig voor je de resultaten
elders kun toepassen: effecten zijn mede afhankelijk
46
van de omvang van de verhoging, van de hoogte van
het bestaande minimumloon en van de toestand van de
economie (recessie of hoogconjunctuur?).
Constante relaties tussen X en Y: observationele
designs met variabelenmodellen
Wanneer je niet voor een experimenteel design, maar
voor een observationele studie kiest, grijp je zelf
niet in: je manipuleert noch de ‘treatment’ variabele,
noch de overige factoren of ‘cofounders.’ In plaats
daarvan observeer je de verkregen gegevens (vandaar
‘observational studies’). En vervolgens vervang je
experimentele controle door statistische controle. In
een observationele studie ontdek je vele correlaties. Je
moet die nu causaal gaan interpreteren: welke daarvan
kunnen we wel en welke niet als oorzaak gevolg relaties
beschouwen? Dat doe je door te kijken of de waarde en
het teken van die correlatie verandert of verdwijnt als
je controleert voor die andere variabelen. In complexer
design kijk je ook naar interveniërende (mediërende) en
modererende variabelen. In al deze gevallen maak je
gebruik, niet van de beschrijvende statistiek (bestaat er
een correlatie tussen X en Y?), maar van de verklarende
statistiek (wijst die correlatie ook op een oorzaak gevolg
relatie?). Variabelenonderzoek kan cross-sectioneel en
longitudinaal zijn.
Constante relaties tussen X en Y: observationele
designs met configuratiemodellen
In een variabelenmodel gebruik je de statistiek om
te bepalen welke variabelen het beste een uitkomst
verklaren: variabelen concurreren met elkaar. In een
configuratiemodel gebruik je de verzamelingenleer om
te kijken welke combinatie van oorzaken het beste de
uitkomst verklaart. In de woorden van Ragin: “In this view,
causal conditions do not compete with each other; rather,
they combine in different ways to produce the outcome”
(Ragin, Fiss 2017: 2). Op deze manier weet je beter in
welke combinatie of context een oorzaak tot gewenste
of ongewenste effecten zal leiden. De verschillen met
statistische analysetechnieken zijn groot. Je bent niet
op zoek naar het effect van afzonderlijke variabelen,
maar van combinaties of configuraties van verschillende
variabelen. Je bent niet op zoek naar covariaties, maar
naar noodzakelijke en/of voldoende voorwaarden. De
relatie tussen oorzaak en gevolg is niet symmetrisch,
maar asymmetrisch: de aanwezigheid van Y (bijvoorbeeld
armoede) heeft andere oorzaken dan de afwezigheid van
Y. En je kunt op zoek naar verschillende oorzaken van Y
(equifinaliteit).
Causale mechanismen: ‘process tracing en ‘causal
process observations’
Variabelen en configuratiemodellen zijn niet zo geschikt
voor het onderzoeken van causale mechanismen.
Daarvoor heb je case studies nodig waarin je het
proces traceert dat leidt van oorzaak X tot uitkomst
Y. Daarvoor heb je ‘within case’ data nodig (‘causal
process observations’). Je stelt rivaliserende hypothesen
op over start, stappen in het proces en uitkomst. En
deze hypothesen worden getoetst op de vraag of het
noodzakelijke en/of voldoende voorwaarden zijn: is stap
een in het proces een noodzakelijke en/of voldoende
voorwaarde voor de volgende stap?
In de sociale wetenschappen wordt steeds meer
de in de biologie gehanteerde definitie van een causaal
mechanisme gebruikt: “A mechanism for a phenomenon
consists of entities and activities organized in such a
way that they are responsible for the phenomenon”
(Illari, Williamson 2012: 120). Het is verleidelijk om,
zoals in rationele keuze theorieën, de aandacht te
concentreren op de actoren als ‘entities’ en de wijze
waarop zij beslissen als ‘activities.’ Je vergeet dan dat
het de organisatie van het systeem is dat bepaalt wat
de ‘entities’ zijn en wat ze doen. Bij wijze van voorbeeld,
ontleend aan Cartwright (2012). Een in de Indiase staat
47
Tamil Nadu uitgevoerde RCT leidde tot de conclusie dat
het geven van extra geld aan moeders met kinderen
gekoppeld aan scholing over juiste voeding grote
resultaten opleverde in de gezondheid van kinderen (in
vergelijking met de controlegroep, waarin geen extra
geld en scholing gegeven werd). Daarom werd deze
interventie ook in Bangladesh uitgerold. Dat werd een
complete mislukking. Het bleek dat in de nieuwe situatie
niet de moeders, maar de schoonmoeders belast zijn
met de zorg voor kinderen en dat niet de moeders, maar
de vaders het geld beheren (en dus niet aan gezonde
voeding, maar aan andere dingen besteden). De
verklaring voor dit mislukken is een structuurverklaring:
de twee gezinssystemen (gedefinieerd als systemen met
posities) verschillen structureel van elkaar. Er is dus niets
mis met die moeders, maar de interventie (X) is niet goed
afgestemd op het systeem (Z) waarin het zijn werking
moet produceren. Hoe het causale proces verloopt wordt,
met andere woorden, bepaald (of beter: gestructureerd)
door de structuur of organisatie van het systeem waarvan
het proces onderdeel uitmaakt.
Schijnbare overeenkomsten
Process tracing lijkt op het gebruik van interveniërende
variabelen in variabelenonderzoek. En combinaties
van factoren lijken op modererende variabelen in
variabelenonderzoek. Maar de achterliggende logica
is anders. Process tracing berust op ‘within case’
gegevens die getoetst worden met de verzamelingenleer.
Interveniërende variabelen berusten op ‘across case’
gegevens en worden statistisch getoetst (in meervoudige
regressieanalyses of structurele vergelijkingen modellen).
En modererende variabelen meet je met interactietermen
in je regressievergelijking. Het achterliggende idee
is dat het effect van twee gecombineerde variabelen
groter is dan het effect van de afzonderlijke variabelen.
Dat is iets anders dan de logica van noodzakelijke en
voldoende voorwaarden. Bovendien is het toepassen van
interactietermen complex en moeilijk te interpreteren,
zeker als je meer dan een modererende variabele
wilt onderzoeken. Je komt dit soort onderzoek dan
ook nauwelijks tegen in tijdschriften. Stel dat je het
probleem van ‘intersectionaliteit’ wil bestuderen: je
bent zwart, vrouw, hebt laag opgeleide ouders die
niet veel verdienen. Wat is het effect daarvan op je
schoolprestaties, je beroepsloopbaan of je inkomen? Dat
is met interactietermen niet of nauwelijks te bestuderen
(zie Schudde 2018). Met een QCA is dat relatief eenvoudig
te doen.
Samenvattend: met een RCT kun je ontdekken dat
kleine klassen de leerprestaties vergroten. Met een
variabelenmodel kun je ontdekken wat het grootste effect
heeft: kleine klassen of goede, professionele docenten.
En met een QCA kun je ontdekken dat je kleine klassen
moet combineren met goede docenten en voldoende
lokalen om de leerprestaties te verhogen. Het voorbeeld
is ontleend aan Cartwright (2012). Als je de resultaten
van een RCT over de effectiviteit van kleine klassen gaat
‘uitrollen’ moet je er rekening mee houden dat kleine
klassen meer goede docenten en meer lokalen vereisen.
Hou je daar geen rekening mee, dan heeft de ‘uitrol’,
ondanks de kleine klassen, toch geen resultaat.
Multi-method research
Je kunt in je onderzoek designs ook combineren. Een
ruwe vorm daarvan is de boodschap van Rodrik (2012):
als een case study de resultaten van je regressieanalyses
tegenspreekt moet je die resultaten weggooien.
Gedifferentieerder is de aanpak van Seawright (2016)
en Goertz (2017). Hun uitgangspunt is dat elk design
zwakke en sterke kanten heeft. Dat betekent dat je de
onzekerheden van het ene design kunt reduceren met de
sterke kanten van een ander design. Zo kun je volgens
Seawright case studies gebruiken om je regressie
analyses te testen en te verfijnen en kun je regressie
analyses gebruiken om je case selectie te verbeteren.
48
Goertz concentreert zijn aandacht op het combineren
van M onderzoek (process tracing) met X-Y onderzoek
in al haar vormen. Dat ligt voor de hand want verklarend
X-Y onderzoek berust vaak op veronderstellingen
over het causale mechanisme. Wat je in multi-method
research combineert zijn designs. Welke methoden van
dataconstructie nodig zijn is een andere vraag.
6. ConclusiesIn deze bijdrage heb ik uitgelegd wat de empirische
cyclus is, wat het verschil is tussen onderzoeksdesign
enerzijds en methoden van dataconstructie anderzijds,
welke soorten empirisch onderzoek er bestaan en wat de
designs van fundamenteel onderzoek zijn. Fundamenteel
onderzoek moet voldoen aan de eisen van interne en
externe validiteit. Hoe je daaraan voldoet is afhankelijk
van het design dat je toepast. En fundamenteel
onderzoek moet voldoen aan de eisen van meetvaliditeit
en betrouwbaarheid. Hoe je dat doet is afhankelijk van de
gekozen methode van dataconstructie.
In de volgende bijdragen behandelen we eerst de
interventiecyclus en vervolgens de designs van toegepast
onderzoek in het kader van de interventiecyclus. We
zullen zien dat die designs fundamenteel verschillen
van de designs van fundamenteel onderzoek. Dat
betekent dat we aan toegepast onderzoek andere
kwaliteitseisen stellen. Dat geldt niet voor de methoden
van dataconstructie. Ook toegepast onderzoek is
empirisch onderzoek en moet dus voldoen aan de eisen
van meetvaliditeit en betrouwbaarheid.
49
3. De professional en de interventiecyclus
In deze bijdrage leg ik uit (1) wat professionals doen als ze interveniëren, (2) dat interventies altijd een ontwerpkundig en een veranderkundig aspect hebben en (3) waarom ze daarbij altijd waarden- en feitendiscussies voeren. Interveniëren is dus meer dan alleen onderzoeken. Vandaar dit aparte artikel over de interventiecyclus en het volgende over de designs van toegepast onderzoek in het kader van de interventiecyclus.
1. Wat doen professionals?Professionals interveniëren: om problemen op te
lossen
Professionals analyseren problemen en ontwerpen
daar oplossingen voor. De aard van die problemen
is afhankelijk van de desbetreffende professie:
geneeskundige problemen, werktuigbouwkundige
problemen, bedrijfskundige problemen, onderwijskundige
problemen, bestuurskundige problemen, enzovoort.
Dit alles betekent dat professionals interveniëren: de
bestaande situatie verandert niet vanzelf in de gewenste
situatie. Oplossen van problemen wordt door Simon
(1996) gedefinieerd als een ontwerpproces, dat wil
zeggen “as devising courses of action aimed at changing
existing situations into preferred ones.” Ackoff (1981)
definieert het als “designing a desirable future and
inventing ways to bring it about by way of planning.”
Het wordt ook omschreven als “the actions we take to
improve a real world problem situation” (Checkland &
Scholes, 1990) en Schön spreekt van ‘problem setting’
als voorwaarde voor ‘problem solving’ (Schön 1983: 40).
Professionals interveniëren in stappen: de
interventiecyclus
Professionals interveniëren in stappen: voordat je
oplossingen kunt ontwerpen moet je eerst het probleem
nader omschrijven of preciseren en daar vervolgens de
oorzaken van onderzoeken (diagnose van het probleem).
Figuur 1. De interventiecyclus.
Diagnose
Evaluatie Ontwerp
Implementatie
50
Vervolgens ontwerp je verschillende oplossingen waaruit
je de beste selecteert. Daarna ga je de oplossingen
implementeren en de resultaten ervan evalueren,
zie Figuur 1.
Dit heet de interventiecyclus (soms ook de regulatieve
cyclus of de handelingscyclus genoemd). Argyris & Schön
(1978) spreken van “discovery (mapping the problem),
inventing (the solution), producing (implementing the
solution) and monitoring (evaluating the results).” Abbott
(1988) gebruikt weer andere termen (‘diagnosis, inference
and treatment’) en laat evaluatie achterwege wanneer hij
zegt dat professionals drie ‘jurisdictional claims’ hebben
of drie bevoegdheden claimen:
claims to classify a problem, to reason about it, and
to take action on it: in more formal terms, to diagnose,
to infer, and to treat. Theoretically, these are the
three acts of professional practice. … The three are
modalities of action more than acts per se. But the
sequence of diagnosis, inference, and treatment
embodies the essential cultural logic of professional
practice (Abbott, 1988: 40).
In de interventiecyclus passen professionals bestaande
kennis (de ‘body of knowledge’ van het desbetreffende
beroep) toe op individuele probleemgevallen of
‘single cases’ zoals personen, gezinnen, afdelingen,
organisaties, gemeenten, regio’s, economieën, enzovoort.
Omdat de evaluatie kan leiden tot een nieuwe diagnose
spreken we van een cyclus. En het proces is iteratief:
volgende stappen kunnen leiden tot herziening van vorige
stappen van de cyclus.
Professionele interventies zijn gebaseerd op feiten
Professionals baseren zich zo veel mogelijk op feiten in
plaats van op aannames, dat wil zeggen, op wat het geval
is in plaats van op wat ze denken dat het geval is. Elke
stap van de interventiecyclus start met beschrijvende
en/of verklarende onderzoeksvragen en in elke stap
moeten ze bepalen welke gegevens ze nodig hebben
voor het beantwoorden van die vragen (ontleend aan
de theorie die ze gebruiken) en hoe ze die gegevens
gaan verzamelen en analyseren (hun methoden van
dataconstructie). In die zin doorlopen ze bij elke stap
de onderzoekscyclus. Hun onderzoek is echter van
toegepaste aard: ze ontwikkelen geen nieuwe kennis
voor de wetenschap, maar passen bestaande kennis
toe op individuele probleemgevallen en ontwikkelen
nieuwe kennis over en voor dit probleemgeval. Dat heeft,
zoals we zullen zien, grote gevolgen voor de designs
van toegepast onderzoek en voor de kwaliteitscriteria
waarmee we dat onderzoek beoordelen.
Professionals interveniëren samen met
belanghebbenden en betrokkenen
Interventies van professionals hebben altijd een
waarden- en een feitenaspect (zie verder waarden-
en feitendiscussies). Daaruit kun je afleiden dat
ze altijd belanghebbenden en betrokkenen in hun
interventies moeten betrekken. Ten eerste om met hen
waardendiscussie te voeren (wie vindt wat waarom
belangrijk?). En ten tweede om met hen feitendiscussies
te voeren: zowel voor het verkrijgen als voor het
beoordelen van de feiten ben je mede aangewezen op
medewerking, kennis en ervaring van de betrokkenen.
Bovendien vergroten professionals daardoor het
draagvlak voor hun analyses en oplossingen. Hoe
meer ze belanghebbenden en betrokkenen mee laten
doen in het onderzoek, des te meer hun interventie
een participatief karakter krijgt. Het wordt dan een
vorm van actieonderzoek of participatief toegepast
onderzoek. Ook actieonderzoek volgt de logica van
de interventiecyclus en is dus toegepast onderzoek.
Wanneer je dat participatief doet is het actieonderzoek.
51
Actieonderzoek
Actieonderzoek kan verschillende vormen aannemen.
Wanneer ik me tot de bedrijfskunde beperk kun je,
zoals in Group Model Building (Vennix 1996) gebruikers
uitleggen hoe je een systeem dynamisch model maakt
dat ze vervolgens gebruiken om zelf hun problemen
in kaart te brengen. Je kunt, zoals in Soft Systems
Methodology (Checkland, Scholes 1990) een eenvoudig
CATWOE model (Customer, Actor, Transformation,
Weltanschauung, Owner, Environment) aanbieden,
waarmee gebruikers zelf hun problemen in kaart brengen.
Je kunt, zoals lean of sociotechnische consultants,
beschikken over een uitgebreid repertoire aan modellen
en technieken. Die draag je over aan de gebruikers
zodat die daarmee zelf problemen kunnen analyseren
en oplossingen kunnen ontwerpen. Wanneer al je
veranderprojecten mislukken en als je denkt dat dit aan
de organisatiecultuur ligt, kun je Schein te hulp roepen.
Die legt dan in een sessie uit wat cultuur in zijn opvatting
is (“a set of shared, basic underlying assumptions that are
no longer conscious, but are taken for granted as the way
the world is”) en hoe je die kunt onderzoeken. Met behulp
daarvan ontdekken medewerkers zelf hun gedeelde
onbewuste vooronderstellingen (Schein 1993). En je kunt,
tenslotte, zoals in Argyris, Schön (1996) organisaties
helpen om lerende organisaties te worden. Je legt dan
uit dat er een verschil is tussen wat mensen zeggen
(‘espoused theory’) en wat ze denken (‘theory in use’).
Dat verschil belemmert zowel enkelslag als dubbelslag
leren. In een aantal sessies wordt medewerkers geleerd
te zeggen wat ze denken waardoor deze leerblokkades
opgeheven worden.
Al deze vormen van actieonderzoek berusten op
expertise van de actieonderzoeker (in systeemdynamica,
in CATWOE definities, in de toolbox van lean en
sociotechniek, in cultuur en cultuuronderzoek en in
leren en leerblokkades). In die zin zijn het allemaal
expertbenaderingen. En in al deze vormen van
actieonderzoek worden gebruikers de middelen
aangeboden het onderzoek zelf uit te voeren. In die zin
zijn het allemaal procesbenaderingen. Het heeft dan
ook weinig zin om, zoals in Schein (1993) proces- en
expertbenaderingen met elkaar te contrasteren. Van een
expertbenadering zou pas sprake zijn wanneer het gehele
onderzoek door een – externe – expert wordt uitgevoerd.
In een extreme vorm van participatie voeren de
professionals zelf geen onderzoek uit en bieden ook geen
formele of inhoudelijke diagnostische of ontwerpmodellen
en gereedschappen aan. In plaats daarvan faciliteren ze
het onderzoek dat door de betrokkenen zelf uitgevoerd
wordt. Het zijn dan ook geen onderzoekers meer,
maar ‘facilitators.’ Denk in de bedrijfskunde aan de
verschillende vormen van ‘large scale interventions,
future search conferences of Team Syntegrity’ en in
de politieke wetenschappen aan de verschillende
vormen van burgerparticipatie en experimenten met
‘deliberative democracy.’ Let wel: er is een groot verschil
tussen de professional die zegt ‘ik ga samen met jullie
onderzoek doen’ en de professional die zegt ‘jullie
doen zelf het onderzoek en ik creëer daarvoor alleen
de randvoorwaarden.’ In het laatste geval ben je geen
onderzoeker, maar een facilitator en dat is een vak apart.
De interventiecyclus: definitie en werkelijkheid
We hebben in het voorafgaande gedefinieerd wat de
interventiecyclus is. In navolging van Achterbergh en
Vriens (2019: 109) noemen we dit een ideaaltypische
definitie. Die beschrijft niet wat er in werkelijkheid
gebeurt, maar wat een interventie in zijn zuiver vorm is.
Die zuivere vorm tref je in de werkelijkheid nooit aan.
Een ideaaltypische definitie kun je voor beschrijvende
doeleinden gebruiken. Je ontdekt zo verschillen in de
wijze waarop experts en beginners de cyclus doorlopen
(het onderwerp van ‘design science’ dat vooral is
toegepast op architecten). Of je ontdekt zo verschillen
in de wijze waarop de verschillende beroepsgroepen de
52
cyclus doorlopen (bijvoorbeeld artsen versus ingenieurs).
Je leert dan van software ingenieurs hoe je het
ontwerpproces kunt organiseren (Scrum), van computer
ontwerpers hoe je gebruikers erbij kunt betrekken
(Human-Centered Design) en van industriële ontwerpers
welke creatieve technieken je daarbij kunt toepassen
(Design Thinking). En je leert zo het verschil tussen
‘design science’ (experts springen snel naar oplossingen
en redeneren dan terug naar problemen) en ‘design
thinking’ (je moet je eerst verdiepen in het probleem
voordat je aan oplossingen mag beginnen).
De ideaaltypische definitie kun je ook prescriptief
gebruiken. Je kunt dan onderzoeken of in een interventie
voldoende aandacht is besteed aan de analyse van
het probleem en of men te snel naar oplossingen is
gaan zoeken (‘jumping to solutions’). En je gebruikt
het natuurlijk ook om studenten de methodologie van
hun beroep te leren: interventiemethodologie, dat wil
zeggen, ‘the sequence of diagnosis, inference and
treatment’ (Abbott). Je leert studenten dan in hun beroep
‘methodisch te werken.’ Het is dan ook niet verwonderlijk
dat handboeken methodisch werken de logica van de
interventiecyclus volgen.
2. Ontwerpkunde en veranderkundeProfessionals moeten bij hun interventies niet alleen
problemen analyseren, oplossingen ontwerpen en
die implementeren en evalueren. Het succes van hun
interventies is ook afhankelijk van het draagvlak dat ze
weten te creëren voor hun analyses en oplossingen.
In de verschillende kundes wordt dit op uiteenlopende
wijze gethematiseerd. In de geneeskunde gaat het
bijvoorbeeld om ‘treatment efficacy’: als je een demente
bejaarde pillen voorschrijft weet je dat de therapie gaat
mislukken als je niet extra voorzieningen treft die ervoor
zorgen dat deze patiënt de pillen op tijd inneemt. Je kijkt
dan opnieuw en vanuit een ander gezichtspunt naar je
cliëntsysteem: dat de patiënt dement is, is irrelevant voor
de medische diagnose, maar uitermate relevant voor
de effectiviteit van de therapie: “Just as the diagnostic
system removes the human properties of the client to
produce a diagnosed case, so also the treatment system
must reintroduce these properties to make treatment
effective for real clients, human or corporate” (Abbott
1988: 46).
Dat geldt niet alleen voor de arts, maar ook voor
de architect of de jurist. De advocaat kijkt eerst wat
juridisch haalbaar is, procederen of schikken? Daarvoor
is juridische expertise vereist. Vervolgen kijkt de
advocaat of de cliënt dit financieel of emotioneel aankan.
De advocaat kijkt dan vanuit een nieuw, financieel-
economisch of psychologisch perspectief naar de
cliënt en herdefinieert het probleem als een financieel
of emotioneel probleem. De advocaat kan dan tot de
conclusie komen dat wat juridisch de beste oplossing is
financieel of emotioneel onhaalbaar is of dat aanvullende
maatregelen nodig zijn om de juridische oplossing
financieel of emotioneel haalbaar te maken.
Hetzelfde geldt voor de economische problemen van
de Europese Monetaire Unie (EMU). Je kunt als econoom
slimme oplossingen ontwerpen voor de weeffouten in het
ontwerp van de EMU. Daarvan bestaan er inmiddels een
heleboel. Als econoom kun je echter niets zeggen over
de politieke haalbaarheid van die oplossingen. Daarvoor
moet je het herdefiniëren als een politiek probleem en
nader analyseren met de taal en daarin geformuleerde
theorieën van de politieke wetenschappen. Je kunt er dan
(net als bij de advocaat) achter komen dat economisch
gezien juiste oplossingen politiek gezien niet haalbaar
zijn.
In de bedrijfskunde staat dit bekend als het probleem
van weerstand tegen verandering, het onderwerp van de
veranderkunde. Ook de veranderkunde herintroduceert
kenmerken van het cliëntsysteem die irrelevant zijn
voor het bepalen van de ontwerpkundige diagnose en
oplossing. Ze kijkt vanuit een ander perspectief (dat
53
wil zeggen, met andere begrippen en theorieën) naar
het cliëntsysteem. Ze onderzoekt of voor de gevonden
oplossing voldoende draagvlak bestaat en hoe je die kunt
verhogen. Over de juistheid van de oplossing kan ze geen
uitspraken doen, want daarvoor heb je de ontwerpkunde
nodig.
Dat betekent dat bedrijfskundige professionals, zoals
alle professionals, meervoudig moeten kunnen kijken:
zonder ontwerpkundige kennis en vaardigheden zijn ze
blind en zonder veranderkundige kennis en ervaring zijn
ze machteloos. Zonder veranderkundige kennis loop
je het risico geen draagvlak te vinden voor correcte of
zelfs slimme oplossingen. En zonder ontwerpkundige
kennis loop je het risico cliënten te ondersteunen bij het
implementeren van verkeerde oplossingen. Net zoals
een jurist juridische expertise nodig heeft (procederen
of schikken?) zo heeft een bedrijfskundige eerst en
vooral bedrijfskundige expertise nodig. Je kunt als
bedrijfskundige niet zeggen: van marketingproblemen,
personeelsproblemen of structuurproblemen heb
ik geen verstand, maar van veranderkunde weet ik
alles. Dat is als een pianodocent die zegt niets van
pianospelen, maar alles van doceren te weten. Net als
eerder bij expert- en procesbenaderingen zien we ook
hier dat het onvruchtbaar is ontwerpen en veranderen of
ontwerpen en ontwikkelen met elkaar te contrasteren.
Alle professionals dienen over beide vormen van kennis
en vaardigheden te beschikken.
Er zijn dus ook veranderkundige redenen om
belanghebbenden en betrokkenen te laten participeren in
de interventie. Je doet dat samenvattend:
• Omdat je draagvlak voor je analyses en
oplossingen nodig hebt, zeker wanneer het om
gedragsverandering gaat.
• Omdat je waardendiscussies voert: wat is waarom
voor wie een probleem en doel?
• Omdat je feitendiscussies voert (over wat het geval is
en wat daar de oorzaken van zijn): daar heb je lokale
kennis en ‘know-how’ van betrokkenen voor nodig.
3. Waarden- en feitendiscussies3.1. De combinatie van waarden en feiten in de
interventiecyclus
Combineren waarden en feiten
Een probleem is een toestand of situatie die als
ongewenst wordt gewaardeerd. Daarvoor moet je niet
alleen weten wat het geval is (de feiten), maar ook hoe
wat het geval is gewaardeerd wordt (waarden). Daar
heb je dus niet alleen feiten, maar ook waarden voor
nodig. Vandaar dat de eerste fase van een diagnostisch
onderzoek ook een kloofanalyse genoemd wordt: je
beschrijft de kloof tussen feitelijke en gewenste situatie.
In schema:
Waarden
Feitelijke situatie Ongewenst (probleem)
Figuur 2. Probleem: feiten en waarden.
54
Waarden zijn algemeen geformuleerde gezichtspunten die
je kunt gebruiken om meer specifieke criteria of normen
te formuleren voor het beoordelen van situaties. Vergelijk
het verschil tussen ‘ik voel me niet lekker’ en ‘ik heb 390
koorts.’ Voordat je naar oorzaken kunt gaan zoeken moet
je daarom eerst het probleem preciseren (zie verder over
de designs van toegepast onderzoek). De arts vraagt of
je koorts hebt, last van hoofdpijn, van maagpijn en hoe
het met de ontlasting staat. De operations manager (bij
levertijdproblemen): hoe vaak lever je bij welke orders
hoeveel tijd te laat. De HR manager: wie verzuimen in
welke afdeling hoe vaak en hoelang? Dit zijn allemaal
beschrijvende vragen: de waaromvraag wordt pas in
de volgende fase van de diagnose gesteld. Door deze
beschrijvende vragen te beantwoorden preciseer je het
probleem: je deelt het op in deelproblemen en je kunt nu
bepalen welke daarvan het ernstigste zijn: langdurend en
niet kortdurend verzuim is het probleem. Je kunt dit ook
een probleemanalyse noemen, mits je dit niet verwart met
een analyse van de oorzaken van je problemen.
In de tweede fase van een diagnostisch onderzoek
beantwoord je de waaromvraag. Daarvoor herdefinieer
je de situatie als een ongewenst gevolg en ga je op zoek
naar de oorzaken ervan. In diagnostisch onderzoek
zoeken we dus naar oorzaken van – ongewenste –
gevolgen (‘causes of effects’), zie Figuur 3.
Problemen hebben altijd meerdere oorzaken. Die moet je
niet alleen ontdekken, maar ook ordenen (zie verder over
de designs van toegepast onderzoek).
Bij het ontwerpen van oplossingen doe je iets
vergelijkbaars. Je formuleert een doel, dat wil zeggen,
een gewenste situatie. Daarvoor heb je alweer waarden
nodig, waarmee je een situatie als gewenst beoordeelt.
Hoe preciezer je dat doet, des te preciezer kun je bij de
evaluatie bepalen of de oplossing succesvol is geweest.
Vervolgens zoek je naar de middelen of manieren om dat
doel te bereiken. Daarvoor herdefinieer je de gewenste
situatie als een gewenst gevolg en ga je op zoek naar
oorzaken van dit gewenste gevolg. De oorzaken van
het gewenste gevolg zijn de middelen of oplossingen
die je gebruikt om je doel te bereiken of je probleem
op te lossen (de kloof tussen ongewenste en gewenste
situatie te dichten): als X een oorzaak is van Y en Y is een
gewenst gevolg, dan is X een middel om Y te bereiken,
zie Figuur 4. Hier onderzoeken we dus de gewenste (en
ongewenste) gevolgen van oorzaken (‘effects of causes’).
Je selecteert uit de oplossingen door naar de gewenste
en ongewenste nevengevolgen te kijken. Dit heet in de
literatuur besluitvorming onder constraints. Je keuze
moet aan een aantal eisen voldoen (de constraints). Een
daarvan kies je als hoofddoel en gebruik je om middelen/
oplossingen te genereren. En de andere constraints zijn
je nevendoelen die je gebruikt om middelen/oplossingen
te selecteren: je kiest dat middel dat het hoogst scoort op
hoofddoel en nevendoelen.
In interventies combineren we dus altijd een
waardenschema en een feitenschema over oorzaken en
gevolgen (Luhmann 1973), zie Figuur 4.
Er bestaat dus een verschil tussen doel (ophouden met
roken, slagen voor je tentamens) en de middelen om dat
doel te bereiken. Wanneer je vaak zakt voor je tentamens
is het slagen voor je tentamens niet de oplossing, maar
het doel. Oplossingen zijn de middelen of maatregelen
die je neemt om dat doel te bereiken.
Dit alles betekent dat we bij interventies altijd in
meer of mindere mate geconfronteerd worden met het
probleem van waardencomplexiteit en van causale
complexiteit.
3.2. Waardencomplexiteit
Zijn problemen subjectief?
De verleiding is groot om problemen subjectief te
noemen. Ze berusten immers op beoordelingen van de
feiten: “Echter, problemen bestaan niet.
55
Althans, problemen zijn geen objectieve situaties in de
werkelijkheid. Problemen zijn subjectieve oordelen over
situaties in de werkelijkheid. Of, zoals Joseph Kessels het
verwoordde: ‘Een probleem is een interpretatie van een
gevoel van onbehagen’ (Kessels, 2005). Bij het stellen van
een diagnose is dus altijd sprake van een norm en van
een situatie die niet aan de norm voldoet” (Andriessen
2011: 85; de verwijzing is naar Joseph, niet naar Jos
Kessels).
Dat is nogal kort door de bocht. Ik voel me niet goed,
neem mijn temperatuur op en blijk 400 graden koorts te
hebben (corona te hebben, een tumor te hebben). Ik zeg
‘ik heb een probleem want ik heb 400 koorts (corona,
een tumor). Wat is daar subjectief aan? Om te bepalen
of en wanneer waarden subjectief zijn, moeten we, ten
eerste, een onderscheid maken in verschillende soorten
waarden, zoals bijvoorbeeld in Von Wright (1963) Varieties
of goodness. Je kunt een maaltijd of concert goed
noemen omdat je ervan genoten hebt. Je noemt het dan
een lekkere maaltijd of een mooi concert (hedonistische
waarden). Dat kun je subjectief noemen: wat de een
lekker vindt, vindt de ander vies. Dat is een kwestie
van smaak en dat zou je interpretaties van gevoelens
van (on)behagen kunnen noemen. Je kunt echter ook
zeggen dat de maaltijd bereid is door een goede kok die
goede gereedschappen op een goede manier gebruikt.
Dan heb je het over instrumentele waarden (een goed
mes, een goede werkwijze) en technische waarden (een
goede kok, een goed onderzoeker, een goed student).
Dat zijn geen subjectieve waarden: je kunt een maaltijd
lekker vinden, maar je hebt verstand van koken nodig om
van de kok te kunnen zeggen dat het een goede kok is.
Wanneer een docent een tentamen nakijkt en daar een
onvoldoende voor geeft interpreteert hij geen gevoel van
onbehagen. In plaats daarvan gebruikt hij normen om
te beoordelen of de student de stof begrepen heeft. Als
dat niet zo is, geeft hij een onvoldoende en kan hij daar
een gevoel van onbehagen aan overhouden. En als de
student bezwaar maakt en zegt ‘dat is uw subjectieve
interpretatie van de stof; ik interpreteer de stof anders’
dan zal de docent erop wijzen dat er een verschil bestaat
tussen iets begrijpen en iets interpreteren. Voordat je
de stof kunt interpreteren moet je die eerst begrijpen
en in dit geval heeft de student de stof niet begrepen.
Lesgeven vooronderstelt het verschil tussen begrijpen en
interpreteren!
Feiten Waarden
Oorzaak/Middel
Gevolg/Situatie Ongewenst (probleem)
Gewenst (doel)Figuur 4. Ontwerp: oorzaken van gewenste gevolgen (doelen).
Feiten Waarden
Oorzaak Gevolg/Situatie Ongewenst (probleem)
Figuur 3. Diagnose: oorzaken van ongewenste gevolgen (problemen).
56
Zo zijn er verschillende soorten waarden die we
gebruiken om criteria en normen te formuleren. Die
zijn zeker niet allemaal subjectief zoals hedonistische
waarden subjectief zijn. Tot onze waarden behoren ook
morele waarden waarmee we mensen en hun daden
en karakter beoordelen. Dat brengt mij bij mijn tweede
punt: het verschil tussen de rol die waarden spelen bij
het definiëren van onze begrippen enerzijds en bij de
uitspraken die we daarmee doen anderzijds. Je kunt
mensen op verschillende manieren doden: per ongeluk,
uit zelfverdediging en opzettelijk of met voorbedachte
rade. Het laatste definiëren we als moord omdat we dat
moreel verwerpelijk of moreel slecht vinden. Zeggen dat
moorden slecht is, is dubbel op: we vinden opzettelijk
doden slecht en daarom noemen we het moord. Ons
morele oordeel zit dus al in het woord ‘moord’ besloten.
Dat is geen kwestie van smaak: over smaak valt geen
rationele discussie te voeren en over morele waarden wel.
Met deze definitie kunnen we vervolgens gaan tellen
(net zoals eerder met een definitie van werkloosheid).
We komen er dan achter dat er een aanzienlijke stijging
van het aantal moorden heeft plaats gevonden. Dat is
een uitspraak over de feiten: een empirische uitspraak
die waar is als je goed geteld hebt en onwaar als je
fout geteld hebt. Uit wat het geval is kun je niet afleiden
wat het geval behoort te zijn: dat het aantal moorden is
toegenomen betekent niet dat dit zo behoort te zijn. Dat
lijkt op wat wij tegen onze kinderen zeggen ‘dat andere
kinderen meer beeldschermtijd hebben betekent niet
dat dit ook zo behoort te zijn.’ Het verschil is dit. Voor
het beoordelen van het aantal uren beeldschermtijd
(‘statement of fact’) hebben we waarden nodig die we
omzetten in normen waarmee we de feiten beoordelen:
tot zo veel uur is goed en daarboven is slecht (statement
of value’). Voor het beoordelen van het aantal moorden
(‘statement of fact’) heb je die waarden niet nodig,
want het morele oordeel ligt al besloten in het woord
‘moord.’ Als er – meer – gemoord wordt ga je niet meer
discussiëren over de vraag of dat goed of slecht is.
Die discussie hebben we al gevoerd toen we moesten
besluiten of we doden met opzet moord willen noemen.
Daarom lijken zoveel ‘statements of value’ (dit is een
slecht mes, een slechte docent, een slecht medicijn
en het aantal verkeersdoden, het aantal moorden is
toegenomen) op ‘statements of fact’: als je begrijpt wat je
daaronder moet verstaan kun je empirisch vaststellen of
dat ook het geval is. Er bestaat zo dus geen kloof tussen
‘statements of value’ en ‘statements of fact’ (zie ook
Hacker 2018).
In het algemeen komen we twee redenen tegen om
problemen subjectief te noemen: (1) problemen zouden
subjectief zijn omdat er geen objectieve feiten bestaan
en (2) problemen zouden subjectief zijn omdat er geen
objectieve waarden bestaan. Deze discussie wordt verder
uiteengerafeld in het artikel ‘Problems: objective facts or
subjective constructions?’
Waardenpluralisme en waardendiscussie
Waarden zijn algemene gezichtspunten die we gebruiken
om beoordelingscriteria en -normen te ontwikkelen.
Waardenconflicten treffen we overal aan: in ons
persoonlijke leven, tijdens ons werk, in de politiek.
Monisten zeggen dat we die conflicten kunnen oplossen
met behulp van een ultieme waarde (nut in het utilitarisme)
of procedure (de ‘originele positie’ van Rawls of de
‘machtsvrije dialoog’ van Habermas). Waardenpluralisten
zoals Sen (2009) zeggen dat dit we soort ‘perfecte’
theorieën niet hebben omdat ze onmogelijk zijn, dat we ze
ook niet nodig hebben (om bijvoorbeeld te concluderen
dat een maatschappij zonder slavernij beter is dan
een met slavernij) en dat we waardenconflicten in de
praktijk dan ook anders oplossen. Sen stelt daarom een
vergelijkende benadering voor: we vergelijken alternatieve
maatregelen niet met de enig juiste maatregel, maar met
elkaar. Dat doen we in verschillende contexten (conflicten
tussen rechtvaardigheid en loyaliteit lossen we in ons
57
persoonlijke leven anders op dan in organisaties of in
de politiek). Sen maakt vooral gebruik van makkelijke
voorbeelden, maar gaat de ‘hard choices’ (wat als we
moeten kiezen tussen een maatschappij zonder slavernij
en een maatschappij zonder honger?) uit de weg.
Dergelijke ‘hard choices’ komen wel aan bod in Bader
(2007).
Wat waardenpluralisten als Sen en Bader met
waarden (en doelen) doen lijkt op wat Simon deed met
het zoeken naar middelen voor het bereiken van onze
doelen. Omdat we niet alle middelen kennen en niet van
al die middelen in een seconde de gevolgen kunnen
uitreken (absolute rationaliteit) zijn wij beperkt rationeel.
Omdat we niet alles weten en in een seconde kunnen
uitrekenen maximeren we niet maar zijn we tevreden
met bevredigende oplossingen, met oplossingen die
goed genoeg zijn. Ons doel is niet ‘maximizing’ maar
‘satisficing’ (een samentrekking van ‘to satisfy’ en to
suffice’). Ook daarin vergelijken we alternatieve middelen
niet met de enig beste (die kunnen we niet vinden) maar
met elkaar. Daarvoor gebruiken we slimme zoekregels
(heuristics) en stopregels (we kunnen niet eeuwig
machtsvrij blijven discussiëren).
Het is belangrijk erop te wijzen dat beperkte
rationaliteit geen gebrek is: zelfs de wereldkampioen
schaken is beperkt rationeel. Omdat hij niet alles kan
uitrekenen moet hij kiezen en hij is wereldkampioen
geworden omdat hij dat slimmer doet dan anderen. De
boodschap van Simon is dus niet dat wij, omdat we
beperkt rationeel zijn, verkeerde en domme beslissingen
nemen (Tversky en Kahneman over ‘heuristics and
biases’). Zijn boodschap is eerder omgekeerd dat
we, omdat we beperkt rationeel zijn, slim moeten zijn
(Gigerenzer over ‘adaptive heuristics’).
Simon had het natuurlijk alleen over de zoektocht
naar middelen. Volgens hem kun je over waarden niet
rationeel discussiëren. Volgens waardenpluralisten kan
dat wel. Zij ontkennen niet dat er objectieve en universele
waarden bestaan: het zijn geen relativisten. Zij zeggen
alleen (1) dat er zich conflicten tussen die waarden
kunnen voordoen, (2) dat we die conflicten niet kunnen
oplossen met abstracte principes, regels en procedures
en (3) dat we die in die vorm ook niet nodig hebben
omdat we die conflicten op een andere manier oplossen
(en soms niet kunt oplossen). Ook zij zeggen dat je niet
kunt maximeren (met behulp van een perfecte theorie),
maar moet streven naar bevredigende oplossingen en
dat je die vindt door vergelijkend te werk te gaan met
kennis van de context waarin de conflicten zich voordoen.
Vergelijk Bader’s verdediging van ‘minimal moralism.’
‘Perfect moralism’ is ons, net als absolute rationaliteit,
niet gegeven. Dat betekent niet dat we irrationeel zijn,
maar naar slimme oplossingen moeten zoeken. Dat lijkt
overigens op de boodschap van Aristoteles: we hebben
geen abstracte regels, maar praktische wijsheid nodig.
En Bader (2013; 2020) adviseert politieke filosofen
en wetenschappers dan ook meer te kijken naar de
kundes en de professionals en de wijze waarop zij met
waardenconflicten omgaan: door ze te voorkomen,
door ze te herdefiniëren, door verschillende waarden te
combineren en te balanceren, door minimale normen te
formuleren, enzovoort.
Waardendiscussie in de interventiecyclus
Waardendiscussies doen zich voor in de diagnose
(wat is waarom voor wie een probleem?) en in de
ontwerpfase (wat is voor wie waarom het doel?) van
de interventiecyclus. Waardenpluralisten maken een
onderscheid tussen conflicten tussen waarden (vrijheid
en gelijkheid) en binnen een en dezelfde waarde (wat
moeten we onder rechtvaardigheid verstaan, wat zijn de
criteria die we daarvoor gebruiken?). Daaraan voegen
we toe dat dezelfde ontwikkelingen verschillend kunnen
uitpakken en daarom voor de een wel en voor de ander
niet voor problemen zorgt. Dat is niet in de ‘subjectieve’
betekenis (wat de een vervelend vindt, vindt de ander
58
aangenaam), maar in de ‘objectieve’ betekenis: X veroor-
zaakt wel problemen voor de een en niet voor de ander.
Bij wijze van voorbeeld: als opwarming van de aarde
wel tot negatieve gevolgen in het zuiden, maar niet in
het noorden leidt, dan hebben zij in het zuiden wel en
wij in het noorden (nog) geen probleem. Wij moeten dan
besluiten of we het zuiden gaan helpen, bijvoorbeeld
omdat wij het meeste CO2 uitstoten, omdat wij hen arm
hebben gemaakt en houden en/of omdat ons hetzelfde te
wachten staat.
Voordat we op waardendiscussies in de
interventiecyclus ingaan dient opgemerkt te worden
dat veel van onze discussies niet over waarden gaan
maar over de feiten. Omdat waarden zo algemeen
geformuleerd zijn kunnen we het daar meestal makkelijk
over eens worden (iedereen is voor het behoud van de
aarde en tegen de vernietiging ervan). Wanneer we over
de opwarming van de aarde discussiëren, discussiëren
we vooral over de feiten: hoeveel en hoe snel warmt
die op, wat zijn daarvan de oorzaken, wat zijn daarvan
waar en voor wie de gevolgen? Daarom is het ook zo
belangrijk dat professionals in de interventiecyclus op
zoek gaan naar de feiten en proberen om aannames
over problemen, oorzaken en oplossingen door feiten te
vervangen. Die feiten kunnen zo duidelijk zijn dat je geen
waardendiscussie meer hoeft te voeren.
Conflicten tussen waarden die we delen
Waardendiscussies in de interventiecyclus kunnen, zoals
gezegd, drie hoofdvormen aannemen. In het eerste
geval delen we dezelfde waarden, maar conflicteren die
waarden met elkaar. We zijn allemaal voor Profit, Planet
en People, maar het is moeilijk die waarden tegelijkertijd
te realiseren. We discussiëren dan over de vraag welke
wanneer waarom het belangrijkst is. Dit staat bekend
als besluitvorming onder constraints: de drie P’s zijn de
constraints waaraan je beslissingen moeten voldoen.
Je kiest er een als doel, bijvoorbeeld Profit als je een
profit organisatie bent. De andere twee doelen zijn dan
constraints of nevendoelen. Je gebruikt het hoofddoel,
in dit geval Profit, om naar ‘winstgevende maatregelen’
te zoeken. En je selecteert daaruit die maatregelen die
ook goed zijn voor Planet en People. Let wel, wanneer je
Planet als hoofddoel selecteert, krijg je een andere set
van maatregelen waaruit je vervolgens die maatregelen
selecteert die ook goed zijn voor Profit en People. Het
maakt dus uit wat je als hoofddoel selecteert. Daarom is
het zo belangrijk dat er ook onderzoekers zijn die Planet
of People als hoofddoel nemen en gaan zoeken naar de
middelen om dat hoofddoel te bereiken. Op deze manier
vergroot je de set van maatregelen die aan alle drie de
eisen voldoet. Anders geformuleerd: wanneer je Planet
als hoofddoel kiest vergroot je de kans op het vinden van
maatregelen die je niet vindt met Profit als hoofddoel,
terwijl ze wel goed voor de Profit doelstelling kunnen zijn.
Je herkent hierin de logica van ontwerpgericht
onderzoek als tweede fase van de interventiecyclus:
je start met het bepalen van de functionele vereisten
(hoofd- en nevendoelen), je gebruikt het hoofddoel
om alternatieve middelen te genereren en je selecteert
daaruit door naar de gevolgen voor de nevendoelen te
kijken. Daarom is het zo belangrijk dat professionals
aandacht besteden aan de vraag wat het hoofddoel
wordt en welke nevendoelen geformuleerd worden. Het
maakt nogal veel uit of je bij lean verbeteringsprojecten
duurzaamheid wel of niet als nevendoel meeneemt. Doe
je dat wel, dan kun onderzoeken of je verbeterproject
schadelijk is voor het milieu (heroverwegen) of goed is
voor het milieu (zichtbaar maken).
Conflicten binnen dezelfde waarde: wat verstaan we
onder X?
In haar tweede vorm gaat het niet over waarden die
conflicteren omdat ze moeilijk tegelijkertijd te realiseren
zijn, maar om de criteria of principes die we gebruiken om
te bepalen dat aan waarde X is voldaan. Sen past dit toe
59
op rechtvaardigheid met zijn voorbeeld over de fluit. Je
hebt een fluit te verdelen. Geef je die aan degene die het
best fluit kan spelen, die te arm is om een fluit te kopen of
die de fluit gemaakt heeft? Daar kom je op dit abstracte
niveau niet uit en je hebt een hoop contextinformatie
nodig om hier een eerlijke beslissing in te vinden. Vergelijk
het met een maaltijd in een gezin. Je hebt eten over. Geef
je dat aan degene die het eten het lekkerst vindt (het
meest van geniet), die het eten het meeste nodig heeft of
die de maaltijd gemaakt heeft?
Dit soort discussies voeren we voortdurend: wat
verstaan we onder goed onderwijs, goede zorg of
onder Profit uit de drie P’s? Neem Profit als voorbeeld.
Het gaat niet om de vraag hoe we dat meten, maar om
de vraag wat een onderneming winstgevend maakt.
Stel, een onderneming heeft problemen met haar
winstgevendheid en die worden in een MT vergadering
besproken. De kwaliteitsmanager zal zeggen dat het
een kwaliteitsprobleem is, de bedrijfsleider, dat het
een planningsprobleem is, de HR manager dat het een
personeelsprobleem is, de marketingmanager dat het
een verkoopprobleem is en de onderhoudsmanager
dat het een onderhoudsprobleem is. Elke functionele
specialist beschouwt zijn specialisme als bepalend voor
de winstgevendheid van de onderneming.
Wat doet de professional in zo’n geval? Die zal
eerst op zoek gaan naar de feiten: wie heeft gelijk c.q.
hoe groot zijn de problemen op al deze gebieden. Stel
dat de problemen op al deze gebieden groot zijn, dan
zal de professional (1) kijken of er een samenhang
tussen deze problemen bestaat (onderhoudsproblemen
veroorzaken bijvoorbeeld zowel kwaliteits- als
planningsproblemen) en (2) kijken of die samenhang
bepaald wordt door de structuur van de organisatie.
In beide gevallen kun je dan door een probleem aan te
pakken (onderhoudsproblemen, een structuurprobleem)
meerdere problemen tegelijkertijd oplossen. Is dat
niet het geval, dan zal de professional samen met het
MT gaan prioriteren: welk probleem is waarom het
belangrijkst, waar leggen jullie strategisch de nadruk op:
kosten, kwaliteit of levertijd? Vervolgens transformeer je
dat in een vorm van besluitvorming onder constraints:
we zetten in op kwaliteit en gaan zoeken naar kwaliteit
verhogende maatregelen (hoofddoel). Maar die
maatregelen moeten voldoen aan minimale normen op
het gebied van kosten en levertijden (nevendoelen).
Waardenconflicten als belangenconflicten
Waardendiscussies, zowel tussen waarden als
binnen dezelfde waarden, zijn nauw verbonden met
belangendiscussies. Wat goed is voor de werkgever
(Profit) hoeft niet goed te zijn voor de werknemers
(People) en wat goed is voor de onderhoudsmanager
hoeft niet goed te zijn voor de verkoopmanager of
systeembeheerder.
Algemeen gesproken betekent dit dat de professional
het probleem vanuit het perspectief van verschillende
belanghebbenden bekijkt en het zo probeert te
herdefiniëren dat het relevant is voor verschillende
belanghebbenden. Vandaar dat de professional niet
alleen kijkt naar wat het probleem is, maar ook naar
waarom het een probleem is (negatieve gevolgen van
probleem X op verschillende terreinen) en voor wie het
een probleem is (wie daar waarom belang bij heeft). En
bij het ontwerpen van oplossingen zal de professional
zoeken naar ‘multifunctionele’ middelen, dat wil zeggen,
naar maatregelen waarmee je tegelijkertijd verschillende
problemen kunt oplossen. De gevolgde werkwijze is
dezelfde als eerder omschreven. De professional
• Gaat op zoek naar de feiten: wie heeft gelijk, dat wil
zeggen, wat is waarom voor wie een probleem? Het
resultaat is dat het meestal om meerdere problemen
tegelijkertijd gaat.
• Zoekt naar achterliggende oorzaken die bepalend
zijn voor de samenhang tussen de problemen.
Die achterliggende oorzaak maakt het probleem
60
belangrijk voor verschillende partijen en door
de achterliggende oorzaak aan te pakken los je
meerdere problemen tegelijkertijd op.
• Prioriteert, als dat niet mogelijk is en combineert dat
met minimale normen (hoofd- en nevendoelen).
• Zoekt naar compenserende maatregelen voor
benadeelde partijen.
3.3. Causale complexiteit
Causale complexiteit
In zijn meest eenvoudige vorm verwijst causale
complexiteit naar het feit dat oorzaken altijd meerdere
(gewenste en ongewenste) gevolgen hebben en dat
omgekeerd gevolgen altijd meerdere oorzaken hebben.
In de literatuur wordt daarom een onderscheid gemaakt
tussen onderzoek naar de verschillende oorzaken van
een gevolg (‘causes of effects’) en onderzoek naar
de verschillende effecten van een oorzaak (‘effects
of causes’). Bovendien gaat het niet om van elkaar
onafhankelijke oorzaken, maar om combinaties,
constellaties, configuraties (Ragin) of arrangementen
(Cartwright) van achtereenvolgens meewerkende,
tegenwerkende, terugwerkende, gemengde, mediërende
en modererende oorzaken. Niet oorzaak X1, maar
configuratie X1…n of proces X1…n leidt tot gevolg Y. Dat
betekent dat alles in die configuratie of dat proces op
zijn plaats moet zitten, anders mislukt in fundamenteel
onderzoek je experiment en in toegepast onderzoek je
interventie.
Zowel fundamenteel als toegepast onderzoek
worden geconfronteerd met het probleem van causale
complexiteit. In fundamenteel onderzoek wil je bewijzen
dat X een oorzaak van Y is, terwijl je weet dat A, B
en C ook oorzaken van Y zijn. Om te bewijzen dat X
een oorzaak is, moet je daarom die andere oorzaken
(alternatieve verklaringen) kunnen uitsluiten: je moet
daarvoor controleren. Dat is het vraagstuk van interne
validiteit en dat probeer je op te lossen door een van de
designs te kiezen en vervolgens het gekozen design op
de juiste manier uit te voeren. Dat ligt anders in toegepast
onderzoek.
Toegepast onderzoek: de kloof tussen wetenschap en
praktijk
In toegepast onderzoek neemt het probleem van
causale complexiteit een andere vorm aan. Je weet dat
Y meerdere mogelijke (combinaties van) oorzaken heeft:
niet alleen X, maar ook A, B en C. In toegepast onderzoek
wil je weten welke van deze mogelijke oorzaken in dit
geval aanwezig zijn (in de diagnose) of gebruikt kunnen
worden (in het ontwerp van oplossingen). Je wilt dus
niet A, B en C uitsluiten maar insluiten: je wilt geen
aanwezige oorzaken in de diagnose en oplossingen in
de ontwerpfase over het hoofd zien. Daarom zien de
designs van toegepast onderzoek er anders uit en neemt
het vraagstuk van interne validiteit een andere vorm aan.
Dat komt omdat je geen nieuwe theorie toetst, maar
bestaande theorieën toepast op een individueel geval.
Dit wordt ook wel de kloof tussen wetenschap en
praktijk genoemd: professionals moeten de generieke
kennis van de wetenschap wanneer ze die gaan
toepassen weer contextualiseren (Schön). Dat is
gedeeltelijk een vaardigheid die professionals alleen in
de praktijk kunnen leren: ze kunnen zich ontwikkelen van
‘novice’ tot ‘expert’ (Dreyfuss, Dreyfuss 1986; Benner
1984). Ze kunnen die kloof ook door onderzoek verkleinen.
Volgens ons is dit de belangrijkste functie van toegepast
onderzoek. In de woorden van Cartwright: toegepast
onderzoek moet professionals helpen de kloof te
overbruggen tussen ‘het werkt ergens’ en ‘het werkt hier.’
4. De coronacrisis als voorbeeldKenmerken van de coronacrisis
In de coronacrisis zie je alle kenmerken van
praktijkgericht onderzoek terugkomen, zowel in haar
fundamentele vorm (welke medische behandelingen
61
helpen, welke maatregelen hebben effect, wat zijn
daarvan de nevengevolgen?) als in haar toegepaste vorm
(hoe behandel ik deze patiënt, hoe richt ik deze intensive
care of dit verpleeghuis in, wat zijn voor deze regio de
beste maatregelen?).
Interdisciplinaire aanpak. Praktijkproblemen zoals
de coronacrisis houden zich niet aan de disciplinaire
organisatie van de wetenschap. De coronacrisis
heeft vele aspecten die door evenzovele disciplines
en interdisciplines onderzocht worden. Zou je een
Kennisinstituut Corona oprichten, dan zou je al die
disciplines en interdisciplines daarin vertegenwoordigd
willen hebben.
Integrale aanpak. De coronacrisis is een ‘messy
problem’ dat uiteenvalt in vele verschillende problemen
die in onderlinge samenhang (integraal) geanalyseerd
en opgelost moeten worden. Net zoals er geen integrale
geneeskundige, onderwijskundige of bedrijfskundige
theorie bestaat, zo bestaat er ook geen integrale corona
theorie. Ik denk dat de systeemtheorie hier goede
diensten kan verlenen maar dat zou een apart artikel
vereisen (steekwoord: reductie van complexiteit).
Waardendiscussies. Bij het nemen van maatregelen
moeten voortdurend verschillende waarden, principes en
belangen tegen elkaar afgewogen worden. Dit proberen
we te vermijden door naar ‘multifunctionele’ middelen
te zoeken, te verzachten door minimale normen te
formuleren, door benadeelde groepen te compenseren
en door contexten te onderscheiden (waardenconflicten
lossen we in scholen anders op dan in ziekenhuizen en
daar weer anders dan in verpleeghuizen). Ook hier is dus
de kunst van het balanceren vereist.
Feitendiscussies. Daarnaast voeren we
feitendiscussies. Kenmerkend voor de coronacrisis is dat
we zo weinig weten en dat we voortdurend met nieuwe
feiten geconfronteerd worden. Dat stelt eisen aan de
arena’s waarin we over waarden en feiten discussiëren
en aan de wijze waarop we de zoektocht naar middelen
organiseren (als experiment en met scenario’s zodat we
ons kunnen voorbereiden).
De arena’s waarin we discussiëren
Juist omdat we zo weinig weten over oorzaken en
gevolgen van COVID-19 voeren we heftige feiten- en
waardendiscussies: als we een vaccin zouden hebben,
zouden we een hoop van die discussies niet meer hoeven
voeren. Een dergelijke discussie vereist discussies in drie
arena’s:
• Een publieke discussie waarin alle waarden en
belangen aan de orde gesteld kunnen worden. Omdat
hier niets besloten wordt hebben we ook ‘partijdige’
analyses nodig om te voorkomen dat we waarden,
principes en belangen (benadeelde groepen) over het
hoofd zien.
• Een politieke discussie waarin de politiek collectief
bindende besluiten moet nemen. Die discussie dient
geïnformeerd (niet gestuurd) te worden door de
publieke discussie en lastig gevallen te worden door
de wetenschap.
• Een wetenschappelijke discussie die zowel de
publieke als de politieke discussie, klassiek
Weberiaans, lastig valt met onwelgevallige feiten:
als je X doet gebeurt ook Y; nu je dit weet wil je nog
steeds X doen? En met inconsistente waarden: je
doet X omdat je waarde A belangrijk vindt; waarom
doe je dan ook niet Y (want dient dezelfde waarde A)
en waarom laat je Z niet achterwege (want die spreekt
waarde A tegen)?
Dat vereist een combinatie van “democratizing science
and expertizing democracy” (Bader 2014). “Democratizing
science’ om haar te openen voor waarden en belangen
die onvoldoende aan bod komen in de wetenschap. En
‘expertizing democracy’, o.a. door contraexpertise te
organiseren.
62
Hoe organiseren we die discussies?
Juist omdat we zo weinig weten, stellen we niet onze
doelen, gaan aan de slag en kijken over een jaar wat dat
heeft opgeleverd (in de bestuurskunde heet dit ‘New
Public Management’ of ‘principal agent’ besturing en
in de bedrijfskunde de ‘waterval methode’). In plaats
daarvan delen we het proces op in kleine stukken,
bepalen voorlopige doelen en maatregelen, monitoren
de resultaten en nieuw verworven inzichten en passen
op basis daarvan doelen en middelen (maatregelen) aan.
Juist onder voorwaarden van onzekerheid gebruik je
doelen om middelen te zoeken en gebruik je de zoektocht
naar middelen om je doelen aan te passen en/of aan te
scherpen. In de bestuurskunde heet dit ‘Experimentalist
Governance’ (Sabel) of ‘Pragmatist Governance’ (Ansell).
En in de bedrijfskunde heet dit ‘Scrum’ (zie uiterst
informatief en leesbaar Sutherland 2014), een werkwijze
die weer is ontleend aan de besturingsfilosofie van het
Toyota Production System (zie ook W. Simon 2006).
De ‘dialoog’ tussen doelen en middelen
Wat volgt is gedeeltelijk een parafrase van Pernu (2020).
Zonder doelen kun je niet naar middelen zoeken dus
je start volgens Pernu met het bepalen van je doelen
of targets: je doelvariabelen en de gewenste waarden
ervan. Systeemtheoretisch: je bepaalt wat de essentiële
variabelen zijn en welke waarden ze moeten aannemen.
Die heb je nodig om te kunnen bepalen wat en hoe groot
de problemen zijn (de kloof tussen feitelijke en gewenste
waarden) en ze bepalen de zoektocht naar oorzaken en
oplossingen.
Je start dus meteen met een waardendiscussie over
targets: wordt de target “the COVID-19 death rate, …
the rate of infection (RO), the confirmed number of cases
in a population, the number of hospitalized cases, the
number of intensive care unit cases?” (45). Elke target
levert een ander probleem op (een andere kloof tussen
feitelijke en gewenste situatie). En elke target stuurt je
op een zoektocht naar andere soorten oorzaken en
oplossingen waarvoor andere expertise vereist is. En
elke target raakt op een andere manier aan waarden en
belangen. Vandaar het belang van een waardendiscussie
over targets: waarom de keuze voor deze – combinatie
van – doelvariabelen met deze gewenste waarden?
Omdat de onzekerheid zo groot is hebben de targets een
voorlopig karakter en organiseren we de zoektocht naar
oplossingen in korte iteraties, zodat je snel kunt bijsturen,
maar lang genoeg om effecten te kunnen zien. Bovendien
bereid je je voor door met scenario’s te werken, zodat je
niet verrast wordt door afwijkende ontwikkelingen.
Vervolgens start de empirische discussie: hoe bepaal
je bijvoorbeeld de ‘COVID-19 death rate?’ Je kunt de
aandacht richten op de ‘excessive death rate.’ Maar
die is niet zuiver: die neemt toe door COVD-19 maar
bijvoorbeeld af door het kleiner aantal verkeersdoden
door de lockdown. Elke target gaat dus gepaard met
grote meetproblemen: we weten niet genoeg en moeten
werken met aannames en schattingen. Het produceren
en beoordelen daarvan is een vak apart.
In een tweede stap ga je volgens Pernu kijken naar
de ‘control’ variabelen, naar de variabelen die het gedrag
van de targets beïnvloeden. Systeemtheoretisch zijn dat
de parameters. Onderzoekers gebruiken die om op zoek
te gaan naar oorzaken. En voor ontwerpers zijn het ‘de
knoppen waaraan je kunt draaien om gewenste effecten
te bereiken’ (Mintzberg). Zoals gezegd, vereist elke target
andere expertise voor het ontdekken van die oorzaken
en ‘knoppen.’ Bovendien worden we hier geconfronteerd
met nieuwe waarden- en feitendiscussies. We willen niet
alleen onze doelstellingen bereiken, maar formuleren ook
nevendoelen: wat is het effect van de oplossingen op de
economie (bruto nationaal product, werkgelegenheid,
faillissementen?), op de kwaliteit van het leven van de
ouderen, op de kwaliteit van het leven van de jongeren,
enzovoort?
63
Dit is een voorbeeld van besluitvorming onder
constraints: je gebruikt het hoofddoel om oplossingen te
genereren en de nevendoelen om daaruit te selecteren.
Je moet dus niet alleen een waardendiscussie over
hoofddoelen (targets) maar ook over nevendoelen voeren:
waarom kiezen we voor welke nevendoelen. Hier worden
we met alle waardenconflicten geconfronteerd: conflicten
tussen waarden (volksgezondheid versus economie),
conflicten binnen een en dezelfde waarde (wat verstaan
we onder menswaardig ouder worden en sterven?) en
conflicten tussen ongelijk geraakte groepen (ouderen
versus jongeren).
Een dergelijke waardendiscussie vereist ‘partijdige’
onderzoekers, dat wil zeggen, onderzoekers die zich
concentreren op een waarde, een principe of een
partij. Zij moeten ervoor zorgen dat zowel de publieke
als de politieke discussie op een geïnformeerde wijze
gevoerd kan worden. Zij hoeven geen beslissingen over
oplossingen te nemen. Hun functie is ervoor te zorgen dat
er geen waarden, principes en/of groepen over het hoofd
gezien worden. Collectief bindende beslissingen nemen
is aan de politiek. Democratische politiek is immers
niets anders dan een procedure waarmee we, ondanks
legitieme meningsverschillen over waarden en feiten,
toch collectief bindende beslissingen kunnen nemen: [w]
here consensus stops, politics starts (Barber 1984: 129).
Waarheid en perfectie kunnen daar per definitie niet de
doelstellingen van zijn. Daarover verschillen we immers
van mening. Dat laat onverlet dat die democratische
besluitvorming wat ‘sterker’ zou kunnen zijn, zie Barber
(1984) over ‘strong democracy’, Bader (2014) over
‘associational democracy’ of Gutmann en Thompson
(2004) over ‘deliberative democracy.’
Ook in het debat over de coronacrisis streven we
dus niet naar perfecte oplossingen. In plaats daarvan
proberen we waardenconflicten te herzien door te
wijzen op nieuwe feiten: wat als in de tweede golf de
toename van corona gevallen niet gepaard gaat met
een vergelijkbare toename van sterfgevallen, wat als
blijkt dat de strengheid van de lockdown geen effect
heeft op de terugval van de economie (in haar simpele
vorm: je blijft thuis om niet ziek te worden en/of anderen
te besmetten versus je gaat werken en wordt ziek en/
of besmet anderen)? We proberen waardenconflicten
te vermijden door naar multifunctionele oplossingen te
zoeken, door ten aanzien van nevendoelen minimale
normen te stellen (we definiëren een bottom line in plaats
van het theoretisch hoogst haalbare), we compenseren
benadeelde groepen en we onderscheiden contexten
(een verpleeghuis is iets anders dan een ziekenhuis).
We praktiseren, met andere woorden, de kunst van het
balanceren.
64
65
4. Interventies uitvoeren en/of onderzoeken: orde in de chaos
In deze bijdrage ontwikkel ik een model waarmee orde gecreëerd kan worden in de veelheid van termen en benaderingen die we tegenkomen in het land van praktijkgericht onderzoek. Het model onderscheidt drie mogelijkheden: een drastische reductie van complexiteit. Met behulp van dit model kun je direct zien (1) dat en wanneer dezelfde term voor verschillende dingen gebruikt wordt, (2) dat of wanneer verschillende termen gebruikt worden, de overeenkomsten groter zijn dan de verschillen. En je kunt (3) onderzoeken waarom een benadering niet in een van de logisch mogelijke vormen past: wat zegt dat over het model en wat over de desbetreffende benadering? Het model is beschrijvend bedoeld: het kijkt alleen naar wat gedaan wordt. En het is een poging tot verzoening: als we erachter komen dat we – ongeveer – hetzelfde doen, hoeven we niet zo’n ruzie met elkaar te maken.
Een opmerking vooraf over ontwerpers en
professionals
Wij zijn geneigd een onderscheid te maken tussen
ontwerpers en andere professionals. Je hebt de meer
artistieke ontwerpers: industrieel ontwerp (‘mooie dingen
maken’), grafisch ontwerp, mode ontwerp, interieur
ontwerp, landschapsontwerp, ontwerpen van games en
architectuur. Veel van deze ontwerpopleidingen zijn dan
ook aan kunstacademies verbonden. En je hebt de meer
technische ontwerpers: werktuigbouwkundig ontwerp,
bouwkundig ontwerp, computerontwerp, software
ontwerp, enzovoort. Sinds Schön en Simon noemen we
echter alle professionals ontwerpers: het zijn allemaal
‘problem solvers’ en ‘reflective practitioners.’ In deze
opvatting zijn dus ook artsen, docenten, advocaten,
managers en sociaal werkers ontwerpers. En volgens
de ‘design thinkers’ kunnen alle professional de door
de meer artistieke ontwerpers ontwikkelde creatieve
technieken gebruiken: alle professionals kunnen
‘design thinkers’ worden. Ze zouden dan allemaal tot de
‘creatieve klasse’ kunnen behoren. Ik gebruik daarom
in het vervolg de termen ontwerper en professional
door elkaar: ze volgen allemaal de logica van de
interventiecyclus.
De chaos: een veelvoud van termen en benaderingen
Iedereen die praktijkgericht onderzoek wil gaan doen
komt onder andere de volgende termen en benaderingen
tegen: ‘Design science, design research, research by
design, design experiments, design thinking, action
research, soft systems methodology (SSM), inside and
outside action research, action learning, networked
action learning, action learning research, future search
conference, futures literacy, team syntegrity.’ Dit zijn
verschillende termen voor benaderingen of werkwijzen
waarvan we niet goed weten wat daaronder zit, wat
daartussen de overeenkomsten en verschillen zijn. Stel,
je bent een HBO docent die een afstudeerder moet
begeleiden, een MO docent die haar onderwijs wil
onderzoeken, een zorginstelling die haar processen wil
66
verbeteren, een communicatiewetenschapper die een
reclamecampagne moet ontwerpen, hoe kies je dan uit
dit aanbod?
Als je je dieper in de materie gaat verdiepen, ontdek
je al snel (1) dat dezelfde term voor verschillende
dingen gebruikt wordt en dat (2) mensen van mening
verschillen over wat we onder die term moeten verstaan.
Zo verschilt design science (en soms ook design
research) in de traditie van Lawson, Cross en Dorst
(hoe denken architecten?) van design science (en soms
design research) in de VA&A traditie (hoe ontwikkelen
we generieke oplossingen voor praktijkproblemen?).
De een voorziet de professional van generieke
ontwerptechnieken en de ander van generieke
oplossingen. Dat verschilt weer van de docent die haar
eigen onderwijs wil verbeteren. Die is op zoek naar
specifieke oplossingen voor haar specifieke probleem.
Dat wordt ook design research genoemd, maar is geen
design research in de VA&A betekenis van het woord.
En als je wilt weten wat actieonderzoek is ontdek
je dat daar in de verschillende disciplines iets anders
onder wordt verstaan. In Operations Management
tijdschriften zul je niet tegenkomen dat actieonderzoek
moet leiden tot emancipatie van onderdrukte groepen
en/of tot zelftransformatie. En Rowell e.a. (2015) hebben
een Delphi onderzoek onder expert actieonderzoekers
in onderwijsland uitgevoerd, waarin een wanhopige
poging wordt gedaan om uit 30 kenmerken een
gemeenschappelijke kern te construeren.
Orde in de chaos: een ordevoorstel
Mijn oplossingsstrategie is de volgende. Creëer eerst een
overzicht van wat logisch mogelijk is. Volgens mij zijn er
maar vijf dingen mogelijk. Een logische ruimte van vijf is
een drastische reductie van complexiteit. Kijk vervolgens
niet naar de term, maar naar wat in de verschillende
benaderingen feitelijk gedaan wordt. En plaats vervolgens
die benadering in een van de vijf mogelijkheden.
De bedoeling is nadrukkelijk niet de veelvoud van termen
te vervangen door vijf. De bedoeling is om te laten zien
dat de overeenkomsten groter zijn dan de verschillen,
dat we, gezien die overeenkomsten, niet zo veel ruzie
hoeven te maken en dat we van de – kleine – verschillen
kunnen leren. Zo kan ik in bijdrage zes laten zien dat de
A3 methode een vorm van ontwerpgericht toegepast
onderzoek is die erg lijkt op design thinking en alle
kenmerken van actieonderzoek heeft. Dat lijkt me alleen
maar winst.
De logische ruimte
De logische mogelijkheden zijn deze. De eerste
mogelijkheid: je doet als professional toegepast
onderzoek in het kader van de interventiecyclus. Als je
onderzoek begint met een specifiek probleem en eindigt
met – de evaluatie van – een specifieke oplossing, dan
doe je toegepast onderzoek. Dat is dus altijd ‘single case’
onderzoek, met dien verstande dat het om een kleine
cases (de docent die zijn eigen onderwijs onderzoekt)
en grote cases kan gaan zoals in Stiglitz (2016). Daarin
worden de problemen van de Euro beschreven, oorzaken
onderzocht (weeffouten in het ontwerp van de Euro),
oplossingen geformuleerd en op politieke haalbaarheid
vergeleken. Ook dit is een voorbeeld van toegepast,
diagnostisch onderzoek.
Dit toegepast onderzoek kan twee vormen
aannemen. Je kunt het alleen doen of samen met anderen
(participatief). Die participatie kan verschillende vormen
aannemen en verschillende graden van effectiviteit
hebben. Bij de behandeling van de interventiecyclus
hebben we gezien dat er nog een derde vorm is: je doet
geen onderzoek (alleen of samen), maar je structureert
als facilitator de discussie. Daarvoor kun je kiezen uit een
groot aantal werkvormen. De eerste mogelijkheid bestaat
dus uit drie vormen: twee als toegepast onderzoeker en
een als facilitator.
67
De tweede mogelijkheid: je doet als onderzoeker
praktijkgericht fundamenteel onderzoeker in het
kader van de empirische cyclus. Je start dan niet met
een handelingsprobleem van de praktijk, maar met
een kennisprobleem van de wetenschap/de kundes.
Dat kan twee vormen aannemen. Of je onderzoekt
ontwerpproducten. Je bent dan op zoek naar generieke
oplossingen. Of je onderzoekt het ontwerpproces zelf
(je onderzoekt hoe de architect ontwerpt, de docent
doceert, de arts behandelt, enzovoort). Je bent dan
op zoek naar generieke werkwijzen, methoden en
technieken. Wanneer je op zoek bent naar generieke
oplossingen kun je ‘top down’ te werk gaan. Je leidt dan
uit de theorie een oplossing af die je gaat testen met
een van de designs van fundamenteel onderzoek (RCT,
laboratorium experiment, vergelijkende casestudie,
enzovoort). Je kunt ook ‘bottom up’ te werk gaan. Je
verlaat je bureau en gaat op zoek naar oplossingen die
de praktijk heeft verzonnen. Die ga je onderzoeken om
generieke conclusies te trekken over wat, waarom in
welke context wel of niet werkt. In beide gevallen vergroot
je de oplossingsruimte waaruit professionals kunnen
kiezen. Die zullen echter altijd aanvullend toegepast
onderzoek moeten doen om de vraag te kunnen
beantwoorden of het in dit geval ook gaat werken.
Zie het ordeningsschema in Figuur 1.
In wat volgt gebruik ik dit schema, niet om benaderingen
te beoordelen, maar om ze te vergelijken door te kijken
naar wat ze doen. Je ziet dan meer overeenkomsten dan
verschillen. Ik gebruik het ook om de moeilijke gevallen te
beoordelen. Moeilijke gevallen zijn benaderingen die niet
in het schema lijken te passen. Ik begin met de vraag die
mij vaak gesteld wordt: ‘Doen professionals eigenlijk wel
onderzoek?’
Doen professionals onderzoek?
Alle professionals volgen de logica van de interventie-
cyclus. Dat kan minimaal zijn: de huisarts kijkt naar je oog
en schrijft een zalf voor. En het kan maximaal zijn: de zalf
werkt niet en je wordt doorverwezen naar de specialist.
Figuur 1. Ordeningsschema praktijkgericht onderzoek.
Praktijkgericht onderzoek
Toegepast:interventiecyclus
Specifieke oplossing
Fundamenteel:empirische cyclus
Zelfstandig Ontwerpproduct
Generieke oplossing
Participatief Facilitator Ontwerpproces
Generieke techniek
68
Die laat onderzoek uitvoeren, komt er niet uit en laat
aanvullend onderzoek uitvoeren. Je blijkt een ontsteking
in de oogbol te hebben, krijgt een prednisonspuit in je
oog en de problemen verdwijnen. Je functioneert dan
als een ‘design experiment’: de specialist probeert net
zolang uit tot een oplossing is gevonden.
De huisarts baseert zijn diagnose op wat het meest
waarschijnlijk is: in 99% van de gevallen helpt de zalf.
De huisarts kan moeilijk iedereen meteen naar de
specialist doorverwijzen. De specialist onderzoekt welke
van alle mogelijke oorzaken de huisarts over het hoofd
heeft gezien. De vraag is nu: doet alleen de specialist of
ook de huisarts onderzoek? Mijn antwoord: ze volgen
beide de logica van de interventiecyclus en doen beide
onderzoek in deze minimale betekenis van het woord: ook
de huisarts voerde een diagnostisch onderzoek uit. Als
professionals twijfelen gaan ze onderzoek in de ruimere
betekenis van het woord doen: ze gaan op zoek naar
de feiten. Ze doen dat om te verhinderen dat ze denken
te weten wat probleem, oorzaken en oplossingen zijn
zonder dat onderzocht te hebben. Ze vervangen dan
aannames door feiten. Daarvoor heb je niet alleen een
kritische of onderzoekende houding nodig. Die moet je
altijd hebben: je moet je altijd afvragen ‘klopt dit?’ Wat
je daarvoor nodig hebt is onderzoeksvaardigheden en in
dit geval vaardigheden in de methodologie van toegepast
onderzoek.
Wat doen professionals als ze toegepast onderzoek
doen: ze interveniëren
Alle professionals volgen de logica van de interventie-
cyclus. Dat kan ook niet anders, want ze beginnen
allemaal met een specifiek probleem en eindigen met
een evaluatie van een specifieke oplossing. Dat is
een heel algemene of hoog abstracte karakterisering
van wat professionals doen. Maar dat geldt voor alle
benaderingen die zeggen dat die geschikt is voor alle
professionals, voor alle soorten problemen en in alle
contexten. Zodra je die gaat specificeren voor beroep X
introduceer je dingen die niet gelden voor beroep Y.
De interventiecyclus zul je dus ook, misschien in
andere termen, in al die benaderingen tegenkomen. Neem
als voorbeeld de IDEO versie van design thinking met
haar vijf fasen: ‘Empathize—Research Your Users’ Needs,
Define—State Your Users’ Needs and Problems, Ideate—
Challenge Assumptions and Create Ideas, Prototype—
Start to Create Solutions en Test—Try Your Solutions
Out.’ Je herkent de diagnostische en de ontwerpgerichte
fase en je ziet meteen dat implementeren en evalueren
ontbreken. Voeg je die toe “(zoals in Anders Skoe) dan
krijg je het Problem solving model: Figuur 2.
Je herkent hierin de stappen van de interventiecyclus
zoals ik die eerder beschreven heb: Problem Space als
aanduiding van de diagnose fase, Solution Space als
aanduiding van de ontwerpgerichte fase, gevolgd door
implementatie en evaluatie. En dit verschilt niet van wat
actieonderzoekers doen, wat docenten die hun onderwijs
onderzoeken doen (design research of research by
design) of wat wij onze studenten met de A3 methode
laten doen. Ik denk alleen dat het mogelijk is om, zelfs
op dit hoge abstractieniveau, meer aanwijzingen te
geven over de verschillende stappen. Zo bestaat de
implementatie niet alleen uit een actieplan of projectplan.
Daar gaat de vraag aan vooraf wat je moet doen om van
je oplossing een succes te maken (meewerkende en
tegenwerkende oorzaken). Pas dan kun je een projectplan
maken. Hetzelfde geldt voor (1) de wijze waarop je een
probleem preciseert en (2) de wijze waarop je naar
oorzaken zoekt. Meer daarover in de bijdrage over de
designs van toegepast onderzoek.
Op lagere niveaus van algemeenheid zullen
verschillen ontstaan. De huisarts zal geen etnografisch
achtig onderzoek bij patiënten uitvoeren. Maar als je een
nieuwe intensive care unit ontwerpt is zo’n etnografisch
achtig onderzoek bij patiënten en hun familie erg nuttig.
69
Hoe interveniëren professionals: design science en
design research
Design Science (en design research) hebben het
ontwerpproces zelf als object van onderzoek. Aanleiding
voor dit onderzoek was de vraag of ontwerpen (dat
wat architecten, stadsplanners en ingenieurs doen)
wel wetenschap is (en of je dat aan universiteiten moet
onderwijzen). Om die vraag te kunnen beantwoorden
zou je moeten onderzoeken wat ontwerpers (vooral,
maar niet alleen architecten) doen (design research)
met als doel: het ontwerpen van een algemene theorie
over ontwerpen (design science). Je ontdekt dan hoe
ontwerpers denken, zoals in Cross (1982) Designerly
Ways of Knowing, Lawson (1983) How Designers Think:
The Design Process Demystified, Rowe (1987) Design
Thinking en Lawson, Dorst (2009) Design Expertise. De
belangrijkste conclusies van het onderzoek luiden: (1) dat
alle professionals ontwerpen en (2) dat ontwerpen geen
wetenschap is: naast wetenschappers en kunstenaars
heb je ook nog ontwerpers:
Figuur 2. Problem solving model (Camachio 2018: 638).
• Clarify (fact or meaning?)
• Eliminate duplicates
• Criteria• Vote• Decide
• Both/and• Eliminate• Negative
voting• Force
Field Analysis
DecisionEvaluationIdea Generation
• Fast• Crazy and wild• Key words• No “?”• No evaluation
the real problem with... is...
• Clarify• Eliminate
duplicate• Vote• Decide
Causal analysis• 5x why• effects
AnalysisDefinitionPerception
• Personal• List all...• No “?”• No evaluation
Cau-se
Pro-blem
Ef-fect
Action Plan
What Who When
result
Evaluation
Fo
cu
sA
im s
ha
rpy
OpenOpen
Narrow
Narrow
Close
Close
Problem Space Solution Space Implementation
Action
Take a break
Symptom Problem as understood
70
Just as the other intellectual cultures in the sciences
and the arts concentrate on the underlying forms of
knowledge peculiar to the scientist and the artist,
so we must concentrate on the ‘designerly’ ways of
knowing, thinking and acting (Cross 2007: 46).
De eerste conclusie komt overeen met die van Simon
(1996) in The sciences of the artificial en van Schön
(1983) in The reflective practitioner. De tweede conclusie
wijkt af van die van Simon. Dat komt natuurlijk omdat
design science zich richt op wat de professional
doet. Wanneer je kijkt naar wat de bouwkundig,
onderwijskundig, geneeskundig, enzovoort onderzoekers
doen, dan kun je niet anders concluderen dan dat het
om wetenschap gaat (‘use-inspired basic research’).
Dat geldt natuurlijk ook voor design science (en design
research) zelf: dat is geen toegepast onderzoek in het
kader van de interventiecyclus, maar praktijkgericht
fundamenteel onderzoek in het kader van de empirische
cyclus. Ook design science is een vorm van ‘use-
oriented basic research’ gericht op het ontwikkelen van
nieuwe wetenschappelijk kennis, in dit geval over het
ontwerpproces. Design science intervenieert niet, maar
onderzoekt de wijze waarop professionals interveniëren.
In de loop van hun onderzoek ontdekken de ‘design
scientists’:
• Dat beginners anders te werk gaan dan experts.
• Dat je gebruikers bij het onderzoek moet betrekken
(Norman 1988).
• Dat je ‘wicked problems’ kunt tegenkomen (Buchanan
1992). Je kunt dan volgens Rittel en Webber (1973)
en in navolging van Simon, niet maximeren, maar
moet tevreden zijn met bevredigende (‘satisficing’)
oplossingen.
• Dat je moeilijke problemen kunt oplossen door ze te
herdefiniëren (reframen) (Schön 1983).
Het is dan ook niet verwonderlijk dat deze gemeenschap
van onderzoekers ‘pissed of’ is wanneer ineens het
ontwerpbureau IDEO met design thinking op de markt
verschijnt. Ze vinden het moeilijk hier iets nieuws in te
herkennen. En ze ontdekken dat ze in de beslotenheid
van de academie ideeën hebben ontwikkeld waar
anderen een benadering van hebben gemaakt, waarmee
ze de publiciteit halen en goed geld verdienen.
Inmiddels zijn de gemoederen weer bedaard en heeft
er, in markttermen gesproken, een fusie plaats gevonden.
In Delft is in 1991 een reeks van Design Thinking
Research Symposia gestart, waarin mensen als Cross en
Dorst een vooraanstaande rol vervullen. En Norman is, na
zijn aanvankelijke scepsis, tot ‘inkeer’ gekomen:
Designers have developed a number of techniques
to avoid being captured by too facile a solution.
They take the original problem as a suggestion, not
as a final statement, then think broadly about what
the real issues underlying this problem statement
might really be (for example by using the “Five Whys”
approach to get at root causes). Most important of
all, is that the process is iterative and expansive.
Designers resist the temptation to jump immediately
to a solution to the stated problem. Instead, they first
spend time determining what the basic, fundamental
(root) issue is that needs to be addressed. They don’t
try to search for a solution until they have determined
the real problem, and even then, instead of solving
that problem, they stop to consider a wide range of
potential solutions. Only then will they finally converge
upon their proposal. This process is called “Design
Thinking” (Norman 2013).
Hoe interveniëren professionals: design thinking
Design thinking is een vorm van participatief toegepast
onderzoek die in Stanford is ontwikkeld. David Kelley is
de oprichter van zowel de Stanford ontwerp opleiding
71
als van het ontwerpbureau IDEO. Hij had zelf het
productontwerp programma van Stanford gevolgd (de
ME310), startte meteen daarna een ontwerpbureau (later
IDEO) en werd als docent gevraagd voor de opleiding
industrieel ontwerp aan Stanford. Het ging hier niet om
de ME310. Die was vooral voor werktuigbouwkundig
ontwerpers. Het bijzondere aan de opleiding industrieel
ontwerpen was dat die ondergebracht was onder
engineering. Daardoor was er naast aandacht voor
esthetiek ook aandacht voor ‘cleverness’, dat wil zeggen,
voor bruikbaarheid en verkoopbaarheid:
[Industrieel ontwerp opleidingen] were all in art
schools, Stanford was not … This program has
always been in the engineering school. It had a joint
relationship with the art department, but the center
has always been in the engineering school, so it’s
more about cleverness. Bob McKim was about
cleverness. Aesthetics entered in the cleverness, but
it was just one aspect of cleverness (alle citaten uit
Camacho 2016).
Kelley bouwde voort op het werk van zijn voorgangers
die de nadruk legden op werken met visuele middelen
en creativiteit (Arnold) en op onderzoek bij gebruikers
(McKim: anders krijg je je producten niet verkocht). Kelley
voegde daar het werken in multidisciplinaire teams aan
toe. Dat ontstond als volgt. Om het doceren uitdagend
te houden nodigde hij andere hoogleraren uit om les
te komen geven (“So I taught with an art professor,
I taught with a computer science professor, with a
business professor”). Die namen hun eigen studenten
mee waardoor een ontwerpopleiding ontstond waarin
docenten van verschillende opleidingen les geven aan
studenten van verschillende opleidingen die in groepen
moesten samenwerken aan ontwerpopdrachten.
Zo ontstond ook het idee voor een nieuwe ontwerp
opleiding:
That’s how the idea for the design school came
about…. I saw how powerful it was to have multiple
professors and students from different departments.
So I started proposing to the university that we do
that. It took many, many years.
Hier ligt ook de oorsprong van de term ‘design
thinking.’ Studenten wisten, omdat ze van verschillende
opleidingen kwamen, niet zo goed waar ze nu expert
in werden. Volgens Kelley werden ze expert in design
methodologie, maar dat sloeg niet aan. Expert design
thinking wel:
“No, you’re experts at a way of thinking, you’re
experts at design thinking.” I said “a way of thinking,”
and then they changed to say “design thinking” and
that caught on for some reason.
Daarmee veranderde de opleiding industrieel ontwerpen
in een opleiding design thinking. Studenten ontdekten bij
de uitvoering van hun projecten dat juist het onderzoek
bij gebruikers tot verassende ideeën kan leiden. In
die fase komen nieuwe oplossingen in zicht door het
oorspronkelijke probleem te herdefiniëren (reframen):
Where we are now, the thing about design thinking
that is really powerful, is that we put the definition
of the problem in the middle of the loop. This allows
you to change what you are working on. We call this
“the reframe,” and it turns out to be the place where
we usually come up with the big idea. … As you go
through the process, you see something new through
reframing. You realize that right next to the original
thing you thought you were working on is something
that’s much more important to the people that you are
trying to help.
72
Ook de verschuiving van de aandacht naar maatschap-
pelijke vraagstukken komt van de studenten zelf:
The reason for working on social problems is that
if I want to teach students about design thinking as
methodology, the best way to teach them is to give
them a problem that they care about. … For many
years, students didn’t care about social innovation,
so I gave them design problems about bicycles and
cars. Now, this generation, if you interview them, they
care a lot about social innovation. They also care
a lot about sports. In my last class, students had
to redesign the experience of going to a San Jose
hockey game. They were excited about that. … If I ask
them to design a McDonald’s, nobody is interested.
If I have them design a solar car or a way to recycle
garbage, they are totally excited.
De design school staat los van de nog steeds bestaande
ME310. De school staat ook los van het Stanford
Center for Design Research. Volgens Kelley wordt daar
wetenschappelijk (promotie)onderzoek gedaan en dat
verschilt van wat de designschool doet:
Every project has some kind of practice-based
research. We don’t do what is conventionally referred
to as scientific research that I can think of. … Our
research is design research in that self-reported kind
of inquiry – “What do you think of this?”
De samenwerking met IDEO is inniger. Ze delen eenzelfde
denkwijze en medewerkers van IDEO geven les in de
designopleiding. Kelley benadrukt dat de vernieuwingen
niet van de opleiding, maar van IDEO komen. Dat ligt
voor de hand want dat is een organisatie met meer dan
700 medewerkers en met grote klanten in binnen- en
buitenland. Dan moet je voortdurend vernieuwen en
kwaliteit leveren. Voor een opleiding ligt dat anders:
IDEO has to continuously come up with new ways
of doing things, new ways of presenting, new ways
of prototyping … in order to have the client pay you
and be happy … In my opinion, you can just see that
the imperative for advancing the state of knowledge
at IDEO is much greater than at Stanford. Stanford’s
goal is teaching the methodology to students, getting
them to master design thinking. That’s my goal. I want
them to be masters of design thinking.
IDEO voert ook sociale projecten uit maar heeft daarvoor
om voor de hand liggende redenen een aparte non-profit
organisatie opgericht:
Then not-for-profit funders like The Gates Foundation
came to us and said, “Look, if you were not-for-profit,
we’d give you a lot more projects.” We said, “We want
more projects,” so we changed the company. It’s
an independent organization. You have to quit IDEO
to work for IDEO.org. IDEO.org mostly hires its own
people, but it’s a separate company.
Bij het beoordelen van het werk van IDEO moet je een
onderscheid maken tussen inhoud (wat doen ze bij
hun klanten?) en PR (hoe presenteert IDEO zich in de
openbaarheid?). Als je naar de inhoud kijkt zie je dat IDEO
mooie projecten uitvoert (zoals bij Kaiser Permanente over
verpleegkundige overdrachten aan bed). Kijk je naar de
PR dan moet je dat met een korreltje zout nemen. Vooral
Tim Brown, een van de CEO’s van IDEO, verkondigt in
woord en geschrift dat je zonder design thinking geen
innovatieve onderneming kunt zijn en dat je met design
thinking alle slecht gedefinieerde en/of complexe, ‘messy’
of ‘wicked problems’ kunt oplossen: “Design teams use
design thinking to tackle ill-defined/unknown problems
(aka wicked problems) because they can reframe these in
human-centric ways and focus on what’s most important
for users” (IDEO website). Of je nu winst wil maken of de
73
wereld wil redden, zonder design thinking gaat dat niet.
Daar vallen kanttekeningen bij te maken.
Ten eerste start de interventiecyclus meestal met
een algemeen en in die zin slecht gedefinieerd probleem
(patiënt: ik voel me niet goed). De eerste stap bestaat
dan ook uit het preciseren van dat probleem (arts:
heeft u maagpijn, hoofdpijn, koorts en hoe staat het
met de ontlasting?). Pas daarna kun je naar oorzaken
en oplossingen gaan zoeken. Lukt dat, dan heb je
een slecht, want algemeen gedefinieerd probleem,
omgevormd tot of geherdefinieerd in een hanteerbaar en
oplosbaar probleem. Dat gaat bij de IDEO projecten niet
anders.
Ten tweede is het niet zo dat we voor veel complexe
maatschappelijke problemen geen oplossingen hebben
en dat we design thinking nodig hebben om tot die
oplossingen te komen. Dat is een belediging voor al die
mensen die in ngo’s, netwerken, instituten of waar dan
ook slimme oplossingen hebben bedacht op de meest
uiteenlopende terreinen. Bij wijze van voorbeeld: als je
wilt weten hoe je ons belastingstelsel rechtvaardiger en
efficiënter kunt maken, moet je naar de website van ‘Tax
Justice’ gaan. Waar het aan ontbreekt is in veel gevallen
niet slimme, creatieve oplossingen, maar aan politiek
draagvlak of, in de woorden van Mark Blyth, aan politieke
moed.
Concluderend moet je volgens mij een verschil
maken tussen ‘Ik ben industrieel ontwerper en beheers
de techniek van design thinking dus ik kan ook
probleemgezinnen helpen’ en ‘ik ben sociaal werker, weet
veel van de problematiek van probleemgezinnen en zou
voor het analyseren en oplossen daarvan de techniek van
design thinking kunnen gebruiken.’ Het eerste lijkt me
onzin en gevaarlijk het tweede zinnig en vruchtbaar. Je
kunt, met andere woorden, niet alle opleidingen van de
Hanzehogeschool samenvoegen en daar een opleiding
design thinking van maken. Zonder inhoudelijke expertise
blijf je een amateur.
En tenslotte zouden de artistieke ontwerpopleidingen ook
naar binnen kunnen kijken en zich (zoals destijds in het
lectoraat van Hugues Boekraad) afvragen: hoe kun je in
een vercommercialiseerde wereld als grafisch ontwerper
je artistieke en maatschappelijke integriteit bewaren, ook
als je een huisstijl voor een grote organisatie ontwerpt (zie
voor een verslag Schalken 2006).
Wat levert het onderzoek van professionals op: wat
betekent design research?
Design science en design research wordt echter ook
gebruikt voor onderzoek, niet van hoe ontwerpers
ontwerpen of professionals interveniëren, maar voor
onderzoek dat gericht is op het ontwikkelen van
oplossingen voor problemen. Daarbij maakt het veel
verschil uit of je op zoek bent naar specifieke of generieke
oplossingen.
Het toegepaste onderzoek van de professionals
levert ‘single case’ resultaten op: wat is in dit geval het
probleem, zijn in dit geval de oorzaken en in dit geval
de oplossingen? Ontwerpgericht onderzoek verwijst
dan naar de tweede stap uit de interventiecyclus: je
formuleert functionele vereisten (hoofd- en nevendoelen),
genereert alternatieve oplossingen, selecteert er een en
test die uit. In deze betekenis voert elke professional ook
ontwerpgericht onderzoek uit.
De resultaten van toegepast onderzoek kun je niet
generaliseren. Uit wat in dit geval het geval is kun je
niet afleiden wat in andere gevallen het geval zal zijn.
Natuurlijk kun je, triviaal, concluderen dat in gelijke
gevallen hetzelfde het geval zal zijn. Maar dat zegt niets
over wat in niet gelijke gevallen het geval zal zijn. Dus
zelfs als je nieuwe problemen ontdekt (door herdefinities),
nieuwe oorzaken ontdekt of nieuwe oplossingen ontdekt,
heb je aanvullend onderzoek nodig om daar algemene
conclusies uit te kunnen trekken. Je onderzoekt dan
waarom de gevonden oplossing in welke vorm en in welke
context ook zou kunnen werken.
74
Dat aanvullend onderzoek is ontwerpgericht onderzoek
in de tweede betekenis van het woord. Dat is geen
toegepast, maar praktijkgericht fundamenteel onderzoek
dat, in de woorden van VA&A niet op zoek is naar
specifieke oplossingen voor specifieke problemen
(‘single case’ oplossingen), maar naar generieke
oplossingen voor generieke problemen. Daarvoor
onderzoek je bijvoorbeeld een en liefst meerdere
interventies om daar algemene conclusies uit te trekken.
Zelfs wanneer je in een promotieonderzoek zelf die
interventies uitvoert, zoals in de proefschriften van Erik
Soepenberg (2010) en Ben van der Hilst (2019) dan nog
doe je twee verschillende dingen. Bij de interventies volg
je de logica van de interventiecyclus en doe je toegepast
onderzoek. Bij het onderzoeken van die interventies volg
je de logica van de empirische cyclus. Je kunt, zoals
Soepenberg, starten met de theorie (over ‘workload
control’) en dat bij verschillende bedrijven uitproberen.
En je kunt, zoals Van der Hilst, starten met de praktijk
(het ontwikkelen en uitproberen van het concept van de
unit organisatie) en aan het eind van de rit kijken hoe zich
dit tot bestaande theorieën verhoudt (een ietwat riskante
strategie). Daarom kun je niet promoveren op alleen maar
interventies. En daarom is een Professional Doctorate
(PD) iets anders dan een promotietraject: je past dan de
in het eerste jaar nieuw verworven kennis in het tweede
jaar toe op een ‘single problem case’, liefst in je eigen
bedrijf of praktijk.
In een derde betekenis verwijst ontwerpgericht
onderzoek, zoals we gezien hebben, naar onderzoek
van het ontwerpproces. Je bent dan op zoek naar
nieuwe technieken zoals visuele middelen, story telling,
‘etnografisch interviewen’, enzovoort. Je onderzoekt dan
of deze technieken ook door andere professionals, die
zich in andere contexten met andere problemen bezig
houden, gebruikt kunnen worden. Design science en
design research kan dus verwijzen
• Naar onderzoek van het ontwerpproces: hoe doen
professionals dat? Dat is een vorm van praktijkgericht
fundamenteel onderzoek.
• Naar onderzoek waarin specifieke oplossingen ont-
wikkeld worden: een vorm van toegepast onderzoek.
• Naar onderzoek waarin generieke oplossingen
ontwikkeld worden: een vorm van praktijkgericht
fundamenteel onderzoek.
Actieonderzoek: wel of geen generieke kennis en
oplossingen?
Ik heb actieonderzoek gedefinieerd als participatief
toegepast onderzoek. Volgens mij is dat de kern van
elke vorm van actieonderzoek: ze volgen allemaal
de stappen van de interventiecyclus en ze doen dat
allemaal op participatieve wijze. Dat is een ruime
definitie van actieonderzoek. Alle benaderingen waarin
kennis wordt overgedragen die vervolgens door de
betrokkenen gebruikt wordt om, onder begeleiding
van of samen met de onderzoeker, problemen te
analyseren, oorzaken te ontdekken en oplossingen te
ontwerpen, zijn vormen van actieonderzoek. Het maakt
niet uit of de overgedragen kennis betrekking heeft op
cultuur (Schein), op systeemdynamica (Group Model
Building), het CATWOE model (soft systems theory), de
sociotechniek of lean. De werkwijze is hetzelfde en ligt
ook voor de hand: gebruikers weten het meeste over
wat er gebeurt. Ze missen alleen een perspectief dat
hen helpt daar op een voor hen nieuwe en vruchtbare
manier orde in aan te brengen. Al deze benaderingen
zijn ‘expert benaderingen’, want ze berusten allemaal op
expertise in het kennisgebied dat wordt overgedragen.
En al deze benaderingen zijn ‘procesbenaderingen’ of
‘ontwikkelbenaderingen’, want ze berusten allemaal op
participatie van de gebruiker.
Je kunt aan actieonderzoek kenmerken toevoegen
(een discussie waar ik buiten blijf), je kunt ook de
gebruikte participatieve technieken onderzoeken
75
en vergelijken (wat me erg vruchtbaar lijkt). Maar
volgens mijn ordeningsschema kun je niet zeggen
dat actieonderzoek gebruikt kan worden om nieuwe,
wetenschappelijke, generieke kennis te ontwikkelen. Dat
moeten we dus nader onderzoeken.
Actieonderzoekers kunnen hiervoor verwijzen naar
de uitspraak van Kurt Lewin (een van de grondleggers
van actieonderzoek): de beste manier om een systeem
te leren kennen is door het te veranderen. Daar is niets
tegen in te brengen. Dat doet zowel de experimentator
als de actieonderzoeker. In beide gevallen gaat het om
‘single case’ verklaringen. Alleen, uit het eerste kun je
algemene conclusies trekken omdat de interventie heeft
plaats gevonden onder gecontroleerde omstandigheden.
Bij actieonderzoek is dat niet het geval. De beste manier
om de Hanzehogeschool te leren kennen is door te
proberen haar te veranderen. Wat je daarvan leert, de
nieuwe kennis die daarvan het resultaat is kun je echter
niet generaliseren naar andere hogescholen. Die hebben
een andere structuur (geen grote faculteiten, maar kleine
instituten), een andere geschiedenis, andere strategische
doelstellingen, een andere studentenpopulatie, enzovoort.
Ik zeg dus niet dat actieonderzoek geen nieuwe kennis
oplevert. Integendeel, nieuwe kennis is het doel van al
het toegepaste onderzoek, ook van actieonderzoek.
Waarom zou je anders onderzoek doen? Ik zeg alleen dat
actieonderzoek nieuwe ‘single case’ of ‘dit geval’ kennis
oplevert die je, net als de nieuwe ‘single case’ kennis van
de arts, niet hoeft en niet kunt generaliseren. Daar heb je
aanvullend en een ander soort onderzoek voor nodig.
Actieonderzoekers hanteren als reactie op deze kritiek
vaak een andere strategie. Ze zeggen dan dat je gelijk
hebt binnen een positivistische wetenschapsopvatting.
Actieonderzoek is echter gebaseerd op een niet- of
post-positivistische wetenschapsopvatting. Je verlegt
dan de methodologische discussie over wat je doet
naar een filosofische discussie over de ontologische en
epistemologische grondslagen van wat je doet. Je krijgt
dan vervolgens een discussie of je voor je actieonderzoek
een constructivistische, kritisch realistische of kritisch
hermeneutische wetenschapsopvatting nodig hebt.
Omdat de discussie niet meer gaat over wat je doet heeft
die daarvoor ook geen gevolgen. Iedereen die de soft
systems theory toepast gebruikt het CATWOE model
om gebruikers daarmee hun problemen in kaart te laten
brengen. Daarbij maakt het niet uit of je constructivist,
kritisch realist, kritisch hermeneut, positivist of helemaal
niks bent: je doet allemaal hetzelfde. Die discussie voegt
dus, methodologisch gesproken en hoe interessant
ook, niets toe. Die functioneert als een ‘idle wheel’
(Wittgenstein), als een tandwiel dat ronddraait zonder
ergens contact mee te maken.
Je ziet dit terugkomen in de discussie over de
‘niet-positivistische’ kwaliteitscriteria die je voor
actieonderzoek nodig zou hebben. Standaard kom je dan
het criterium pragmatische validiteit tegen: de oplossing
moet werken en als die niet werkt is je actieonderzoek niet
valide. Afgezien van het feit dat pragmatische validiteit,
zo gedefinieerd, niets zegt over de generaliseerbaarheid
van je uitkomsten, gaat hier nog iets mis. Laten we
daarvoor kijken naar wat er gebeurt als de oplossing
niet of (tijdens je actieonderzoek) nog niet werkt. Je
gaat dan onderzoeken hoe dat komt. En je ontdekt dat
je belangrijke personen vergeten bent te interviewen,
open interviews verkeerd gecodeerd hebt, data
bestanden over het hoofd hebt gezien. Je ontdekt dan,
met andere woorden, dat je actieonderzoek niet voldoet
aan de eisen van meetgeldigheid en betrouwbaarheid.
Vervolgens corrigeer je voor deze fouten en de oplossing
werkt. Dat komt dan omdat je de meetgeldigheid en
betrouwbaarheid van je gegevens verbeterd hebt. Of je
ontdekt dat de oplossing niet werkt omdat je oorzaken
over het hoofd hebt gezien. Je ontdekt dan, met andere
woorden, dat je actieonderzoek niet voldoet aan de eis
van interne validiteit: je verklaring klopt niet. Vervolgens
corrigeer je voor deze fout en de oplossing werkt. Dat
76
komt omdat je de interne validiteit van je actieonderzoek
hebt verhoogd. Natuurlijk kun je voor actieonderzoek,
net als voor fundamenteel onderzoek, op zoek gaan
naar aanvullende kwaliteitscriteria. Die kunnen echter
nooit de methodologische criteria van meetgeldigheid
en betrouwbaarheid en van interne validiteit vervangen.
Dat heeft niets met wetenschapsfilosofie en alles met
onderzoeksmethodologie te maken.
Wat je zeker niet moet doen is herhaalbaarheid van
een experiment vervangen door ‘recoverability’ van je
actieonderzoek: “Our criterion was the ‘recoverability’
of the whole course of thinking in the research by any
interested outsider” (Checkland 2012: 469). Dat is
geen kwaliteitscriterium, maar een procedure die ook
de experimentator moet volgen om anderen in staat
te stellen te controleren of jouw onderzoek aan de
standaard kwaliteitseisen voldoet.
Kun je actieonderzoek en de ‘grounded theory
approach’ combineren?
Wat zeker niet kan is als student, onderzoeker of
promovendus zeggen dat je actieonderzoek gaat
uitvoeren en daarvoor de ‘grounded theory approach’
gebruikt: je zou dan bijvoorbeeld als student alles moeten
vergeten wat je geleerd hebt, om bij je onderzoek naar
problemen onbevooroordeeld de feiten te kunnen laten
spreken. Dat veronderstelt, ten eerste, dat we studenten
drie jaar lang les hebben gegeven in vooroordelen
die ze vervolgens in hun afstudeeronderzoek weer
moeten vergeten. En, ten tweede, vergeet je dan, of
weet je niet, dat de ‘grounded theory approach’ een
bijzonder arbeidsintensief design voor fundamenteel
onderzoek is, gericht op het ontwikkelen van nieuwe
‘middle range’ theorieën. Als er al een theorie bestaat
hoef je de benadering niet toe te passen. En als die
niet bestaat, ga je overdag observeren en in de avond
coderen (van verschijnselen in categorieën en vervolgens
in hypothesen over relaties tussen gecategoriseerde
verschijnselen). Wat je doet is observeren. En wat
je niet mag doen is interveniëren: samen met de
geobserveerden beschrijven van problemen, zoeken naar
oorzaken en ontwerpen van oplossingen.
Appreciative Inquiry (AI)
AI is een vorm van actieonderzoek of van participatief
toegepast onderzoek. Het past echter niet in het schema,
omdat je in deze benadering niet met problemen moet
beginnen. Dat levert alleen maar negatieve energie op.
In plaats daarvan moet je beginnen met wat goed gaat.
In haar dogmatische vorm is met problemen beginnen
een slecht en met wat goed gaat beginnen met een goed
idee, zie Figuur 3.
Natuurlijk kan het nuttig zijn om te analyseren wat
waarom goed gaat. Maar, ten eerste, start ook AI met
een probleem. Als er geen problemen zijn hoef je geen
AI interventie toe te passen. Als er wel problemen zijn,
dan stelt AI voor om die op een indirecte manier aan te
pakken, namelijk door te analyseren wat wel goed gaat.
En je gebruikt die nieuw verworven inzichten om wat
niet goed gaat te verbeteren. Ten tweede lijken me de
vooronderstellingen waarop AI berust niet juist. Om dat
te verduidelijken kan ik het beste het voorbeeld van een
pianoles gebruiken.
Ten eerste. Wanneer mijn pianodocente na het
voorspelen alleen maar zegt ‘mooi gedaan, volgend stuk’
dan zoek ik een andere pianodocent. Ik wil namelijk leren
en dat doe ik vooral van wat niet goed gaat. Dat heeft
niets met negatieve energie te maken. Ook ik droom en
‘imagine what might be.’ Maar om dat te bereiken moet
ik toch echt van mijn fouten leren. Wanneer teams leren
om gezamenlijk problemen te analyseren en op te lossen
creëert dat in onze ervaring juist positieve energie. Je
bent trots op het bereikte resultaat en op de manier
waarop je dat gedaan hebt. Je zelfvertrouwen wordt
groter omdat je iets geleerd hebt.
77
Ten tweede. Alle docenten weten dat je zowel positieve
als negatieve feedback moet geven. Dus mijn docente
zegt na het voorspelen ‘dat heb je mooi gedaan, maar …’
Of ‘dat heb je mooi gedaan, vooral daar en daar, maar …’
En niet ‘de laatste twee maten waren mooi, maar …’
Ten derde. Normaal gesproken gaat de les dan verder
met de maren. Geanalyseerd wordt wat niet goed gaat: is
het een technisch probleem, of een muzikaal probleem,
of zit je verkeerd of in een te verkrampte houding?
Ten vierde. Soms gebruikt mijn docente de AI
methode: ‘de laatste twee maten waren mooi. Als je
datzelfde ook in passage X en Y doet wordt het er een
stuk beter op. Laten we eens analyseren wat je in die
laatste twee maten precies doet, zodat je beter weet wat
je in de andere passages moet doen.’ Mijn docente past
dus meestal de ‘deficit-based’ werkwijze toe en soms de
AI methode.
Op basis van deze vergelijking kunnen we de volgende
conclusies trekken. Ook AI start met problemen, maar
tracht die op indirecte wijze op te lossen. In die zin valt de
benadering onder de interventiecyclus. Ze start met een
probleem en eindigt met een evaluatie van de oplossing:
heeft die bijgedragen tot een beter functioneren van
het cliëntsysteem? Deze werkwijze is, net als bij de
pianoles, soms nuttig en vruchtbaar, maar niet altijd.
Het zou prettig zijn om te weten wanneer AI nuttig is
en wanneer niet. Maar zeggen dat AI altijd beter is dan
‘deficit-based change’ lijkt mij onjuist en dogmatisch.
Professionals kunnen daar niet veel mee. Cliënten komen
met problemen en dan kun je niet zeggen ‘daar gaan
we ons niet mee bezig houden, vertel eens wat er goed
gaat.’ Volgens mij zijn professionals altijd bezig met het
verbeteren van wat slecht gaat en het versterken van wat
goed gaat. Daarbij kan het nuttig zijn te dromen over wat
je wilt bereiken. Die droom vertelt je wat de kloof tussen
gewenste en feitelijke situatie is en bij het realiseren van
die droom zal je toch echt moeten analyseren wat je
daarbij in de weg zit en wat daarvoor oplossingen zijn.
Identify the problem
What is the need?
Deficit-Based Change
TWO CONTRASTING MODELS FOR ORGANIZATIONAL CHANGE
Discovery
Discover the best of what is
Constructionist-Based Change
Analyze causes
What’s wrong here?
Dream
Imagine what might be
Analyze possible solutions
How can we fix it?
Design
Dialogue what would be
Action planning
Problem solved!
Destiny
Create what will be
Figuur 3. Appreciative inquiry (Mohr, Watkins 2002: 5).
78
Bovendien is het onjuist te zeggen dat starten met
problemen altijd negatieve energie oproept. Juist
wanneer problemen als nijpend of schrijnend worden
ervaren kan het negatieve energie oproepen wanneer
je zegt dat we daar onze aandacht niet op moeten
richten. En tenslotte kan er ook in de interventiecyclus
bij het bepalen van de doelen en functionele vereisten
gedroomd worden. Om te verhinderen dat de doelen
niet ambitieus genoeg zijn, kun je in die fase mensen
‘droomkastelen’ laten bouwen.
De professional: onderzoeker of facilitator?
Ik heb eerder een onderscheid gemaakt tussen een rol
als toegepast onderzoeker en als facilitator. In het eerste
geval ben je expert in een inhoudelijk gebied en past die
expertise al of niet participatief toe. In het tweede geval
ben je expert in het structureren van een discussie en
past die expertise toe. Voorbeelden daarvan zijn Emery’s
werkconferenties, Weisbord’s Future Search Conference,
Axelrod’s Conference Model Redesign, Beer’s Team
Syntegrity en het door de Unesco ontwikkelde Futures
Literacy. Als participatief onderzoeker begeleid
je ook, maar als facilitator ben je alleen maar een
procesbegeleider: je bemoeit je niet met de inhoud en je
beperkt je tot het aanbieden van een werkvorm en het
toezien op het naleven van de spelregels van de gekozen
werkvorm.
Laat ik eerst een voorbeeld geven van het verschil
tussen de onderzoeker en de facilitator. Je kunt als
onderzoeker Beer’s Viable System Model (VSM)
gebruiken om problemen in kaart te brengen en
oplossingen te ontwerpen. Je kunt dat zelfstandig of
participatief doen. In het laatste geval behoor je volgens
Checkland tot de zachte systeembenadering:
One limitation in using the VSM model is that
although it is claimed to have “considerable power
to describe and predict, diagnose and prescribe,”
it is presented in no methodological framework, no
process for using the model. One such methodology
which can cheerfully accommodate the VSM model is
that of Soft Systems Methodology (SSM) (Checkland
1986: 269).
Je vervangt het CATWOE model door het VSM model
en datgene wat altijd als voorbeeld van een harde
systeembenadering wordt beschouwd is ineens een
zachte systeembenadering geworden.
Je kunt in plaats van het VSM ook de door Beer
ontwikkelde werkvorm Team Syntegrity (TS) gebruiken.
TS onderscheidt zich van andere werkvormen door
het feit dat het een oplossing gevonden heeft voor
het agenda probleem. Volgens Beer is een werkvorm
alleen democratisch als deelnemers zelf de agenda
vaststellen. Een tweedaagse TS start dan ook met een
vernuftige procedure waarin iedereen de kans krijgt
mee te doen aan het bepalen van de agenda. Een
facilitator onderzoekt dus niets, maar ziet er op toe dat de
spelregels van de gekozen werkwijze nageleefd worden.
De enige die daarvan verstand heeft (daarin expert is),
is de facilitator. Voor het gebruiken van TS moet je een
opleiding volgen en een licentie verkrijgen. Een facilitator
specialiseert zich dus in een van de vele werkvormen
of beheerst meerdere werkvormen zodat hij daaruit kan
kiezen.
Dit soort werkvormen worden meestal gebruikt
voor ‘het bepalen van de grote lijnen’: wat is nu de
aard van de problemen die we tegenkomen en/of waar
willen we naar toe (visie, missie en strategie)? Die kun
je als onderzoeker invlechten in je toegepast onderzoek
(in de diagnose en/of ontwerpfase). Een diagnostisch
onderzoek start met een kloofanalyse: het verschil
tussen feitelijke en gewenste situatie. Wanneer het
cliëntsysteem (in dit geval een bouwbedrijf) niet goed
weet wat die gewenste situatie is (wat de gewenste
waarden van relevante variabelen zijn) kun je een
79
werkconferentie organiseren waarin het cliëntsysteem
die variabelen (wat vinden we belangrijk?) en gewenste
waarden bepaalt. Je bent dan een facilitator die een
waardendiscussie van het cliëntsysteem faciliteert.
Vervolgens kun je als onderzoeker de kloof in kaart gaan
brengen. Dezelfde procedure kun je herhalen wanneer
doelen vastgesteld en/of uit oplossingsrichtingen
gekozen moet worden. De desbetreffende studente heeft
voor dit afstudeeronderzoek bij een bouwbedrijf in mijn
herinnering, een negen of tien gekregen.
Framing en reframing: over metaforen en abducties
Framing en reframing zijn we al verschillende keren
tegengekomen en wordt door Dorst (2015) gebruikt voor
zijn variant van design thinking: Frame Innovation. Create
New Thinking by Design. Dorst gebruikt de problemen
van een druk uitgaansgebied in Sydney als voorbeeld.
Bij die problemen moet je denken aan wildplassen,
openbare dronkenschap, vechtpartijen, drugsdeals
en aanrandingen. De gemeente/politie definieerde het
probleem als een ordehandhavingingsprobleem. Dan
ga je vanzelf oplossingen zoeken in het versterken
van de ordehandhaving. Dat leverde niet veel op en
de onderzoeksgroep van Dorst pakte het anders aan.
Door bezoekers van het gebied te observeren en
met hen te praten ontdekten ze dat deze mensen het
gebied bezochten om plezier te hebben. Daardoor
ontstond het idee dat het uitgaansgebied lijkt op een
muziekfestival. Daar gaan ook grote massa’s mensen
naar toe om plezier te hebben. Vervolgens kun je kijken
hoe op muziekfestivals vergelijkbare problemen opgelost
worden: openbare toiletten plaatsen, mensen tussentijds
vermaken, ervoor zorgen dat ze weg kunnen als ze willen.
De vergelijking van het uitgaansgebied met een
muziekfestival is een metafoor of analogie. Dat zijn
vormen van figuurlijk taalgebruik (Fogelin 2011), die
altijd berusten op een (meestal impliciete) negatieve
en een positieve analogie. Wanneer je van X (een
uitgaansgebied, een organisatie, je vriendin) zegt dat
het Y of als een Y is (een muziekfestival, een machine,
het zonnetje in je leven) dan ga je er vanuit dat iedereen
weet dat een uitgaansgebied iets totaal anders is dan een
muziekfestival, een organisatie iets totaal anders is dan
een machine en je vriendin iets totaal anders dan de zon.
Dit zijn de negatieve analogieën die je impliciet laat omdat
je veronderstelt dat iedereen weet dat je de vergelijking
niet letterlijk moet nemen: het gaat om vormen van
figuurlijk taalgebruik. Je vriendin zal dus niet zeggen
‘gekkie, ik ben helemaal geen zon.’ In plaats daarvan zal
ze zeggen ‘vertel op en leg uit.’ Zij is dan nieuwsgierig
naar de wijze waarop jij jouw kennis van eigenschappen
van de zon gebruikt om nieuw licht te laten schijnen op
kenmerken van je vriendin. In een analogie (X is als een Y)
gebruik je dus bestaande kennis over Y om nieuwe kennis
te ontwikkelen over X.
Vooral bij abducties wordt gebruik gemaakt van
analogieën: stel dat licht zich gedraagt als watergolven
of dat de interne structuur van een atoom lijkt op
de structuur van het heelal. Uit zo’n analogie kun
je hypothesen afleiden: als dat zo is zou licht ook
kenmerken x, y en z moeten hebben of zouden we binnen
atomen dezelfde krachten tegen moeten komen. Worden
die hypothesen bevestigd, dan verliezen de analogieën
hun figuurlijk karakter: lichtgolven bestaan echt en die
krachten komen we echt binnen atomen tegen (over het
gebruik van metaforen in de wetenschap en het verschil
tussen vruchtbare en onvruchtbare metaforen, zie
uitvoerig Aronson, Harré, Way 1994).
Abducties en het gebruik van analogieën zijn dus
niet het kenmerk of voorrecht van ontwerpers. Inductie,
deductie en abductie zijn redeneervormen die we
gebruiken in ons dagelijkse leven, in ons professionele
leven en in ons wetenschappelijke leven. De kunst
is het verzinnen van goede analogieën. Je kunt de
interne structuur van een atoom ook vergelijken met
een racebaan, maar dat levert niet veel op. Je kunt je
80
vriendin ook vergelijken met een winkelcentrum en als
je dat op een voor haar bevredigende wijze doet ben je
een meester in het maken van analogieën. Wanneer je
echter bij de vergelijking met de zon de nadruk legt op het
verschroeiende en vernietigende karakter van de zon zal
ze het uitmaken. Het is dan ook onjuist om te zeggen dat
we niet weten wat organisaties zijn omdat we er zoveel
metaforen op kunnen toepassen zoals in Morgan’s (2006)
Images of Organization. We weten wat organisaties zijn,
anders konden we ze niet onderscheiden van machines
of organismen. En met elke vergelijking leren we nieuwe
dingen over organisaties. Vergelijk het met je vriendin:
met hoe meer metaforen je haar kunt verblijden, des te
meer zal ze het gevoel hebben dat je haar kent. En als
je dat niet kunt, zal ze gaan denken dat je niet in haar
geïnteresseerd bent.
Framing en reframing: de geschiedenis van het begrip
De term framing is al oud en werd geïntroduceerd door
Bateson (1972): dieren moeten elkaar een signaal of
cue geven dat ze niet willen vechten maar stoeien. De
een moet het framen als een stoeipartij en de ander
moet begrijpen dat het om een stoeipartij gaat. Dat
signaal is een vorm van metacommunicatie. Bateson
heeft dat uitgewerkt in een theorie over waar die
metacommunicatie, bijvoorbeeld in de vorm van ‘double
binds’ fout kan gaan. ‘Wees spontaan’ is daar een
bekend voorbeeld van. Maar ook ouders die hun kinderen
voorhouden dat ze moeten zeggen wat ze denken en
vervolgens, als hun kinderen dat doen, zeggen dat ze niet
zo brutaal moeten zijn, communiceren met een dubbele
boodschap.
Goffman (1974) gebruikt het begrip in zijn boek
‘Frame analysis’ om de interpretatiekaders te analyseren
die we gebruiken in onze navigatie door het dagelijks
leven. Schön (1983) gebruikt het begrip in zijn analyse van
de interventiepraktijk van professionals en wijst op het
belang van herdefinities van problemen. Schön wijst er
terecht op dat frames niet waar of onwaar zijn: in Sydney
was sprake van problemen met gezagshandhaving.
Wanneer je een probleem herdefinieert kijk je vanuit een
ander perspectief naar hetzelfde probleem. De discussie
gaat dan niet om de vraag welk perspectief waar is,
maar welk perspectief het meest vruchtbaar is. In Schön,
Rein (1994) Frame reflection: toward the resolution
of intractable policy controversies wordt dit verder
uitgewerkt met als conclusie dat reframen moeilijk is en
zeker niet altijd werkt.
Inmiddels heeft het begrip ook zijn ingang gevonden
in de communicatie-, media- en politieke wetenschappen.
Daar wordt het gebruikt om te laten zien dat de wijze
waarop je een boodschap framed, dat wil zeggen,
verpakt, invloed heeft op de acceptatiekans van die
boodschap. Tversky en Kahneman hebben laten zien
dat de wijze waarop je een keuzesituatie verwoordt van
invloed is op de keuzes die mensen maken. En Lakoff
(2004/2016) gebruikt het om te laten zien hoe rechtse
politici hun boodschap framen en hoe linkse politici meer
aandacht zouden moeten besteden aan de wijze waarop
zij hun boodschap framen. Framen dat doen journalisten
als ze artikelen schrijven en politici als ze onaangename
boodschappen moeten verkondigen. Je analyseert dan
bijvoorbeeld hoe Trump zijn corona maatregelen framed.
En Lakoff vertelt ons hoe we daarmee om moeten gaan.
Niet de boodschap en het frame van de tegenstander
herhalen en dan weerleggen. Door het herhalen versterk
je die boodschap. In plaats daarvan moet je met je eigen
boodschap beginnen en daar aansprekelijke frames voor
ontwikkelen (zoals in Wray 2012, Connors, Mitchell 2017
en Kelton 2020).
Framing en reframing: een voorstel
Dit hele veld overziende zou mijn voorstel, kort
samengevat, het volgende zijn. Ik zou de term frame
reserveren voor de wijze waarop een boodschap verpakt
wordt. En ik zou het herdefiniëren van problemen gelijk
81
stellen aan het gebruiken van een ander perspectief
om naar hetzelfde probleem te kijken. Dat andere
perspectief stelt je in staat andere dingen te ontdekken.
Dat kan resulteren in een andere boodschap en je kunt
vervolgens nadenken over de vraag hoe je die boodschap
aantrekkelijk kunt verpakken, bijvoorbeeld door gebruik te
maken van antiframes of van ‘story telling.’
Door een onderscheid te maken tussen boodschap
en verpakking kun je eerst de boodschap analyseren
(bijvoorbeeld: we moeten bezuinigen omdat anders de
staatsschuld te groot wordt) en daarna de verpakking
of het frame (de overheid moet, net als gezinnen, haar
huishoudboekje op orde houden). Je kunt vervolgens
aantonen dat die boodschap onjuist is (bezuinigen in een
recessie maakt de zaak alleen maar erger; daarom doen
we dat nu, in corona tijd ook niet) en dat de verpakking
op een valse voorstelling van zaken berust: het budget
van een overheid met een eigen munt is iets totaal anders
dan het budget van een huishouden. Een huishouden
kan failliet gaan, een overheid met een eigen munt niet.
Die kan gewoon geld ‘bijdrukken.’ Je kunt, tenslotte
je eigen boodschap formuleren en daar frames voor
verzinnen waardoor mensen niet meer zo schrikken van
bijvoorbeeld het woord ‘staatsschuld.’
Voor het definiëren en herdefiniëren van problemen
gebruiken we het woord framen niet, want dat woord
reserveren we in mijn voorstel voor de verpakking van
je boodschap. Je doet daarmee recht aan het gegeven
dat frames ook kunnen berusten op een verkeerde
voorstelling van zaken. In plaats daarvan werken
we uit wat je doet als je een probleem definieert en
herdefinieert. Een probleem definiëren of definiëren als
X betekent een perspectief kiezen. En een probleem
herdefiniëren betekent vanuit een ander perspectief
naar dat probleem kijken zodat je andere aspecten
van dat probleem te zien krijgt. Een perspectief ligt
besloten in of bestaat uit de taal (begrippen) en de
daarin geformuleerde theorieën die je gebruikt om het
probleem te definiëren. Verschillende perspectieven
kunnen allebei de waarheid opleveren. Vroeger werd
daarvoor het voorbeeld van het liftprobleem gebruikt.
Het verhaal gaat als volgt. Een hoteleigenaar wordt
geconfronteerd met klagende gasten: die moeten te lang
op de lift wachten. De eigenaar roept een ingenieur te
hulp die de zaak onderzoekt en met een oplossing komt:
een nieuwe lift met ingebouwde slimme technologie zou
de wachttijden verkorten. Dat kost echter een hoop geld.
De eigenaar vraagt daarom een vriend die psycholoog
is om ook een keer naar het probleem te kijken. De
psycholoog observeert de wachtende gasten, ziet dat
ze zich vervelen, plaatst spiegels zodat de gasten elkaar
ongemerkt kunnen bekijken en zie, de klachten nemen af:
de gasten vervelen zich niet meer. De een analyseert het
probleem in de taal van de werktuigbouwkunde (vanuit
het perspectief van de werktuigbouwkundige) de ander
in de taal van de psycholoog (vanuit het perspectief van
de psychologie). Tegen beider verhalen valt niets in te
brengen: ze hebben allebei gelijk. Het enige verschil is,
dat de ene analyse leidt tot een dure en de andere tot een
goedkope oplossing.
Onder de noemer van waardendiscussie zijn we
al tegengekomen dat actoren in het cliëntsysteem
vanuit hun perspectief naar een probleem kijken.
In een MT vergadering waarin wordt besproken
waarom het zo slecht gaat met de organisatie,
is de kans groot dat de kwaliteitsmanager het zal
definiëren als een kwaliteitsprobleem, de bedrijfsleider
als een planningsprobleem, de verkoper als een
marketingprobleem, de HR functionaris als een
personeelsprobleem, de systeembeheerder als een
ICT probleem en de onderhoudsmanager als een
onderhoudsprobleem. En ze weten ook allemaal wat de
oplossing is: meer ICT, beter personeel, meer marketing,
meer preventief onderhoud, enzovoort. Dit is wat
Checkland, ietwat overdreven, de ‘Weltanschauung’ (W)
van actoren (A) noemt.
82
Hier hebben we het echter over het perspectief waarmee
de professional/onderzoeker naar het probleem
kijkt. Herdefiniëren betekent dan vanuit een ander
perspectief naar het probleem kijken. Toegepast op
de MT vergadering zou de professional vanuit een
integraal perspectief kunnen kijken: is het mogelijk
dat die problemen met elkaar te maken hebben en
een gemeenschappelijke oorzaak hebben? En zou
die oorzaak gelegen kunnen zijn in de cultuur van de
organisatie of in de structuur van de organisatie. In het
eerste geval herdefinieer je het probleem, net als Schein,
in een cultuurprobleem en stel je een cultuurdiagnose
voor. En in het tweede geval herdefinieer je het
probleem, net als de sociotechniek of lean, als een
structuurprobleem en stelt een structuurdiagnose voor.
En je kunt samen met het MT bepalen welk probleem het
meest dringend is. Je start dan een interventie op dat ene
probleem: preciseren van het probleem, oorzaken in kaart
brengen, enzovoort. Als het om een personeelsprobleem
gaat zul je dat doen in de taal en daarin geformuleerde
theorieën van HRM, een planningsprobleem in de taal en
daarin geformuleerde theorieën van OM, enzovoort.
Ook de professional moet dus bepalen vanuit welk
perspectief hij naar het probleem kijkt, dat wil zeggen,
in welke taal en met welke theorie hij het probleem
definieert. Ook de professional moet het probleem
definiëren of herdefiniëren. De keuze van een perspectief
zegt niets over de waarheid van wat je te zien krijgt.
Analyseren vanuit een cultuurperspectief kan tot de
conclusie leiden dat er geen cultuurproblemen zijn en
analyseren vanuit een structuurperspectief dat er geen
structuurproblemen zijn. Net zoals een taal bepaalt wat
je kunt zeggen, bepaalt je perspectief wat je kunt zien.
Over de waarheid van wat je met die taal kunt zeggen of
wat je met dat perspectief kunt zien beslist de empirie.
Als professional zul je meestal meerdere perspectieven
combineren: je kunt de problemen van de Euro zowel
vanuit een economisch perspectief als vanuit een politiek
perspectief analyseren, de advocaat kijkt zowel vanuit
een juridisch perspectief (procederen of schikken) als
vanuit een financieel en emotioneel perspectief naar de
cliënt (kan die dat financieel en/of emotioneel aan?) en de
bedrijfskundige kijkt zowel vanuit een ontwerpkundig als
vanuit een veranderkundig perspectief naar het probleem.
Samenvattend: zonder perspectief zie je niets (er
bestaat geen ‘view from nowhere’). Perspectieven kun
je kiezen, maar wat je te zien krijgt is ‘up to the world.’
In de woorden van Luhmann: aan de ‘subjectiviteit’ van
een perspectief beantwoordt de ‘objectiviteit’ van het
aspect dat je te zien krijgt. Als je een ander perspectief
gebruikt krijg je andere aspecten te zien en als je meer
perspectieven gebruikt krijg je meer aspecten van het
probleem te zien. Je kunt verschillende perspectieven
combineren, maar er bestaat geen allesomvattend
perspectief (er bestaat geen ‘God’s eye view’). Een
professional moet dus ‘meervoudig’ kunnen kijken. Maar
de kunst van de professional is gelegen in het kiezen en
combineren van de perspectieven die ‘in dit geval’ het
meest vruchtbaar zijn. Daarvoor is het advies ‘je moet
meervoudig kijken’ niet voldoende.
Terug naar het Sydney voorbeeld: hoe kan de
professional interveniëren?
De door de onderzoeksgroep van Dorst uitgevoerde
analyse van het uitgaansgebied van Sydney is een
mooi voorbeeld hoe je met behulp van een analogie
een oorspronkelijk soort probleem kunt herdefiniëren
in een ander soort probleem: je observeert en
spreekt onbevooroordeeld met de bezoekers van het
uitgaansgebied en tijdens die ‘etnografische’ fase springt
je een idee te binnen (‘het lijkt op een muziekfestival’), dat
je direct op het spoor naar nieuwe oplossingen zet.
Stel nu dat je een vergelijkbare opdracht krijgt:
de gemeente/politie van Eindhoven vraagt je het
Stratumseind, eenzelfde soort probleemgebied, te
onderzoeken. Je kent het Sydney voorbeeld niet en
83
moet een plan van aanpak bedenken. Bovendien
twijfel je aan je creatieve vermogens en je wilt dus niet
onbevooroordeeld en onvoorbereid het gebied gaan
bestuderen. Je kunt dan ook literatuur verzamelen over
crowd control, bijvoorbeeld door op internet te gaan
kijken. Je ontdekt dan al snel dat crowd control een
vak is dat onderdeel uitmaakt van de veiligheidskunde.
Daar wordt les in gegeven en bestaat literatuur
over. Bij het bestuderen van de literatuur zie je dat
onderscheid gemaakt wordt tussen crowd control bij
voetbalwedstrijden, demonstraties, muziekfestivals
en drukke plaatsen zoals spoorwegstations en
uitgaansgebieden. De vergelijking heeft nu haar
metaforisch karakter verloren: muziekfestivals en
uitgaansgebieden lijken op elkaar omdat ze vallen onder
hetzelfde supertype, namelijk dat van crowd control.
En ze verschillen van elkaar omdat het verschillende
subtypen van hetzelfde supertype zijn. Deze literatuur
gebruik je om een overzicht te maken van mogelijke
problemen, mogelijke oorzaken en mogelijke oplossingen.
Vervolgens ga je onderzoeken welke van deze problemen
en oorzaken in dit geval (het Stratumseind) aanwezig zijn.
Daarvoor kun je de meest uiteenlopende methoden van
gegevensverzameling gebruiken. En het kan zijn dat je
nieuwe problemen en/of oorzaken ontdekt. Vervolgens
kijk je welke van de oplossingen al of niet in aangepaste
vorm in dit geval kunnen gaan werken.
Stel nu dat je dezelfde opdracht krijgt, je twijfelt aan
je creatieve vermogens en die literatuur bestaat niet.
Dan maak je geen onderzoeksplan, maar doorloopt
stap voor stap de fasen van de interventiecyclus,
bijvoorbeeld met behulp van de A3 methode. Je start met
een algemeen geformuleerd probleem: er is sprake van
gezagshandhavingsproblemen. In een eerste stap ga je
dat probleem preciseren: om welke problemen gaat het
(wildplassen, dronkenschap, vechtpartijen, enzovoort). Bij
elk probleem stel je verschillende vragen: hoe vaak, door
wie, wanneer/hoe laat, waar, enzovoort. In het Sydney
voorbeeld zou je dan al snel ontdekken dat de meeste
problemen zich na twaalven voordoen.
In de volgende stap stel je de verklarende
waaromvraag: wat zijn de oorzaken van dit gedrag. Je
ontdekt dan dat de mensen niet weg kunnen omdat
de uitgaansgelegenheden vol zitten en de treinen na
twaalven niet meer rijden, terwijl ze vol bier zitten: ze
kunnen nergens naar het toilet. En je ontdekt dat mensen
niet weg kunnen en zich gaan vervelen, vertier zoeken
en gaan vechten. In deze stap werk je in de ‘breedte’:
je zoekt naar zo veel mogelijk oorzaken. En je werkt
in de diepte: je zoekt naar oorzaken van oorzaken. Zo
ontdek je dat veel problemen een gemeenschappelijke
achterliggende oorzaak (‘root cause’) hebben: de mensen
kunnen niet weg. In de derde stap ga je naar oplossingen
zoeken. Aangrijpingspunt zijn de gevonden directe en
achterliggende oorzaken. Je stelt voor openbare toiletten
te plaatsen (wildplassen), te kijken of de treinen eerder
kunnen gaan rijden (minder mensen), er voor alternatief
vermaak gezorgd kan worden (vechtpartijen), enzovoort.
Dit zijn drie verschillende manieren om hetzelfde
probleem te onderzoeken. Ze hebben een aantal
kenmerken gemeenschappelijk. In alle drie de gevallen
• Worden de fasen van de interventiecyclus doorlopen.
• Verdiepen de onderzoekers zich eerst in het
probleem, voordat ze oplossingen ontwerpen.
• Verlaten ze hun bureau om ter plekke te kijken en te
praten.
• Baseren ze zich zo veel mogelijk op de feiten.
• Betrekken ze belanghebbenden en betrokkenen meer
of minder intensief in hun onderzoek.
In die zin zijn het alle drie vormen van toegepast
onderzoek in het kader van de interventiecyclus. Er
bestaan ook verschillen. De eerste werkwijze is een open
vorm die start met een etnografisch achtig onderzoek.
Dat vereist een hoge mate van zelfvertrouwen: je moet
erop vertrouwen dat de ideeën ‘vanzelf’ gaan stromen
84
tijdens het onderzoek. ‘Creative confidence’ is dan ook
volgens Kelley het belangrijkste wat zijn studenten tijdens
de opleiding verwerven:
Once you have design thinking in your life, you have
creative confidence. You say, “I’ve solved difficult
problems before. I know how to do this. I’ll put a team
together. I’ll build prototypes. I’ll understand the users
to get the ideas for what is really meaningful to the
people that I’m designing for. I’ll bet you that I’d come
up with something, with intention, something that’s
successful.” That’s confidence.
In het tweede geval ontleen je dat zelfvertrouwen aan
de inhoudelijke kennis over het probleem dat je gaat
onderzoeken. Je hebt je eerst verdiept in de literatuur
voordat je je in het concrete probleemgeval gaat
verdiepen. Hoe vaker je dit gedaan hebt, des te groter
je ‘creative confidence’ wordt: je weet bij bijvoorbeeld
procesverbeteringsprojecten welke theorieën en
technieken je bij welke problemen kunt inzetten. Je wordt
daar steeds flexibeler en creatiever in en ontwikkelt
een eigen stijl van werken. Ik denk dat de meeste IDEO
projecten uit een combinatie van beide werkwijzen
bestaat. Ook IDEO medewerkers zullen zich eerst in de
literatuur over overdrachten verdiepen voordat ze met hun
onderzoek starten. En niets let hen tijdens dat onderzoek
gebruik te maken van etnografisch achtige technieken
uit de eerste werkwijze. Dat verschilt niet van wat bij
lean de ‘gemba’ wordt genoemd: verlaat je bureau en ga
naar de werkvloer om daar te kijken en te praten. En laat
vooral medewerkers zelf een ‘value stream map’ maken
of een visgraat invullen. Ik denk dat de eerste werkwijze
vooral werkt bij het ontwerpen van nieuwe producten
en diensten en de tweede bij problemen waarvoor
inhoudelijke expertise is vereist.
In het derde geval ontleen je het zelfvertrouwen aan
het methodisch karakter van de werkwijze. Je wordt bij
elke stap gedwongen bepaalde vragen te stellen. En in
de loop van je onderzoek merk je tot je verrassing dat
je steeds meer van het probleem begint te begrijpen en
tot verrassende oplossingen kunt komen (zie verder de
bijdrage over de A3 methodiek). Heb je dat een paar keer
gedaan, dan groeit je ‘creative confidence.’ Wat en hoe
ingewikkeld het probleem ook is, je vertrouwt erop dat
je er met de A3 methodiek wel uit komt. Deze werkwijze
is vooral geschikt wanneer over het probleem weinig in
de literatuur te vinden is. Wanneer die literatuur er wel is,
combineer je gewoon werkwijze twee en drie.
85
5. Toegepast onderzoek in het kader van de interventiecyclus: de designs van toegepast onderzoek
In deze bijdrage (1) behandel ik de overeenkomsten en verschillen tussen fundamenteel en toegepast onderzoek, (2) licht ik de beslisboom over vormen en designs van onderzoek toe en (3) beschrijf ik achtereenvolgens de designs van toegepast diagnostisch, ontwerpgericht, implementatie en evaluatieonderzoek.
1. Overeenkomsten en verschillen fundamenteel en toegepast onderzoek
Overeenkomsten: empirisch onderzoek
Bij zowel fundamenteel als toegepast onderzoek gaat
het om vormen van empirisch onderzoek: je formuleert
onderzoeksvragen, verzamelt gegevens en probeert
daarmee de onderzoeksvragen te beantwoorden. De
wijze waarop je dat doet moet voldoen aan de eisen van
meetvaliditeit en betrouwbaarheid. En de wijze waarop
je, op haar beurt, aan die eisen voldoet is afhankelijk van
de gekozen manier van dataconstructie. Kijk naar het
desbetreffende hoofdstuk of handboek en je weet hoe je
dat moet doen. Ook toegepast onderzoek moet aan deze
eisen voldoen: anders zadel je de opdrachtgever op met
verkeerde diagnoses en/of oplossingen.
Beschrijven en verklaren
Zo geformuleerd (formuleer vragen, verzamel gegevens
en beantwoord de vragen) klinkt onderzoek doen
gemakkelijk. Er bestaan echter grote verschillen tussen
beschrijvend en verklarend onderzoek. Bij beschrijvend
onderzoek kun je aan de vragen aflezen waarover je
gegevens moet verzamelen. Bij verklarend onderzoek
is dat niet zo. Voordat je bij verklarend onderzoek
naar gegevens kunt gaan zoeken heb je eerst een
theorie over oorzaken en gevolgen en vervolgens een
onderzoeksdesign (een onderzoeksstrategie) nodig.
De theorie vertelt je naar welke gegevens (over
oorzaken en gevolgen) je moet gaan kijken. Vandaar:
zonder begrippen weet je niet wat je ziet en zonder
theorie weet je niet waar je moet kijken. De theorie
mondt altijd uit in een onderzoeksmodel. Dat model is
een beknopte weergave van je onderzoeksvragen: het
vertelt je wat je gaat onderzoeken, dat wil zeggen, welke
vragen je gaat beantwoorden. Hoe dat onderzoeksmodel
eruit ziet is afhankelijk van de aard van de geformuleerde
theorie: zoekt die naar effecten van afzonderlijke
oorzaken dan wordt het een variabelenmodel, met
onafhankelijke en afhankelijke variabelen. Zoekt je
theorie naar combinaties van oorzaken dan ziet je
onderzoeksmodel eruit als een configuratiemodel:
je onderzoekt de effecten van een beperkt aantal
configuraties van oorzaken.
Daarna moet je de onderzoeksstrategie bepalen: je
onderzoeksontwerp. Wanneer je fundamenteel onderzoek
doet kun je daarvoor kiezen uit een groot aantal mogelijke
ontwerpen die we eerder behandeld hebben. En pas dan
kun je gaan nadenken over de wijze waarop je gegevens
86
gaat verzamelen. Immers, pas nu weet je of je een voor-
en nameting moet uitvoeren en bij wie je dat moet doen,
of je een interventie- en controlegroep gebruikt, over
welke ‘overige factoren’ (‘cofounders’) je gegevens moet
verzamelen, enzovoort.
Vandaar dat je onderzoeksplan en –verslag bestaat
uit een theoretische verantwoording: hoe ziet de theorie
en het daaruit afgeleide onderzoeksmodel eruit? In
dat onderzoeksmodel staan je onderzoeksvragen.
Daarna komt een hoofdstuk over je onderzoeksontwerp,
gevolgd door een hoofdstuk over je methoden
van dataconstructie. Ik zou daar ook altijd twee
hoofdstukken van maken. Dan loop je niet het risico je
onderzoeksontwerp te verwarren met je methoden van
dataconstructie.
De verschillen: zoeken naar nieuwe versus gebruiken
van bestaande verklaringen
Ook toegepast onderzoek is verklarend onderzoek. In
de diagnostische fase ben je op zoek naar oorzaken
van problemen en in de ontwerpgerichte fase ben je op
zoek naar oorzaken van gewenste effecten. Dat zijn de
middelen waarmee je doelen bereikt of problemen oplost.
‘Toegepaste verklaringen’ verschillen echter
fundamenteel van ‘fundamentele verklaringen.’ In beide
gevallen word je geconfronteerd met het probleem
van causale complexiteit. In zijn meest eenvoudige
vorm verwijst dat naar het feit dat elk gevolg meerdere
oorzaken en elke oorzaak meerdere gevolgen heeft.
Voor de fundamentele onderzoeker betekent dit dat
hij wil bewijzen dat X een oorzaak van Y is, terwijl hij
weet dat A, B en C ook oorzaken van Y zijn. Hij moet
daarom ‘controleren’ voor A, B en C. Hoe hij dat doet
is afhankelijk van het gekozen design. Hij kan daarvoor
gebruik maken van een van de vele experimentele of
observationele designs. Met die designs probeert hij
de interne validiteit (kan ik bewijzen dat mijn verklaring
klopt?) van zijn onderzoek te verhogen.
Als de onderzoeker bovendien wil generaliseren (externe
validiteit), dan moet hij daarvoor extra voorzieningen
treffen. Hij moet bij een grote N een juiste steekproef
gebruiken en bij een kleine N aandacht besteden aan de
selectie van zijn case(s): een typische case, afwijkende
case, enzovoort.
Wat betekent interne validiteit voor toegepast
onderzoek?
Voor de toegepaste onderzoeker ligt dit anders. Die
weet dat X, A, B en C mogelijke oorzaken zijn van Y en
moet de vraag beantwoorden: welke van die mogelijke
oorzaken zijn in dit geval aanwezig? Dat doe je in
diagnostisch onderzoek waarin Y een ongewenst effect
is en in ontwerpgericht onderzoek waarin Y een gewenst
effect is. De toegepast onderzoeker moet dus niet
andere oorzaken controleren door die uit te sluiten. Hij
mag omgekeerd geen oorzaken over het hoofd zien. Hij
hoeft niet meer te bewijzen dat X, A, B en C mogelijke
oorzaken van Y zijn. Daar heeft fundamenteel onderzoek
al voor gezorgd. In plaats daarvan moet de toegepast
onderzoeker een overzicht hebben van alle mogelijke
oorzaken om te kunnen bepalen welke daarvan in dit
geval aanwezig zijn.
Je zou kunnen zeggen dat de fundamenteel
onderzoeker op zoek is naar goede verklaringen: is X een
generieke oorzaak van Y? En de toegepast onderzoeker
is op zoek naar volledige verklaringen: welke specifieke
combinatie van alle mogelijke oorzaken verklaren in dit
geval effect Y? Ook de toegepast onderzoeker moet dus
kunnen bewijzen dat zijn verklaringen kloppen (interne
validiteit). Dat vraagstuk neemt alleen een andere vorm
aan.
Waarom externe validiteit niet van toepassing is op
toegepast onderzoek
Moet toegepast onderzoek ook voldoen aan de eis van
externe validiteit? Nee, want die is niet van toepassing,
87
niet relevant. Als de toegepast onderzoeker tot de
conclusie komt dat in dit geval oorzaken B en C aanwezig
zijn, is de vraag ‘kun je dit generaliseren?’ onzinnig. Dat
was niet de vraag en of in dit geval B en C aanwezig zijn
is onafhankelijke van de vraag of B en C ook in andere
gevallen aanwezig zijn. Als de arts concludeert dat je
corona hebt, de controller dat de cash flow opdroogt, de
medezeggenschapsraad dat de werkdruk is toegenomen,
de hogeschool dat de studentenaantallen teruglopen, dan
zal niemand vragen ‘kun je dat generaliseren?’ De enig
relevante vraag is: hoe komt dat?
Conclusie
Toegepast onderzoek moet, zoals elke vorm van
empirisch onderzoek, voldoen aan de eisen van
meetgeldigheid en betrouwbaarheid. Voor toegepast
onderzoek is de eis van externe validiteit niet relevant
en niet van toepassing. En de eis van interne validiteit
neemt een andere vorm aan. Daarom pas je ook niet
de designs van fundamenteel onderzoek toe. Aan deze
methodologische eisen kun je andere eisen toevoegen,
maar die kunnen nooit deze methodologische eisen
vervangen. Je kunt bijvoorbeeld pragmatische validiteit
toevoegen. Dan heb je twee mogelijkheden. Of je bedoelt
met pragmatische validiteit hetzelfde als interne validiteit:
je weet waarom iets werkt en kunt dat bewijzen. Dan
voegt het niets toe. Of het betekent iets anders. Dan
vervangt het interne validiteit niet, maar voegt daar iets
aan toe, wat dat ook moge zijn.
Toegepast onderzoek: de kloof tussen wetenschap en
praktijk
Professionals worden altijd geconfronteerd met de kloof
tussen wetenschap en praktijk. Wetenschappelijke
kennis is algemeen van aard. Ze levert kennis die
geldt onder experimenteel gecontroleerde condities
(ceteris paribus wetten), gerandomiseerde condities,
statistisch gecontroleerde condities, vereenvoudigde
simulatie condities of nauwkeurig gespecificeerde
‘scope conditions.’ Daarmee kan dan ook nooit de vraag
beantwoord worden wat in een concreet geval oorzaken
en oplossingen zijn. In dat concrete geval zijn immers de
ceteris niet paribus, de condities niet gerandomiseerd,
niet statistisch gecontroleerd, niet vereenvoudigd zoals in
simulatiestudies en de ‘scope conditions’ niet hetzelfde
(zie uitvoerig Cartwright, Hardy 2012). Omgekeerd
hoeft wat in een concreet geval werkt, niet te werken
in een ander geval. Condities kunnen daar immers
anders zijn. In deze zin is er altijd sprake van een kloof
tussen wetenschap en praktijk. En het is de taak van de
professional die kloof te overbruggen.
Professionals moeten dus de generieke kennis van
de wetenschap wanneer ze die gaan toepassen, weer
contextualiseren (Schön 1983). Dat betekent dat ze weer
oorzaken moeten gaan toevoegen. Dat is gedeeltelijk een
vaardigheid die professionals alleen in de praktijk kunnen
leren: ze kunnen zich ontwikkelen van ‘novice’ tot ‘expert’
(Dreyfuss, Dreyfuss 1986; Benner 1984). Ze kunnen die
kloof ook door onderzoek verkleinen. Volgens ons is dit
de belangrijkste functie van toegepast onderzoek. In
de woorden van Cartwright: toegepast onderzoek moet
professionals helpen de kloof te overbruggen tussen ‘het
werkt ergens’ en ‘het werkt hier.’ Daarvoor kunnen ze niet
de designs van fundamenteel onderzoek gebruiken, zoals
het volgende voorbeeld laat zien.
Een voorbeeld: ‘Growth Diagnostics’
Laten we als niet-medisch voorbeeld een diagnostisch
instrument bekijken dat door Hausmann, Rodrik en
Velasco (2005) ontwikkeld is om de oorzaken van
economische groeiproblemen te onderzoeken, zie
Figuur 1 (‘growth diagnostics’). Het instrument is
ontwikkeld als reactie op en alternatief voor wat wel de
Washington consensus genoemd wordt: als een land bij
het IMF om hulp vraagt is de oplossing altijd hetzelfde,
namelijk bezuinigen (‘fiscal consolidation’), dereguleren,
88
privatiseren en liberaliseren. Dat is nog steeds zo. Als
een land door de coronacrisis in moeilijkheden raakt
en bij het IMF om hulp aanklopt, dan moet dat land, in
ruil daarvoor ‘structurele hervormingen’ doorvoeren en
bijvoorbeeld bezuinigen op de gezondheidszorg (zie het
Oxfam persbericht van 12 0ktober 2020: “Over 80 per
cent of IMF Covid-19 loans will push austerity on poor
countries”).
In ‘growth diagnostics’ worden in plaats daarvan
op basis van een theorie de mogelijke oorzaken van
groeiproblemen geïdentificeerd. Met behulp hiervan
kan een land bepalen wat in zijn geval de oorzaak van
groeiproblemen is (‘binding constraint’) en daarvoor
oplossingen ontwerpen. Je herkent hierin de structuur
van elk diagnostisch onderzoek: beschrijvend (wat is de
kloof tussen feitelijke en gewenste groei?) en verklarend
(welke van alle mogelijke oorzaken zijn in dit geval
aanwezig en verklaren de gebrekkige groei van dit land?):
Aan de onderzoeksvraag kun je zien dat het hier om
toegepast onderzoek gaat: het onderzoek start niet met
een kennisprobleem van de wetenschap en is niet gericht
op het ontwikkelen van nieuwe wetenschappelijke kennis.
In plaats daarvan start het met een handelingsprobleem
van de praktijk, namelijk economische groeiproblemen.
En aan de vraag kun je zien dat het om een toegepast
diagnostisch onderzoek gaat: wat zijn de oorzaken van
onze groeiproblemen. Het diagnostisch instrument brengt
alle mogelijke oorzaken in kaart en de diagnostische
vraag luidt: welke daarvan zijn in dit land aanwezig?
Figuur 1. Growth diagnostics.
Low return to economic activity
Low social returns
Low appropriability
Low human capital
Poor geopraphy
Bad infrastructure
Possible causes
Problem: low levels of private investment and entrepreneurship
Source: Ricardo Hausmann, Dani Rodruk, and Andrés Velasco, “Getting the diagnosis right”,
Finance and Development 43 (2006), available at http://www.inf.org/external/pubs/ft/fandd/2006/03/hausmann.htm.
Used with permission.
High cost of finance
Goverment failures
Macro risks:property rights,
corruprion, taxes
Macro risks:financial, monetary,
fiscal instability
Market failures
Information externalities:
“self-discovery”
Bad international
finance
Lowdomestic
saving
Coordination externalities
Bad local
finance
Poor Inter-
mediation
89
Het diagnostisch model is een onderzoeksmodel dat
uit een theorie is afgeleid. Dus ook een diagnostisch
onderzoek start met een theoretische verantwoording.
Daarin leg je uit welke theorie je waarom selecteert voor je
diagnostisch onderzoek. Je legt bijvoorbeeld uit waarom
je niet voor het IFM-model en wel voor het ‘Hausmann,
Rodrik, Velasco’-model hebt gekozen. En als je voor
het laatste kiest, dan kun je dat model nog aanvullen,
bijvoorbeeld omdat in dit model (zoals in alle neoklassieke
modellen) nogal eenzijdig de nadruk wordt gelegd op het
niveau van private investeringen. Dit alles mondt uit in
een onderzoeksmodel, dat je vertelt waarover je allemaal
gegevens moet gaan verzamelen. Het model heeft een
horizontale en een verticale dimensie. In de breedte
(horizontaal) zoek je naar meerdere oorzaken en in de
diepte (verticaal) zoek je naar oorzaken van oorzaken of
achterliggende oorzaken (‘root causes’). Je kunt nu, in
het hoofdstuk over methoden van dataconstructie, gaan
uitleggen op welke wijze je de vereiste gegevens gaat
verzamelen. Maar wat is nu het design van je onderzoek?
Wat is het design van een diagnostisch onderzoek?
De vraag is nu: welk design moet je kiezen? Omdat je een
land onderzoekt is het geen experiment, cross-sectionele
studie of longitudinale studie. De verleiding is groot
om het een casestudie te noemen. Je onderzoek heeft
immers betrekking op een geval (N = 1): het land met
groeiproblemen. Ga je nu in een handboek casestudie
onderzoek kijken hoe je het onderzoek vorm moet geven,
dan zal je uitgebreide verhandelingen aantreffen over
• Externe validiteit van casestudies en de eisen die dat
stelt aan het selecteren van je case of cases.
• Interne validiteit en de eisen die dit stelt aan het
uitsluiten van alternatieve verklaringen en de wijze
waarop je dit kunt toetsen.
Zijn deze eisen ook of ook in deze vorm van toepassing
op diagnostisch onderzoek?
Externe validiteit: is niet van toepassing op toegepast
onderzoek
Wanneer de ambtenaren van bijvoorbeeld Venezuela na
toepassing van het instrument tot de conclusie komen
dat vormen van overheidsfalen de belangrijkste oorzaak
zijn, heeft het dan zin om te vragen of zij deze conclusie
kunnen generaliseren? Nee, natuurlijk niet. Wat in
Venezuela de oorzaak is, is immers onafhankelijk van de
vraag wat in Bolivia of in andere landen de oorzaak is.
Wat van alle mogelijke oorzaken de feitelijke oorzaken zijn
kan van land tot land verschillen. De oorzaak in Bolivia
zou gelegen kunnen zijn in vormen van marktfalen. Je
hebt dan niet de verklaring voor Venezuela weerlegd. Je
onderzoeksvraag is immers niet: is overheidsfalen een
mogelijke oorzaak van groeiproblemen? Dat weten we
al. De onderzoeksvraag luidt: verklaart overheidsfalen in
dit geval de groeiproblemen of zijn daar andere oorzaken
– mede – voor verantwoordelijk? Dat betekent dat het
onzinnig is om te vragen of je de uitkomsten van een
diagnostisch onderzoek kunt generaliseren. Daar gaat je
vraag niet over. Die gaat over de oorzaken die in dit geval
aanwezig zijn. Vandaar dat je ook geen aandacht hoeft te
besteden aan het selecteren van cases. Het is omgekeerd
zo dat die cases jou selecteren.
Een diagnostisch onderzoek is dus geen
gevalsstudie. Je hoeft niet na te denken over caseselectie
(typische case, afwijkende case, enzovoort), want de
case selecteert jou. Het enige wat je moet doen is de
volgende onderzoeksvraag beantwoorden: welke van alle
bekende oorzaken zijn in dit geval aanwezig en verklaren
ongewenst gevolg Y? Vandaar dat Gerring (2006; 2007)
het een ‘single outcome study’ noemt en nadrukkelijk
geen gevalstudie. En vandaar dat een handboek
casestudie onderzoek je niet gaat helpen bij het ontwerp
van je diagnostisch onderzoek. Integendeel, die zet je op
het verkeerde spoor. Dat geldt niet alleen voor de externe,
maar ook voor de interne validiteit van je onderzoek.
90
Interne validiteit: is in andere vorm van toepassing op
toegepast onderzoek
Ook in toegepast onderzoek moet je onderzoek voldoen
aan de eis van interne validiteit (klopt je verklaring?).
Anders zadel je de opdrachtgever op met verkeerde
diagnoses en/of oplossingen. Interne validiteit neemt
echter een andere vorm aan. Als je, in fundamenteel
onderzoek, wilt bewijzen dat overheidsfalen een
mogelijke oorzaak is van groeiproblemen en als je
weet of vermoedt dat groeiproblemen ook veroorzaakt
kunnen worden door marktfalen en door hoge
financieringskosten, dan is je design erop gericht deze
alternatieve verklaringen uit te sluiten. Als je geluk hebt
tref je een natuurlijk experiment aan: twee landen zijn
zo goed als identiek, maar het ene land heeft last van
overheidsfalen en het andere land niet. Je hebt dan
een interventiegroep (het land met overheidsfalen) en
een controlegroep. Als het land met overheidsfalen
groeiproblemen heeft en het andere niet, kun je met
voldoende zekerheid concluderen dat overheidsfalen een
generieke oorzaak is van groeiproblemen.
Dat ligt in toegepast, in dit geval diagnostisch
onderzoek anders. Ten eerste weet je nu dat
overheidsfalen een mogelijke oorzaak is en het
enige wat je hoeft te doen is kijken of in dit land
sprake is van overheidsfalen. Daarvoor heb je geen
experimenteel design nodig. En, ten tweede, hoef je
nu geen alternatieve verklaringen uit te sluiten. Het
probleem van toegepast onderzoek is andersom: al
die factoren of oorzaken waarvoor in fundamenteel
onderzoek gecontroleerd wordt, kunnen in dit geval
wel aanwezig zijn. Als je pech hebt is er zowel sprake
van overheidsfalen, van marktfalen en van hoge
financieringskosten. Dan zal je moeten bepalen welke
van deze aanwezige oorzaak de belangrijkste is en waar
je gaat beginnen bij het ontwerpen van oplossingen. Je
mag, met andere woorden, in toegepast onderzoek geen
aanwezige oorzaken over het hoofd zien. Dit hebben
we eerder gedefinieerd als de kloof tussen wetenschap
en praktijk: in toegepast onderzoek moet je generieke
kennis contextualiseren, dat wil zeggen, toepasbaar
maken op een individueel geval. Daarvoor moet je
oorzaken toevoegen. Dat kan verschillende vormen
aannemen:
• Een gevolg (ongewenst in diagnostisch en gewenst in
ontwerpgericht onderzoek) kan meerdere oorzaken
hebben. Je bent dan op zoek naar configuraties van
oorzaken.
• Of een gevolg ook optreedt is afhankelijk van een
gevalsspecifieke constellatie van meewerkende,
tegenwerkende, terugwerkende, mediërende
en modererende factoren. Je gebruikt dan een
variabelenmodel.
• Tussen oorzaak en gevolg ligt een causaal proces.
Het kan dus zijn dat niet oorzaak X, maar een van de
stappen die leiden tot gevolg Y verantwoordelijk is
voor de ongewenste of gewenste effecten. Net als in
de geneeskunde kijk je dan naar waar in het proces je
het beste kunt interveniëren.
Theorieën: gebruiken of onderzoeken
Professionals moeten in toegepast onderzoek op zoek
naar theorieën die hen een overzicht van mogelijke
oorzaken geven. Ten aanzien van de theorieën die ze
aantreffen zijn er twee mogelijkheden (zie Polanyi 1958):
óf je vertrouwt de theorie niet en gaat hem kritisch
onderzoeken óf je vertrouwt hem wel en gaat hem
gebruiken om daarmee feitelijke oorzaken op te sporen.
In het eerste geval is de theorie je object van onderzoek
(klopt die wel?) en kom je in de empirische cyclus
terecht. Je onderzoekt dan de theorie op conceptuele,
theoretische en/of empirische onvolkomenheden. In
het tweede geval zijn de oorzaken van groeiproblemen
van land X je object van onderzoek en gebruik je de
theorie als middel om die oorzaken in kaart te brengen.
Je komt dan in de interventiecyclus terecht: je toetst
91
geen nieuwe theorie, maar past hem toe. Als je een
theorie vergelijkt met een lens of bril waarmee je naar
de wereld kijkt, dan volgt daaruit dat je die theorie niet
tegelijkertijd kunt bestuderen (waarvoor je de bril moet
afzetten) en toepassen (waarvoor je hem moet opzetten).
Als je hem gaat toepassen, moet je in de theoretische
verantwoording uitleggen waarom je die theorie
vertrouwt.
In de praktijk worden theorieën vaak tegelijkertijd
bestudeerd en toegepast. Maar we verdelen dat.
Onderzoekers bestuderen de theorie kritisch en leveren
zo input voor het verwerpen of verbeteren van de theorie.
Op basis van die wetenschappelijke kritiek heeft Rodrik
inmiddels nieuwe elementen aan het model toegevoegd.
Professionals passen de theorie toe en leveren input
over moeilijkheden die ze bij de toepassing tegen zijn
gekomen. Die zijn in dit geval vooral gelegen in het
verzamelen van gegevens. Omdat veel van de mogelijke
oorzaken alleen indirect gemeten kunnen worden heb je
daar slimme strategieën voor nodig. Op basis van beide
inputs wordt de ‘Handleiding Growth Diagnostics’ waar
nodig aangepast en verbeterd.
Is toegepast onderzoek wetenschappelijk onderzoek?
Voor toegepast onderzoek heb je andere designs nodig
dan de designs van fundamenteel onderzoek. Voordat we
de designs van toegepast onderzoek gaan behandelen,
beantwoorden we eerst de vraag of toegepast onderzoek
wel wetenschappelijk onderzoek is.
We hebben eerder een onderscheid gemaakt
in een productdefinitie en een procesdefinitie van
wetenschappelijk onderzoek. Fundamenteel onderzoek
voldoet aan beide definities. Toegepast onderzoek
levert geen nieuwe generieke kennis op en is dus alleen
in de procesdefinitie wetenschappelijk onderzoek: het
moet voldoen aan de procescriteria van meetvaliditeit,
betrouwbaarheid en interne validiteit.
Bovendien pas je In toegepast onderzoek bestaande
kennis toe. Dat betekent dat de begrippen en theorieën
die je in het toegepast onderzoek gebruikt zo veel
mogelijk ontleend moeten zijn aan de academische en/
of professionele literatuur. Daarin verschilt het van het
onderzoek dat we in ons alledaagse leven uitvoeren.
Laat ik dat met een voorbeeld verduidelijken. Als ik
thuis bezoek krijg en koekjes bij de koffie wil presenteren,
merk ik dat die telkens op zijn. Iemand uit het gezin eet
stiekem al die koekjes op. Ik vermoed, hem kennende,
dat het mijn zoon is. Om deze hypothese, gebaseerd op
een theorie over het karakter van mijn zoon, te testen
ga ik een empirisch onderzoek uitvoeren. Als methode
van gegevensverzameling kies voor het gebruik van een
camera die ik op de koekjestrommel richt en verdekt
opstel. Na een week draai ik de film versneld af en
moet, tot mijn verassing, concluderen dat het niet mijn
zoon, maar mijn vrouw is die stiekem al die koekjes
opeet. Dit is een empirisch onderzoek dat aan alle
formele procescriteria voldoet. Ik heb uit mijn theorie
een falsificeerbare hypothese afgeleid en die getoetst
op een manier die aan alle criteria van meetgeldigheid,
betrouwbaarheid en interne validiteit voldoet. Toch
zal niemand dit een wetenschappelijk onderzoek
noemen. De reden daarvoor is dat ik voor dit onderzoek
alleen alledaagse begrippen en theorieën gebruik.
Voor dat onderzoek heb ik geen professionele en/of
wetenschappelijke expertise nodig.
Je onderzoek moet dus ook geformuleerd zijn
in de taal en daarin geformuleerde theorieën van
de desbetreffende beroepsgroep of professional.
Dat geldt voor de monteur, de sociaal werker of
schuldhulpverlener, de jurist en de arts. Daarom roep
ik bij problemen met mijn verwarmingsketel, schulden,
onterechte belastingaanslagen of ziekten de hulp van
deze professionals in. Mijn alledaagse begrippen en
theorieën schieten voor het analyseren en oplossen van
deze problemen tekort. Deze professionals beschikken
92
wel over die taal en theorieën (inhoudelijke expertise) en
weten bovendien hoe ze mijn problemen op een juiste
manier moeten onderzoeken. Dat vereist feiten die op
een valide en betrouwbare manier verkregen zijn en
verklaringen die intern valide zijn.
2. De designs van toegepast onderzoekEen beslisboom
Voor het kiezen van je onderzoeksdesign hebben we
een beslisboom ontwikkeld. Voor het doorlopen van die
beslisboom hoef je allen maar naar je onderzoeksvraag
te kijken. Je kunt aan je onderzoeksvraag aflezen
wat voor soort onderzoek je gaat uitvoeren. Omdat
beschrijven en verklaren zowel in fundamenteel als
toegepast onderzoek plaats vinden moet je eerst weten
of je vraag een fundamentele of een toegepaste is. Gaat
de vraag om een kennisprobleem van de wetenschap,
dan is het een fundamentele vraag (wordt aids
veroorzaakt door een virus of door een leefstijl?). Gaat de
vraag over een handelingsprobleem van de praktijk, dan
gaat het om een toegepaste vraag (heeft deze persoon
aids en zo ja, wat kunnen we daaraan doen?). Wanneer
het om een toegepaste vraag gaat kun je alweer aan de
vraag aflezen om wat voor soort toegepast onderzoek
het gaat.
• Diagnostisch onderzoek: wat zijn in dit geval de
problemen (beschrijvend) en wat zijn daarvan in dit
geval de oorzaken (verklarend)?
• Ontwerpgericht onderzoek: wat is in dit geval van alle
mogelijke oplossingen de beste (verklarend)?
• Implementatieonderzoek: wat hebben we aanvullend
nodig om implementatie van de oplossing succesvol
te maken (verklarend)?
• Evaluatieonderzoek: hebben we onze doelstellingen
bereikt (beschrijvend) en zo nee, waarom niet
(verklarend)?
Formuleer onderzoeksvraag
Fundamenteel
Kies design: experiment, case, enz.
Beschrijven Verklaren
Bepaal aard onderzoek
Toegepast
EvaluatieImplementatieOntwerpgerichtDiagnostisch
Bepaal design ahv vraag
Figuur 2. Beslisboom met soorten onderzoek en designs.
93
Het verschil tussen de designs van toegepast en
fundamenteel onderzoek
Ik noem dit de designs van toegepast onderzoek
omdat ze gaan over de logica van je onderzoek: welke
stappen moet je zetten om een goed antwoord op je
vragen te krijgen. Omdat het niet gaat om het toetsen
van nieuwe theorieën, maar om het toepassen van
bestaande, verschillen deze designs van die van
fundamenteel onderzoek. Je hoeft immers geen extern
validiteitsprobleem op te lossen. En het probleem van
interne validiteit moet je op een andere manier oplossen.
Natuurlijk kun je zeggen dat een professional,
bijvoorbeeld een arts, ook start met vermoedens of
hypothesen die getoetst worden. Het nadeel daarvan
is dat de suggestie gewekt wordt dat ook de arts
fundamenteel onderzoek doet. Zoals we gezien hebben
is dat niet zo. Als je dan toch van hypothesen wil spreken,
noem het dan toegepaste, diagnostische hypothesen.
Dan weet je dat die met toegepast onderzoek getoetst
worden.
En natuurlijk kun je zeggen dat in het kader van
toegepast onderzoek ook experimenten plaats vinden,
zoals de ingenieur die, bij het ontwerpen van een vleugel
voor een nieuw vliegtuig, benodigde parameterwaarden
experimenteel bepaalt, bijvoorbeeld in een windtunnel.
De ingenieur doet dat, omdat engineering als wetenschap
– nog – geen model heeft ontwikkeld waaruit diezelfde
parameterwaarden theoretisch afgeleid kunnen worden
(letterlijk: waarmee die parameterwaarden berekend
kunnen worden, zie Vincenti 1990). Maar het ontwerpen
van een vliegtuig is geen wetenschappelijk experiment,
alhoewel je tijdens het ontwerpen, in het kader van
je gegevensverzameling gebruik kunt maken van
experimenten om de benodigde gegevens te verkrijgen.
Dat experiment is een beschrijvend experiment. En de
resultaten zijn alleen toepasbaar op de vleugel die je in de
windtunnel test. Je kunt de resultaten van dit experiment
niet generaliseren. Onderzoekers die een model willen
ontwikkelen waarmee ontwerpers parameters kunnen
uitrekenen zodat ze geen gebruik meer hoeven te maken
van windtunnel experimenten, moeten daarom een
beroep doen op diezelfde windtunnelfaciliteiten om hun
theorie te testen. Dan gebruik je windtunnelexperimenten
niet om een specifieke vleugel te testen, maar om een
algemene theorie te testen. Op deze manier ontwikkel je
generieke kennis die de ontwerper kan gebruiken in zijn
toegepaste onderzoek.
En natuurlijk kun je zeggen dat interventies eigenlijk
ook experimenten zijn. Je probeert immers iets uit tot het
werkt. Vandaar dat soms gesproken wordt over ‘design
experiments.’ In die zin is het eerste supersonische
vliegtuig het resultaat van een ‘design experiment’:
de achterliggende theorie en daaruit afgeleide
‘berekeningsmodellen’ zijn pas jaren later ontwikkeld
(Vincenti 1997). Je gebruikt dan echter een ruime definitie
van het begrip ‘experiment.’
Naast het klassieke experiment (steekwoord RCT)
onderscheiden bijvoorbeeld Ansell en Bartenberger
(2016) het Darwiniaanse en het generatieve experiment.
Evolutie verloopt via het variatie-selectie-retentie
mechanisme. In het Darwiniaanse experiment
probeer je randvoorwaarden te creëren waarbinnen
de variatie toeneemt (bijvoorbeeld door parallelle en/
of snelle experimenten). Uit de vele experimenten
worden de beste geselecteerd. Dit is het basisidee
van ‘experimentalist governance’ (Dorf, Sabel 1998;
Sabel, Zeitlin 2012) en van ‘pragmatist democracy’
(Ansell 2011). In het generatieve experiment probeer je
een innovatie stapsgewijs succesvol te maken, zoals
in zogenaamde ‘design experiments’ (Stoker, John
2009). Dus, in het gecontroleerde experiment observeer
je of interventie X succesvol is, in het Darwiniaanse
experiment genereer je zo veel mogelijk succesvolle
interventies en in het generatieve experiment maak je
interventie X succesvol:
94
Controlled experimentation exercises strong control
in order to isolate causality so as to deductively prove
or disprove hypotheses; Darwinian experimentation
requires sufficient variation in order to inductively
produce innovations or benchmarks; and generative
experiments iteratively refine ideas or design
concepts in order to abductively generate novel
solutions (Ansell, Bartenberger 2016: 69).
In wat volgt worden achtereenvolgens de designs
van diagnostisch, ontwerpgericht, implementatie en
evaluatieonderzoek behandeld.
3. Diagnostisch onderzoekEen diagnostisch onderzoek bestaat uit een beschrijvend
en een verklarend gedeelte:
• Beschrijvend: wat is het probleem (kloof tussen
feitelijke en gewenste situatie)?
• Verklarend: welke – combinatie van alle – mogelijke
en bekende oorzaken zijn in dit geval aanwezig
en verklaren in dit geval het probleem (‘causes of
effects’)?
3.1. De kloofanalyse
De aanleiding: een algemeen geformuleerd probleem
Een diagnose start meestal met een algemeen
geformuleerd en in die zin ‘slecht gedefinieerd’ probleem:
ik voel me niet goed, de economische groei blijft achter,
het verzuim is te hoog, we hebben als gezin te veel
schulden, kinderen worden op school gepest, bewegen te
weinig, enzovoort. Zoals we eerder gezien hebben zit aan
elk probleem een feiten en een waarden kant. Je voert
dus eerst een waardendiscussie en gaat daarna op zoek
naar de feiten.
Het resultaat van de waardendiscussie is dat je
beter weet wat waarom voor wie een probleem is. Als
je geluk hebt is het resultaat dat hetzelfde probleem
verschillende negatieve gevolgen heeft voor verschillende
belanghebbenden. Meer belanghebbenden zullen dan om
verschillende redenen het belang van het probleem inzien
en zich committeren aan het analyseren en oplossen van
het probleem.
Het resultaat van het feitenonderzoek is een
precisering van het algemeen geformuleerde probleem.
Ik voel me niet goed wordt: ik heb koorts, hoofdpijn, een
laag HB en bloed in mijn ontlasting. Het verzuim is te
hoog wordt: vooral het langlopend en niet het kortdurend
verzuim of vooral in afdelingen A en B en niet in C en D.
Schulden worden: vooral schulden bij Wehkamp en bij
de woningcorporatie. Je verheldert op deze manier het
probleem door het op te delen in deelproblemen.
Waardendiscussie
Waardendiscussies kunnen over verschillende
onderwerpen gaan en de vorm en intensiteit waarin je die
voert of organiseert is contextafhankelijk. Waarden zijn
algemene gezichtspunten die we gebruiken om criteria
en normen te formuleren waarmee we preciezer kunnen
bepalen of aan waarden voldaan wordt. Lichamelijke
gezondheid, financiële gezondheid, welzijn van kinderen
of medewerkers zijn voorbeelden van dergelijke algemeen
geformuleerde waarden. Waardendiscussies kunnen drie
onderwerpen gaan.
Eerste onderwerp: wat zijn de criteria en normen
die we gebruiken? Soms is het nodig om de criteria
en normen die je nodig hebt voor je kloofanalyse te
preciseren: hoe scherper die normen zijn, des te beter
kun je onderzoeken wat de kloof tussen feitelijke en
gewenste situatie is. Ik heb eerder het voorbeeld van een
bouwbedrijf gegeven, waar de onderzoeker eerst een
werkconferentie heeft georganiseerd. Daarin structureert
zij als facilitator een discussie van het bedrijf over de
doelen. Systeemtheoretisch geformuleerd gaat het om
het bepalen van de essentiële variabelen: in dit geval niet
alleen kosten, kwaliteit en doorlooptijden en levertijden,
maar ook het welzijn van de medewerkers (minder
95
werkdruk en meer leer- en ontwikkelingsmogelijkheden).
En vervolgens wordt bepaald wat de gewenste waarden
van de geselecteerde essentiële variabelen moeten
zijn. Daarna kan zij als onderzoeker op zoek gaan naar
de kloof tussen feitelijke en gewenste situatie van alle
geselecteerde essentiële variabelen.
Meestal zal zo’n discussie bewaard worden tot het
eerste onderdeel van het ontwerpgerichte onderzoek:
het bepalen van de hoofd- en nevendoelen (functionele
vereisten) waaraan oplossingen moeten voldoen. We
hebben vaak geen precieze normen en criteria nodig om
te bepalen dat een waarde in het geding is: ook zonder
die normen weet je dat er iets met je gezondheid is,
schulden te hoog zijn of kinderen te vaak gepest worden.
Waar je dan behoefte aan hebt is het preciseren van het
probleem. Voordat je dat gaat doen, moet je nog twee
waardendiscussies voeren.
Tweede onderwerp: waarom is het een
probleem? Een probleem is een probleem omdat
het zelf een oorzaak is van negatieve gevolgen.
Gezondheidsproblemen kunnen ook leiden tot problemen
op je werk, verzuimproblemen leiden ook tot hogere
kosten en tot inzetproblemen, werkdruk kan ook leiden
tot verlaging van de kwaliteit van de zorg, schulden zijn
niet alleen een financieel probleem, maar leiden ook tot
spanningen in het gezin. Je bepaalt hiermee de ernst van
het probleem: als probleem A ook slecht is voor X, Y en
Z (negatieve gevolgen heeft voor X, Y en Z) dan is het
belangrijk iets aan probleem A te doen.
Derde onderwerp: voor wie is het een probleem? Een
antwoord op deze vraag ligt vaak, maar niet altijd, in het
verlengde van het antwoord op de eerdere vraag (waarom
is het een probleem?). Verminderen van de werkdruk
blijkt dan niet alleen goed voor de medewerkers, maar
ook voor de cliënten/patiënten te zijn (kwaliteit zorg),
verlagen verzuim blijkt dan ook de kosten te verminderen
en de inzetplanning te vergemakkelijken, enzovoort.
Op deze wijze bepaal je niet alleen waarom het een
probleem is, maar ook wie belang hebben bij een analyse
en oplossing van het probleem. Als je geluk hebt blijkt
dat je onderzoeksproject ondersteund wordt door vele
belanghebbenden of stakeholders. Als je pech hebt is dat
niet het geval. Daarom is een volledige waardendiscussie
zo belangrijk: je kunt dan ontdekken dat aanvankelijk
ongeïnteresseerde of zelfs vijandige partijen zich toch
aan je onderzoek committeren.
Samenvattend: in dit gedeelte van de diagnose
bepaal je:
• Wat het probleem is: een algemene formulering van
het probleem.
• Waarom het een probleem is: door te kijken naar
de negatieve gevolgen van het probleem op andere
terreinen.
• Voor wie het een probleem is: door te kijken wie wel en
wie niet door de negatieve gevolgen geraakt worden.
De wijze waarop en de intensiteit waarin je dit doet is
contextafhankelijk. Je zou in het onderwijs studenten
kunnen laten oefenen met dit soort, voor hun beroep
specifieke, waardendiscussies. Je leert studenten
dan meervoudig te kijken: zowel vanuit verschillende
inhoudelijke perspectieven als vanuit het perspectief van
verschillende belanghebbenden.
Onderzoek naar de feiten
In dit gedeelte van de probleemverheldering ga je
op zoek naar de feiten: hoe groot is het probleem?
Daarvoor dien je het probleem te preciseren door het
onder te verdelen in deelproblemen. Daarvoor formuleer
je een aantal beschrijvende vragen. Hoe hoog is het
verzuim wordt bijvoorbeeld: van wie (welke mensen),
waar (welke afdeling), hoelang (kort of langdurend).
Hoe hoog zijn de schulden wordt: hoe hoog zijn welke
schulden (wonen, zorg, kleding) bij welke partijen
(Wehkamp, woningcorporatie, gemeente) met welke
aflossingstermijnen.
96
Vervolgens maak je een onderzoeksplan, of beter,
een ‘plan methoden van dataconstructie’ of korter
‘een dataplan’: welke gegevens heb ik nodig om deze
beschrijvende vragen te beantwoorden, waar kan ik die
gegevens vinden (bestaande databestanden) of moet
ik ze zelf produceren (interviews, procesobservaties)
en hoe ga ik ze analyseren? Je bent nu klaar om het
onderzoek uit te gaan voeren: je verzamelt de vereiste
gegevens en rapporteert over de bereikte resultaten.
Elke beschrijvende vraag krijgt een zo precies mogelijk
antwoord.
Je onderzoek bestaat dus uit de volgende stappen:
• Formuleer zo veel mogelijk beschrijvende
vragen, hoeveel, waar, wanneer, bij wie, in welke
vorm, hoelang, enzovoort. Je formuleert geen
waaromvragen: die horen bij de analyse van de
oorzaken.
• Maak een data plan: met welke combinatie van
methoden van dataconstructie ga ik de vereiste
gegevens verzamelen?
• Voer het beschrijvend onderzoek uit.
• Rapporteer over de bereikte resultaten. Daarin zullen
grafieken, taartdiagrammen en dergelijke komen te
staan.
Kijk bij elke stap in hoeverre je dat met of zelfs door de
betrokkenen kunt laten doen. Je kunt zelf observeren.
Maar je kunt ook samen met de betrokkenen een
coderingsschema maken dat betrokkenen zelf gebruiken
voor observaties.
In het onderwijs kun je dit gedeelte van
het diagnostisch onderzoek koppelen aan een
cursusonderdeel methoden van dataconstructie
en analyse en een cursus descriptieve statistiek
(gemiddelden, medianen, standaardafwijkingen,
frequentieverdelingen). Beide vormen onderdeel
van een cursus ‘methodologie van beschrijvend
onderzoek.’ Speciale aandacht vraagt het gebruik van
gestructureerde interviews. Daarin operationaliseer
je vooraf minder dan in een gestandaardiseerd en
meer dan in een open interview. Hoe meer je over een
onderwerp weet (literatuurstudie) des te minder hoef
je open interviews te gebruiken. Je hoeft dan achteraf
ook geen inhoudsanalyse uit te voeren en met Atlas
Ti te gaan coderen. Hoe meer je vooraf structureert/
operationaliseert, des te minder hoef je achteraf te
coderen. Je dwingt dan studenten vooraf veel aandacht
te besteden aan hun gestructureerde interview en
bespaart ze achteraf een hoop werk.
Het resultaat van dit beschrijvend onderzoek is dat je
nu beter weet voor welke problemen je wel en voor welk
problemen je niet op zoek hoeft te gaan naar oorzaken en
oplossingen.
3.2. Analyse van de oorzaken
Oorzaken: in de breedte en in de diepte
Je kunt nu op zoek gaan naar de oorzaken van
gespecificeerde en nauwkeurig omschreven problemen.
Systeemtheoretisch geformuleerd ben je op zoek naar de
parameters die de waarden van je essentiële variabelen
beïnvloeden. Je onderzoeksvraag is dus een verklarende
en luidt: welke van alle mogelijke oorzaken van het
probleem zijn in dit geval aanwezig? We hebben eerder
gezien dat je dit altijd op twee manieren doet:
• In de breedte ga je op zoek naar – combinaties van –
aanwezige oorzaken.
• In de diepte ga je op zoek naar oorzaken van
oorzaken, achterliggende oorzaken of ‘root causes.’
Achterliggende oorzaken kunnen de gemeenschappelijk
oorzaak zijn van directe oorzaken. Hoge bloeddruk,
hoog cholesterol, overgewicht en diabetes zijn directe
mogelijke oorzaken van hartklachten. Een ongezond
dieet is een mogelijke achterliggende oorzaak van al deze
directe oorzaken. Je brengt zo een causaal proces in
kaart dat er bijvoorbeeld zo uitziet:
97
Je ontdekt zo, stroomopwaarts, de oorzaak van
verschillende gevolgen stroomafwaarts, of de ‘distal
causes’ (veraffe oorzaken) van ‘proximate causes’
(dichtbije oorzaken). Door achterliggende oorzaken aan
te pakken (ongezond dieet) kun je dus verschillende
problemen tegelijkertijd oplossen.
Een bijzonder geval wordt gevormd door structuur-
oorzaken. Je vermoedt dan dat alle verschillende
problemen een gemeenschappelijke oorzaak hebben
in de structuur van het systeem. Alle problemen zijn
aspecten van het systeem en de samenhang daartussen
wordt bepaald door de structuur van het systeem. De
problemen van de Economisch Monetaire Unie (EMU)
worden dan veroorzaakt door weeffouten in het ontwerp
van de structuur van de EMU, problemen van organisaties
door de functionele structuur ervan en problemen in
gezinnen doordat er iets fout zit in de structuur van de
communicaties in het gezin. Wanneer de oorzaak gelegen
is in de structuur van het systeem, dan is de oplossing
een vorm van systeemtherapie, of dat systeem nu een
gezin, een organisatie of de EMU is. Wanneer je dit
vermoedt, voer je een structuurdiagnose uit. Die heeft de
volgende vorm:
• Wat zijn de problemen (kloof analyse)?
• Zijn deze problemen structuur bepaald (structurele
oorzaak)? Je gaat hier dus niet op zoek naar
afzonderlijke oorzaken. In plaats daarvan ga je op
zoek naar de structuur van het systeem.
• Zo ja, wat is dan de oplossingsruimte (de ruimte
waarbinnen in de volgende stap naar oplossingen
gezocht wordt)?
De sociotechniek en lean zijn structuurtheorieën die je kunt
gebruiken voor het uitvoeren van zo’n structuurdiagnose
van organisaties, net zoals een theorie over een ‘volledige
muntunie’ gebruikt kan worden voor een structuurdiagnose
van de EMU en een theorie over paradoxe communicaties
voor een structuurdiagnose van gezinnen.
Causale onderzoeksmodellen
In al deze gevallen wordt gebruik gemaakt van
een onderzoeksmodel met afhankelijke variabelen
(problemen), onafhankelijke variabelen (oorzaken) en
interveniërende variabelen (tussenliggende oorzaken). Als
je geluk hebt kun je die in de literatuur vinden: vandaar
dat aan een diagnostisch onderzoek een literatuurstudie
vooraf dient te gaan. Daaruit haal je informatie over
mogelijke problemen, oorzaken en oplossingen die je in je
toegepaste onderzoek kunt gebruiken.
Wanneer je economische groeiproblemen onderzoekt,
gebruik je het diagnostisch onderzoeks model van ‘Growth
Diagnostics.’ Wanneer je de Karasek vragenlijst gebruikt
om werkdrukproblemen in kaart te brengen dan is je
onderzoeksmodel het ‘job demand control’ model.’ En de
arts die op zoek is naar de oorzaken van hartklachten van
een patiënt gebruikt het model in Figuur 4.
Als je geluk hebt kun je dit soort modellen in de literatuur
vinden of zelf samenstellen op basis van de gevonden
literatuur. Soms heb je dan een model met een volledig
overzicht van mogelijke directe en achterliggende
oorzaken. Dat kun je dan direct toepassen. Je verzamelt
met het ‘Growth Diagnostics’ model gegevens en
rapporteert over de uitkomsten, je verstuurt de Karasek
vragenlijst, verwerkt de gegevens en rapporteert over de
diabetes hartklachtenovergewichtOngezond dieet
Figuur 3. Een causaal proces.
98
uitkomsten (welke van de onderzochte banen of functies
vallen onder de categorie van de ‘high strain jobs’?).
Soms levert het literatuuronderzoek alleen maar een
lijst van mogelijke oorzaken op. Daarmee ontdek je de
feitelijk aanwezige oorzaken, maar die moet je vervolgens
ordenen: wat zijn de directe en wat de achterliggende
oorzaken, of: wat zijn de achterliggende oorzaken
van de ontdekte oorzaken (waarom eet deze patiënt
zo ongezond?). En soms onderzoek je een probleem
waarover niet of nauwelijks bruikbare literatuur bestaat.
Je zult dan ‘brainstorm’ technieken moeten gebruiken om
oorzaken te ontdekken en te ordenen. Daarvoor bestaan
verschillende technieken (zie verder het A3 artikel over
het gebruik van de visgraat methode of de ‘five why’s’).
Wanneer je dus geen kant en klaar diagnostisch model
hebt, wordt bij het vinden en ordenen van oorzaken
een beroep gedaan op het vermogen van de toegepast
onderzoeker of professional om causaal te kunnen
denken en redeneren.
Causaal redeneren voor professionals
Sinds kort worden ook formele modellen ontwikkeld
die professionals in hun toegepaste onderzoek moeten
helpen bij het zoeken naar en ordenen van – de relaties
tussen – oorzaken (en oplossingen). Die gaan er allemaal
vanuit:
• Dat het meestal niet een oorzaak, maar een
combinatie (of configuratie) van verschillende
oorzaken is die tot een ongewenst effect of probleem
leidt.
• Dat een oorzaak meestal als onderdeel van een
causaal proces tot een ongewenst effect of probleem
leidt.
Ze zijn er dus allemaal op gericht de professional in zijn
toegepast onderzoek te helpen bij het beantwoorden
van de vraag: welke combinatie van oorzaken of welk
causaal proces veroorzaakt in dit geval het probleem?
En dezelfde modellen kunnen bij het ontwerpgerichte
onderzoek gebruikt worden bij de beantwoording van de
vraag: welke combinatie van oorzaken of welk causaal
proces leidt in dit geval tot het gewenste effect (doel)?
Voorbeelden zijn Layne, Steinberg, Steinberg (2014)
Causal Reasoning Skills Training for Mental Health
Practitioners: Promoting Sound Clinical Judgment in
Evidence-Based Practice en Cowen, Cartwright (2014)
Making the Most of the Evidence in Education: A Guide
for Working Out What Works …. Here and Now.
Hoog cholesterol
Hartklachten
Ongezond dieet
Diabetes OvergewichtGenetische
factorenHoge bloeddrukRoken
Figuur 4. Diagnostisch onderzoeksmodel hartklachten (ontleend aan Gillies 2019: 210).
99
Layne e.a. gebruiken een variabelenmodel: wat zijn in dit
geval de meewerkende, tegenwerkende, mediërende en
modererende factoren? Cowen en Cartwright gebruiken
configuratiemodellen (‘causal cake’) en procesmodellen:
wat is het proces dat leidt van oorzaak X tot (ongewenst/
gewenst) effect Y en wat kan daar allemaal in mis gaan?
En in de operations management literatuur zijn modellen
in omloop die werken met noodzakelijke en voldoende
voorwaarden: welke conditie is noodzakelijk en/of
voldoende voor welke andere conditie. Deze formele
modellen helpen de professional:
• Bestaande causale modellen over oorzaken en
oplossingen aan te vullen en geschikt te maken voor
toepassing op concrete probleemgevallen (‘single
cases’).
• Zelf ‘single case’ specifieke causale modellen te
ontwerpen.
Ze dwingen de professional het causale net dat ze
uitwerpen om oorzaken te vangen, te vergroten en te
verfijnen: niet alleen naar één oorzaak zoeken, maar ook
kijken naar meewerkende en tegenwerkende oorzaken,
naar tussenliggende oorzaken.
We zijn nog niet in staat geweest deze literatuur te
verwerken en om te zetten in een praktisch overzicht (dat
is ‘work in progress’). Wel zou je deze literatuur kunnen
gebruiken in het onderwijs in de vorm van een cursus
over het gebruik van causale onderzoeksmodellen in
toegepast onderzoek. Daarin zouden aan de orde kunnen
komen:
• Wat zijn causale modellen in toegepast onderzoek?
• Welke verschillende vormen kunnen ze aannemen?
• Hoe en waar vind je ze?
• Hoe kun je ze zelf maken?
3.3. Het design en onderzoeksplan van een
diagnostisch onderzoek
Je dient altijd een literatuuronderzoek uit te voeren over
het probleem dat je gaat onderzoeken. Je gebruikt dat
om een overzicht van mogelijke problemen, oorzaken en
oplossingen te maken. Als je geluk hebt vind je een kant
en klaar diagnostisch model dat je in die vorm direct kunt
toepassen. Als je minder geluk hebt, moet je zo’n model
zelf samenstellen uit wat je in de literatuur hebt gevonden.
En als je pech hebt, kun je niets vinden. Je moet dan
lopende het onderzoek als het ware inductief op zoek
naar problemen, oorzaken en oplossingen. Dat heeft,
zoals we zullen zien, grote gevolgen voor het maken van
een onderzoeksplan dat vooraf gaat aan je onderzoek.
De opzet voor (en verslag over) een diagnostisch
onderzoek ziet er als volgt uit:
• Hoofdstuk 1. Inleiding: aanleiding, achtergrond en
probleemstelling
• Hoofdstuk 2. Onderzoeksdesign
• Hoofdstuk 3. Theoretische verantwoording en
onderzoeksmodel
• Hoofdstuk 4. Methoden van dataconstructie en analyse
• Hoofdstuk 5. Onderzoeksresultaten
• Hoofdstuk 6. Conclusies en aanbevelingen
• Hoofdstuk 7. Reflectie
Hoofdstuk 1. Inleiding: aanleiding, achtergrond en
vraagstelling
Je voert overleg met je opdrachtgever en met
belanghebbenden. Op basis daarvan inventariseer je:
• Wat het probleem is: een algemene formulering van
het probleem.
• Waarom het een probleem is: door te kijken naar
de negatieve gevolgen van het probleem op andere
terreinen.
• Voor wie het een probleem is: door te kijken wie
wel en wie niet door de negatieve gevolgen geraakt
worden.
100
Hoofdstuk 2. Onderzoeksdesign
Aan de vraagstelling kun je zien dat het
• Om toegepast onderzoek gaat: aanleiding is niet
een kennisprobleem van de wetenschap, maar een
handelingsprobleem van de praktijk.
• Om diagnostisch onderzoek gaat.
Als je opdrachtgever geen diagnostisch onderzoek nodig
vindt en direct naar oplossingen wil zoeken, leg je uit dat
het verstandiger is om eerst de problemen te preciseren
en de oorzaken daarvan te onderzoeken. Wanneer dat niet
lukt, zul je merken dat in het ontwerpgericht onderzoek
het bepalen van de functionele vereisten (aan welke
hoofd- en nevendoelen moet de oplossing voldoen?) het
karakter krijgt van een diagnostisch onderzoek.
Je legt uit dat een diagnostisch onderzoek altijd bestaat uit
• Een beschrijvend gedeelte: wat zijn in dit geval de
problemen (kloofanalyse).
• Een verklarend gedeelte: wat zijn in dit geval de
oorzaken?
Eén onderzoeksplan?
In veel gevallen stokt hier het schrijven van een
onderzoeksplan. Beschik je over een allesomvattend
onderzoeksmodel (zoals in ‘Growth diagnostics’) of
wordt het een structuurdiagnose, dan kun je verder met
je theoretische verantwoording. Daarin leg je uit waarom
je voor deze theorie hebt gekozen, hoe het diagnostisch
onderzoekmodel eruit ziet en hoe je dat gaat toepassen.
Doe je geen structuurdiagnose of beschik je niet over
een bestaand allesomvattend onderzoeksmodel dan
heb je een probleem. Je hebt immers eerst een nadere
precisering van het probleem nodig voordat je kunt
uitleggen hoe je naar de oorzaken daarvan gaat zoeken.
Dan is het beter een onderzoeksplan te maken voor het
beschrijvend gedeelte en daar meteen mee aan de slag
te gaan. Als je daarmee klaar bent kun je vervolgens een
onderzoeksplan maken voor het verklarend gedeelte.
Zo kun je het onderzoek stapsgewijs voortzetten: je
maakt dan per stap een onderzoeksplan (zie verder het
artikel over de A3 methode: daarin vervang je een groot
onderzoeksplan door vele kleine onderzoeksplannen per
stap). Ik voeg daarom hier het onderzoeksplan voor het
beschrijvend gedeelte in.
Onderzoeksplan beschrijvend gedeelte
Je start met een algemeen geformuleerd probleem dat
je gaat preciseren. Je onderzoek bestaat dan uit de
volgende stappen:
• Formuleer zo veel mogelijk beschrijvende vragen,
hoeveel, waar, wanneer, bij wie, in welke vorm,
hoelang, enzovoort. Je formuleert geen waarom-
vragen: die horen bij de analyse van de oorzaken.
• Maak een data plan: met welke combinatie van
methoden van dataconstructie ga ik de vereiste
gegevens verzamelen?
• Voer het beschrijvend onderzoek uit.
• Rapporteer over de bereikte resultaten. Daarin zullen
grafieken, taartdiagrammen en dergelijke komen te
staan.
• Bediscussieer de resultaten met de opdrachtgever en
overleg over de volgende stap.
Hoofdstuk 3. Theoretische verantwoording (eventueel
voor het verklarend gedeelte)
Je bestudeert de literatuur, niet om naar leemtes
in de kennis te zoeken die je met fundamenteel
onderzoek wilt opheffen. In plaats daarvan bestudeer
je de literatuur om beargumenteerd een selectie te
kunnen maken en te kunnen verantwoorden waarom
je welke theorie of combinatie van theorieën gaat
gebruiken voor het (beschrijven van problemen en)
onderzoeken van de oorzaken ervan. Je theoretische
verantwoording mondt altijd uit in een onderzoeksmodel.
Dat onderzoeksmodel is letterlijk een schematische
101
weergave van je onderzoeksvragen. Het bestaat immers
uit een of meer afhankelijke variabelen (de problemen)
en een aantal onafhankelijke variabelen (oorzaken). En
je onderzoeksvraag luidt: welke van deze mogelijke
oorzaken zijn in dit geval aanwezig? Je kunt dus pas
onderzoeksvragen formuleren als je klaar bent met je
theoretische verantwoording.
Vaak formuleren studenten al aan het einde van
de inleiding hun onderzoeksvragen (zo staat het in
het format). Die beginnen dan met vragen als: welke
begrippen heb ik nodig, welke theorieën kan ik gebruiken?
Strikt genomen zijn dit geen onderzoeksvragen, laat staan
empirische onderzoeksvragen. Ze wijzen je erop dat je
eerst een theoretische verantwoording moet schrijven.
En pas als die af is kun je empirische onderzoeksvragen
formuleren. Zoals eerder gezegd, treffen we hier drie
mogelijkheden aan:
• Je treft in de literatuur een volledig diagnostisch
onderzoeksmodel aan. Dat bestaat niet alleen
uit mogelijke oorzaken, maar ook uit een
ordening daarvan in bijvoorbeeld onafhankelijke
interveniërende en afhankelijke variabelen of in
mogelijke combinaties van oorzaken. In dit geval kun
je het onderzoeksmodel direct toepassen.
• Je kunt uit de literatuur wel een overzicht van
mogelijke oorzaken halen, maar je zult tijdens het
onderzoek (1) moeten controleren of dit inderdaad alle
mogelijke oorzaken zijn en (2) de gevonden oorzaken
moeten ordenen: in combinaties van oorzaken of in
directe en achterliggende oorzaken, enzovoort. Je
werkt dan met een ‘onvolledig’ onderzoeksmodel, dat
je alleen tijdens je onderzoek volledig kunt maken.
• Je vindt in de literatuur niets of nauwelijks iets over
mogelijke oorzaken. Je zult dan, liefst samen met
betrokkenen, een verklaring van de problemen
moeten opbouwen: wat zijn in dit geval de oorzaken
en hoe verhouden die oorzaken zich tot elkaar? Je
werkt dan feitelijk volgend met de A3 methode.
Hoofdstuk 4. Methoden van dataconstructie
Je weet nu waarover je gegevens moet verzamelen (je
onderzoeksmodel). Je weet ook waarom je deze en niet
andere gegevens moet verzamelen (de theorie die je gaat
toepassen). Nu moet je aangeven op welke wijze je dat
gaat doen. Waarschijnlijk zul je voor de verschillende
onderdelen van je onderzoek verschillende methoden
van dataconstructie en –analyse gebruiken. Je zult,
met andere woorden, waarschijnlijk ‘kwantitatieve’ en
‘kwalitatieve’ methoden combineren. Je bent nu gereed
om het onderzoek te gaan uitvoeren.
Hoofdstuk 5. Onderzoeksresultaten
Hier doe je verslag van je onderzoeksresultaten. Per
probleem de belangrijkste oorzaken en zo mogelijk
geordend naar achterliggende oorzaken, meewerkende
en tegenwerkende oorzaken, enzovoort.
Hoofdstuk 6. Conclusies en aanbevelingen
Aanbevelingen gaan over de richting waarin naar
oplossingen gezocht moet worden (oplossingsruimte). Het
ontwerpen van oplossingen is onderwerp van de volgende
stap uit de interventiecyclus: ontwerpgericht onderzoek.
Hoofdstuk 7. Reflectie
Hier vertel je wat je van het onderzoek hebt geleerd en
wat je een volgende keer anders zou doen.
102
4. Ontwerpgericht onderzoekDe stappen van ontwerpgericht onderzoek
Ontwerpgericht onderzoek (in het kader van de
interventiecyclus) bestaat altijd uit te volgende stappen:
• Bepaal de functionele vereisten (hoofd- en
nevendoelen) waaraan oplossingen moeten voldoen
(waardendiscussie).
• Genereer met het hoofddoel alternatieve oplossingen
(middelen om doelen te bereiken): ‘effects of causes’,
want je kijkt of en waarom een oplossing inderdaad
het gewenste effect heeft.
• Selecteer aan de hand van de nevengevolgen de
beste oplossing: ‘effects of causes’, want je bekijkt
van elke oplossing de positieve en negatieve
nevengevolgen.
• Kijk of de oplossing werkt: test de oplossing voordat
je hem invoert (de C uit de PDCA cyclus of het
prototyping van design thinking).
Waarden en feiten kant
Ook ontwerponderzoek heeft een waardenkant (bepalen
functionele vereisten) en een feitenkant. En ook in het
feitenonderzoek ben je op zoek naar oorzaken (van
gewenste effecten) en word je met het probleem van
causale complexiteit geconfronteerd (de kloof tussen
wetenschap en praktijk). In veel opzichten vormt
ontwerpgericht onderzoek dus het spiegelbeeld van
diagnostisch onderzoek.
4.1. Bepalen functionele vereisten: waardendiscussie
Ook hier bepaal je samen met opdrachtgever het wat,
waarom en hoe:
• Wat worden de hoofd- en nevendoelen?
• Waarom deze nevendoelen: op welke terreinen
hebben ze betrekking?
• Voor wie zijn dit belangrijke nevendoelen: wie zijn de
belanghebbenden?
Aandacht voor nevendoelen is van belang. Anders
kom je er later achter dat de oplossing wel werkt, maar
schadelijk is op andere terreinen en/of voor andere
belanghebbenden. Je stimuleert meervoudig kijken in
deze waardendiscussie: je kijkt vanuit verschillende
inhoudelijke perspectieven en vanuit het perspectief
van verschillende belanghebbenden. En je probeert te
maximeren: je formuleert hoge normen voor alle doelen.
Of je bent minder ambitieus en beperkt je tot minimale
normen voor de nevendoelen. In het laatste geval wordt je
oplossingsruimte groter.
In welke vorm en in welke intensiteit je deze discussie
structureert is contextafhankelijk. En soms moet je hier
zelfstandig onderzoek uitvoeren, zoals etnografisch
achtig onderzoek bij toekomstige gebruikers (klanten,
cliënten of patiënten) bij het ontwikkelen van nieuwe
producten of diensten.
4.2. Genereren oplossingen
Je gaat eerst in de literatuur zoeken naar bekende
generieke oplossingen. Als je geluk hebt vind je een
set van alternatieve oplossingen. Als je nog meer geluk
hebt vind je alternatieve oplossingen plus aanwijzingen
over de context waarin ze waarom wel of niet werken
(het resultaat van ontwerpgericht onderzoek in het
kader van de empirische cyclus). Maar dan nog moet je
onderzoeken of en waarom de oplossing in dit geval gaat
werken.
Wanneer je die oplossingen niet kunt vinden in de
literatuur, moet je ze zelf, liefst samen met betrokkenen,
verzinnen. En als je zo’n oplossing ontworpen hebt moet
je ook hier kijken of en waarom die in dit geval gaat
werken.
In beide gevallen word je geconfronteerd met het
probleem van causale complexiteit: gewenste gevolgen
hebben meerdere meewerkende, tegenwerkende,
enzovoort oorzaken). In je onderzoek naar oplossingen
richt je je daarom op:
103
• Combinaties van oorzaken: oorzaak X (de oplossing)
gaat alleen maar werken in combinatie met oorzaken
A, B en C (kleinere klassen gaan alleen maar werken
als je dat kunt combineren met meer ervaren
leerkrachten en meer leslokalen).
• Causale processen: oorzaak X leidt via de stappen A,
B en C tot gewenst gevolg Y. Als er iets fout gaat in
die tussenstappen zal de oplossing niet werken. Bij
wijze van voorbeeld: kleinere klassen leidt tot meer
aandacht van leerkrachten voor individuele leerlingen,
leidt tot meer gemotiveerde leerlingen leidt tot betere
leerprestaties.
Ook hier moet je dus oorzaken ordenen en ook hier kan
dat met:
• Een variabelenmodel: meewerkende, tegenwerkende,
interveniërende, modererende factoren.
• Een configuratiemodel: combinaties van oorzaken
die gezamenlijk noodzakelijke en/of voldoende
voorwaarden zijn voor het gewenste resultaat.
Cartwright noemt dit een ‘causal cake.’
• Procesmodellen: het causale proces dat leidt van
oorzaak X tot gewenst effect Y.
Op deze manier ontwikkel je wat in de evaluatieliteratuur
een programmatheorie wordt genoemd: een theorie die
verklaart waarom oorzaak/oplossing X in dit geval gaat
werken. Die gebruik je:
• Om te discussiëren over je oplossingen: aan de
theorie ontleen je je argumenten.
• Om oplossingen uit te proberen: welke combinaties
hebben we nodig, via welke processtappen loopt de
oplossing?
• Om straks in de evaluatie te kunnen verklaren waarom
een oplossing gewerkt of niet gewerkt heeft.
Oplossingen genereren is een proces van divergeren (je
start met veel ideeën) en convergeren (je eindigt met een
beperkt aantal of met een oplossing).
4.3. Oplossingen selecteren
Oplossingen selecteren is een voorbeeld van wat in
de literatuur besluitvorming onder constraints wordt
genoemd. Je oplossing moet aan verschillende eisen
voldoen. Eén daarvan selecteer je als hoofddoel en
gebruik je om oplossingen te genereren. De andere eisen
zijn je constraints (nevendoelen) die je gebruikt om uit
de oplossingen de beste te selecteren. Bij het genereren
van oplossingen concentreer je je op de vraag of de
oplossing ook het gewenste effect op het hoofddoel
heeft. De bedoeling is dat je op die manier verschillende
middelen voor het bereiken van hetzelfde doel genereert
(functioneel equivalente middelen). Je maakt hier gebruik
van het feit dat hetzelfde gevolg meerdere oorzaken kan
hebben. Dat betekent omgekeerd dat je verschillende
middelen hebt om hetzelfde doel te bereiken.
Bij het selecteren van de beste oplossing neem
je elke oplossing en onderzoekt wat daarvan de
ongewenste en gewenste gevolgen zijn. Je maakt hier
gebruik van het feit dat elke oorzaak meerdere gevolgen
heeft en je selecteert het middel met de meeste positieve
nevengevolgen. Je oplossing is dan een multifunctioneel
middel, dat wil zeggen, een middel waarmee je meerdere
doelen bereikt.
Je moet je tijdens het onderzoek ook kunnen laten
verrassen. Het kan zijn dat je oplossingen onverwachte
negatieve nevengevolgen hebben. Die moet je meenemen
bij de selectie. Het kan ook zo zijn dat oplossingen
onverwachte positieve nevengevolgen hebben. Ook die
moet je meenemen bij de selectie.
Selecteren doe je door een matrix te construeren.
Horizontaal staan de verschillende hoofd- en
nevendoelen en de waarden die ze mogen aannemen.
Verticaal staan de verschillende oplossingen. En in de
hokjes staan de scores. De oplossing met de hoogste
score wordt geselecteerd.
Het zal duidelijk zijn dat de oplossingsruimte bepaald
wordt door het aantal nevengevolgen en de ‘hoogte’
104
van de daaraan gekoppelde normen. Blijven er meer
oplossingen over die aan alle eisen voldoen, dan kun je
de normen aanscherpen/verhogen. Voldoet geen enkele
oplossing aan alle vereisten, dan moet je verder zoeken of
de normen verlagen.
4.4. Oplossingen uitproberen
Voordat je besluit een oplossing te gaan implementeren
is het verstandig die eerst uit te proberen. Als een
organisatie overgaat op telefoneren via de computer kun
je dat beter eerst op kleine schaal testen. Anders loop je
het risico dat de organisatie een week lang telefonisch
onbereikbaar is.
Van design thinking (en van de Lean Start Up) weten
we dat we heel snel moeten itereren tussen genereren,
selecteren en uittesten van oplossingen. Soms kan dat
en is dat zinvol. Soms kan dat niet. De logica is dus:
genereren, selecteren en uittesten. Hoe iteratief dat gaat
is contextafhankelijk.
5. ImplementatieonderzoekVaak wordt hier volstaan met het formuleren van een
projectplan: wie moet wanneer welke actie ondernemen
voor de implementatie van de geselecteerde en uitgeteste
oplossing? Wij laten dit voorafgaan door een onderzoek
naar de aanvullende factoren die je nodig hebt en waarop
je moet letten voor een succesvolle implementatie. Die
heeft een veranderkundige kant: bestaat er draagvlak
voor deze oplossing? Dat is mede afhankelijk van de
‘kwaliteit’ van de waardendiscussies die je hebt gevoerd:
zijn alle gezichtspunten en alle belanghebbenden aan bod
gekomen. En dat is mede afhankelijk van de mate waarin
je het onderzoek participatief hebt uitgevoerd: in welke
vorm hebben betrokkenen meegedaan bij het preciseren
en analyseren van de problemen en bij het genereren,
selecteren en uitproberen van de oplossingen?
Implementatieonderzoek heeft ook een ontwerpkundige
kant. Ik concentreer me hierop.
5.1. Wat kan er mis gaan bij de implementatie?
Algemeen gesproken moet je de volgende vragen
beantwoorden:
• Welke factoren dragen bij aan een succesvolle
implementatie: meewerkende oorzaken?
• Welke factoren bedreigen een succesvolle
implementatie: tegenwerkende factoren?
• Wat betekent dat voor de organisatie van de
implementatie?
Dat lijkt op wat je doet in de ontwerpgerichte fase, maar
daar keek je naar meewerkende en tegenwerkende
factoren gezien vanuit de oplossing. Hier doe je dat vanuit
het perspectief van de implementatie (alhoewel ik toegeef
dat het onderscheid niet altijd scherp is).
Wat Cowen en Cartwright (2019) hiermee bedoelen is
het volgende. In je ontwerpgerichte gedeelte heb je een
oplossing ontworpen. Die neemt bijvoorbeeld de vorm
aan van een ‘causal cake’: de combinatie van factoren die
tot het gewenste effect gaat leiden. Of die neemt de vorm
aan van een causaal proces: de stappen die leiden van
oorzaak X naar gewenst effect Y. Je neemt nu die ‘causal
cake’ of dat causale proces als uitgangspunt en vraagt
je af: wat draagt bij aan het realiseren van die ‘causal
cake’ of van dat causale proces en wat zou dat kunnen
tegenwerken? Voor het causale proces ziet het formele
model dat je daarvoor gebruikt er zoals Figuur 5 uit.
De processtappen die tot het gewenst effect leiden zijn
het resultaat van je ontwerpgerichte onderzoek. In je
implementatieonderzoek ga je op zoek naar de factoren
die ten opzichte daarvan meewerken (‘support factors’)
of tegenwerken (‘interrupters’ en ‘off-setters) factoren zijn.
5.2. Projectplan implementatie
Na het uitvoeren van een implementatieonderzoek
beschik je over alle informatie die je nodig hebt voor het
maken van een projectplan.
105
6. EvaluatieonderzoekBeschrijven en verklaren
Evaluatieonderzoek heeft een beschrijvend en een
verklarend gedeelte:
• Beschrijvend: zijn de resultaten behaald (is de kloof
opgeheven)?
• Verklarend. Zo ja, ligt dit aan de interventie?
• Verklarend. Zo nee, ligt dit aan
- Gebreken in de implementatie?
- Verkeerde oplossing?
- Verkeerde diagnose?
Net zoals de designs voor fundamenteel onderzoek niet
passen op een diagnostisch onderzoek, zo passen ze
ook niet op de evaluatie van de bereikte resultaten: je zet
de interventie niet op als een RCT. Je toetst immers geen
generieke, maar een specifieke oplossing en bovendien
zal je N veel te klein zijn.
Doelen bereikt: dankzij of ondanks de interventie?
Wanneer je in het beschrijvend gedeelte constateert dat
de resultaten bereikt zijn, zul je niet verrast zijn. Je hebt
oplossingen ontworpen, je hebt gekeken welke overige
factoren (‘causale cake’) nodig zijn om van die oplossing
een succes te maken, je hebt uitgezocht via welk
causaal proces de oplossing zal gaan werken en je hebt
gekeken wat je in de implementatie nog aan aanvullende
maatregelen moet nemen. Als er toch sceptici zijn (zijn de
doelen nu dankzij of ondanks de interventie opgetreden?)
dan loop je het causale proces langs (process tracing)
of de ‘causal cake’ zodat je kunt uitleggen waarom de
doelen bereikt zijn. Toegepast op het voorbeeld van de
kleinere klassen: je kunt laten zien dat je kleinere klassen
gecombineerd hebt met meer leslokalen en ervaren
leerkrachten. En je kunt laten zien dat docenten meer
aandacht besteden aan leerlingen en leerlingen daardoor
gemotiveerder werken. Mocht je dan nog twijfelen, dan
kun je een ‘single case’ experiment uitvoeren. In zijn
eenvoudigste vorm betekent dit dat je weer vier weken
met grote klassen gaat werken en kijkt wat het effect op
de leerprestaties is. Gaan die omlaag dan is je interventie
juist geweest. Gaan die niet omlaag dan kun je gaan
twijfelen. Wanneer dat inderdaad het geval is, volg je de
procedure die je ook toepast als de doelen niet bereikt
zijn.
Supportfactor
Supportfactor
Supportfactor
Supportfactor
Step 1
Interrupter
Step 2
Off-setter
Step 3 Effect
Activity Activity Activity
Figuur 5. ‘Streetlevel theory of change’ (Cowen, Cartwright 2019: 19).
106
Doelen niet bereikt: dankzij of ondanks de interventie
Wanneer de doelen niet bereikt zijn hoeft dat niet aan de
oplossing te liggen. Om dat te onderzoeken loop je de
interventie van achter naar voren langs:
• Is er iets fout gegaan in de implementatie en zo ja,
hoe kunnen we dat herstellen?
• Is er iets fout gegaan bij het ontwerpen van de
oplossingen: ligt het aan de oplossing zelf of:
- Is er iets fout gegaan in het proces dat leidt van
oplossing tot effect?
- Hebben we aanvullende factoren over het hoofd
gezien?
• Is er iets fout gegaan bij de analyse van de oorzaken:
hebben we oorzaken over het hoofd gezien?
• Is er iets fout gegaan bij het preciseren van het
probleem: hebben we problemen over het hoofd
gezien?
Vandaar dat het zo belangrijk is om goed te
documenteren wat je allemaal in de verschillende stappen
van de interventiecyclus gedaan hebt. Je hebt immers
een zoektocht achter de rug, niet naar goede, maar naar
volledige verklaringen (van ongewenste en gewenste
effecten). Bij een interventie moet alles op zijn plaats
zitten en dat is niet altijd even makkelijk.
107
6. Toegepast onderzoek en de A3 methode: kwaliteitsbewaking zonder onderzoeksplan
In deze bijdrage schetsen we het probleem van het onderzoeksplan en stellen voor de A3 methode als oplossing daarvoor te gebruiken. We beschrijven de algemene kenmerken van de A3 methode. Vervolgens lichten we de stappen van de A3 methode toe met een verzonnen en echt voorbeeld. Tot slot wijzen we op de grote overeenkomst tussen de A3 methode en ‘design thinking.’
1. InleidingHet probleem: is een onderzoeksplan altijd mogelijk?
Studenten die toegepast onderzoek uitvoeren in hun
minor, IWP, stage of afstudeerproject dienen meestal
eerst een onderzoeksplan in te dienen. Voortgang van
hun onderzoek is afhankelijk van de goedkeuring van
dit plan. Een onderzoeksplan bestaat gewoonlijk uit:
een theoretische verantwoording, onderzoeksvragen
(hoofd- en deelvragen), selectie onderzoeksdesign en
een methodologische verantwoording van te gebruiken
methoden van gegevensverzameling en -analyse.
Het probleem is dat dit alles niet goed past op het
sequentieel en iteratief karakter van het toegepast
onderzoek dat studenten uitvoeren (zie de conclusie
van Smit 2018). In dit type onderzoek wordt vaak pas
in de loop van het onderzoek duidelijk wat het ‘echte’
probleem is, wat daar de oorzaken van zijn en wat,
gegeven deze oorzaken, de beste oplossingen zijn.
Studenten hebben dan ook grote moeite met het maken
van een onderzoeksplan en zijn daar veel tijd mee
kwijt: hoe moeten ze uitleggen wat hun methode van
gegevensverzameling wordt (voor het onderzoeken van
oorzaken en oplossingen) als ze nog niet weten wat het
‘echte’ probleem is, laat staan wat daar de oorzaken
van zijn? En opdrachtgevers worden ongeduldig omdat
studenten te lang bezig zijn met het formuleren van hun
onderzoeksplan. Zij hebben liever dat studenten direct
aan de slag gaan.
Een oplossing: de A3 methode
Een oplossing voor dit probleem kan het gebruik van
de A3 methode zijn. De A3 methode is ontwikkeld
door Toyota en wordt door veel Lean bedrijven en
instellingen gebruikt als te hanteren werkwijze bij hun
procesverbeteringsprojecten (zie Shook 2008). De A3
methode ontleent haar naam aan het format waarop
over de onderzoeksresultaten gerapporteerd wordt: op
A3 format. Dit dwingt tot een beknopte rapportage. De
A3 methode volgt de stappen van de interventiecyclus.
Dit dwingt de gebruikers om zich eerst te verdiepen
in het probleem en de oorzaken ervan voordat ze
oplossingen gaan ontwerpen. In deze methode wordt
één onderzoeksplan vooraf vervangen door meerdere
onderzoeksplannen en wel voor elke stap in het
onderzoek. Dit sluit aan op de werkwijze die algemeen
aanbevolen wordt bij projecten met grote onzekerheden:
(1) deel het project op in kleinere eenheden of stappen
(iteraties), (2) monitor de uitkomsten van elke stap (snelle
108
feedback) en (3) pas op basis daarvan de stappen aan
(adaptief).
Het gebruik van de A3 methode betekent voor
studenten dat ze geen onderzoeksplan vooraf hoeven
te maken (maar wel geïnstrueerd moeten worden in
het gebruik van de methodiek). Voor opdrachtgevers
betekent het dat studenten meteen aan de slag kunnen.
En voor docenten betekent het dat de begeleiding van
studenten geïntensiveerd wordt: studenten dienen
per stap feedback te krijgen. Ook de begeleiding is
sequentieel, iteratief en adaptief. Docenten bewaken de
kwaliteit van het onderzoek door studenten te helpen bij
het verhogen van de meetvaliditeit en betrouwbaarheid
van hun gegevens en van de interne validiteit van
hun verklaringen. Zeker wanneer studentenprojecten
onderdeel uitmaken van en materiaal leveren voor
praktijkgericht onderzoek dat door het lectoraat
wordt uitgevoerd is toezicht op de kwaliteit van het
studentenonderzoek van groot belang.
2. De A3 methodeDe A3 methode
Deze methode ontleent haar naam aan het format waarop
je over de resultaten van je onderzoek rapporteert: op
A3 format. De methode vertelt je hoe je het onderzoek
uitvoert:
• Je doet het in stappen met een logische volgorde
(diagnose, ontwerp, implementatie, evaluatie). Zo
voorkom je de valkuil van ‘jumping to solutions’:
oplossingen ontwerpen zonder je eerst te verdiepen
in het probleem en de oorzaken ervan.
• Je baseert je op feiten. Op die manier voorkom je de
valkuil van aannames: denken te weten
- wat het probleem is zonder het te onderzoeken
- wat de oorzaken zijn zonder het te onderzoeken
- wat de oplossingen zijn zonder het te
onderzoeken
• Je voert het onderzoek samen met de betrokkenen
uit. Door hen te betrekken in zowel de analyse van het
probleem als het ontwerpen van oplossingen vergroot
je het draagvlak voor het implementeren van de
gevonden oplossingen.
• Je rapporteert op A3 format. Daardoor word je
gedwongen beknopt te rapporteren en gebruik te
maken van visuele middelen (taartdiagrammen,
frequentieverdelingen en dergelijke).
Je doet het dus in stappen, gebaseerd op de feiten en
samen met de betrokkenen. De stapsgewijs ingevulde
A3 dient als communicatiemiddel voor alle betrokken
partijen. Vaak wordt die dan ook in een openbare ruimte
aan de muur gehangen. Een voorbeeld van een lege en
ingevulde A3 is te vinden in Figuur 1.
A3 en interventiecyclus
De A3 volgt de stappen van de interventiecyclus. Ze
voegt alleen tussen probleemverheldering (precisering
van het probleem) en analyse van de oorzaken de stap
doelen bepalen toe. Dat heeft het voordeel dat meteen
duidelijk is dat doelen en oplossingen niet hetzelfde
zijn. Ophouden met roken is geen oplossing, maar een
doel. Oplossingen zijn de middelen die je gebruikt om
dat doel te bereiken. Bovendien sluit het ‘organisch’ aan
op het preciseren van het probleem. Die resulteert in
een aantal specifieke problemen of variabelen met een
ongewenste waarde. Vervolgens kun je voor elk specifiek
probleem het doel, de gewenste waarde, bepalen. Bij het
ontwerpen van oplossingen neem je deze doelen over
en hoef je alleen de nevendoelen te bepalen. Hoofd- en
nevendoelen vormen de functionele vereisten waaraan je
oplossingen of tegenmaatregelen moeten voldoen.
De A3 vergeleken met andere indelingen
De A3 is ontwikkeld voor procesverbeteringsprojecten.
Je kunt hem echter als algemene ‘probleemoplossings-
109
Achtergrond/Aanleiding Tegenmaatregelen/oplossingen
Huidige situatie/Probleemverheldering
Implementatie
Doelen
Analyse oorzaken Evaluatie
Figuur 2. De methodieken vergeleken.
Figuur 1. Lege en ingevulde A3.
PDCA DMAIC A3 8D/PSP
Plan Define Clarify the problem 1. Create Team & collect information2. Describe the Problem
Measure Break down the Problem
Set a target 3. Define Containment Actions
Analyse Analyse the Roor Cause 4. Analyse the Root Cause
Develope Countermeasures 5. Define Possible corrective Actions
Do Improve See Countermeasures 6. Implement corrective Action
Check Control Evaluate Results & Processes 7. Define Actions to avoid Recurrence8. Congratulate your Team
Act Standardize Succes
methode’ gebruiken. Zo zijn er ook productontwerpers die
met de A3 werken. In de praktijk van procesverbetering
kom je ook andere methodieken tegen. Die hebben met
elkaar gemeen dat zoeken naar de feiten en goed meten
centraal staan in het verbeteringsproces. Het gaat om
de PDCA cyclus van Deming en Toyota (Plan, Do, Check,
Act), de DMAIC cyclus van Six Sigma (Define, Measure,
Analyze, Improve, Control) en de 8D/PSP methode (Eight
Disciplines Problem Solving Process). Deze methode is
tijdens WOII door het leger ontwikkeld en in de 80er jaren
door de Ford onderneming overgenomen.
Alle methodieken volgen ongeveer de interventie-
cyclus: ze starten met een probleem en eindigen met de
evaluatie van de oplossing. Ze passen niet allemaal even
goed op de A3 (zie onderstaand overzicht).
110
De PDCA cyclus past niet zo goed. Het klinkt raar om
onder Plan zowel de diagnose als het ontwerp van
oplossingen te laten vallen (vijf A3 activiteiten). En Check
als evaluatie klinkt ook raar. Het basisidee dat aan de
PDCA ten grondslag ligt is, dat je een oplossing altijd
eerst moet uitproberen (Check) voordat je hem invoert
(Act). De invoering (implementatie) moet je echter ook
evalueren. De PDCA cyclus past, naar mijn mening,
dan ook beter op de ontwerpgerichte fase van de
interventiecyclus: Plan (verzin een oplossing), Do (probeer
hem uit), Check (kijk of die werkt) en Act (voer hem dan
pas in). Dit komt ook beter overeen met de PDSA cyclus
van Deming: “Plan a change, Do- carry out the change
or test (preferably on a small scale), Study the results,
Act- adopt the change or run through the cycle again”
(zie Moen, Norman (2009) over de evolutie van de PDCA
cyclus).
DMAIC past beter op de A3 en in feite worden veel
van de DMAIC technieken in de A3 toegepast. De 8D/PSP
methode maakt een onderscheid tussen ‘containment
actions’ en ‘corrective actions.’ Dat kan soms nodig zijn,
maar als je dat onderscheid weg laat lijkt het weer veel
op de A3. Dit alles overziende lijkt ons dat de A3 het
beste overeenkomt met de interventiecyclus. Vooral de
nadruk op stap twee: preciseren van het probleem en de
‘meedogenloze’ boodschap ‘ga op zoek naar de feiten en
meet die’ werken goed in het onderwijs. Het is dan ook
onze indruk dat studenten die hebben leren werken met
de A3 of met DMAIC betere afstudeerscripties schrijven:
ze zijn beter voorbereid op het uitvoeren van toegepast
onderzoek in het kader van de interventiecyclus.
A3: beknopte rapportage
Gebruik van het A3 format dwingt je om per stap beknopt
over de resulaten van je onderzoek te rapporteren. Dat
stimuleert het gebruik van visuele middelen en beknopte
formuleringen. De boodschap is dan ook: als het niet op
een A3 past
• Vertel je te veel.
• Snap je het nog niet.
• Gebruik je te weinig visuele middelen.
• Of moet je meerdere A3’s maken.
Wanneer je bijvoorbeeld na stap twee (precisering van
het probleem) op verschillende problemen uitkomt
kun je daarna verder gaan met een aparte A3 voor elk
afzonderlijk probleem.
Het onderzoek dat ten grondslag ligt aan de
resultaten wordt bewaard in de vorm van ‘onderliggende
documenten.’ Wanneer je klaar bent met je onderzoek,
kun je de A3 en de onderliggende documenten gebruiken
om een onderzoeksverslag te maken dat aan alle
eisen voldoet. Je bent alleen niet begonnen met een
allesomvattend onderzoeksplan. In plaats daarvan heb
je het onderzoek stap voor stap opgebouwd. Dat geeft je
de flexibiliteit het onderzoek aan te passen aan wat je per
stap ontdekt. Daartoe behoren ook iteraties: terug gaan
naar de vorige stap om die te herzien. In je eindverslag
doe je wat alle onderzoekers doen: een onderscheid
maken tussen het onderzoeksproces dat ‘messy’ is en
een onderzoeksverslag waarin je zo efficient mogelijk
probeert te bewijzen wat je beweert.
De A3 als communicatiemiddel
De A3 wordt dus stap voor stap opgebouwd of ‘ingevuld.’
De A3 is het document dat je gebruikt voor overleg en
discussie over de voortgang van het onderzoek met
• Je opdrachtgever en/of bedrijfsbegeleider.
• De bij het onderzoek betrokkenen, bijvoorbeeld de
medewerkers.
• Je medestudenten.
• De begeleiders van de hogeschool.
Een goede A3 is dan ook vooral een verslag van de
dialoog die je met al deze partijen hebt gevoerd:
111
What really makes an A3 ‘a good one’ isn’t the
specific collection of facts and data that tell a perfect
problem-solve. A good A3 is a reflection of the
dialogue that created it (Shook 2008).
Door de beknopte rapportage kan die ‘dialoog’ kort en ‘to
the point’ verlopen. Wij betrekken ook medestudenten in
deze dialoog. Aanvankelijk moesten studenten per stap
elkaars A3’s beoordelen (met een beoordelingsformulier).
Tegenwoordig laten we studenten vragen stellen bij elkaars
A3. Het is de bedoeling, niet dat je elkaar beoordeelt,
maar dat je elkaar stimuleert om nog eens kritisch naar
je eigen onderzoek te kijken. Bovendien leren studenten
zo van elkaars A3. En, tenslotte, verloopt het proces
‘gedisciplineerder.’ Studenten zijn nu eenmaal gevoeliger
voor kritiek van hun medestudenten (‘waarom heb je de A3
te laat ingeleverd?’) dan van docentbegeleiders.
Dit alles maakt de A3 uitermate geschikt voor
online begeleiding. De A3’s zijn via Blackboard voor
alle studenten beschikbaar. Ze kunnen daar online
hun vragen invoegen (comments). Docenten kunnen
de A3’s en gestelde vragen bespreken en online een
aantal algemene opmerkingen plaatsen. De ‘MS Teams’
vergaderingen verlopen efficiënt: studenten uploaden hun
A3, geven een korte toelichting, de A3 wordt besproken,
indien nodig wordt informatie uit de onderliggende
documenten geüpload en na een kwartier kun je
door naar de volgende A3. Voeg daaraan korte online
flitscolleges toe met uitleg over de stappen en je hebt een
volledige online cursus. Natuurlijk is een mix van online en
‘face to face’ het beste.
3. De stappen van de A3 met een verzonnen en echt voorbeeld
Achtergrond
Wij hebben ervaring opgedaan met het werken met
de A3 in de minor Slim Produceren van de opleiding
Technische Bedrijfskunde en in het keuzevak
Onderzoeksmethodologie van de deeltijdopleiding
Management in de Zorg. Inmiddels wordt de A3 ook
elders in de opleiding gebruikt voor het begeleiden van
studenten bij hun praktijkprojecten.
In het keuzevak voeren teamleiders met hun team
eerst een werkdrukonderzoek uit. Het resultaat daarvan
is een overzicht van knelpunten (moeilijk of niet oplosbare
verstoringen tijdens de uitvoering van het werk) waarvan
het hele team zegt: hier hebben we last van bij de
uitvoering van ons werk, dat ligt niet aan ons en als deze
knelpunten weggewerkt worden, dan verminder je niet
alleen onze werkdruk, maar verbeter je ook de kwaliteit
van de zorg. Met het werkdrukonderzoek breng je, met
andere woorden, de ‘daily hassles’ of dagelijkse irritaties
van het werk in kaart. En dat kunnen er per dag (!) een
hoop zijn.
Vervolgens selecteert de teamleider met het team het
meest dringende knelpunt en gaat met behulp van de A3
dat knelpunt analyseren en oplossen. Het voorbeeld dat
we gebruiken komt uit een van deze A3’s. Wij noemen
onze werkdrukbenadering ‘werkdrukvermindering door
procesverbetering.’ Wie daar meer over wil weten kan
naar de website https://minderwerkdrukindezorg.nl/
gaan. Daarop wordt niet alleen het werkdrukinstrument
uitgelegd, maar staan ook flitscolleges over de A3
methode.
Een voorbeeld: het probleem van de overwaking
We zullen de werkwijze verduidelijken met het
voorbeeld van de overwaking. Een verpleegkundige
in overwakingsdienst kan gebeld worden om hulp en
ondersteuning te bieden aan en vaak ook op andere
afdelingen, omdat die niet over de vereiste expertise
beschikken. Bij team X stond dit met stip als eerste op
de lijst van knelpunten: ze werden in hun opvatting veel
te vaak gebeld en moesten te vaak van de afdeling af. Dit
probleem werd dan ook geselecteerd om met behulp van
de A3 methode nader te analyseren en op te lossen.
112
Stap 1. Aanleiding/achtergrond
In dit gedeelte van de A3 vermeld je kort wat het
probleem is en waarom het een probleem is en voor
wie het een probleem is. Het waarom verwijst naar de
nadelige gevolgen van het probleem op verschillende
terreinen. Die kunnen in de zorg bijvoorbeeld betrekking
hebben op de werkdruk in de zorg van werknemers,
voor de kwaliteit van de zorg, voor de cliënt en voor
de efficiency van het zorgproces. Je hebt dan meteen
te pakken voor wie het een probleem is: voor de
medewerkers, de cliënten en de werkgever.
Verzonnen voorbeeld
Ik ga met klachten over mijn gezondheid naar de huisarts.
Die vertelt mij dat de achterliggende oorzaak gelegen is
in het feit dat ik veel te veel alcohol drink. Zijn advies: als
je werkelijk iets aan je gezondheidsproblemen wilt doen
moet je minder gaan drinken.
• Wat is het probleem: ik drink te veel.
• Waarom is het een probleem: dat is niet alleen slecht
voor mijn gezondheid, maar levert ook spanningen in
mijn gezin op en benadeelt mijn functioneren op het
werk.
• Voor wie is het een probleem: niet alleen voor mij,
maar ook voor mijn gezin en werkgever.
Voorbeeld overwaking
Aanleiding/achtergrond
De overwaking (verantwoordelijke verpleegkundige
gedurende de dag-, avond- en nachtdienst) wordt
veel telefonisch gestoord tijdens de werkzaamheden
en is veel/vaak gedurende langere tijd van de afdeling
waardoor de collega met wie wordt samengewerkt
alleen achter blijft en werkzaamheden niet uitgevoerd
kunnen worden. Daardoor neemt niet alleen de
werkdruk toe, maar verslechtert ook de zorg voor
patiënten.
Stap 2. Huidige situatie
In deze stap wordt het algemeen geformuleerde
probleem gepreciseerd door het uiteen te leggen in
deelproblemen. Dat doe je door beschrijvende vragen te
formuleren: wat, waar, hoe veel, hoe lang, door wie, voor
wie, enzovoort.
Verzonnen voorbeeld
Ik ga onderzoeken wat ik drink, hoeveel ik drink en
wanneer ik dat doe. Het resultaat:
• Whisky: elke dag na mijn werk een paar.
• Bier: elke vrijdagavond met mijn vrienden in het café
in grote hoeveelheden.
• Wijn: elke zaterdag en zondag met mijn vrouw tijdens
en na het eten. Dat begint met een fles maar worden
er vaak meer.
Voorbeeld overwaking
Dat verpleegkundigen vaak gebeld worden is een
aanname, of beter, een ervaringsgegeven. We weten
niet precies hoe vaak ze gebeld worden, waarvoor,
hoelang ze weg zijn, enzovoort. In deze stap wordt
het probleem dus nader geanalyseerd door het op te
delen in deelproblemen. Dat doe je door beschrijvende
onderzoeksvragen te formuleren. Vervolgens ga je met je
team onderzoek doen: gegevens verzamelen waarmee
je de onderzoeksvragen kunt beantwoorden. In het
voorbeeld:
Gedurende 5 dagen hebben de medewerkers met
overwakingsdienst bijgehouden hoe vaak ze werden
opgeroepen, waarvoor en hoeveel tijd ze dit heeft
gekost. Het probleem is hiervoor opgeknipt in
kleinere stukjes:
• Hoe vaak wordt de overwaking gestoord tijdens
de dag- avond- en nachtdienst?
• Hoe vaak is deze verstoring voor cliëntgebonden
en hoe vaak voor niet-cliëntgebonden vragen?
113
• Hoe vaak moest degene met overwaking van de
afdeling?
• Hoeveel tijd is degene die van de afdeling moest
weg gebleven?
• Bleef er een collega alleen achter op de afdeling?
• Welke werkzaamheden konden er niet uitgevoerd
worden?
Uit ervaring is gebleken dat dit de moeilijkste en de
belangrijkste stap van de A3 is. De moeilijkste want ‘we
weten toch al wat het probleem is. Waarom zouden we
dat moeten gaan onderzoeken?’ De belangrijkste, want
als deze stap goed wordt uitgevoerd kun je nauwkeuriger
je doel bepalen, op zoek gaan naar oorzaken en
oplossingen en later beter evalueren of je de doelen
gehaald hebt.
Over de resultaten van het onderzoek wordt beknopt
op de A3 gerapporteerd. Daar komen bijvoorbeeld dit
soort frequentieverdelingen en taartdiagrammen te
staan:
Stap 3. Doel formuleren
Je hebt een algemeen geformuleerd probleem
uiteengelegd in deelproblemen die opgelost moeten
worden. Je kunt nu direct voor de geselecteerde
deelproblemen de doelen bepalen. Hoe nauwkeuriger
je dat doet, des te makkelijker wordt het om straks te
beoordelen of je die doelen bereikt hebt: minder drinken
of minder gebeld worden zijn niet echt duidelijke doelen.
Verzonnen voorbeeld
Een doel is niet hetzelfde als een oplossing. Als ik te veel
drink is minder drinken niet de oplossing, maar het doel.
Oplossingen zijn de middelen die ik gebruik om dat doel
te bereiken. Ik formuleer als doelen:
• Whisky: meteen mee stoppen.
• Bier: drastisch verminderen tot vijf glazen op de
vrijdagavond.
• Wijn: beperken tot samen een fles op de zaterdag en
zondagavond.
Voorbeeld overwaking
Doel
Voor 31 december 2018 willen we voor elke afdeling
• dat ze bij minimaal 75 % van alle
overwakingsdiensten max. 2 keer worden
opgeroepen voor verpleegkundige
handelingen vanuit een andere afdeling,
• dat ze bij minimaal 75 % van alle
overwakingsdiensten max. 10 minuten van de
eigen afdeling af zijn voor verpleegkundige
handelingen,
• dat ze bij minimaal 95% van alle
overwakingsdiensten niet worden opgeroepen
voor niet- verpleegkundige handelingen van een
andere afdeling.
Stap 4. Analyse oorzaken
Nu je beter weet wat de problemen precies zijn kun je op
zoek gaan naar de oorzaken. De onderzoeksvraag is een
verklarende en heeft de volgende algemene vorm: welke
van alle mogelijke oorzaken zijn in dit geval aanwezig en
verklaren het probleem?
0
16
14
12
10
8
6
4
2
Dag Avond Nacht
■ Cliëntgebonden handelingen tijdens overwaking
■ Niet-cliëntgebonden handelingen tijdens overwaking
114
Oorzaken moet je
• In de ‘breedte’ onderzoeken: vaak heeft hetzelfde
probleem meerdere oorzaken.
• In de ‘diepte’ onderzoeken: elke oorzaak heeft weer
achterliggende oorzaken (‘root causes’).
Als je geluk hebt kun je uit de literatuur over het
desbetreffende probleem een overzicht van mogelijke
oorzaken samenstellen. Je literatuurstudie mondt dan
uit in een onderzoeksmodel met daarin de mogelijke
oorzaken (onafhankelijke variabelen) van het probleem
(afhankelijke variabele). Dat onderzoeksmodel kan ook
een complexere vorm hebben:
• Een variabelenmodel met ook interveniërende en
modererende variabelen.
• Een configuratiemodel met combinaties van oorzaken
die gezamenlijk de noodzakelijke en/of voldoende
voorwaarden zijn van het ongewenst effect.
• Een procesmodel waarin het causale proces van
oorzaak tot gevolg beschreven wordt.
Je onderzoekt vervolgens welke van alle mogelijke
oorzaken dit geval aanwezig zijn. Daarna ga je die
oorzaken ordenen.
Bestaat die literatuur niet, dan moet je met je team
over mogelijke oorzaken brainstormen. Lean biedt
daarvoor een aantal technieken aan. Een daarvan is
de visgraatmethode. De kop van de visgraat staat voor
het probleem en de graten voor mogelijke oorzaken
zoals machines, mensen, procedures en dergelijke.
Je kunt zo’n visgraat aan de muur hangen. Iedereen
kan daarop oorzaken invullen. Je kunt dat ook doen
als bij de graten de mogelijke oorzaken staan die je uit
de literatuurstudie hebt gehaald. Het resultaat is een
overzicht van oorzaken die in dit geval aanwezig zijn.
Van die oorzaken kun je vervolgens de achterliggende
oorzaken onderzoeken. Lean gebruikt daarvoor de
techniek van de ‘five whys.’
Zowel een ingevulde visgraat als de ‘five whys’ kun je
direct op je A3 zetten.
Met de visgraat (of met je onderzoeksmodel van
mogelijke oorzaken) ontdek je meerdere feitelijke
oorzaken. Wij zijn nu nog bezig verschillende
methodieken uit te proberen waarmee je die
oorzaken kunt ordenen. Daar kunnen bijvoorbeeld al
achterliggende oorzaken tussen zitten. Een makkelijke
manier is om met pijltjes de onderlinge afhankelijkheden
tussen de oorzaken in kaart te brengen. Dat zou een
overzicht van directe en achterliggende oorzaken op
kunnen leveren.
Verzonnen voorbeeld
Ik heb, vanwege de cognitieve en emotionele complexiteit
van mijn problemen, besloten om voor elk probleem
en bijbehorend doel een aparte A3 te maken. Voor het
whiskyprobleem ziet de oorzakenanalyse er als volgt uit.
Ik ontdek dat ik elke dag whisky drink omdat ik
gespannen van mijn werk thuis kom. Whisky drinken
is geen gewoonte, want dat doe ik alleen op deze
momenten. Op deze oorzaak pas ik de ‘five whys’ toe:
waarom drink ik elke dag als ik van mijn werk thuiskom
een of meerdere whisky’s? Omdat ik gespannen van mijn
werk thuiskom. Waarom? Omdat ik ruzie heb met mijn
baas. Waarom? Omdat ik vaak te laat kom. Waarom?
Omdat ik te veel drink en me daardoor verslaap. In dit
geval vormt de keten van oorzaken van oorzaken een
vicieuze cirkel: de oorzaken versterken elkaar (positieve
feedback) waardoor het probleem steeds erger wordt.
Dat betekent omgekeerd dat ik met een oplossing voor
mijn drankprobleem twee problemen tegelijk oplos.
Als uit de oorzakenanalyse blijkt dat ik alcoholist ben,
moet ik niet minder gaan drinken, maar ophouden met
drinken. Op de A3 moet ik dan terug naar het doel en dat
herformuleren: de werkwijze is niet alleen sequentieel,
maar ook iteratief: uitkomsten van volgende stappen
kunnen aanleiding zijn om vorige stappen aan te passen.
115
Voorbeeld van de overwaking
De problemen hebben twee hoofdvormen: gebeld
worden voor cliëntgebonden en voor niet-cliëntgebonden
handelingen. Daar worden twee A3’s voor gemaakt.
We concentreren ons op het probleem van de niet-
cliëntgebonden handelingen.
Uit de visgraatanalyse bleek dat een van de oorzaken
van niet-cliënt gerelateerde telefoontjes gelegen is in
het feit dat ze voor 8.00 uur in de ochtend veel gebeld
werden door leveranciers en medewerkers die naar
binnen moeten. Daarop werden de ‘five whys’ toegepast:
Waarom bellen ze? Omdat ze voor een gesloten deur
staan. Waarom? Omdat het service loket dan nog niet
open is. Waarom? Omdat hiermee in de roostering
van het service loket geen rekening is gehouden.
Waarom? Omdat men niet wist tot welke problemen voor
verpleegkundigen in de overwaking dit zou leiden.
Analyse oorzaken
Na toepassing van visgraat en ‘five whys’ twee
hoofdoorzaken:
• Niet-cliëntgebonden telefoontjes: service balie is
tot 8.00 uur dicht.
• Cliëntgebonden telefoontjes: gebreken in de
basisroosters van de afdelingen.
Nu je weet wat de precieze problemen en wat daar de
– achterliggende – oorzaken van zijn, kun je de kennis
van die oorzaken gebruiken voor het ontwerpen van
oplossingen of tegenmaatregelen.
Stap 5. Tegenmaatregelen/oplossingen ontwerpen
Tegenmaatregelen zijn de middelen om je doel te
bereiken. Meestal zijn er meerdere middelen om hetzelfde
doel te bereiken. Het ontwerpen van oplossingen bestaat
dus altijd uit de volgende stappen:
• Bepaal de eisen waaraan de oplossing moet voldoen:
hoofddoel en nevendoelen.
• Genereer meerdere oplossingen: met behulp van het
hoofddoel.
• Selecteer daaruit de beste: aan de hand van de
gewenste en ongewenste nevengevolgen van de
oplossingen.
• Test de oplossing eerst uit voordat je hem invoert.
Verzonnen voorbeeld
Ik weet dat ophouden met whisky drinken moeilijk zal
worden. Om mijn doel, geen whisky meer, te bereiken
leeg ik alle whiskyflessen, zoek een ‘buddy’ die ik kan
bellen als ik het moeilijk heb, overleg met mijn gezin hoe
ze mij kunnen ondersteunen en ga in gesprek met mijn
baas.
Voorbeeld overwaking
Als nevendoel wordt geformuleerd dat de oplossing
kostenneutraal en gebruikersvriendelijk moet zijn (niet
tot nieuwe problemen mag leiden) en niet ten koste mag
gaan van de kwaliteit van de zorg.
Voor het probleem van de gesloten deur in de
ochtend bestaan verschillende oplossingen: je zou met
pasjes of in te tikken codes kunnen gaan werken. Je
zou ook de service balie om 7.30 uur open kunnen laten
gaan. De eerste twee maatregel gaan geld kosten en
brengen veiligheidsrisico’s met zich mee. Als je zonder
kosten de service balie om 7.30 uur open kunt laten gaan,
zou dat duidelijk de voorkeur genieten. Dit waren de
tegenmaatregelen voor het probleem van de overwaking:
Tegenmaatregelen
• Service balie een half uur eerder om 7.30 uur laten
starten.
• Nieuw basisrooster per afdeling opstellen met
zodanige verdeling van verpleegkundigen dat
in alle diensten altijd een verpleegkundige
werkzaam is in de overwaking volgens een vast
basisrooster.
116
Stap 6. Implementatie oplossing
Hier maak je een projectplan voor de implementatie van
de oplossingen: wie moet wat wanneer met wie doen om
de oplossingen gerealiseerd te krijgen.
Het is nuttig om jezelf twee vragen te stellen voordat
je met de implementatie begint:
• Welke aanvullende maatregelen zijn er nodig om van
de implementatie een succes te maken? Bijvoorbeeld:
is er extra training vereist, wie moet geïnformeerd
worden, en dergelijke?
• Wat zou ervoor kunnen zorgen dat de implementatie
mislukt en welke aanvullende maatregelen kunnen we
nemen om dat te voorkomen?
De uitkomsten hiervan kunnen in het implementatieplan
opgenomen worden. In de tijd waarin het
overwakingsprobleem werd onderzocht lieten we het
opstellen van een projectplan nog niet voorafgaan door
een implementatieonderzoek.
Implementatie
In overleg met de service balie wordt besloten dat de
balie om 7.30 uur open gaat. Deze roosterwijziging is
zo vorm gegeven dat geen extra formatie nodig is.
Stap 7. Evaluatie
Met behulp van het doel dat in stap 3 is geformuleerd
kun je nu kijken of dat doel ook is bereikt. Is dat het
geval, dan kun je ook aantonen waarom dat zo is. Je hebt
immers verklaringen gevonden voor je probleem en je
hebt oplossingen ontworpen waarvan je kunt verklaren
waarom ze tot de gewenste gevolgen (doelen) zullen
leiden.
Zijn de doelen niet bereikt, dan loop je van achteren
naar voren de cyclus door met de vraag:
• Is er iets fout gegaan in de implementatie en zo ja,
hoe kunnen we dat herstellen?
• Is er iets fout gegaan bij het ontwerpen van de
oplossingen: ligt het aan de oplossing zelf of
- Is er iets fout gegaan in het proces dat leidt van
oplossing tot effect?
- Hebben we aanvullende factoren over het hoofd
gezien?
• Is er iets fout gegaan bij de analyse van de oorzaken:
hebben we oorzaken over het hoofd gezien?
• Is er iets fout gegaan bij het preciseren van het
probleem: hebben we problemen over het hoofd
gezien?
De opbrengst van het onderzoek
Door de service balie om 7.30 uur te openen (een
roosterwijziging die geen extra formatie heeft gekost)
is het aantal telefoontjes in de ochtend gedaald. Aan
de andere oorzaken wordt nog gewerkt. Belangrijkste
opbrengst volgens de teamleider is niet alleen dat het
aantal telefoontjes in de ochtend aanzienlijk is gedaald,
maar vooral dat de discussie in het team totaal veranderd
is. Zodra iets naar voren wordt gebracht stelt men zich
de vraag ‘is dit wel zo en moeten we dat niet eerst
onderzoeken?’
Niets wordt meer voor waar aangenomen en alles
wordt onderzocht: aannames worden op deze manieren
door feiten vervangen.
4. Conclusie: de A3 als vorm van design thinking
De A3 methode volgt de stappen van de
interventiecyclus. Dit dwingt de gebruikers om zich
eerst te verdiepen in het probleem en de oorzaken ervan
voordat ze oplossingen gaan ontwerpen. Bovendien
worden gebruikers gedwongen op zoek te gaan naar de
feiten en om het onderzoek samen met betrokkenen uit
te voeren. In deze methode wordt één onderzoeksplan
vooraf vervangen door meerdere onderzoeksplannen
voor elke stap van het onderzoek. Dit sluit aan op de
117
werkwijze die algemeen aanbevolen wordt bij projecten
met grote onzekerheden: (1) deel het project op in
kleinere eenheden of stappen (iteraties), (2) monitor de
uitkomsten van elke stap (snelle feedback) en (3) pas op
basis daarvan de stappen aan (adaptief).
Deze werkwijze van de A3 methode vertoont grote
overeenkomsten met ‘design thinking.’ ‘Design thinking’
heeft verschillende wortels en is uitgegroeid tot een
algemene probleemoplossingsmethode die toegepast
kan worden op het analyseren en oplossen van
maatschappelijke problemen, het ontwerpen van nieuwe
producten en diensten en het analyseren en oplossen
van procesproblemen. ‘Design thinking’ wordt door Don
Norman als volgt gekarakteriseerd:
Designers have developed a number of techniques
to avoid being captured by too facile a solution.
They take the original problem as a suggestion, not
as a final statement, then think broadly about what
the real issues underlying this problem statement
might really be (for example by using the “Five Whys”
approach to get at root causes). Most important of
all, is that the process is iterative and expansive.
Designers resist the temptation to jump immediately
to a solution to the stated problem. Instead, they first
spend time determining what the basic, fundamental
(root) issue is that needs to be addressed. They don’t
try to search for a solution until they have determined
the real problem, and even then, instead of solving
that problem, they stop to consider a wide range of
potential solutions. Only then will they finally converge
upon their proposal. This process is called “Design
Thinking” (Norman 2013).
Volgens ons is de A3 methode hetzelfde als design
thinking, maar dan toegepast, niet op het innoveren van
producten en/of diensten, maar op procesinnovatie.
Bovendien is het een methode die uitermate geschikt
is voor het begeleiden van studenten bij hun
praktijkopdrachten en/of afstudeerproject.
118
119
7. Het driestromen model: combi-neren van praktijkgericht funda-menteel en toegepast onderzoek
Studenten voeren praktijkgericht toegepast onderzoek uit, gericht op het ontwerpen van specifieke oplossingen. Lectoraten voeren praktijkgericht fundamenteel (theoriegericht) onderzoek uit, gericht op het ontwerpen van generieke kennis en oplossingen. Van lectoraten wordt echter verwacht dat ze hun fundamenteel onderzoek samen met studenten uitvoeren. Dat roept de vraag op hoe lectoraten het toegepast onderzoek van hun studenten kunnen combineren met het fundamenteel onderzoek van het lectoraat. Daarvoor hebben we het driestromen model ontworpen. Dat is geïnspireerd op, maar wijkt af van het tweestromen model van Van Aken en Andriessen (2011). In deze bijdrage presenteren we beide modellen, analyseren overeenkomsten en verschillen en presenteren een institutionele invulling van het driestromen model. Daarin komt tot uitdrukking dat het vaak niet de wetenschap, maar de praktijk zelf is die creatieve en slimme oplossingen ontwerpt. Het is de taak van de wetenschap die te onderzoeken en, indien zinvol, verder te ontwikkelen
1. InleidingWe hebben in de eerdere artikelen gezien dat je de
kundes kunt beoefenen als onderzoeker (die nieuwe
kennis voor de kunde genereert) en als professional (die
bestaande kennis toepast op individuele gevallen). De
eerste voert praktijkgericht fundamenteel onderzoek
uit en de tweede praktijkgericht toegepast onderzoek.
Tussen beide vormen van praktijkgericht onderzoek
bestaan grote methodologische verschillen. Voor
universiteiten betekent dit dat ze studenten beide moeten
bijbrengen (zoals in de geneeskunde: zowel ‘theoretical’
als ‘clinical medicine’). Universitaire kundes leiden
immers studenten op tot academisch onderzoeker en/of
professional.
Het HBO leidt daarentegen alleen professionals op
en zou zich dus in haar onderwijs moeten concentreren
op de methodologie van het toegepaste onderzoek.
Resultaat van dit toegepast onderzoek zijn onder
andere beroepsproducten zoals een diagnostisch of een
ontwerpgericht adviesrapport. In het HBO is, voor het
bevorderen van praktijkgericht onderzoek, een nieuwe
functie gecreëerd, die van lector. In alle hogescholen
zijn lectoren aangesteld en lectoraten ingericht die
praktijkgericht onderzoek moeten uitvoeren. Daarbij gaat
het om onderzoek dat naar generieke oplossingen van
praktijkproblemen zoekt. Het gaat, met andere woorden,
om onderzoek dat nieuwe kennis voor de desbetreffende
praktijkwetenschappen of kundes oplevert. Dit is
niet het type onderzoek dat studenten uitvoeren. Die
voeren immers toegepast onderzoek uit. Dat creëert
echter het volgende probleem. Lectoraten worden
nadrukkelijk verondersteld studenten in hun onderzoek
120
te betrekken. Je zou de opdracht van lectoraten als
volgt kunnen omschrijven: formuleer samen met het
werkveld onderzoeksvoorstellen (zodat zij het nuttig
vinden), zoek daar externe, bijvoorbeeld SIA-RAAK
financiering voor en wanneer je daarin slaagt, voer dan
het onderzoek samen met docenten en studenten uit.
Hoe meer externe financiering je binnenhaalt, des te
groter je onderzoeksgroep (docenten en studenten) en
omgekeerd. Je grens is de basisfinanciering waaruit
je de cofinanciering moet betalen: hoe kleiner de
basisfinanciering, des te enger de grenzen aan de groei.
Dat creëert het volgende probleem: hoe combineer je
in een lectoraat praktijkgericht fundamenteel onderzoek
van docenten met praktijkgericht toegepast onderzoek
van studenten. Voor de oplossing van dit probleem
hebben we een model ontwikkeld. Dat model heet het
driestromen model en is geïnspireerd op het tweestromen
model van Van Aken en Andriessen (voortaan VA&A).
In deze bijdrage presenteren we beide modellen en
analyseren we overeenkomsten en verschillen.
2. Het tweestromen modelKennisstroom en praktijkstroom: onderzoekers en
professionals
Volgens VA&A is praktijkgericht onderzoek gericht op
het produceren van generieke kennis voor professionals
die deze kennis toepassen in de handelingscyclus
of interventiecyclus. Onderzoekers werken in de
kennisstroom en professionals in de praktijkstroom.
Ook zij maken dus een onderscheid tussen de
onderzoeker en de professional, tussen wat Schön (1983)
de ‘high ground’ van het onderzoek en de ‘swamp’ van de
professional noemt:
Dit komt ongeveer overeen met ons onderscheid tussen
de onderzoeker en professional:
Onderzoeker Professional
Kennisprobleem wetenschap/kunde
Handelingsprobleem praktijk
Genereert nieuwe kennis Past bestaande kennis toe
Fundamenteel onderzoek Toegepast onderzoek
Empirische cyclus Interventiecyclus
Wetenschappelijk: productdefinitie en procesdefinitie
Wetenschappelijk: alleen procesdefinitie
Figuur 2. De onderzoeker en de professional.
De overeenkomsten zijn groot: onderzoekers in de
kennisstroom ontwikkelen nieuwe kennis, zijn gericht
op het algemene en breiden theorieën uit. Ze voeren,
met andere woorden, praktijkgericht fundamenteel
onderzoek uit. En (toekomstige) professionals in de
praktijkstroom analyseren specifieke problemen en
ontwerpen specifieke oplossingen in het kader van de
interventiecyclus. Ze passen bestaande kennis (‘body of
knowledge’) toe om specifieke oplossingen theoretisch
en empirisch te onderbouwen.
Stroom kennisstroom Prijktijkstroom
Functie Kennis mobiliseren & ontwikkelen Problemen oplossen & leren
Karakter Op zoek naar het algemene Aansluiten bij het specifieke
Activiteiten Onderzoeken & analyseren Adviseren en interveniëren
Houding Objectief & onafhankelijk Overtuigend & afhankelijk
Doel Uitbreiden van theorie Onderbouwen van de praktijk
Figuur 1. De kennisstroom (van de onderzoeker) en de praktijkstroom (van de professional), Van Aken, Andriessen 2011: 80.
121
Het grote verschil is dat zij onder het kopje activiteiten
onderzoek contrasteren met advies (en daar ook
een verschillende houding aan koppelen). Dat is
volgens ons onjuist. Ook de professional voert in de
praktijkstroom onderzoek uit, want verzamelt gegevens
voor het analyseren van problemen en het ontwerpen
van oplossingen. Hanteer je een productdefinitie van
wetenschappelijk onderzoek, dan is dit onderzoek niet
wetenschappelijk. Je produceert immers geen nieuwe
wetenschappelijke kennis. Je kunt er, met andere
woorden, niet over publiceren in wetenschappelijke
tijdschriften. Hanteer je een procesdefinitie dan gaat
het wel om wetenschappelijk onderzoek: je dient de
gegevens op wetenschappelijk verantwoorde wijze
te verzamelen en te analyseren. En tenslotte is dat
onderzoek praktijkgericht: je analyseert en ontwerpt
oplossingen voor een specifiek probleemgeval. Vandaar
dat praktijkgericht onderzoek volgens ons twee vormen
kan aannemen: fundamenteel en toegepast. Dat
fundamentele onderzoek verschilt methodologisch niet
van het zuiver fundamenteel onderzoek. Het verschilt
echter ‘fundamenteel’ van het toegepast onderzoek (zie
eerdere artikelen).
VA&A zien dat anders. Zij gebruiken de term
toegepast onderzoek niet, want die zou getuigen van
lineair denken. Dat betekent dat je geen term meer hebt
voor het onderzoek dat professionals (en studenten die
tot professional worden opgeleid) uitvoeren. Omdat
professionals, ook volgens VA&A bestaande kennis
toepassen, noemen wij dat toegepast onderzoek.
Dat betekent dat je, ook volgens VA&A twee vormen
van ontwerpgericht onderzoek hebt: een gericht op
generieke oplossingen (fundamenteel) en een gericht op
specifieke oplossingen (toegepast). De eerste volgt de
logica van de empirische cyclus, de tweede die van de
interventiecyclus.
VA&A maken dus, binnen praktijkgericht onderzoek,
geen verschil tussen fundamenteel en toegepast
onderzoek. In plaats daarvan maken zij binnen
praktijkgericht onderzoek een ander onderscheid,
namelijk dat tussen beschrijvend en verklarend
onderzoek (zoals in diagnostisch onderzoek) enerzijds
en ontwerpgericht onderzoek anderzijds. Verder stellen
zij dat het methodologieonderwijs wel geschikt is voor
beschrijvend en verklarend onderzoek, maar niet voor
ontwerpgericht onderzoek. Vandaar de noodzaak
van een ‘Handboek ontwerpgericht wetenschappelijk
onderzoek.’ Dat is een handboek, niet voor studenten,
maar voor lectoren, lectoraten en docentonderzoekers
die nieuwe, generieke kennis willen ontwikkelen voor de
beroepspraktijk.
Dat lijkt ons om meerdere redenen onjuist. Ten eerste
is ontwerpgericht onderzoek ook verklarend van aard.
Ook volgens VA&A gaan we daar immers op zoek naar
de mechanismen die verklaren waarom iets in welke
context werkt, dat wil zeggen, gewenste gevolgen heeft.
Kort geformuleerd: wanneer X de oorzaak is van Y en
Y is een gewenst gevolg, dan is X een middel om Y te
bereiken, zie ook Argyris en Schön (1974): “in situation s,
to achieve consequence c, do action a.” Intervenieren kun
je niet zonder de taal van oorzaak en gevolg te gebruiken
(wat niet wil zeggen dat je intervenieren daartoe kunt
reduceren). Zowel in diagnostisch (oorzaken van
ongewenste gevolgen) als in ontwerpgericht onderzoek
(oorzaken van gewenste gevolgen) maak je gebruik van
verklarend onderzoek. Daarmee vervalt het onderscheid
tussen verklarend en ontwerpgericht onderzoek.
Ten tweede vindt zowel in het fundamenteel als in
het toegepast onderzoek beschrijvend en verklarend
onderzoek plaats. Het verschil is dat het in het ene
geval om de productie van nieuwe verklarende
kennis gaat en in het andere geval om de toepassing
daarvan op individuele gevallen, dat wil zeggen, om de
toepassing daarvan in diagnostisch en ontwerpgericht
onderzoek. Vanwege de grote verschillen tussen
fundamenteel en toegepast onderzoek is het onderwijs
122
in de methodologie van fundamenteel onderzoek niet
geschikt voor diagnostisch onderzoek. De vraag ‘is mijn
onderzoeksvraag een fundamentele of een toegepaste
vraag?’ dient dus vooraf te gaan aan de vraag ‘is mijn
onderzoeksvraag een beschrijvende of verklarende
vraag?’ En de vraag ‘is mijn onderzoeksvraag verklarend
of ontwerpgericht?’ is een verkeerde vraag: als je vraag
ontwerpgericht is weet je dat het ook om een verklarende
vraag gaat.
Dat betekent, ten derde, dat praktijkgericht
fundamenteel onderzoek niet alleen gericht is op
het ontwikkelen van generieke oplossingen (‘design
propositions’), maar ook op het ontwikkelen van
generieke diagnostische instrumenten. Voor het
ontwikkelen van beide hebben we geen nieuwe
methodologie nodig: daarvoor volstaat de methodologie
van het fundamentele onderzoek.
En, tot slot, is het volgens ons niet zo dat het
methodologieonderwijs de studenten wel voorbereid
op beschrijvend en verklarend (bijvoorbeeld
diagnostisch) onderzoek en niet op ontwerpgericht
onderzoek. Het probleem ligt volgens ons in het feit
dat studenten onderwezen worden in de methodologie
van fundamenteel onderzoek, terwijl die niet goed past
op de methodologie van het toegepast onderzoek. Zo
is diagnostisch en ontwerpgericht onderzoek in het
kader van de interventiecyclus geen gevalsstudie (zie
ook Gerring 2006), heeft geen generaliseringsprobleem
(externe validiteit) en wel interne validiteitsproblemen,
maar die zijn van andere aard (zie eerdere artikelen).
Het combineren van kennis- en praktijkstroom in het
tweestromen model
In het tweestromen model van VA&A wordt een generieke
kennisstroom gecombineerd met een specifieke
praktijkstroom. De kennisstroom is de onderzoeksstroom.
Daarin wordt enerzijds bestaande kennis gemobiliseerd
voor het analyseren en oplossen van problemen
in de praktijstroom. En daarin wordt anderzijds
nieuwe, generieke kennis geproduceerd (generieke
oplossingen) voor de praktijk. De praktijkstroom is
de handelingsstroom. Daarin wordt niet onderzocht
(mobiliseren bestaande kennis en ontwikkelen nieuwe
kennis), maar gehandeld. Daar worden problemen
opgelost, waarvan geleerd wordt. De combinatie ziet er
als volgt uit:
De praktijkstroom volgt de logica van de
handelingscyclus (of interventiecyclus of regulatieve
cyclus): diagnose probleem, ontwerp oplossing,
implementatie en evaluatie van bereikte resultaten. De
onderzoeker combineert dus niet alleen twee stromen
(mobilseren en ontwikkelen van kennis in de ene en
oplossen problemen in de andere stroom) maar ook twee
rollen:
In de kennisstroom opereert de persoon als
onderzoeker die op zoek is naar nieuwe kennis.
In de praktijkstroom opereert vaak dezelfde
persoon als veranderaar die een probleem van een
probleemeigenaar helpt oplossen (VA&A: 87).
Dit type onderzoek zou alleen door masterstudenten
uitgevoerd kunnen worden, “mits het probleem niet te
complex is en de onderzoeker goed wordt begeleid vanuit
de opleiding” (88). Volgens ons doen bachelor studenten
dit onderzoek al. Zij mobiliseren bestaande kennis (in
hun theoretische verantwoording) en gebruiken die voor
het analyseren en oplossen van het specifieke probleem
van de opdrachtgever. Mobiliseren van bestaande kennis
is, met andere woorden, standaard onderdeel van het
toegepaste onderzoek van studenten. Zij produceren
echter geen nieuwe kennis of nieuwe generieke
oplossingen. In plaats daarvan passen ze bestaande
kennis toe of specificeren ze generieke oplossingen voor
een specifiek probleem.
123
Praktijkstroom
Casus
In onze opvatting heb je dus voor toegepast onderzoek
geen kennisstroom nodig: mobiliseren van bestaande
kennis is een standaardonderdeel van toegepast
onderzoek. Dat ligt anders wanneer je start met een
kennisleemte van de wetenschap en je op zoek bent naar
nieuwe generieke kennis en oplossingen. Dan kan de
onderzoeker volgens VA&A met een matchingsprobleem
geconfronteerd worden.
Matchingsproblemen in het tweestromen model
De onderzoeker/veranderaar kan een matchingsprobleem
tegenkomen. Daarvan is geen sprake als die persoon
start met het praktijkprobleem, voor het oplossen
daarvan bestaande kennis mobiliseert en toepast bij
het ontwerpen van oplossingen (maar dan produceer
je geen nieuwe kennis). Daarvan is wel sprake wanneer
diezelfde persoon start met een kennisleemte en er
vervolgens achter komt dat het praktijkprobleem van
de probleemeigenaar niet past op het probleem waar
de onderzoeker nieuwe oplossingen voor wil ontwerpen
(88-89: in de diagnose blijkt dat het bedrijf een ander
probleem heeft dat om een andere oplossing vraagt dan
de onderzoeker in de kennisstroom wil onderzoeken). Dan
heb je inderdaad een matching probleem. In het eerste
geval zoekt de probleemhebber jou om hem te helpen
bij het oplossen van zijn probleem. In het tweede geval
heb jij een kennisprobleem en moet dan op zoek naar
probleemhebbers die dat kennisprobleem samen met jou
willen oplossen, die samen met jou naar een generieke
oplossing willen zoeken. In het eerste geval selecteert
Kennis mobiliseren Kennis ontwikkelen
LerenProblemen oplossen
Figuur 3. Het tweestromen model in beknopte vorm, Van Aken, Andriessen 2011: 81.
Kennisstroom
124
de case jou, in het tweede geval moet jij goed opletten
bij het selecteren van cases voor het oplossen van jouw
kennisprobleem. Omdat het moeilijk is om generieke
kennis te ontwikkelen op basis van een case, is het
verstandig meerdere cases te selecteren (meestal doe je
dat in je vraagarticulatie). Dit alles leidt tot het volgende,
uitgewerkte model:
Volgens ons kun je studenten (bachelor en master)
vragen bestaande kennis te mobiliseren en toe te passen
op het analyseren en oplossen van specifieke problemen
van opdrachtgevers. Ze voeren dan toegepast
onderzoek in het kader van de interventiecyclus uit.
Volgens ons kun je studenten (en onderzoekers) niet
vragen op basis van één interventie nieuwe generieke
Casus 1
Casus 1
Casus 1
Kennisstroom
Figuur 4. Tweestromen model in uitgebreide vorm, Van Aken, Andriessen 2011: 91.
Praktijkstroom
1 Theorie
Agenda van de problee-meigenaar
4. Diagnose
2 Onderzoeks-agenda
5. Actieplan-ning
3 (Her)ontwer-pen
6. Implemen-tatie
9 Reflectie
7. Evaluatie
10 Kennis-ontwikke-ling
8. Vaststellen van leren
Theoretisch
kader
Praktijk-
probleem
Kennis-
probleem
Specifieke
oplossing
Generieke
(concept)
oplossing
Vastgelegde
ervaringen
Successen,
bespre-
kingen &
verbeterin-
gen
Gemeten
effecten van
acties
Ontwerp-
kennis
Bevindingen
Mat
ch?
125
kennis te ontwikkelen. Daarvoor heb je (1) meerdere
interventies nodig en (2) voer je een ander type
onderzoek uit met een andere bewijsvoering (interne en
externe validiteit van je onderzoek). Lectoraten kunnen
wel de interventies van studenten gebruiken om nieuwe
generieke kennis te ontwikkelen. In de kennisstroom
worden generieke diagnostische instrumenten en
oplossingen (design proposities) ontwikkeld die in
verschillende interventies uitgeprobeerd worden. De
resultaten daarvan worden in de kennisstroom weer met
elkaar vergeleken en omgewerkt tot generieke kennis
en oplossingen. Daarvoor hebben we het driestromen
model ontworpen.
3. Het driestromen modelHet driestromen model
In Christis, Smit (2018) hebben we laten zien hoe je
toegepast onderzoek in de praktijkstroom (uitgevoerd
door studenten) kunt combineren met praktijkgericht
fundamenteel onderzoek in de kennisstroom (uitgevoerd
door docentonderzoekers), bijvoorbeeld door de
interventies van de praktijkstroom te gebruiken als
cases in een case vergelijkend onderzoek in de
kennisstroom. Bij dat case vergelijkend onderzoek
wordt gebruik gemaakt van bestaande inzichten uit de
wetenschappelijke stroom.
Praktijkstroom
In de praktijkstroom voeren studenten toegepast
onderzoek uit in het kader van de interventiecyclus.
Omdat het om empirisch onderzoek gaat moet
het voldoen aan de eisen van meetvaliditeit en
betrouwbaarheid. Omdat het om toegepast onderzoek
gaat, worden niet de designs van fundamenteel, maar
die van toegepast onderzoek gebruikt. Externe validiteit
is niet van toepassing op de designs van toegepast
onderzoek en interne validiteit neemt een andere vorm
aan (‘heb ik geen oorzaken over het hoofd gezien?’).
Kennisproducten
Onderwijsproducten
Praktijkproducten
Wetenschappelijke stroom: bestaande kennis
wat werkt waarom?
Kennisstroom: productie nieuwe kennis
wat werkt waarom in welke context?
Praktijkstroom: interventies
wat werkt waarom in dit geval?
Figuur 5. Praktijk-, kennis- en wetenschappelijke stroom.
126
Voor het begeleiden van studenten gebruiken we de A3
methode (zie A3 artikel). Deze methode ontleent haar
naam aan het format waarop je over de resultaten van je
onderzoek rapporteert: op A3 format. De methode vertelt
je hoe je het onderzoek uitvoert:
• Je doet het in stappen met een logische volgorde
(diagnose, ontwerp, implementatie, evaluatie). Zo
voorkom je de valkuil van ‘jumping to solutions’:
oplossingen ontwerpen zonder je eerst te verdiepen
in het probleem en de oorzaken ervan.
• Je baseert je op feiten. Op die manier voorkom je de
valkuil van aannames: denken te weten
- wat het probleem is zonder het te onderzoeken
- wat de oorzaken zijn zonder het te onderzoeken
- wat de oplossingen zijn zonder het te
onderzoeken
• Je voert het onderzoek samen met de betrokkenen
uit. Door hen te betrekken in zowel de analyse van het
probleem als het ontwerpen van oplossingen vergroot
je het draagvlak voor het implementeren van de
gevonden oplossingen.
• Je rapporteert op A3 format. Daardoor word je
gedwongen beknopt te rapporteren en gebruik te
maken van visuele middelen (taartdiagrammen,
frequentieverdelingen, en dergelijke).
Studenten bespreken hun A3 (met daarop de voortgang
van hun onderzoek) regelmatig met hun externe
begeleider/opdrachtgever, met de betrokkenen, met
hun medestudenten en met hun docentbegeleiders. De
uiteindelijke A3 is dus het verslag van een dialoog die
de student met al deze partijen heeft gevoerd. Op deze
manier kan worden toegezien op zowel de methodische
grondigheid als de praktische relevantie van hun
onderzoek.
Wanneer het onderzoek van studenten deel uitmaakt
van het onderzoek van het lectoraat ‘experimenteren’
studenten en hun opdrachtgevers met door het lectoraat
in de kennisstroom ontwikkelde generieke diagnostische
instrumenten en oplossingen (design proposities).
Kennisstroom
De interventies van de studenten worden in de
kennisstroom gebruikt, bijvoorbeeld als cases in een
case vergelijkende studie, voor het ontwikkelen van
nieuwe kennis die, in de vorm van kennisproducten
(artikelen) terugstroomt naar de wetenschappelijke
stroom, in de vorm van praktijkproducten (instrumenten)
terugstroomt naar de praktijkstroom en in de vorm van
onderwijsproducten (lesmodules) terugstroomt naar
het onderwijs. Dit onderzoek vindt plaats in het kader
van de empirische cyclus met de daarvoor gebruikelijke
kwaliteitscriteria: de methoden van dataconstructie
moeten voldoen aan de eisen van meetvaliditeit en
betrouwbaarheid. En de toegepaste designs moeten
voldoen aan de eisen van interne validiteit en externe
validiteit. Wat studenten in de praktijkstroom onder
begeleiding van docenten doen zou je actieonderzoek
kunnen noemen: het is participatief (samen) onderzoek
in het kader van de interventiecyclus. Onderzoek in de
kennisstroom maakt daar gebruik van, maar is zelf geen
toegepast onderzoek, laat staan actieonderzoek.
Wetenschappelijke stroom
In de kennisstroom wordt bovendien gebruik gemaakt
van bestaande inzichten uit de wetenschappelijke stroom
die in de kennisstroom verder ontwikkeld en/of in voor
de praktijk bruikbare vorm gegoten worden. Vaak, maar
niet altijd, zal het gaan om het verder ontwikkelen van
wetenschappelijke kennis over wat werkt met aanvullende
kennis over wat werkt in welke contexten zodat de
praktijk beter kan uitzoeken wat voor hen werkt.
Ons driestromen model is mede geïnspireerd door
het tweestromen model van Van Aken en Andriessen
(2011), maar wijkt daar in belangrijke opzichten van af.
Het twee-stromen model is bedoeld voor onderzoekers
127
(docenten en promovendi) die onderzoek in de praktijk-
en kennisstroom willen combineren. In het drie-stromen
model kan dat ook, maar het is ontwikkeld om toegepast
onderzoek van studenten in de praktijkstroom te
combineren met fundamenteel onderzoek van docenten
in de kennisstroom. In de volgende paragraaf bespreken
en analyseren we overeenkomsten en verschillen.
4. Overeenkomsten en verschillenInleiding
In het tweestromen model heeft de kennisstroom twee
functies: het mobiliseren van bestaande kennis voor de
praktijkstroom en het ontwikkelen van nieuwe kennis
(generieke oplossingen) voor de praktijkstroom. In de
praktijkstroom wordt deze kennis gebruikt in de diagnose
van het probleem en wordt de generieke oplossing
vertaalt in een specifieke oplossing. En aan het einde van
de rit kijk je of de generieke oplossing gewerkt heeft in dit
geval. In het drie-stromen model gaat dat anders.
Verschillen: de praktijkstroom in het driestromen model
Het grote verschil met het tweestromen model is, dat
wij mobiliseren van bestaande kennis en genereren
van nieuwe kennis uit elkaar halen. Mobiliseren van
bestaande kennis over problemen en oplossingen
behoort normaal bestanddeel te zijn van toegepast
onderzoek in het kader van de interventiecyclus. In dat
soort onderzoek pas je de designs van diagnostisch,
ontwerp-, implementatie- en evaluatieonderzoek toe. Hier
heb je nooit een matching probleem (want je begint niet
met een kennisprobleem van de wetenschap) en hoef je
ook geen aandacht te besteden aan het selecteren van
cases (die selecteren jou). Dat soort onderzoek kunnen
ook bachelor studenten uitvoeren. Je komt dan een
ander matching probleem tegen: dat van het matchen
van studenten met een bepaald kennisniveau (1e, 2e,
3e en 4e studiejaar) met problemen van een bepaald
complexiteitsniveau. Dit soort toegepast onderzoek is
de normale vorm van al het onderzoek van studenten (in
projecten, minoren, IWP’s, stages en afstudeerscripties).
In hun theoretische verantwoording geven ze aan welke
theorie of theorieën ze waarom geselecteerd hebben die
ze vervolgens gebruiken bij het analyseren en oplossen
van praktijkproblemen. Omdat het HBO opleidt tot
professionals is de hele opleiding op dit type onderzoek
gericht. Sinds het HBO ook praktijkgericht onderzoek
is gaan uitvoeren is er inderdaad sprake van ‘academic
drift’ (Andriessen). Die bestaat er volgens ons uit dat
hun onderzoek beoordeeld wordt met de criteria van
fundamenteel onderzoek. Dat leidt er bijvoorbeeld
toe dat studenten hun onderzoek presenteren als een
gevalsstudie (wat het niet is), moeten aangeven of hun
onderzoek empirisch-analytisch of hermeneutisch van
aard is (wat niet past op toegepast onderzoek), in hun
evaluatie van bereikte resultaten ‘randomized control
trials’ moeten uitvoeren (wat niet nodig is en meestal
ook niet kan) of gebruik mogen maken van de ‘grounded
theory’ methode (‘vergeet alles wat je geleerd hebt,
want dat zijn allemaal vooroordelen’). Geen wonder dat
studenten, onder deze voorwaarden, moeite hebben met
het maken van een onderzoeksplan en het uitvoeren van
hun onderzoek.
Verschillen: de kennisstroom in het driestromen model
Omdat het mobiliseren van kennis uit de kennisstroom is
gehaald kan de kennisstroom zich concentreren op het
genereren van nieuwe wetenschappelijke kennis. Dan
heb je ook geen matching probleem meer. In toegepast
onderzoek selecteert het probleemgeval jou: ‘ik heb een
probleem en zou jij ons willen helpen dat te analyseren
en op te lossen?’ Bij fundamenteel onderzoek selecteert
de onderzoeker probleemgevallen (cases) die passen bij
de onderzoeksvraag, dat wil zeggen, bij de problemen
waarvoor je generieke oplossingen wil ontwerpen. Dat
kun je een matching probleem noemen, maar in de
methodologie literatuur heet dat het probleem van case
128
selectie: als je aan het eind van je onderzoek generieke
kennis wil opleveren (externe validiteit) dan moet je aan
het begin van je onderzoek aandacht besteden aan de
selectie van je cases (zie hierover Gerring 2007).
Verschillen: de combinatie van de drie stromen in het
driestromen model
Het twee-stromen model vormde de inspiratiebron
voor ons drie-stromen model. Omdat we de praktijk- en
kennisstroom anders invullen, verschilt ook de wijze
waarop we de drie stromen combineren. De verschillen
zijn, samengevat, de volgende. Ten eerste halen we het
mobiliseren van kennis uit de kennisstroom en integreren
dat in de praktijkstroom. Het daar uitgevoerde onderzoek
volgt de methodologie van toegepast onderzoek in het
kader van de interventiecyclus. Interventies hebben altijd
een ontwerpkundige kant (wat is een slimme oplossing?)
en een veranderkundige kant (hoe creëer je draagvlak
voor analyses en oplossingen?). Zonder het een ben
je blind en zonder het andere ben je machteloos. Door
betrokkenen te laten participeren in je onderzoek vergroot
je het draagvlak. Je onderzoek is dan participatief van
aard en wordt daarom ook wel actieonderzoek genoemd.
Dit onderzoek kun je, mits goed begeleid, door studenten
laten uitvoeren. Je kunt dat als docentonderzoeker ook
zelf doen als je daarvoor de tijd hebt, bijvoorbeeld in
het kader van je promotieonderzoek. Meestal gebruik
je dan meerdere interventies om generieke kennis te
ontwikkelen.
Ten tweede richt het onderzoek in de kennisstroom
zich alleen op het genereren van nieuwe kennis die kan
uitmonden in generieke instrumenten die professionals
kunnen toepassen in hun diagnostisch en ontwerpgericht
onderzoek. Dit onderzoek volgt de methodologie van
fundamenteel onderzoek in het kader van de empirische
cyclus. Daarvoor is geen nieuwe methodologie van
ontwerpgericht onderzoek nodig. De interventies uit
de praktijkstroom worden nu de cases in bijvoorbeeld
een case vergelijkend onderzoek in de kennisstroom.
Daarbij combineren we een parallelle en een sequentiële
werkwijzen: een half jaar interventies in de praktijkstroom,
een half jaar vergelijkende analyse in de kennisstroom
met nieuwe input voor weer een half jaar interventies
in de praktijkstroom gevolgd door een analyse in de
kennisstroom die dan resulteert in kennis-. praktijk- en
onderwijsproducten.
En ten derde voegen we de wetenschappelijke stroom
als derde stroom toe. We willen daarmee benadrukken
dat je als praktijkgericht onderzoeker altijd met een
been in de wetenschap staat en met een been in de
praktijk. Dat betekent dat je niet alleen de wetenschap
gebruikt en verder ontwikkelt om oplossingen voor
praktijkproblemen te ontwerpen. Vaak is het omgekeerde
het geval. Immers, het is de praktijk die met problemen
wordt geconfronteerd en die daar al of niet slimme
oplossingen voor verzint. De praktijk staat immers onder
handelingsdwang en kan niet altijd op de wetenschap
wachten. Dat betekent omgekeerd dat het de taak van
de kundes is om op zoek te gaan naar die oplossingen,
die op hun merites te beoordelen, ze te veralgemeniseren
door ze te integreren in algemene theorieën en ze
vervolgens te respecificeren zodat de oplossingen ook
in andere contexten gebruikt kunnen worden (zie Christis
2011). Je bent dus, als onderzoeker in de kennisstroom,
niet alleen op zoek naar ‘probleem gevallen’ maar ook
naar ‘best practices.’ Daarvoor moeten praktijkgerichte
onderzoekers hun bureau verlaten en het HBO is hiervoor
inderdaad een ideale omgeving. Dat brengt ons, tot slot,
tot een breder gebruik van het drie-stromen model.
5. Het driestromen model: een bredere – institutionele – toepassing
De praktijk als ontwerper van oplossingen
In deze bredere toepassing van het driestromen model
staat de praktijkstroom niet voor studenten die toegepast
onderzoek uitvoeren bij opdrachtgevers. In plaats
129
daarvan staat de praktijkstroom voor de bedrijven en
organisaties die met problemen worden geconfronteerd
en daar zelf oplossingen voor verzinnen. Uit een overzicht
van belangrijke innovaties (Mol, Birkinshaw 2008 ) blijkt
dat de meeste daarvan niet van de wetenschap maar van
de praktijk komen: de divisiestructuur is door General
Motors uitgevonden, Shared Service Centers geloof ik
door IBM, en de wijkteams van Buurtzorg Nederland
door Jos de Blok (die daarmee, ook volgens hemzelf, de
wijkzuster van de kruisverenigingen herintroduceerde).
Recente voorbeelden zijn scrum en de ‘Lean start up.’
Hetzelfde zie je in het onderwijs: een ware speeltuin
van experimenten van scholen zelf. Vaak zie je dat
aan de naam van de vernieuwingen: de Montessori
school, de Freinet school. Scholen beginnen zelf met
het ontwikkelen van anti-pest programma’s of met
samenwerking met de voorschoolse opvang.
Meestal duurt het lang voordat de wetenschap deze
vernieuwingen oppikt en gaat bestuderen, gedeeltelijk om
kaf en koren van elkaar te scheiden (zie de discussie over
‘21st century skills’). En gedeeltelijk om uit te zoeken in
welke omstandigheden en in welke vorm een vernieuwing
een verbetering is.
Bedrijven en organisaties die deze vernieuwingen willen
overnemen kunnen hier niet op wachten. Om dat gat
op te vullen ontstaat een ondersteuningsstructuur
van personen, organisaties en regionale, nationale
en internationale netwerken die organisaties helpen
bij het invoeren van de vernieuwingen. Je zou dit
regionale, nationale en internationale ‘communities
of practice’ kunnen noemen. Gebaseerd op hun
ondersteuningservaringen gaan ze hier ook over
schrijven, meestal in de vorm van ‘how to …’ publicaties.
Ik noem dit de professionele literatuur. De kwaliteit ervan
loopt uiteen: sommige zijn heel slecht, sommige heel
goed en de meesten zitten daar tussen in. Dit noem ik
de kennisstroom. Daarin wordt aanvankelijk vooral op
basis van ervaringen in de praktijkstroom generieke
kennis geproduceerd voor die praktijkstroom. Zoals
gezegd, duurt het meestal enige tijd voordat er ook een
wisselwerking tussen kennisstroom en wetenschappelijk
stroom ontstaat. Zo is de Lean Start Up een soort bijbel
voor start ups geworden. Daarin staat het concept van
‘minimal viable products’ centraal. Sinds kort wordt dit
ook in de wetenschappelijke bedrijfskundige literatuur
bediscussieerd.
Figuur 6. Institutionele vorm van het driestromen model.
Wetenschappelijke stroom
Praktijkstroom
Kennisstroom
Operations managementOrganisatieontwerp en -verandering
Lean ondersteunings structuur‘community of practice’
Bedrijven en organisaties
Kennisproducten
Praktijkproducten
130
Bij wijze van voorbeeld pas ik het model toe op een
innovatie die ontwikkeld is door Toyota en nu, onder
de naam van Lean door de meest uiteenlopende
organisaties en in de meest uiteenlopende sectoren
wordt toegepast. In de ontwikkeling daarvan zie je goed
de drie verschillende stromen en hun wisselwerking
terugkomen. Het model ziet er als volgt uit en soortgelijke
modellen zouden voor veel onderwerpen gemaakt
kunnen worden, zie Figuur 6.
131
8. Organization Theory and Philosophy: dissolving the realism-constructivism debate
Woord vooraf
Veel mensen vinden dit artikel sterk, maar zijn niet
overtuigd. Ze blijven van mening dat de sociale realiteit
het product is van menselijk handelen en dat ideeën
van mensen (hun ‘subjectieve interpretaties’) daarin een
grote rol spelen. Maar daar gaat dit artikel niet over.
Ik maak een onderscheid tussen constructivisme in
haar sociologische en in haar wetenschapsfilosofische
variant. Bij de sociologische variant moet je denken aan
sociologen als Berger en Luckmann (1966) The Social
Construction of Reality: A Treatise in the Sociology of
Knowledge. Die zeggen inderdaad dat we de instituties
die we tegenkomen en waarin we leven niet moeten
reïficeren. Die hebben we zelf gemaakt en zijn het
product van ons handelen. In dat handelen spelen de
ideeën die we hebben een grote rol. Ze wijzen er ook
op dat we in ons handelen die instituties vaak niet
doorgronden en dat ons handelen onbedoelde en/of
onopgemerkte gevolgen heeft die weer terugwerken op
die instituties. Daarom lijken het dingen te zijn. Het lijkt
een beetje op Marx: mensen maken de geschiedenis,
maar niet onder zelf gemaakte omstandigheden. En
inmiddels hebben we daar ook een formule voor: de
dualiteit van structuur en handelen. Structuren vormen
het medium en de uitkomst van ons handelen en in
ons handelen reproduceren of transformeren we die
structuren. Dit is inmiddels eerstejaars sociologie
geworden en hier zal iedereen het mee eens zijn.
Beide auteurs wijzen er in de inleiding van hun boek
op dat ze zich bewust zijn van het feit dat er ook een
wetenschapsfilosofische discussie bestaat waarin de
constructie van de wereld een belangrijke rol speelt. Daar
houden ze zich bewust buiten. Ze positioneren zichzelf,
niet als filosofen, want daar hebben ze geen verstand
van, maar als kennissociologen in de traditie van Weber
en Schütz. En van het constructivisme in haar filosofische
variant geven ze later aan dat ze daar niets van moeten
hebben. Over die filosofische variant gaat dit artikel. Dat
is een discussie onder filosofen die ook doorsijpelt in de
sociale wetenschappen. Daar leidt het tot uitspraken als
‘organisaties bestaan alleen maar als begrippen in ons
hoofd’ of ‘wat mensen als feiten beschouwen zijn in feite
hun eigen projecties op de wereld’ (een performatieve
tegenspraak). En zelfs Latour is zich ervan bewust dat
(de)constructivisten, willen ze verhinderen dat ze in het
kamp van de feitenontkenners terecht komen, moeten
herdefiniëren wat ze onder (de)constructivisme verstaan
(Latour 2004). Dat lukt ze niet en gaat ze niet lukken,
omdat aan het hele debat conceptuele verwarringen ten
grondslag liggen, die vragen om een Wittgensteiniaanse
analyse. Dat is althans de boodschap van dit artikel.
Abstract
The topic of this paper is the constructivism-realism
debate, construed as an example of the intrusion
of philosophy into science. Against this intrusion
I maintain that philosophical problems are not
only different from scientific and practical ones.
They are also problematic in themselves. That is
why their import into our scientific and practical
132
work only creates confusions that hinder us in
our work. The aim of the paper is to show that the
philosophical problems that create those confusions
need a Wittgensteinian therapeutic treatment. The
method of the paper consists in comparing what
philosophers (or philosophising scientists) say we
do with what we actually do. After giving an example
of what happens when a rightly respected scientist
starts philosophizing, the method is applied, first,
to the relation between language and the world
and, second, to the relation between theories and
the world. In the first application a story about
three umpires is used to distinguish language and
discourse, between questions of meaning (of the
words we use) and questions of truth (of the things
we say). In the second application a comparison
between maps and theories is used to show the
difference between assessing the truth of descriptive
statements and explanatory theories. The examples
of the umpires and maps are introduced by Weick
and in both cases I show that neither constructivist
nor metaphysical realist conclusions follow.
1. IntroductionThe topic of this paper is the constructivism-realism
debate, construed as an example of the intrusion of
philosophy into science. By intrusion I mean such things
as philosophers telling scientific researchers to get their
‘ontology’ and ‘epistemology’ right before starting their
conceptual, theoretical or empirical research. It is similar
to what Barber (1988) calls ‘the conquest of politics’
(by philosophy). Against this intrusion or conquest, I
maintain, first, that philosophical problems should not be
confused with and should be kept apart from scientific and
practical problems. For example, both Quine’s problem
of translation and Goodman’s problem of the identity
of musical works are not problems of field linguists,
musicologists and musicians. Quine and Goodman
know this. They explicitly stress that they are not doing
linguistics or musicology: they are making a philosophical
point (Quine 1969: 34) or solving a philosophical problem
(Goodman 1976: 120). They both recommend the field
linguist and musician to go on as before and not to be
bothered by their philosophical work. That, I think, is as it
should be. The relationship is one of mutual irrelevance.
Against this intrusion I maintain, second, that philosophical
problems are not only different from scientific and practical
ones. They are also problematic in themselves. That is
why their import into our scientific and practical work only
creates confusions that hinder us in our work.
The aim of the paper is to show that the philosophical
problems that create those confusions need a therapeutic
treatment. Philosophical problems arise when we forget
things (when we are philosophising) we all know (when we
are not philosophising). What we then need are reminders
of the things we tend to forget. The primary example of
such a therapeutic conception of philosophy is of course
Wittgenstein. It is a form of scepticism about philosophy.
But the history of philosophy is full of examples of such
a therapeutic conception. According to Fogelin (1994),
the Pyrrhonian sceptics would be an early example
and Wittgenstein a later one. And Nussbaum (1988)
stresses the therapeutic similarities between Aristotle and
Wittgenstein. Moreover, in the course of this paper I will
make the claim that Bhaskar’s transcendental arguments
are best interpreted as Wittgensteinian therapeutic
arguments: they both try to remind us of what we already
(but implicitly) know, for example by making “explicit what
is presupposed by the activities in which we engage”
(Bhaskar 1975/1997: 257).
The method of the paper consists in comparing what
philosophers (or philosophising scientists) say we do
with what we actually do. A short and straightforward
example is the way Wittgenstein handles the realism-
idealism debate by comparing what ordinary (that is,
non-philosophical) parents do with what realist and
133
idealist parents do. Ordinary parents don’t teach their
children that physical objects like books and chairs exist
and neither that they do not exist. They teach them to
fetch books and sit in chairs, the existence of which
is presupposed in their teaching. Explicit questions of
existence come later: fairies and unicorns as against
books and chairs do not exist. They are creations of
our imagination or fantasy (Wittgenstein On Certainty,
par 476). Now enter the idealist and realist parents. Will
they tell their children ‘fetch that book, but don’t think
it really exists’ and ‘fetch that book and notice that it
really exists’? They may think so as philosophers, but
as parents they will probably (and hopefully) behave as
ordinary parents: they will tell their children to fetch that
book period. But then, what is the use of their views
outside philosophy? In the words of Wittgenstein:
‘One man is a convinced realist, another a convinced
idealist and teaches his children accordingly. In
such an important matter as the existence or non-
existence of the external world they don’t want to
teach their children anything wrong.
What will the children be taught? To include in what
they say: ‘There are physical objects’ or the opposite?
(Wittgenstein Zettel, par. 413)
But the idealist will teach his children the word ‘chair’
after all, for of course he wants to teach them to do
this and that, e.g. to fetch a chair. Then where will be
the difference between the idealist-educated children
and the realist ones? Won’t the difference only be one
of battle cry?’ (Wittgenstein Zettel, par. 414)
Whether the result of the paper amounts to much,
depends on how you look at it. If dissolving confusions
is considered as a great accomplishment, much is
achieved. But, therapeutic philosophy still is a form
of philosophy. It helps us in our battle against the
intrusion of philosophy into science. It clears the ground
(Wittgenstein) in order to get the real work started. But
the real work is science not philosophy.
The paper has the following structure. The realism-
constructivism debate is a debate about the relation
between language, discourse and the world: do or
don’t we speak (and think) about language (and mind)
independent things in the world? We need a language
in order to be able to say things about the world. This
means, first, that we have to distinguish between
language and discourse, between the meaning of the
words we use and the truth of the statements we make.
Questions of meaning (what determines the meaning of
the words we use?) antecede questions of truth and refer
to relation between language and the world. Questions
of truth (what determines the truth of the things we say?)
refer to the relation between discourse and the world. The
statements we make can be descriptive or explanatory.
When explanatory, they presuppose a theory. This
means, second, that we have to distinguish between the
way we assess the truth of descriptive statements and
the truth of explanatory theories.
Given this structure, I proceed as follows. To set the
stage I start in the second section with an example of
what happens when a rightly respected scientist starts
philosophizing. Mintzberg will be my example. In the
third section, I move on to the problem of the relation
between language and the world. I start this section
with the famous story of the three umpires that use the
language of baseball to call balls and strikes. The story
is introduced by Weick (1979) and used to elucidate
his notion of sensemaking and enacted environments.
With the help of a pair wise comparison I first show
that, against Weick, the second umpire is the cleverest
one: no constructivist conclusions follow from the story.
Second, I make explicit some of the presuppositions
of the practice of umpires. Third, I compare these
presuppositions with Weick’s notion of sensemaking
and enacted environments and show that those notions
134
don’t make sense. In the fourth section, I turn to the
relation between theory and the world. First, I introduce a
fourth umpire who uses a theory to interpret the puzzling
things she saw. Second, I show that the way we assess
the truth of descriptive statements cannot be applied to
theories. Third, I confront the way Weick (1993) compares
sensemaking with cartography and theories with maps,
with what map makers actually do and show that no
constructivist conclusions follow. At last, I draw some
general conclusions on the different ways we assess the
truth of theories. No theory of truth is needed here. In
the concluding section I point to similarities between a
therapeutic conception of philosophy and Bhaskar’s use
of transcendental arguments. I end by formulating an
answer to those readers who are thinking ‘with all your
talk about intrusion and therapy, in the constructivism-
realism debate you clearly come out as a realist.’
I want to stress that the paper is not an assessment
of the substantive work of Mintzberg and Weick, but
of what happens when they start philosophizing.
As such its method resembles Bennett and Hacker
(2003) on neuroscience. Moreover, my interest is in the
philosophical moves made, not in the players: these are
pretty standard moves, used by many players.
2. Philosophising scientists: a first exampleMintzberg is a scientist who is highly respected for his
work on among other things the nature of organizational
strategy. His strategy approach belongs to the configu-
ration school. When criticised by Donaldson, who works
from a contingency perspective, instead of an answer to
Donaldson’s critique, we get this piece of philosophizing:
‘Donaldson’s criticism is based on the one criterion of
accuracy: if theories are true or not. But all theories
are false; they are just words or pictures on pieces
of paper. Reality is always more complex. (The world
may not be flat, for example, but neither is it round.
It bulges at the equator and has all kinds of bumps,
called mountains.) So usefulness becomes a key
criterion, especially for practicing managers. (The flat
earth theory is particularly useful for building airport
runways in Holland).’ (Mintzberg et al. 2001: 209)
I will take this sentence by sentence (and please keep in
mind that I admire his non-philosophical work). To start
with, and as a minor point, I would say that truth claims
are not the same as claims of accuracy. To name the
date of an event is more accurate than telling which year
the event took place, but both statements can be true
or false. According to Weick (1979: 35), theories always
involve a trade off between generality, accuracy and
simplicity. Hirschman (1970) on exit, voice, and loyalty,
for example, scores high on generality and simplicity and
low on accuracy. But that does not mean it scores low on
truth. At best it means that we assess its truth differently
from theories with different scores.
More important are the next two sentences: “But
all theories are false; they are just words or pictures
on pieces of paper. Reality is always more complex.”
Whether all theories are false depends, first, on what
you think theories are and second, on what you mean by
‘being false.’ According to Mintzberg, theories are just
words and pictures on paper. That is a silly thing to say.
Compare ‘Is theory making a difficult thing to do?’ ‘No,
it is easily done. You just pick some words and pictures
and put them on paper.’ We need a theory when we make
causal, explanatory statements. Because a theory is not
exhausted by the statements in which it is formulated (we
can deduce an indefinite number of new statements from
a theory), many authors conceive of theories as models
(that can be compared with maps).
According to Mintzberg, theories are false because
they are not as complex as reality. That necessarily means
that theories would be true when they are as complex as
reality. So, Mintzberg introduces an absolute distinction
135
between complete and incomplete theories and then
proudly proclaims that theories cannot be complete:
they are all false. But the contrast is a nonsensical one.
Making theories as complex as reality (or the world) is
something we cannot do because it is a nonsense thing, an
unintelligible thing. The complexity of reality is infinite, the
world is an ever yielding horizon (Husserl) and both reality
and the world are infinite information loads (Luhmann).
There is no such thing as a complete representation of
infinity, just as there is no such thing as counting all natural
numbers. To ask for a full description or representation of
reality or the world is either elliptical for things in or aspects
of reality/the world or nonsense. In practice, completeness
is a purpose and context dependent affair, as we will see
when we compare theories with maps. A London subway
map is complete if it contains all relevant topological
information and incomplete if it doesn’t. It makes sense to
complain about a subway map that does not represent all
subway stations, but only a philosopher would ask for a
better subway map because it doesn’t represent London
‘in its full complexity.’
To say both that all theories are false and that the earth
is neither flat nor round but bulges and has bumps is, first,
self contradictory, for it claims to be true. And second,
it evades the discussion which is not about bulges and
bumps but about whether the earth is flat with bumps
or round with bumps. Nowadays that matter is settled:
the world is not flat but round (or roughly spherical).
Astronauts can see so. So, saying that the earth is flat is
first of all false. Second, it is not stating a theory let alone
a useful theory. The engineers and workmen that designed
and build our airport runways would be surprised to hear
that they use the flat earth theory. Of course they don’t.
Their job is engineering, not philosophising.
Such are the confusions, produced by a
philosophizing scientist. From a nonsensical distinction
between complete and incomplete theories, Mintzberg
draws the nonsensical conclusion that we cannot assess
the truth of theories and furthermore confuses the way we
use language to make descriptive statements and the way
we use language to formulate theories. So let us first take
a closer look at the relation between language and the
world before moving, in the fourth section, to the relation
between theory and the world.
3. Language and the world: the difference between language and discourse
The story of the three umpires
At the start of his book The Psychology of Organizing
(1979), Weick presents this story:
‘The story goes that three umpires disagreed about
the task of calling balls and strikes. The first one said,
‘I calls them as they is.’ The second one said, ‘I calls
them as I sees them.’ The third and cleverest umpire
said, ‘They ain’t nothing till I calls them’.’ (Simons,
cited in Weick 1979:1)
According to Weick, the third umpire correctly shows
us the important role that people play in creating the
environments that impose on them. What Weick means,
when he speaks about sensemaking and enacted
environments, is not the trivial truth that we act on our
environment and by doing so co-create it. According to
him, the environment is not ‘out there’, but ‘in here’, that
is, in our heads. That is pretty strong stuff that needs a
careful investigation.
In a pair wise comparison I first show that the second
umpire is the cleverest one, that is, expresses and
understands what umpires in fact do. I will contrast (1) the
realism of the first two umpires with the constructivism of
the third, (2) the activity of the second and third with the
passivity of the first and (3) the infallibility of the first and
third umpire with the fallibility of the second. The second
umpire is the only one that comes out correct in all three
comparisons.
136
Are strikes and balls independent ‘things out there’?
The most obvious similarity is that between the first two
umpires. They both think that balls and strikes are things
‘out there’ in the world, things that are independent
of their calling them balls and strikes. In that sense
you could call them realists. Compared to them, the
third umpire could be called a constructivist: balls and
strikes do not exist independent of his calling them balls
and strikes, they come into being or ‘are discursively
constituted’ by his calling them balls and strikes.
The third umpire attributes Godlike qualities to
himself. He thinks he is able to do what only God could
do: creating things in the world by uttering the words “let
there be …” But, in thinking he is the one who creates
balls and strikes, he conflates two different rules. The
first rule is about balls and strikes and determines what
counts as a ball and a strike. With this rule we define what
balls and strikes are, that is, what the concepts ‘ball’ and
‘strike’ mean. This rule is used by everyone involved in
the game: players, umpires and spectators. Without an
understanding of the rule, they could not see balls and
strikes.
The second rule is about the umpire and states that,
in the game, only the umpire has the right to decide
which are balls and strikes. In the game, the umpire has
formal and final authority. So, it is a rule, not about balls
and strikes, but about the special status of the umpire
in the game. You could say that players, spectators
and umpires agree in the language they use, but not
necessarily in the truth of the statements they make:
“What people say can be true or false. But they agree
in the language they use” (Wittgenstein Philosophical
Investigations par. 241). The agreement is one in
definitions: we all agree on the definition of balls and
strikes. This agreement does not ensure agreement in
the things we say, for example, calling a throw a ball or
a strike. That’s why we need umpires. With so much at
stake, they enable the game to go on, to prevent it from
turning into one long fight on whether a particular throw
was a ball or strike.
So, first, umpires don’t create, produce or construct
balls and strikes. These are created, that is, thrown
by pitchers. Pitchers, like all ordinary people, don’t
confuse concept (the rule) and object (balls and strikes).
Formulated in the language of Bhaskar, playing baseball
presupposes as its condition of possibility both the
transitive-intransitive distinction between word and thing
and referential detachment: when we discuss whether a
throw is a ball or strike, we refer to the same throw.
What then, second, about the rules themselves, they
surely are human creations, productions, constructions
or inventions? Of course they are. Who else could have
created them: God or Nature? But again, those rules are
not created by umpires. Umpires apply those rules. They
neither create them nor change them in every application,
for these rules are pretty stable. Then, who does? Well,
because baseball grew into a highly formalized game, the
rules of the game are nowadays determined by those who
got the authority to do so. But in the informal beginning
there was someone who said “let there be balls and
strikes.” Probably it went like this. Two boys are playing.
They take turns in throwing and hitting balls. Then they
get into a fight over changing places, the hitter saying:
“that was not a real throw; it was too wide of the mark.”
To end the fight, one of them then says “let there be balls
and strikes,” that is, “let us distinguish within throws
between balls and strikes and let us change places after
not hitting three strikes.”
What they did was this. From an indefinite number
of similarities and differences between throws they
selected the relevant ones and used them to define balls
and strikes. Assessing similarities and differences is an
empirical matter. Selecting from them the relevant ones
is not. That is, as Goodman (1972) says, an eminently
practical affair. These relevant or important similarities
and differences are then used as the defining criteria
137
of balls and strikes. In this way we create a difference
that makes a difference (Bateson). The difference
is already there, but only after the introduction of a
concept or distinction does it make a difference. This
normative status is something added to the similarities
and differences. You can look at those similarities and
differences as long as you like, but they will not tell
you which of them are relevant: throws don’t come
labeled as balls and strikes. For that, you have to look at
yourselves and what you are doing. In this case you are
playing a game in which the need arises to introduce a
new distinction. In that sense Wittgenstein can say that
concepts express and direct our interests. Concepts
are not forced on us by reality, which makes language
autonomous and arbitrary in a semantic (but not in a
sociological) sense. This, of course, is the standard
critique of referential theories of meaning.
The passivity of the first versus the activity of second
and third umpire
Both the first and second umpire treat balls and strikes
as things ‘out there’ in the world. That is not something
they believe, it is not an opinion or theory that could be
false. And it certainly is not an ontological theory. It is
just implied in what they do. Making this explicit requires
special circumstances. Imagine asking umpires whether
they really believe that strikes and balls are things out
there. They would be baffled by your question. But what,
then, is the difference between the first and second
umpire?
We discover the difference by contrasting the
passivity of the first with the activity of the second
and third umpires. For the first umpire, the presence
of balls or strikes acts as the cause of his calling them
balls or strikes. It looks like a kind of automatic and
unproblematic stimulus-response or cause-effect
relationship. He functions like an empiricist mirror of the
world. Not so for the second and third umpire. For them,
calling balls and strikes requires an active contribution.
According to the second you need to see them, which
requires looking at the throws. And according to the
third you create them. The third umpire doesn’t have to
look, for there are no balls and strikes to see or look for.
According to him there are balls and strikes only after him
calling balls and strikes.
The fallibility of the second versus the infallibility of the
first and third umpire
A third similarity, that often goes unnoticed, bears upon
the first and third umpire. They both, but for different
reasons, think that they cannot make mistakes. They
both are absolutely certain that there are balls and strikes
when they call balls and strikes. The first one thinks so,
because he calls balls and strikes when there are balls
and strikes. And the third one thinks so because when
he calls balls and strikes there are balls and strikes. For
the first umpire, the presence of balls or strikes acts as
the cause of his calling them balls or strikes. For the third
umpire his calling them balls or strikes, acts as the cause
of there being balls or strikes.
The naivety of the first and the megalomania of the
third umpire contrasts with the epistemological modesty,
with the fallibility of the second umpire. According to him,
his calling balls or strikes is conditional on him seeing
balls or strikes. He admits that he can err in two ways.
He can call balls or strikes when in fact there are no balls
or strikes and he can not call balls or strikes when in
fact there are. The second umpire correctly understands
that calling balls and strikes is a normative, ruled guided
practice that has to be learned. Not the umpire, but the
rules of the game determine what counts as a ball or
strike. To be able to apply these rules, umpires have to
understand the meaning of the words ‘ball’ and ‘strike,’
they have to understand what counts as balls or strikes.
The correct application of these rules is a practical skill
that has to be mastered. Like all skills, this ability implies
138
training and stages of skill development (Dreyfuss &
Dreyfuss, 1986; Benner, 1984): umpires start as novices,
pass through the stages of advanced beginners,
competent umpires and proficient umpires, and will end
as experts who seldom make mistakes.
The presuppositions of the practice of calling balls
and strikes
We now turn to some of the presuppositions of the
practice of the second umpire. The practice of calling
balls and strikes presupposes (1) agreement in definitions
(of the words we use), (2) agreement in judgments (of the
statements we make) and (3) a distinction between seeing
and interpreting.
Agreement in definitions: the relation between
language and the world
When we define a concept, we treat different particulars
or things in spite of their differences as the same in some
relevant aspect. In this way we classify throws as balls
and strikes, sexual behaviors as normal and abnormal,
(like incest or rape), organizations as public and private,
heavenly bodies as planets or stars and so on. In doing
so, we don’t create or change similarities and differences:
Pluto is still the same dirty mass of icy rocks although it
does not count as a planet anymore (Jewitt, Luu 2007;
Gingerich 2007) and sexual behaviors don’t change
by calling them rape (see Hacking 1999). We value the
behaviors differently and feel the need to express that
in our concepts. When scientist are discussing the
introduction of new concepts (like the distinction between
autopoietic and allopoietic systems) or the change of
existing ones (should we call the liquid with the chemical
structure D2O another kind of water, because it looks like
water or another kind of liquid, because it has another
chemical structure), they are not discussing similarities
and differences. Those can be settled empirically:
biologists did not disagree with Maturana and Varela
on the way cells work, but whether that way should be
raised to the defining criterion of life or living systems.
The same with discussing the status of Pluto (is it another
kind of Planet or a different kind of thing?) or the liquid
(is it another kind of water or a different kind of thing?).
To decide, scientists looked, not at similarities and
differences but at the respective consequences for their
classificatory schemes. For that reason Pluto isn’t a
Planet anymore and the liquid is another kind of water: it
is called ‘heavy water’ (Hacker 1996: 250-253).
This, of course, is the standard critique of referential
theories of meaning that you can find in authors as
diverse as Wittgenstein (1954), Goodman (1972), Ellis
(1984), Hunter (1990), Hallett (1991) and Elgin (1997), to
name only a few. But no constructivist conclusions follow.
What we self evidently construct are the concepts we
use, not the things referred to:
‘Wittgenstein does not deny that we, for the most
part, talk about language-independent things; he
denies only that the latter constitute the meanings
of our words, and hence that there are semantic
connections between language and world. Empirical
propositions refer to language-independent items and
are verified or falsified by the way things are.’ (Glock
1996: 275)
When discussing the relations between word,
meaning and referent, we could use Archer’s forms of
conflation as a tool to classify the different positions.
Upward conflation would be the position of the
semantic or metaphysical realist: referents determine
meaning or in Kantian language: concepts conform
to objects. According to the metaphysical realist,
language represents the essential structure of the
world. Downward conflation would be the position of
the constructivist: concepts create their referents or
objects (objects conform to concepts). From a correct
139
critique of the referential theory of meaning, they draw
a wrong, constructivist or idealist conclusion. Central
conflation would be the position of those who say
that in our discourse about the world, our contribution
and the contribution of the world interpenetrate in an
indistinguishable way:
‘Elements of what we call ‘language’ or ‘mind’
penetrate so deeply into what we call ‘reality’ that
the very project of representing ourselves as being
‘mappers’ of something ‘language independent’ is
fatally compromised from the start.’ (Putnam 1990:
228)
Analytical dualism would be the Wittgensteinian position.
We readily distinguish between the contribution of
the world (the similarities and differences) and our
contribution (attributing some of them as relevant).
Analytical dualism rests on some form of the conceptual-
empirical distinction whether in the form of Carnap’s
analytic-synthetic distinction, Wittgenstein’s distinction
between grammatical and empirical statements or
Luhmann’s distinction between self reference and
external reference. So, it distinguishes, against Quine,
between conceptual truths (as in ‘I am a bachelor
because I am an unmarried man’) and empirical truths
(as in ‘I am a bachelor because I am afraid to commit
myself’). The distinction between married and unmarried
men makes sense, for I could be both and whether I am
is settled in an empirical way. The distinction between
married and unmarried bachelors makes no sense
and that matter is settled by a conceptual analysis.
Philosophers often introduce nonsensical distinctions
1 ‘In fact, one might say that it is characteristic of Wittgenstein to try to show us that when philosophers say that we can’t do something, say that something is impossible, typically the thing they tell us it is impossible to do is a nonsense thing, unintelligible thing.’ (Putnam 1995: 40).
like married and unmarried bachelors and then
proudly proclaim that there are no married bachelors:
all bachelors are unmarried. As we saw and will see,
absolute distinctions such as complete/incomplete
theories, objective/subjective facts and truths, direct/
indirect access to the world, are like the married/
unmarried bachelor distinction. They are nonsensical
distinctions and from nonsense you can only derive
further nonsense.1
The kind of realism involved has got many names like
transcendental realism (referring to the way it is argued
for) or common sense realism (referring to the common
sense of the second umpire). I prefer ‘promiscuous
realism’ as in Dupré:
‘The realism derives from the fact that there are
many sameness relations that serve to distinguish
classes of [things] in ways that are relevant to various
concerns; the promiscuity derives from the fact that
none of these relations is privileged.’ (Dupré 1981:82)
As a consequence, truth is not language relative.
Language does not describe anything and so can not be
true or false. We use a language to say things about the
world. So, questions of meaning (of the words we use)
antecede questions of truth (of the things we say). What
we can say depends on the language we use, as every
bilingual person knows (Kuhn). But the truth of what we
say depends on how things are in the world. Even Kuhn
does not relativize truth to a language:
140
‘The point is not that laws true in one world may
be false in another but that they may be ineffable,
unavailable for conceptual or observational scrutiny. It
is effability, not truth that my view relativizes to worlds
and practices.’ (Kuhn 1993: 336; my emphasis)
Agreement in judgments
We distinguish between umpires who have difficulties
in applying rules and rules that are difficult to apply.
According to Wittgenstein, application of the rules
presupposes not only agreement in definitions but
also in judgments, that is, application of definitions.
A certain constancy of results is required: if we would
come to blows with every judgment, we would have a
reason to change the rule. The rule would not be false,
but unpractical because difficult to apply. It would lose
its point. That is why such an agreement in judgments
belongs to the framework conditions of the game. And
the agreement itself requires a certain amount of training.
So, calling a throw a strike is not true because everyone
or a majority of the community calls it a strike (the
reference is, of course, to Krippkenstein’s’ community
view). Measuring devices in tennis show that sometimes
the majority is wrong. It is the other way around. All those
involved in the game speak the language of the baseball
community. But, without a certain level of agreement
in judgments of balls and strikes, the game would be
difficult to play. And, indeed, it is sometimes difficult to
judge whether a throw is a strike or not.
Constancy of umpires’ judgments can be threatened
for different reasons. First, seeing something requires the
right position. That’s why we have linesmen in soccer and
tennis. Second, even when you are in the right position,
seeing is not measuring. You can see that someone
is tall, but not that he is six foot three. For that kind of
precision we need a measurement device (like nowadays
in tennis). And third, sometimes the umpire is confronted
with ambiguous (March) or equivocal (Weick) information.
In that case an act of interpretation or sensemaking is
required.
The typical case in soccer is the ‘Schwalbe’: when a
player falls to the ground, is that because he was tackled
or because he tried to set the scene for an undeserved
penalty kick? Is it obstruction or obfuscation? Sometimes
the thing is clear (the umpire sees a ‘Schwalbe’) and
sometimes it is not (the umpire sees the player fall to the
ground but does not know whether he has to see it as a
‘Schwalbe’ or not).
Seeing and interpreting
The distinction between seeing (a player fall to the
ground) and interpreting (it as a ‘Schwalbe’) is an
important one. If we accept it, March and Weick enriched
organizational theory by adding something that applies to
the special case of ambiguous or equivocal information:
in those cases a specialized act of interpreting or
sensemaking is required. In this way, three conditions of
decision-making can be distinguished. Decision-making
can be difficult because of incomplete information
(bounded rationality), unreliable information (opportunistic
behaviour) and because of ambiguous information.
Special about ambiguous information is that no further
investigation of the facts is possible (the umpire has to
decide on the spot) or that no further investigation of the
facts will help you in solving your problem: is it a duck
or a rabbit (Wittgenstein), is he a fascist, in which case
you shoot him or a human being, in which case you don’t
(Orwell in Spain during the civil war) and is joining the
resistance a moral obligation or a betrayal of your mother
who needs your help (Sartre)?
If, however, we say, that every seeing (hearing, reading
and so on) necessarily and always involves interpretation
or sensemaking, we need a radical transformation of the
language or conceptual scheme in which we formulate
our empirical statements and theories. In normal usage,
we distinguish in most cases between seeing and
141
interpreting.2 If you expect your mistress and instead see
your wife entering the restaurant, you ask yourself ‘what’s
up?’, which is Weick’s favorite expression for the start of
sensemaking. Now you are definitely in an emergency
crisis that calls for an act of sensemaking. However by
calling seeing your wife an interpretation, you introduce
a new kind of ‘what’s up question’ and a new concept of
interpretation as a super type with as subtypes: seeing
and that which we formerly (or in ordinary usage) called
interpreting. So you now need a new word for what we
formerly called interpretation. Does that make sense?
Of course, you could call seeing your wife an act of
sensemaking and making sense of seeing her an act of
interpretation: sensemaking produces the data that need
an interpretation (Weick). But then the question remains:
what are the data of sensemaking? If those data are inner
things, you will end up by denying the knowability or even
the existence of the outer world. In that case, the wife you
see is not out there, but in your head, as Weick seems to
think.
Weick on sensemaking and enacted environments
Seeing as interpreting: Cartesian and empiricist
misunderstandings
Constructivists like to stress the interpretive, subjective
nature of reality: to see balls and strikes is the same
as interpreting or making sense of ‘something’ with
the help of concepts. To see something is like making
an inference or stating a hypothesis. This interpretivist
thesis can come in a Cartesian and an empiricist
form. In the Cartesian subject-object conception, the
‘somethings’ that are interpreted are outer, physical
2 But not always, see Raatzsch 2003. Generally speaking, we distinguish, for example when we teach, between reading, understanding and interpreting. We give students a reading assignment, hope they understand what they read and then start a discussion on interpretation. Exams would be superfluous if we couldn’t distinguish between students who don’t understand and who interpret differently. But sometimes we call a different interpretation a different reading of the text. As always, we shouldn’t be dogmatic.
objects and their movements: you see the physical
object and its movements and infer it is your wife. In this
conception we are detached minds, confronted with a
meaningless physical world and permanently engaged
in the activity of interpreting or giving meaning to it. The
contrast, of course, is the anti-Cartesian, embodied and
embedded conception of Merleau-Ponty, Heidegger
and Wittgenstein: we live and are practically engaged
in a meaningful world of projects and tools (including
concepts as tools). Interpretation or sensemaking is a
secondary activity that we need only when something
goes wrong, as in the famous hammering example of
Heidegger.
In the empiricist conception, the ‘somethings’ that are
interpreted are inner things (sense data), that are given in
our experience and to which the mind adds something.
As a remarkable result, the outer world proves to be really
an inner one: it is no more than a logical reconstruction
out of inner sense data. So, what we see (hear, smell,
describe, explain, react to) is Appearance, not Reality
as it is ‘in itself.’ This empiricist conception (with idealist
results) was forcibly criticized in Sellars (1956) as the
‘myth of the given’, in Wittgenstein (1954) who toyed with
the idea of a phenomenalist language in his intermediate
period and in Austin (1962) on ‘sense and sensibilia.’
The critique is further expanded upon in among others
Strawson (1966), Bhaskar (1975) and Hacker (1987).
The empiricist conception seems to be difficult to
resist. It reappears in Chia (2000), according to whom we
apply concepts to the undifferentiated flux of our pre-
linguistic experience. Things in the world (like balls and
strikes)
142
‘have to be forcibly carved out of the undifferentiated
flux of raw experience and conceptually fixed and
label[l]ed so that they can become the common
currency for communicational exchanges.’ (Chia
2000: 513)
But umpires don’t apply concepts to the flux of their
inner experience. They apply concepts to what they
see: throws, thrown by pitchers. Neither throws, nor
the throwing, nor the pitchers are in your experience or
mind but outside your mind in your environment. This is
emphatically denied by Weick to whom we now turn for a
second close reading of a philosophizing scientist.
Appearance and Reality: Weick on enacted
environments
According to Weick, what we think is outside, really is
inside:
‘While the categories external/internal or outside/
inside exist logically they do not exist empirically.
The “outside” or “external” world cannot be known.
There is no methodological process by which one
can confirm the existence of an object independent
of the confirmatory process involving oneself. The
outside is a void, there is only the inside or internal
view. A person’s world, the inside or internal view,
is all that can be known. The rest can only be the
object of speculation … [W]hat investigators tend
to dismiss is the assertion that the environment is
located in the mind of the actor and is imposed by
him on experience in order to make that experience
more meaningful. It seldom dawns on organizational
theorists to look for environments inside of heads
rather than outside of them.’ (Weick 2001: 184-185)
First, saying that the categories external/internal or
outside/inside do not exist empirically is a confusing
way of saying that, as logical or formal categories,
they have no empirical content. But, of course, we can
give them empirical content. We all know what these
distinctions generally mean. But to give them empirical
content we have to specify what we are talking about.
Are we talking about refrigerators (‘put the things inside’),
persons (‘watch that car coming at you full speed’) or
organizations (‘don’t forget to observe your competitors’).
Next, according to Weick, the outside or external
world cannot be known, because it cannot be confirmed
independent of the confirmer’s confirmatory process.
But that is, first, a tautology: to confirm is to execute a
confirmatory process and the one who is doing it is a
confirmer. So, what Weick is saying, is that a confirmer
cannot confirm without confirming. Second, it implies
that we could know the external world if we could
confirm it without a confirmatory process. But that is
something we cannot do, because it is a nonsensical,
unintelligible thing. The presupposed distinction between
confirming with and without confirmatory processes is
like the one between married and unmarried bachelors.
So, like Mintzberg, Weick first introduces a nonsensical
distinction and then proudly proclaims that we cannot
confirm without confirming.
The further conclusion that the outside is a void and
that only the inside exists is, first, a self-contradiction.
To say that the external world is unknowable is to say
that we cannot know whether it is a void or a space filled
with all kind of things. Second, if only the inside exists,
the distinction collapses. In this, Weick goes further
than the constructivist who says that you could have
used another distinction (which is trivially true). He also
goes further than the deconstructivist who deconstructs
the distinction by saying that there is more inside in
the outside than you think, and vice versa (for a sober
critique, see Ellis 1984). Weick goes one step further:
‘there is no such distinction, for everything is inside.’
In fact, Weick says three different things: the outside
143
is unknowable (an object of speculation), we know the
outside is a void and the outside does not exist. But,
third, the inside has also to be confirmed, so would be a
void (or unknowable) too. This brings us to the last point:
if everything is a void, then where are we, where do we
stand when we look?
According to Weick, all we can know is a person’s
world, his inside or internal view. But that is confusing.
A world (that what you see) is not a view. A room with a
view enables you to see outside things. But what you see
depends on what things there are outside. Of course, in a
room without a view you could not see anything outside.
That is what Weick seems to think we are: rooms without
a view.
What Weick probably means is that our view or
perspective on the world determines what we can see
in the world, just as the language we use determines
what we can say. In fact, it all boils down to this: if a
subject looks at an object from a different perspective,
the subject will see a different aspect of the object. Or,
as Luhmann says, the multiplicity of perspectives of the
subjectivist corresponds to the multiplicity of aspects of
the world of the objectivist (Luhmann 1988: 50). In that
sense, they are just different sides of the same coin: to be
a subjectivist about perspectives is to be an objectivist
about aspects of or things in the world. So, perspectives
on and knowledge of the environment are ‘inside things’,
but not the environment itself. This is pretty trivial and
no constructivist conclusions on an unknowable outside
world (as in Weick) or on an indirect access to the outside
world (as in Luhmann) follow (see Christis 2001). To do
so, you need to define knowledge of (or direct access
to) the outside world either as knowledge without a
perspective or as an all perspectives encompassing
knowledge. But, both are nonsensical things (like married
bachelors). The view without a perspective, the absolute
standpoint (Williams) or the view from nowhere (Nagel)
is a nonsensical thing both literally and metaphorically.
Compare: ‘From where did you look at things?’ ‘From
nowhere.’ ‘But then, what did you see?’ ‘Well, nothing
of course, for how could you see anything if you are
nowhere?’ And an all perspectives encompassing
knowledge is nonsensical because the number of
possible perspectives is indefinite. There is no such thing
as encompassing an indefinite number of perspectives.
So, both the view from nowhere and the view from
everywhere are nonsensical views. These are not places
where we can be when we look at things.
4. Theories and the worldWe now turn to the relation between theories and the
world. I first show that the way we assess the truth of
descriptive statements cannot be applied to theories.
Then, I introduce a fourth umpire who uses a theory to
explain the things she saw. Next, I compare theories
with maps, as Weick and Fay do, and show that no
constructivist conclusions follow. Lastly, I explain how
we assess the truth of theories and why we don’t need a
theory of truth to do so.
Language, discourse and truth
Our language consists of words which we combine in
sentences that we use to say things or make statements,
among them, empirical statements. Empirical statements
can be descriptive or explanatory. Calling balls and
strikes are descriptive empirical statements. These are
true when things are as stated. If so, we say that it is
true or a fact that the throw is a strike. Now enters a
philosopher who says: ‘that is true and a fact indeed, but
only subjectively so, for there are no objective truths or
facts.’ The distinction between objective and subjective
facts is a new one, introduced by the philosopher. So
we ask him what he means (as in Rundle 1993). Does
he mean that we are lying that it rains (as in facts and
lies), that we are making it up (as in facts and fiction or
fantasy), that we conjecture it (as in facts and conjectures
144
or hypotheses) or that we make a value statement (as
in facts and values)? But, no, says the philosopher, that
the throw is a strike is neither a lie, nor fiction, nor a
conjecture, nor a value statement. It is a fact, but only
subjectively so. But, then, what does he mean by that?
Pressed for an answer he will point to the language
dependent nature of facts. Without a language we could
state neither facts nor truths. And the language we use
determines what facts we can state. With that, we heartily
agree, for that is a trivial truth we all know. But, if you call
facts for that reason subjective, than objective means:
stating a fact without a language and that is something
we cannot do: it is a nonsense thing, a non-intelligible
thing. If so, then the distinction itself is a nonsensical one.
The philosopher is, again, like someone who introduces a
distinction between married and unmarried bachelors and
then proudly states that there are no married bachelors.
In this case he distinguishes between stating a fact with
and without a language, between objective and subjective
facts and proudly concludes that we cannot state a fact
without using a language: there are no objective facts.
Because the distinction is a nonsensical one, it doesn’t
apply. Facts are neither objective nor subjective, but
just facts period. As we saw before, what we can say
depends on the language we use, but the truth of what
we say depends on how things are in the world. If what
we say is how things are, we state a fact period. And if
not, what we state is not true and so cannot be a fact.
Theories are not just descriptive empirical statements
(of for example the level of inflation in Holland). We use
theories to explain things by describing causes and
effects (of the level of inflation). They typically have the
form ‘C causes E by acting on B’, where acting on B is
the mechanism that produces E. Government spending
causes inflation by acting on the economy, but as we
all know, there are more contributing and counteracting
forces acting on the economy. That is why Cartwright
(1983) can say that the laws of physics lie and why Weick
can say that “[w]hen experimental findings support a
theory the theory, not the findings, is generalized to the
world outside the laboratory and people will predict what
will happen in that world based on the theory” (Weick
1983: 494). And both are reformulations of Bhaskar’s
transcendental refutation of a Humean conception of
causal laws as constant conjunctions.
So, we need a theory on the causal meaning of
government spending, that is, a description of the way
government spending acts on the economy. Note the
difference between the language and theory dependent
nature of our observations. Simply put: without a
language, we don’t know or understand what we see and
without a theory we don’t know where to look (for causes
and effects). That is all we can milk out of the language
and theory dependent nature of our observations.
The peculiar thing about theories is that we cannot
count the number of statements it consists of. In that it
resembles our beliefs. There is no answer to the question
‘how many beliefs do you have?’ As a consequence,
we assess their truth differently. Truth, applied to single
empirical statements is an all or nothing affair: throws
are either balls or strikes and that it rains is either true or
false. Not so with theories. Like maps, they allow grades
of truth, that is, grades of similarity in relevant features.
Before expanding on that, let us first apply the distinction
between descriptive and theoretical or explanatory
discourse to our umpires.
Seeing fool balls and inferring fixed games
The distinction between empirical and theoretical
discourse can be elucidated by looking at a fourth umpire
who was introduced by Engeström (2000: 305). This
umpire is involved in a game in which the favorite team
loses after hitting easy foul balls in critical situations.
Everyone involved saw what she saw, but for her,
regularly hitting easy foul balls is an odd fact that calls for
an interpretation or explanation. After discussing this with
145
a colleague with similar experiences, they suspect fixed
games with betting money behind it. An investigation
is opened, and it eventually escalates into indictments
of several hundred players, coaches and local baseball
officials who have been involved in fixing games and
profiting from them in betting.
The example shows us the difference between seeing
batters regularly hitting easy foul balls and interpreting
the causal meaning of this fact. The ‘things’ she saw
(foul balls) and that needed an interpretation were neither
Cartesian, outer meaningless objects nor empiricist inner
things in her experience. Our umpire looked, not at inner
things in the flux of her experience, but at outer things
in the world, that were there to see for everyone who
understands the concept of ‘foul balls.’ In that she is just
like our second umpire.
Just as fool balls are not her individual, psychological
constructions, so fixed games are not the collective,
social construction of the umpires and the investigating
team, as Engeström seems to imply. Foul balls
presuppose the institution of baseball and its rules and
fixed games presuppose in addition the institutions of
betting systems and judicial systems. Fixed games are,
like foul balls, things ‘out there’ in the world, although,
of course, we need to understand the meaning of the
expression ‘fixed games,’ we need to know what counts
as a fixed game in order to be able to distinguish fixed
from not-fixed games. Without such an understanding
we could not discover which games were in fact fixed.
So, the idea that the games were fixed started as a
conjecture or theory and after gathering evidence,
the idea ended as a fact: after the investigation
the conjecture proved to be true. The investigation
resembles the game of Mastermind: the games were
fixed before the investigation started and the task was
to find out whether this indeed was the case. Not so for
Weick and Fay.
Theories as maps
To explain what sensemaking is, Weick uses Fay’s
distinction between the ‘objectivist and realist’ game of
Mastermind and the ‘constructivist’ game of mapmaking:
“Mastermind is precisely what sensemaking is not … The
task of sensemaking resembles more closely the activity
of cartography” (Weick 2001: 8-9). Mastermind is about
discovering the code that reveals a pre-existing order,
while “for mapmakers the idea of a pre-ordered world
has no place or meaning” (Fay, as cited in Weick 2001:
9). The opponent is the metaphysical realist according
to whom there is one true map that corresponds to the
ultimate structure of reality. The alternative is to be,
first, a fallibilist about maps: a terrain can be mapped
in an indefinite number of different ways and, second,
a constructivist about the terrain: the terrain does not
contain a map to be discovered by the mapmaker, but “[t]
he terrain is an entity in part constituted by some form of
representation” (Fay 1996:210).
This is confused in many respects. First, Mastermind
resembles the activity of the private eye or detective, who
has to discover who did it. In this he uses Bayesian logic.
He starts with an idea with a prior, subjective probability.
Then he stirs things up, makes moves that elicit counter
moves and so adjusts his prior probabilities. In the
process, some ideas get discarded and other ideas gain
in subjective probability till he gets the idea right. This is
how our fourth umpire worked and many scientists and
diagnosticians work (see McKeon 2004 and Gill et al.
2005).
Second, as we saw before, metaphysical realism
is a nonsensical idea. But Fay and Weick use a wrong,
fallibilist argument and draw a false, constructivist
conclusion. Fallibilism about knowledge has nothing to do
with the fact that many maps can be made of the same
terrain. Fallibilism is about each of those maps: they all
can be true or false. Fallibilism makes science into a self
correcting enterprise (which presupposes that you can
146
be wrong). That is why Merton called science a form of
organized scepticism. And from the obvious fact that a
terrain does not contain its own map (how could it?), it
does not follow that we construct or constitute terrains by
mapping them.
Third, the map metaphor is a much used one.
Goodman (1972) stresses the simplifying nature of maps
and uses this to defend constructional systems (whether
those of Carnap or his own system) against
‘the basic anti-intellectualistic complaint that
philosophy does not duplicate experience. …
The function of a constructional system is not to
recreate experience but rather to map it. … A map
is schematic, selective, conventional, condensed,
and uniform. And these characteristics are virtues
rather than defects. The map not only summarizes,
clarifies, and systemizes, it often discloses facts we
could hardly learn immediately from our explorations.’
(Goodman 1972: 15)
More relevant for our purposes, the map metaphor is
used by Toulmin (1953), Ziman (1978), Azevedo (1997)
and Giere (2006) to defend a non-metaphysical kind
of realism. It is easy to see why: maps are neither
empiricist mirrors of a terrain nor constructivist stories
that constitute a terrain. Maps simplify and are made
to inform is about the terrain, not to move us, as with
pictures and stories (Ziman 1978). I restrict myself to the
basic points and recommend reading the originals.
First, map makers reduce the infinite complexity
of the terrain mapped. To ask for a complete
representation of the terrain is to ask for a duplication
of the terrain, which shows that you don’t understand
what a map is: “There is no such thing as a completely
unabridged map; for abridgement is intrinsic to map
making” (Goodman 1972: 15). Just ask yourself what
a map would look like with a scale of one to one, with
a method of projection that does not distort areas,
angles, gross shapes, distances and directions and
with symbols that are exact copies of what they stand
for. Most noteworthy, this simplified representation or
model of the terrain enables us to make new inferences
about the terrain, which are not inferences about our
experience. To use a map to determine the best route to
take is not to make an inference about your experience.
In the language of Bhaskar: model making is at the heart
of the theories that we use to represent and explain
things in the world.
Second, the same terrain can be mapped in
indefinitely many ways. The reason for this, of course,
is not that the terrain has no pre-ordered structure, is
unknowable or is a void. On the contrary, the reason
is that the terrain is ordered or structured in too many
different ways. Map makers have to select a perspective
that determines what kind of order will be represented.
Without a perspective the map maker couldn’t even
start. And to ask for an all perspectives encompassing
map is to ask for a nonsense thing. In the language of
Bhaskar: like map makers, scientific model makers are
epistemological relativists. The choice of perspective
is purpose dependent. You can make subway maps,
road maps, geological maps, weather maps, statistical
maps, and so on. Only after the choice of perspective,
the question of completeness arises: is the map
complete with respect to its purpose, does it contain
all relevant features, given the purpose of the map? The
same applies to the choice of projection method. To
map a three dimensional object on a two dimensional
sheet of paper necessarily produces distortions. Again,
the question is not ‘do maps distort?’ but ‘do they
distort, given the purpose of the map?’ If your purpose
is navigation, you use the Mercator projection and
definitively not the Peters projection. If your purpose
is a general purpose world map, you use neither (see
Monmonier 2004).
147
Third, map makers don’t confuse map and terrain. They
know they don’t change the terrain by using a subway
instead of a roadway map, just as organizations do not
change their environment by defining and claiming a
domain (range of products, populations served and
services rendered), which enables them to map their
relevant or task environment (Thompson 1976). Of course,
you can use a map to determine where best to build a
new road. But the terrain is changed by building that
road, not by using the map, just as organizations change
their environment by, for example, managing external
interdependencies (Thompson 1976). Note the distinction
between ‘creating’ a relevant environment and changing
it by acting on it. And map makers distinguish between
changes in maps (that better represent an unchanged
terrain) and changes in the terrain (that necessitate a new
map). Without this distinction they could neither construct
maps on the base of data about the terrain, nor verify
them, again based on data about the terrain.
In the language of Bhaskar: map makers are
transcendental realists. As ontological realists,
they distinguish between the intransitive dimension
(the terrain) and the transitive one (the map). As
epistemological relativists, they know that the same
terrain can be mapped in many purpose dependent,
different ways. They know that a map is not a mirror of
the terrain. Models, like maps, do have non-empirical,
non-deductive and non-propositional surplus elements,
that refer to the intensional, analogical and iconic aspects
of theories (Bhaskar 1975: 152). And as judgemental
rationalists they know the distinction between different
maps of different terrains and different maps of the same
terrain (referential detachment). This enables them to
rationally appraise both the purpose dependent value of
the different maps of the same terrain (for example their
explanatory value) and their correctness or truth with
respect to relevant features of the terrain.
The truth of theories
According to Luhmann, the differentiation of science
as a societal subsystem is based not only on the use of
scientific concepts (the ‘conceptualization of words’), but
also on its specialization in questions of truth. Science
is essentially a sceptical enterprise, a form of organized
scepticism (Merton). It can doubt the truth of all empirical
propositions, in the awareness that the truths of today will
be the falsities of tomorrow (Weber). Other sub-systems
cannot afford a similar sceptical attitude (for one thing,
because they are under pressure to act), and neither do
we assume such a sceptical attitude in everyday life.
In Luhmann’s view, we implicitly use something like a
redundancy theory of truth in everyday life and don’t
distinguish between knowledge and true knowledge.
Because knowing that p means the same as knowing that
it is true or a fact that p, the concept of ‘true’ seems to
be redundant. We use the true/false distinction only after
doubting: I say that it rains; you doubt that and check
by looking outside and then say that it is true or a fact
that it rains. Therefore, to Luhmann, this redundancy is
valid only for the first-order observer. For this observer,
knowledge is true knowledge; to know that it rains is the
same is to know that it is true that it rains. When one
wants to know whether this knowledge is true knowledge,
one must observe this knowledge in a second-order
observation using the distinction between true and false
(Luhmann 1990: 170).
Now how does science determine the truth of
substantive theories? To answer this question, we do not
need a theory of truth, but an elucidation of the meaning
of the concept ‘true’, of the way the concept is used,
when applied to theories. Science does determine truth
in various and combined ways. We do so by looking at
the world. This is the rational kernel of correspondence
theories of truth. But we know that theories are
underdetermined by the facts. We do so by looking at
each other to find out if we can agree about what is the
148
case. This is the rational kernel of consensus theories of
truth. But we know that we all can be wrong. We do so
by looking at our theories and their internal consistency.
This constitutes the rational kernel of coherence theories
of truth. But we know that coherent theories (like the
extremely consistent theories of those who suffer from
paranoia) can be wrong. And we do so by looking at the
success of its practical applications. This is the rational
kernel of pragmatic theories of truth. But we know that
practical successes can be based on false theories.
All those different theories of truth for the most part
just single out one of the many aspects of the use of the
word true and try to convert this aspect into a theory that
alone determines the correct application of the term true.
What we need is not a theory of truth, but a perspicuous
overview of the different ways the word true is used
(Luhmann 1990: 610; also Strawson 1992 and Williams
2002). Our problem is not determining what the word
‘true’ means but finding out what is true.
5. ConclusionsIn this paper I used the examples of umpires and
mapmakers to elucidate the relation between language
and the world and between theories and the world. In
doing so, I didn’t tell anything we didn’t already know.
Neither did Bhaskar when he introduced specialized
terms like the transitive/intransitive dimension, referential
detachment and so on. These are all reminders of
things we already, implicitly, know but tend to forget
when we start philosophizing. According to Bhaskar,
philosophy is a conceptual, a priori discipline that
presupposes the distinction between conceptual and
empirical investigations (as all analytical dualists do).
As such it does not produce empirical or a posteriori
synthetic knowledge. Instead, it uses transcendental
arguments, that start with a premise on X (that scientists
use experiments, umpires call balls and strikes and
mapmakers map a terrain) that we can all agree on and
then elaborate on what X means or on what we do when
we do X. As transcendental deductions they make explicit
what X means or what is implied in doing X. And as
transcendental refutations they show what happens if you
forget what X means or what is implied in doing X: you
then produce nonsense.
Bhaskar took over this technique from Strawson
(1959; 1966), who used it as part of his project of a
descriptive metaphysics, that is, of an analysis of the
general structure of the language we use to say things
about the world. Strawson later (1992) used the term
‘connective analysis’ to refer to his technique and the
similarities with Wittgensteinian grammatical arguments
are apparent (see Hacker1996; Glock 2002 and 2003).
Taken in this way, the ‘knowledge’ (the reminders)
produced by transcendental arguments, connective
analyses or grammatical arguments, is not about the
world, but about the language we use to talk about
the world. That the world is structured is not a deep
‘ontological’ discovery about the world, but a statement
on the way we use the word ‘world.’
So, to conclude, am I a realist who thinks that we
talk and think about language and mind independent
things in the world? And if so, what kind of realist? In a
conversation I would ask you what you mean by that and
then would show that you either are talking nonsense or
are a realist yourself. Not so in a paper. So let’s invent
a new name. My view on realism is a redundancy view.
In normal life we all are, just as the ordinary parents
introduced by Wittgenstein and just as the umpires and
map makers, introduced by Weick. Only when doubted,
do you have to affirm it, but you do so best in an indirect
way: by showing the nonsensicality of the view of your
opponent (the refutation). What remains (the deduction)
are trivial things we all know.
149
9. Problems: objective facts or subjective constructions?
Abstract. Action research is an intervention in the social world to solve a problem. In this contribution, we address the question whether such problems are necessarily subjective or objective. Our investigation is a conceptual or grammatical one (Wittgenstein). An important tool will be the distinction between grammatical and empirical statements and the related distinction between language and discourse, between how we speak and what we say, between the meaning of the words we use and the truth of the statements we make. When someone states that problems must be or necessarily are objective (or subjective), and so cannot be subjective (or objective), because it is in their nature to be objective (or subjective), then such a person is making a metaphysical use of our language. In that case we have to bring words back from their metaphysical to their everyday use. Because problems imply both facts and values, our investigation will turn on the question of the necessarily objective or subjective character of both facts and values.
1. Introduction: problem solving and the intervention cycle
Problem solving is a common, pervasive phenomenon. It
can be defined as a process of design, that is, as devising
courses of action aimed at changing existing situations
into preferred ones (Simon, 1996). It can also be defined
as designing a desirable feature and inventing ways to
bring it about by way of planning (Ackoff, 1981). And it
can be defined as the actions we take to improve a real
world problem situation (Checkland & Scholes, 1990). To
solve a problem and to reach a goal are different sides of
the same coin: if the problem to be solved is low product
quality or high unemployment levels, then the goal,
purpose or end to be reached is high product quality or
low unemployment levels.
When problem solving requires specialized expert
knowledge, we call in the help of professionals like
engineers, therapists, lawyers, doctors and business
or management consultants. Problem solving by these
professionals has its own sequential logic that consists of
• a diagnosis of the problem (problem formulation),
• the design of a solution (formulation, test and choice
of alternative solutions),
• the implementation of the solution and
• the evaluation of the results of the implementation.
Argyris & Schön (1978) speak of discovery (mapping
the problem), inventing (the solution), producing
(implementing the solution) and monitoring (evaluating
the results). Abbott (1988) uses different terms (diagnosis,
inference and treatment) and omits the evaluation when
he says that professionals have three jurisdictional
claims:
150
claims to classify a problem, to reason about it, and
to take action on it: in more formal terms, to diagnose,
to infer, and to treat. Theoretically, these are the
three acts of professional practice. … The three are
modalities of action more than acts per se. But the
sequence of diagnosis, inference, and treatment
embodies the essential cultural logic of professional
practice (Abbott, 1988, p. 40).
Because the evaluation can lead to a new diagnosis the
sequence is cyclical. And because the cycle is used to
intervene in the world to solve a practical problem, it is
called the intervention cycle. In the intervention cycle
professionals apply existing, general knowledge (the
body of knowledge of the profession at hand) to individual
and concrete problem cases such as a person, a family or
an organization. Expert professionals need special skills:
they need to be able to learn from ‘reflection in action’
(Schön, 1983). And action research needs a methodology
that differs from the methodology that scientists use in
the empirical cycle (see for example Argyris, Putnam
& Smith, 1985). In the empirical cycle, scientist use the
dialogue between idea and evidence to produce new,
scientific knowledge (Ragin 1994). Debate is still going on
about the exact nature of the similarities and differences
of the methodologies that are used in the intervention and
empirical cycle.
2. The problem of messy problemsIn their practice, managers and organizational
consultants are often confronted with situations in which
there is no agreement on the nature of the problem at
hand. According to Checkland, they are then confronted
with so-called ill-defined or messy problems. Thinking
about messy problems has led to the question whether
problems are objective facts, subjective constructions or
both:
One of the most pervasive characteristics of messy
problems is that people hold entirely different views
on (a) whether there is a problem, and if they agree
there is, (b) what the problem is. In that sense messy
problems are quite intangible and as a result various
authors have suggested that there are no ‘objective’
problems, only situations defined as problems by
people. See for instance: Ackoff (1981), Checkland
(1981), Checkland and Scholes (1990), Eden, Jones
and Sims (1983), and Bryant (1989) (Vennix ,1996,
p.13).
Objectivists treat problems as objective facts ‘out there’
and problem solving as a process that can be based
on scientific knowledge about causes and effects.
Alcoholism, for example, is a traffic problem because it
causes traffic accidents. To solve this problem we need
knowledge about the causes of alcoholism itself or about
the causal path that leads from alcoholism to traffic
accidents. Taken in this way, there are no subjective
problems. To think there are, we would have to deny
these facts about the causes and consequences of
alcoholism.
Subjectivists hold the view that problems are not
objective facts ‘out there’ in the world, but subjective
constructions created by the concepts and mental
models we use when we think and speak about
problems. In that sense, problems are not discovered but
construed. Taken in this way, there are no objective facts.
To think there are, we would have to deny the concept
dependence of the facts that figure in these problem
definitions: the nature of the problem depends on the
concepts we use to define the problem. That is why
alcoholism can be defined as a traffic problem, a family
problem, a personal problem, a social problem and so
on. Formulated in terms of second order cybernetics: the
nature of the problem depends on the distinctions we use
in observing the problem.
151
According to Abbott (1988) problems have both objective
and subjective aspects. In his opinion it would be silly to
deny the objective aspects of a problem like alcoholism.
But it would be just as silly to claim that these objective
qualities determine the subjective perception and
definition of the problem as a problem of a certain kind.
In this way, Abbott tries to steer a middle way between
objectivism on the one hand and subjectivism on the
other.
This is a most confusing situation. One party denies
the existence of subjective problems, by pointing to
objectivity of the facts that are part of problem definitions.
The other party denies the existence of objective facts
by pointing to the concept dependent nature of these
facts. And the third party holds that objective facts about
alcoholism do not determine our subjective perceptions
and definitions of problems, which makes us curious
about the exact nature of the difference between
objective facts and subjective definitions. If a messy
problem is a problem situation in which we can not come
to an agreement on the nature of the problem, this would
really be an example of a messy problem! To solve this
messy problem we need, not an empirical investigation
of the existence of objective or subjective problems and
facts, but a conceptual investigation of what we mean by
these linguistic expressions. By bringing the use of the
words ‘objective’ and ‘subjective,’ applied in conjunction
with problems, facts and values, back from their
metaphysical to their everyday use, we will show when
particular uses do make sense and when they do not.
In this contribution we explain, in a first step, the
nature of such a conceptual investigation. Applying it, in
a second step, to the objectivists, we show that they do
not pay attention to the fact-value distinction. Applying
it, in a third step, to the subjectivists, we show that they
conflate language and discourse, how we speak and
what we say, the concepts we use and the assertions we
make. In this way, we disentangle the discussion about
the subjectivity of our values (the fact - value discussion)
from the discussion about the subjectivity of facts, of our
empirical statements about and knowledge of things in
the world (the realism - antirealism discussion). The latter
contrast is often framed as a contrast between realism
and constructivism, objectivism and subjectivism or
between linguistic realism and linguistic idealism.
In a fourth step, we apply our conceptual investigation
to the way Abbot distinguishes between the objective
and subjective aspects of problems. We introduce the
imposition of a value scheme on a factual scheme of
causes and effects, which transforms these causes and
effects in means and ends or goals. With the help of this
we show that the multiplicity of – desired and undesired
– effects and causes are the condition of the possibility
of many different, but equally ‘valid, correct, true and
complete’ problem definitions. In that sense, messy
problems will be the normal case. That is the reason why
we start the intervention cycle with a diagnostic phase in
which we sort out all these possible problem definitions
and re-definitions.
3. A conceptual investigation of the objective-subjective distinction
Our investigation will be a conceptual, or, as Wittgenstein
would say, a grammatical investigation. It is an
investigation of the meaning, of the rules for the correct
application of the words that we use in empirical
statements about things in the world. Its aim is to delimit
the bounds of sense, to separate what we can say from
what we cannot say because it does not make sense
in the language we use. Grammatical statements are
descriptions, not of the things we refer to with these
words, but of the rules for the use of these words. In that
sense they define the meaning of words by describing
the rules that govern their use. Note, that the rules
described are themselves not descriptions: rules are
normative statements about the way we should or ought
152
to use the words of our language. We use these words
(that belong to our language) in for example empirical
statements about things in the world. These statements
belong to our – empirical – discourse, the truth of which
is determined by how things are in the world. Thus,
according to Wittgenstein, the meaning of words can
not be discovered by an empirical investigation of their
objects. Meanings are not objects, they are neither
‘objective’ things in the outer world, nor ‘subjective’
things in the inner world, nor ‘abstract’ things in an ideal,
Platonic world. Hence, if we want to know the meaning
of our words, we have to look, not at their outer, inner or
abstract objects, but at the way these words are used in
our language games that are embedded in our forms of
life.
Take as an example the following two statements
‘blue reds do not exist’ (or ‘there are no objects that are
red and blue all over’) and ‘stick-fetching cats do not
exist’ (Hunter, 1990, p.111). Because we know what we
mean by, what would count as a stick-fetching cat, the
second statement is an empirical statement that can be
true or false. If true, we could also say that it is a fact that
stick-fetching cats do not exist. But we can not apply
this empirical route to the first statement, for, to do so,
we would have to know what we mean by the expression
‘blue red.’ To verify or falsify the first statement, we
would have to know what would count as a blue red,
as a red that is also blue. But that is something we do
not know. The statement ‘blue reds do not exist’ is not
about something that could exist, but in fact does not.
In short, ‘there are no blue reds’ can not be an empirical
discovery, for if so, we would need a definition or sample
of the color ‘blue red.’ We need such a sample to be able
to say ‘these colors are not blue red, for they are not like
that color’ (pointing to the defining sample of the color
‘blue red’). Thus, someone who says ‘blue reds do not
exist’ either speaks nonsense (‘what do you mean by
blue red?’) or formulates a grammatical rule, disguised in
the form of an empirical statement. He then says that in
our language the expression ‘blue red’ has no meaning
and so no use. ‘Things cannot be blue red’ or ‘there are
no blue red things’ looks, not like ‘there are no stick-
fetching cats,’ but like ‘there is no such thing as castling
in draughts.’ Such a statement asserts something, not
about the existence or non-existence of things in the
world, but about the rules for the correct use of our
linguistic expressions.
4. Objectivism: ‘there are no subjective problems’
The objectivity of facts versus the subjectivity of
fantasies, conjectures and values
Statements of the objectivist like ‘there are no subjective
problems’ or of the subjectivist like ‘there are no objective
facts’ are like the statement ‘there are no blue reds.’
To see why this is so, let us take first the objectivist
who contrasts objective facts and subjective problems
(‘problems are objective facts out there and so cannot
be subjective: there are no subjective problems’). It is
important to note that we can mean different things by
‘the facts’ according to what we contrast them with (see
Rundle, 1993). If we contrast fact with fantasy and fiction,
the objectvist is right. Nobody would call alcoholism
as a traffic problem a fiction or fantasy: that alcoholism
causes traffic accidents is a fact and not a fiction like
unicorns or fairies. If we contrast fact with conjecture,
hypothesis or theory, the objectivist would again be right:
that alcoholism causes traffic accidents is an established
fact and not an as yet unproven conjecture, hypothesis
or theory. Note that we don’t call fantasies or conjectures
subjective facts. So, in this way, the objectivist contrasts
objective facts not with subjective facts, but with
fantasies and conjectures. However, by adding ‘objective’
to ‘facts,’ the objectivist does not give ‘fact’ a new
meaning, but only emphasizes with this word that facts
are not to be confused with fantasies and conjectures. If
153
adding this emphasis is what the objectivists means by
‘objective,’ he is quite correct, for we all know that facts
differ from fantasies and conjectures. But that is all there
is in this use of the word ‘objective.’ ‘Fact’ and ‘objective
fact’ mean the same thing, so you don’t need to add
‘objective’, except when you want to emphasize that what
you say is neither fantasy nor conjecture, but just plain
fact.
We can also contrast the objectivity of facts, not with
the subjectivity of fantasies and conjectures, but with the
subjectivity of values. If, now, the objectivist means by
objective, that values and value judgements play no role
in problems, he is clearly wrong. To constitute a problem
the effects of alcoholism have to be undesired effects
and the solution has to be a desired effect, that is, a
goal. Problems (and goals) presuppose both facts (about
causes and effects) and values (about undesired effects).
In a world without values there would be no problems and
goals, for we would then be indifferent to what happens
in the world. In that sense, values play the same role
in our social life as emotions play in our personal life:
they tell us when something important is at stake. That
problems imply both facts and values is not the result
of an empirical discovery, but belongs to the concept
of a problem, to what we mean by the word ‘problem.’
Someone who denies this, just does not understand what
the word ‘problem’ means.
The objectivist now has two options. Convinced by
our argument, he can say that problems necessarily have
both objective and subjective aspects, because they
imply both facts and values. But in that case he implies
that values are necessarily subjective. He can also try to
show that values are objective, in which case the contrast
between the objectivity of facts and the subjectivity of
values disappears. This brings us to the meaning of the
contrast between objective and subjective values and the
question: are values necessarily subjective?
The contrast between objective and subjective values
When we contrast facts with values we often call facts
objective and values subjective. We do so, among other
things, because the way we come to an agreement about
facts differs from the way we come to an agreement
about values. So, we use the objective/subjective
distinction in this case to point to real differences
between facts and values. But does this mean that values
are necessarily subjective and cannot be objective?
Could it be that, in this way, we overlook real and
important similarities between statements of fact and
statements of value?
To begin with, we would point out, first, that many
statements of fact are controversial. Second, that many
judgements of value (about the moral value of parental
care, the esthetical value of Bach’s ‘Art of the fugue’
or the practical value of a properly functioning TV-set)
are uncontroversial. Third, that when controversial, the
disagreement is often about underlying facts or means,
not about values or goals. And, fourth, that for example
moral controversies presuppose a common, and for
some universal concept of morality (see Raz, 1994). Of
a person without morals, we would say that he is more
like an animal than like a human being: animals lack both
a conception of morality and an elaborated capacity for
moral reasoning. For both, you need a language.
Next, we would point to the similarities between
statements of fact and statements of value. These
similarities raise serious doubts about the absoluteness
of the contrast between objective facts and subjective
values and the necessarily subjective character of
values. In this context, we can point to the application
of truth predicates to value judgements (Hallett, 1988),
to the descriptive use of evaluative concepts (Rundle,
1993, Kupperman, 2000) and to the evaluative aspects
of descriptive concepts like poison and murder (Ellis,
1993, Kupperman, 2000; see the next section for an
extended argument). Although denying an absolute
154
contrast, these writers don’t assimilate facts and
values. They don’t say that values are objective because
of these similarities, nor do they say that facts are
subjective because of these similarities. Instead, they
point to both similarities and differences. When we call
values objective because they are like facts, we tend
to overlook the differences and when we call values
subjective, because they are unlike facts, we tend to
overlook the similarities. Therefore it seems better not
to look for common properties that are the necessary
and sufficient conditions for calling values either
objective or subjective. Instead, we would recommend
to look at particular uses and particular cases, as
Wittgenstein would do. Thus, if by subjective we mean:
a matter of taste, value judgements are not subjective.
If by subjective we mean: a matter of prejudice, value
judgments are not subjective (Singer, 1989). And if by
objective we mean: absolute, whatever the particular
circumstances, value judgements are not objective
(Singer, 1989). If we mean by objective: universal, the
answer would be a qualified yes and no (Raz, 2000) and
so on.
The moral is this: if we contrast the objectivity of
facts with the subjectivity of values, we tend to overlook
similarities between statements of fact and statements
of value. And if we use the predicates objective and
subjective in conjunction with values out of context,
our statements are at best confusing and often wrong.
Instead, it would be better to state explicitly what we
mean by these expressions if we use them in concrete
cases. But, in that case, we often could also dispense
with these expressions and just state what we mean.
An alternative procedure would be the one used by Von
Wright. He always puts the expressions objective and
subjective between quotation marks and then states what
they mean in this particular case, before going on with his
argument.
5. Subjectivism: there are no objective factsWe often say that values as against facts are relational,
because they bring in the values a subject has about
objects. In that sense, statements of value have to be
relativized, both to the parties involved and the values
they hold (rain can be good for a farmer and bad for
someone who wants to take a stroll, but ‘that it can be
good for the farmer and bad for the walker’ is true for
everyone who understands the statement). This brings
us to the subjectivist who tells us that facts are relational
too. He points us, not to the value aspect of problems
but to the relational character of facts. Facts are concept
dependent and so what facts we can state depends on
the concepts we use to refer to the facts. That is quite
correct: what we can say, see and think depends on the
concepts we use. With different concepts we can say,
see and think different things. Some of the things we
can say and think (and even dream) in one language, we
can not say and think (and dream) in another language,
as every bilingual person knows. But does this make
facts necessarily subjective? Note that we call facts
objective when we contrast them with the subjectivity
of fiction, conjectures and values. In this way, we either
emphasize that facts are not fictions or conjectures, or
point to the differences between facts and values (and
so tend to overlook their similarities). So, a new contrast
is introduced, that between objective and subjective
facts. But what is this contrast supposed to mean? If
subjective means: concept dependent, then objective
means: concept independent. But, someone who says
that objective facts are concept independent, does not
understand what facts are, what we mean by the concept
‘fact.’ Such a person would have to explain to us, what
it means to state that something is a fact without using
concepts. The contrast is not between what we can and
can not do (because we lack the proper capacities), but
between sense and nonsense.
155
Of course, we create or construct concepts like
alcoholism and traffic accidents. But the number of traffic
accidents that is caused by alcoholism depends, not on
us and our concepts, but on the way things are in the
world. Hacking once said in his constructivist phase that
child abuse is both a real evil and a social construction. In
a kind of self critique he now has this to say:
What a terrible equivocation! What “it” is a real evil?
The object, namely the behavior or practice of child
abuse. What “it” is said to be socially constructed?
The concept. My [earlier] switch from object (child
abuse) to idea (the concept of child abuse) is worse
than careless (Hacking, 1999, p.29).
With the help of the concepts of child abuse and satanic
rituals we can conduct an empirical investigation and
come to the conclusion that child abuse is a pervasive
phenomenon and that satanic rituals are a rarity. When
true, we call this conclusion a fact. By this we do not mean
that it is an objective fact, but that it is neither fiction, nor
conjecture: fiction and conjectures are not subjective
facts, they are not facts at all. Now, if someone says that
it is a subjective fact, we can only ask ‘what do you mean
by that, are we wrong, is it not true what we say, is child
abuse not a pervasive phenomenon?’ And if the answer
is ‘of course you are right, and the statement is true, but
you can only assert this with the help of the concepts of
child abuse and satanic rituals and that says something
about you’ we can only agree, for we distinguish between
language and discourse, between the – meaning of the –
concepts we use and the – truth of the – things we say. If
the similarities and differences between the behaviors we
classify as child care, child abuse and satanic rituals were
not important for us, we would not have these concepts:
concepts express and direct our interests (Wittgenstein, PI
570), they prescribe what they are concepts of rather than
objects prescribing the nature of their concepts (Hunter,
1990, p.121). But what we say with these concepts tells
us something about the world. That is why we can assess
the truth of what we say about things in the world. The
position is a Wittgensteinian one:
Wittgenstein does not deny that we, for the most
part, talk about language-independent things; he
denies only that the latter constitute the meanings
of our words, and hence that there are semantic
connections between language and world. Empirical
propositions refer to language-independent items and
are verified or falsified by the way things are (Glock,
1996, p.275).
Wittgenstein contrasts empirical with grammatical
statements. Grammatical statements are statements
about the meaning of the words we use in empirical
statements about things in the world. You could say that
Wittgenstein is a realist about the things we think and
speak about and an anti-realist about the meaning of
our words: he denies that the meaning of our words is
determined by the nature of the things we refer to with
these words. This he calls ‘the autonomy of language.’
6. Language and discourse: the autonomy of language
The distinction between language and discourse,
between how we speak and what we say, between
the concepts of our language and the assertions we
make with them is a cornerstone of the philosophy of
Wittgenstein (in my Wittgenstein interpretation, I am
heavily indebted to the work of Baker and Hacker, Hallet,
Hunter and Ellis). To say something, we need a language
(Wittgenstein), a conceptual scheme (Strawson, Quine),
a vocabulary (Rorty) or a lexicon (Kuhn), but language
doesn’t say anything and so cannot be true or untrue. Our
concepts are tools and what we can say depends on the
tools we have at our disposal. According to Wittgenstein,
156
the meaning of our words can not be determined by the
nature of the things we refer to with these words. He
opposes the semantic realist who thinks that concepts
conform to the nature of their objects, that we call a horse
a horse because it is a horse, like in the story about Eve:
When Adam couldn’t think of a name for one of the
animals, according to Twain, he appealed to Eve for
help. ‘What name shall I give this animal?’ ‘Call it a
horse,’ answered Eve. ‘But why a horse?’ ‘Well,’ said
Eve, ‘it looks like a horse, doesn’t it?’ (Hallett, 1984,
p.15).
First, if we suppose that concepts conform to the
nature of there objects, that language mirrors the
unique structure of the world, then we could discover
the meaning of words by investigating their objects.
But such a procedure is viciously circular: an empirical
investigation of horses, water and so on, presupposes
that we know what these words mean. Of course, in such
an investigation we can discover new things about horses
and water, for example its chemical structure in the
latter case. If we, now, redefine water as a liquid with the
chemical structure H2O, we do not add knew knowledge,
but raise this property to the status of a defining criterion
of the concept ‘water’ in certain scientific contexts
(Hacker, 1996). And if we discover a liquid that looks
like water but has a different chemical structure (like the
liquid ‘heavy water’ with the chemical structure D2O), we
have to choose: is it a different liquid or a different kind of
water, do we treat the concept of water as analytic or do
we change its meaning (Harré, 1993)? The choice is up to
us: we can look at these two liquids as long as we want,
but they will not tell us what they are: two different liquids
or two different kinds of water. Generally speaking:
No non-linguistic entity can convey on its own the
grammar, semantics, or pragmatics of a language
– that is, the rules relating words with words, words
with things, or words with action – let alone those of
all languages (Hallett, 1984, p.7).
Second, if we suppose that concepts conform to their
objects, words would be names or labels for things in the
world. Apart from the problem of explaining how words
get attached to things in the world, it would follow that
language would consist of an infinite set of labels instead
of a restricted set of categories. The set would be infinite
because every thing in the world is unique and different
from everything else: no two horses are the same in
every respect. To apply a concept is not labeling but
categorizing, that is, treating things as similar in some
respects although they are different in other respects and
treating things as different in some respects, although
they are similar in other respects (Ellis, 1993).
Third, if we now say that concepts are determined by
the similarities (common properties, common functions
or family resemblances) of their objects, we try to avoid
multiplying our words by postulating essences and so
reduce the number of objects or referents. The problem
with this is not that there are no relations of similarity and
difference between things. The problem is that there are
too many of these relations. Things have an indeterminate
number of properties that could all be used to define a
concept in terms of similarity and difference. From all
these properties we have to select relevant ones and
what is relevant depends on our aims and values:
The problem is that any two things are alike in some
respect and different in others. So likeness alone
is powerless to settle matters of categorization. In
classifying dachshunds and Dobbermans together,
horses and zebras apart, we distinguish important
from unimportant similarities. That is, we make a
value judgment (Elgin, 1997, p.177).
157
Relevance is a highly practical, human and context
dependent affair. Things in the world do not tell us what
similarities are relevant and what differences ‘really’ make
a difference. That is up to us. So, we don’t call some
animals horses because they are horses (how could we
know this?), but, from all the similarities and differences
between these animals, we select important or relevant
ones. This enables us to treat some animals as the same
or equivalent, despite their differences and as different
from other animals despite their similarities with them. In
that sense, concepts don’t mirror things in the world, but
express and direct our interests: concepts prescribe what
they are concepts of, rather than objects prescribing the
nature of their concepts (Hunter, 1990, p.121):
In an infinitely varying world, the decision as to what
level and kind of similarity/dissimilarity will count as
equivalence is an arbitrary one: it depends among
other things on how many or how few categories
will be most useful to us. The decision is dictated
therefore by human considerations, not simply by
the structure of things. From the infinite number of
possible groupings that are available, a linguistic
community has chosen those that (for good reasons)
it is interested in, and our language is structured
accordingly (Ellis, 1993, p.95).
Hunter (1990, p.104), for example, imagines a community
that distinguishes between benign animals and hostile
beasts. Within this scheme, butterflies and dogs are
treated as the same and dogs and wolves as different.
Although different from our scheme, there is nothing
wrong about it: the differences between animals and
beasts are real differences. The scheme expresses what
this community thinks important, it expresses their forms
of life.
We can compare this with different biological
classifications. The scientific classifications of the
biologist, for example, can be based on intrinsic
properties, on reproductive isolation and on evolutionary
descent. These different classifications will all differ from
the specialist classifications of for example the timber
merchant, the herbalist or the gardener. And both the
scientific and specialist classifications will differ from the
ordinary language classifications we use when we are
cooking: to classify garlic and onions as the same would
have disastrous effects on our meals. This reflects merely
the immense variety of human interests and criteria of
relevance. So, there are countless legitimate, empirically
grounded ways of classifying things in the world. But if
we discard the metaphysical thesis about the ultimate
and essential structure of the world, the reality of those
things is not in danger. You could call this form of realism
promiscuous realism as Dupré does:
The realism derives from the fact that there are many
sameness relations that serve to distinguish classes
of organisms in ways that are relevant to various
concerns; the promiscuity derives from the fact that
none of these relations is privileged (Dupré, 1981,
p.82; see also Niiniluato, 1999, p.222).
Such a Wittgensteinian form of non-metaphysical realism
is the common core of the promiscuous realism of Dupré,
the transcendental realism of Bhaskar, the common
sense realism of Putnam, the critical realism of Niiniluato
and the rational kernel of the ‘radical constructivism’ of
Luhmann (see Christis, 2001).
As a conclusion we can state that the realism of
Wittgenstein is based on the distinction between language
and discourse and as such differs both from semantic or
metaphysical realism (according to which the meaning
of our words is determined by the nature of the things
we refer to with these words) and from the antirealist or
constructivist (according to whom we do not speak and
think about language and mind independent things in the
158
world). According to Wittgenstein, it is not the business of
our language to mirror the unique structure of the world.
Language does not describe anything and so can not
be true or untrue. But it is the business of our empirical
statements to say how things are in the world and so
these statements can be true or untrue:
The agreement, the harmony, of thought and reality
consists in this: if I say falsely that something is
red, then, for all that, it isn’t red. And when I want to
explain the word ‘red’ to someone, in the sentence
‘that is not red,’ I do it by pointing to something red
(PI 429).
To say that something is red, is an empirical statement
and belongs to empirical discourse, that can be true or
false according to the way things are in the world. To give
an ostensive definition of red is a grammatical statement
about the meaning of the word ‘red.’ Grammatical
statements describe, not objects, but the rules for the use
of the words of our language. Language is autonomous:
the meaning of our words is not determined by their outer,
inner or abstract objects, but by the rules of our language
games that are embedded in our forms of life. Thus, truth
is not language dependent: what we can say depends
on the language we use (how we speak). But the truth of
the empirical statements we actually make (what we say)
is determined by the way things are in the world. So, not
truth, but effability is relativized to language, as Kuhn
says after his ‘lexical turn’:
The point is not that laws true in one world may
be false in another but that they may be ineffable,
unavailable for conceptual or observational scrutiny.
It is effability, not truth, that my view relativizes to
worlds and practices (Kuhn, 1993, p.336; see also
Glock, 1997).
Interpreted in this way, Kuhn is neither a relativistic
Kantian (as in Hoyningen-Huene, 1993), nor a nominalist
(as in Hacking, 1993), but a critical realist (as in Niiniluato,
1999, p.224).
7. Abbot on the objective and subjective aspects of problems
Objective facts and subjective perspectives
Problems are neither objective facts nor subjective
constructions. This conclusion was the result, not of
an empirical but of a conceptual investigation of what
it makes sense to say. We also saw that problems
presuppose both facts and values. This means that
problems have both descriptive and evaluative aspects.
Often, these are called the objective and subjective
aspects of problems. This would imply that values are
necessarily subjective. However, we saw that in this way
we tend to overlook the similarities between facts and
values. Another way to distinguish between the objective
and subjective aspects of problems, is by pointing to the
fact that objective facts can be differently interpreted: we
can look at the same facts from different perspectives.
This seems to be the view of Abbot, so let us take a
closer look at his position.
Abbot takes alcoholism as an example to elucidate
the relation between the objective and subjective aspects
of problems. According to Abbot, alcoholism as a
problem was produced by the industrial revolution. In the
new time regime of industrial work there was no place
for the fuddled execution, slow work, and relaxation that
resulted from the then customary alcohol consumption
during the working day. Taken thus, alcoholism could be
defined as a productivity problem: it causes lower levels
of productivity of work (and of accidents at work). At
the same time, the industrial mass production of spirits
made them more available then ever. This “coincidence
of the rising supply and the culturally induced decline
159
in legitimate demand created ‘the problem of alcohol’”
(Abbot, 1988, p.37).
According to Abbott, the objective dimension of
alcoholism refers to the fact that alcohol consumption
always produces central nervous system depressions
with loss of fine and, ultimately, coarse motor and
sensory function. At the same time, many different,
subjective definitions of alcoholism as a problem are
possible. According to Abbot, there are two easy, and
erroneous, views of the relation between the objective
and subjective dimensions of problems:
The first holds that problems are given facts and that
varying perspectives on them are errors or ideologies.
The second argues that problems have no objective
reality whatsoever and are the simple creations of self-
seeking groups. Neither view works. To deny the objective
aspects of the alcohol problem is silly. Those objective
properties have changed little, although increasing body
size and health may have increased tolerance to the drug.
But it is just as silly to claim that these objective qualities
determine (or should determine) the subjective perception
of the problem. Alcoholism has been a biological disease,
a nervous and mental disease, a personal problem, a
moral delict, a sin. It has even been a “scourge of society”
– a problem caused by poverty and injustice and hence
not really an individual problem at all. Yet all of these
reinterpretations and reconstructions were bounded by
the objective properties of alcohol consumption itself
(Abbot, 1988, pp.37-38).
In the story that Abbot tells us, we can all recognize
the struggle between the different professions to
jurisdictional claims on alcoholism as a problem: the
doctor, the therapist, the social worker, the pastor and
the politician. Abbott uses this idea in an insightful
contribution to the sociology of the professions. But in
this way Abbot draws the wrong line between objective
facts and subjective definitions. The range of ‘objective’
facts is wider then the facts Abbot refers to. It is easy
to show why this is so. To define alcoholism as a
productivity problem, we refer to the effects of alcohol
consumption on productivity levels. When we define it as
a family problem, we refer to the effects on family life. And
when we define it as a social problem, we either refer to
its social consequences or to its social causes, in which
case not alcoholism, but society is the real problem. But
these are all facts about the causes and consequences
of alcohol consumption! It is therefore wrong to restrict
the range of objective facts to the effects on motor and
sensory function as Abbot seems to do.
The imposition of a value scheme on a causal scheme
If the range of ‘objective’ facts is wider than Abbot
suggests, where does it leave the ‘subjective’ aspect
of problem definitions? As we saw before, facts about
causes and effects are necessary, but not sufficient to
constitute a problem. We need also to attach a value
to these effects and that is where the evaluative aspect
comes in. If we apply a value scheme to effects, desired
effects become goals and undesired effects become
problems. Problems and goals are the result of the
imposition of a value scheme on a factual scheme of
causes and effects, which transforms desired effects in
ends or goals and their causes in means to reach these
goals (Luhmann, 1973). Every cause has an indeterminate
number of different effects. Without a value scheme, we
would not know to which of them we should attend. With
a value scheme we select valued effects and so neutralize
all other effects. So, just as concepts function as tools
to reduce the complexity of the world, values function as
tools to reduce the causal complexity of the world.
Generally speaking, if we define alcoholism as a set
of cognitive, motor and sensory symptoms caused by the
regular intake of spirits, then alcoholism itself has both
different effects and different causes. When undesired,
160
these effects are problems and when desired, these
effects are goals:
Figure 1 is a very simplified figure. First, we can always
reason forward from effects as themselves causes of
further effects that can be valued (alcoholism causes
lower productivity levels, which causes higher costs,
which causes lower sales and so on). Second, we
can always reason backwards from causes that are
themselves effects of earlier causes (alcoholism is caused
by unemployment, which is caused by overproduction
and so on). All causes and effects are part of an endless
chain of causes and effects. Third, figure 1 does not
represent causal complexity: the multiplicity, diversity
and epistemic incompleteness of causes (Humphreys,
1989). Figure 1 does show that the same cause can
have multiple effects and that the same effect can have
multiple causes. But it does not show that causes can be
contributing and counteracting, mixed and looping back
from effect to cause.
However, with the help of this simplified figure we
can see that we can look at a problem like alcoholism
in different ways or from different perspectives: we can
look at the different undesired effects of alcoholism and
so reconstruct it as a productivity, a traffic and a family
problem. We can also look at the different biological,
psychological and social (economic, legal, educational,
cultural and so on) causes of alcoholism and so redefine
it as a biological, psychological and social problem. In the
first case we use effect based definitions of problems,
and in the second case we use cause based (re-)
definitions.
Perspectives, objectivity and completeness
Because we value many things: healthy lives, happy
families, productive workplaces, profitable firms and so
on, we can give many effect based problem definitions
of alcoholism. And because alcoholism can have diverse
biological, psychic and social causes, we can give many
causal redefinitions of alcoholism as a problem. That
is why there are so many different problem definitions
of alcoholism: most problems are multiple and in that
sense messy problems, both from the effect and from the
causal side.
Abbott calls these different definitions of the problem
subjective and contrasts them with the objective facts of
alcoholism. As we saw before, all these definitions refer to
different facts about causes and consequences, so this
can not be the reason to call them subjective. Of course,
all these definitions look at the problem from a different
perspective, but now we get a new contrast: if we call a
redefinition subjective because it looks at the problem
from a certain perspective, then an objective definition
would be either a definition without a perspective or
Desired: goals
Undesired: problems
Neutral: indifferent
Alcoholism
Effect/Cause Effects: ValuesCauses
Figure 1. Causes, effects and values
161
an all perspectives encompassing definition. From this
contrast, the conclusion seems to follow that problem
definitions are necessarily subjective and incomplete and
cannot be objective and complete:
The reflection and debate is structured by a number
of systemic models. These are conceived as holistic
ideal types of certain aspects of the problem situation
rather than as accounts of it. It is taken as given that
no objective and complete account of a problem
situation can be provided (von Bulow, cited in
Checkland, 1995, p.51).
We can reformulate this in ‘subject-object’ terms: if
a subject uses one perspective, only some aspects
of the object become visible and if the subject uses
another perspective, other aspects of the object will
become visible. This is something we all know. But
before concluding that an objective and complete
account is impossible we should first ask ourselves,
with Wittgenstein, whether it makes sense to ask for
an objective account, defined as an account that is
either without a perspective or with an all perspectives
encompassing super perspepctive. For, it could be
possible that what we are asked to do is not something
we cannot do because we lack certain capacities, but
because it is a nonsense thing:
In fact, one might say that it is characteristic of
Wittgenstein to try to show us that when philosophers
say that we can’t do something, say something
is impossible, typically the thing they tell us is
impossible to do is a nonsense thing, an unintelligible
thing (Putnam, 1995, p.40).
So, let’s look whether such a nonsense question is
involved.
Maps, mirrors and stories
Making a problem diagnosis is often called ‘mapping
the problem.’ So, let us compare the result of such a
diagnosis (an empirical model, account or description of
the problem situation at hand) with a map of a territory.
To make a map, we need a grammar that defines the
meaning of the signs that we use and a method of
projection. The map itself is an empirical representation
of the territory. As we know, we can make different maps
of the same territory: road maps, vegetation maps,
population maps and so on. All these maps are maps
from a different perspective and so show us different
aspects of or things in the same territory.
Does it make sense to ask for a map without a
perspective? No, for in that case we wouldn’t have a
criterion that tells us what about the territory is important
for us. We can look at the territory as long as we want,
but it will not tell us what is so important about it. What
is important depends on us: going on a holiday, we
need a road map, not a population map. So, there is no
such thing as a map without a perspective, no ‘absolute
conception of reality’ (Williams), no ‘view from nowhere’
(Nagel). To represent the territory ‘as it is’ and without
using a perspective would amount to a duplication or
mirror of the territory. But a map is not a duplication or
mirror of its territory:
A map is schematic, selective, conventional,
condensed, and uniform. And these characteristics
are virtues rather than defects. The map not only
summarizes, clarifies, and systemizes, it often
discloses facts we could hardly learn immediately
from our explorations (Goodman, 1972, p.15).
Does it make sense to ask for an all perspectives
encompassing, complete super map? No, for a territory
has an indeterminate or indefinite number of aspects
that could all be used to formulate a perspective from
162
which we can draw up a map. So, again, there is no
such thing as an all perspectives encompassing map:
an indeterminate or indefinite map is no map at all. In
that sense, to describe a territory, or more generally,
the world, either is elliptical for describing aspects of or
things in the world, or nonsense: the world is an infinite
information load (Luhmann) or an ever yielding horizon
(Husserl) that is presupposed in everything we do in that
world, including the act of describing things in that world.
So, to ask for a map (or a description) without a
perspective or an all aspects encompassing map is to
ask for a nonsense thing: it shows that the asker does
not understand what the word ‘map’ means. But can
we, then, ask for an objective and complete road map,
vegetation map and so on? Not if we compare them
with (constructivist) stories that create their own objects
and so have no story independent reality to check for
objectivity and completeness. But (realist) map makers
are neither empiricist mirror makers nor constructivist
story tellers: they don’t confuse map and territory. This
enables them, first, to distinguish between changes
in their maps (better descriptions) and changes in
the territory (as when new things emerge). It enables
them, second, to check whether their maps are correct
and complete. Map makers combine epistemological
relativism (different maps are possible) with ontological
realism (we don’t confuse map and territory) and so avoid
the judgmental relativism of the constructivist storytellers
(Bhaskar). That is why their form of realism looks so much
like the realism of Wittgenstein: it is a form of realism
that is presupposed in what we do, say and think, for
example, when we make or use maps. And that is why
their ‘transcendental arguments’ (in their Strawsonian
form) look so much like Wittgenstein’s grammatical
arguments.
8. ConclusionWe investigated the use of the words ‘objective’ and
‘subjective’ in conjunction with problems, facts and
values. In general, our strategy was to look at what is
denied by calling something objective or subjective and
then to investigate whether such a denial makes sense or
not, that is, whether what is denied is a nonsense thing
or a real possibility. As a result of our investigation, some
uses appeared to be nonsensical and other uses lost their
‘explosive’ nature by making their meaning explicit. In
doing so, we also clarified the fact-value discussion and
the realism-antirealism discussion. Among other things,
we showed that Wittgenstein’s realism helps us to avoid
both the Scylla of linguistic or semantic realism and the
Charybdis of linguistic idealism and relativism (Dilman,
2002).
Our conclusions can be summarized as follows. It
is wrong to say that problems are necessarily objective
because they refer to objective facts. In this case you
‘forget’ the value aspect of problems. It is wrong to say
that problems are necessarily subjective constructions
because they refer to subjective facts. In this case, the
contrast between objective and subjective facts makes
no sense, for there are no such things as concept
independent facts. It is wrong (or at least misleading) to
say that values are necessarily subjective or objective.
In the first case, you overlook the similarities between
facts and values and in the second case you overlook
their differences. In that sense, it is at least misleading
to say that problems necessarily have an objective
and subjective aspect, for in that case you imply that
values are necessarily subjective. It is wrong to say that
problems necessarily have a subjective aspect because
they are always formulated from a certain perspective. In
this case, the distinction between a problem description
with and without a perspective makes no sense. In all
these cases, we showed that these statements transgress
163
the bounds of sense by overlooking the rules for the use
of the expressions ‘objective’ and ‘subjective.’
In other cases we showed that the meaning of the
words ‘objective’ and ‘subjective’ could be made explicit
in a meaningful way. However, their meaning proved to
be relatively innocent: no philosophical theories could be
derived from these uses. For example, when someone
speaks of objective facts, in order to contrast them, not
with subjective facts, but with fantasies, conjectures and
values, he is just emphasizing that what he states are
facts and not fantasies, conjectures or values. In that
case, what he means is that what he says are ‘really’
facts. So, when someone says that it is raining or that
inflation is caused by deficit spending, we can conduct
an ordinary or scientific empirical investigation. We then
could come to the conclusion that it is true or a fact that it
is raining or that deficit spending causes inflation. If now
someone says ‘you are right, but these are subjective, not
objective facts,’ we can only ask him: ‘what do you mean
by that, what would count as an objective fact?’
Generally speaking, the words ‘objective’ and
‘subjective’ can mean many different things, that is, can
be used in many different ways. By not paying attention
to these different uses, we produce either nonsense or
heated debates, based on a mutual misunderstanding
of what we actually mean by these words. By making
these meanings explicit, by stating explicitly what
we mean, we could avoid both producing nonsense
and producing misguided heated debates. We would
recommend the procedure, followed by Von Wright: if you
use the expressions ‘objective’ and ‘subjective’, put them
between quotation marks and state explicitly what you
mean by them in this particular case before going on with
your argument.
164
165
Bibliografie
Abbott, A. (1988) The system of professions. Chicago:
University of Chicago Press.
Achterbergh, J., D. Vriens (2019) Organizational
development. Designing episodic interventions.
Routledge.
Achterbergh, J., D. Vriens, H. Doorewaard (2009)
Het praktijkgerichte diagnostisch onderzoek. In:
Bleijenbergh e.a. (ed.) Voer voor Methodologen - Een
Liber Amicorum voor Piet Verschuren, pp. 17-32.
Utrecht: Lemma.
Ackoff, R. (1981). Creating the corporate future. Chicester:
Wiley and Sons.
Adcock, R., Collier, D. (2001) Measurement validity: a
shared standard for quantitative and qualitative
research. In: The American political science review,
95 (3), 529-546.
Aken, J. van, D. Andriessen (red.) (2011) Handboek
ontwerpgericht wetenschappelijk onderzoek. Den
Haag: Boom Lemma.
Andriessen, D. (2014). Praktisch relevant én methodisch
grondig? Dimensies van onderzoek in het hbo.
Utrecht: Hogeschool Utrecht.
Andriessen, D., Butter, R. (2016) Doe recht aan de
diversiteit. Kwaliteitscriteria voor onderzoek in het
HBO. Thema. Tijdschrift voor Hoger Onderwijs &
Management, 23 (1), 20-25.
Ansell, C. (2016) Pragmatist Governance. Evolutionary
learning as public philosophy. Oxford University
Press.
Ansell, C., M. Bartenberger (2016) Varieties of
experimentalism. In: Ecological Economics, 130,
64-73.
Argyris, C. and Schön, D. (1978). Organizational learning:
a theory of action perspective. Reading: Addison-
Wesley Publishing Company.
Argyris, C., Putnam, R. and Smith, D. (1985). Action
science. Concepts, methods, and skills for research
and intervention. San Francisco: Jossey-Bass
Publishers.
Aronson, J., R. Harré, E. Way (1994) Realism rescued.
How scientific progress is possible. London:
Duckworth.
Austin, J. (1962) Sense and sensibilia. Oxford: Oxford
University Press.
Auyang, S. (2004) Engineering – an endless frontier.
Cambridge: Harvard University Press.
Auyang, S. (z.j.) From experience to design – The science
behind Aspirin.
Azevedo, J. (1997) Mapping reality. Albany: State
University of New York Press.
Bader, V. (2007) Secularism or Democracy?: Associational
Governance of Religious Diversity. Amsterdam
University Press.
Bader, V. (2013). Free Speech or Non-Discrimination as
Trump? Reflections on Contextualised Reasonable
Balancing and its Limits. Journal of Ethnic and
Migration Studies, 40(2), 320 - 338.
Bader, V. (2014) Sciences, politics, and associative
democracy: democratizing science and expertizing
democracy. In: Innovation: The European Journal of
Social Science Research, 27(4), 420-441.
Barber, B. (1984) Strong democracy. Participatory politics
for a new age. University of California Press.
Barber, B. (1988) The conquest of politics. New Jersey:
Princeton University Press.
166
Bateson, G. (1972) Steps to an ecology of mind: Collected
essays in anthropology, psychology, evolution and
epistemology. San Francisco, CA: Chandler.
Benner, P. (1984) From novice to expert. Power and
excellence in nursing. California: Addison-Wesley.
Berger, P., T. Luckmann (1966) The Social Construction
of Reality: A Treatise in the Sociology of Knowledge.
Garden City, NY: Anchor Books.
Berk, R. (2004) Regression analysis. A constructive
critique. London: Sage.
Bhaskar, R (1975) A realist theory of science. Leeds:
Leeds Books.
Bhaskar, R. (1979) The possibility of naturalism. Brighton:
Harvester Press.
Blaikie, N. (1993) Approaches to social enquiry.
Cambridge: Polity Press.
Brown, T. (2008). Design Thinking. Harvard Business
Review, June: 84–92.
Buchanan, R. (1992) Wicked Problems in Design Thinking.
In: Design Issues, 8(2): 5–21.
Camacho, M. (2018) An Integrative Model of Design
Thinking. 21st DMI: Academic Design Management
Conference.
Camacho, M. (2016) In Conversation David Kelley: From
Design to Design Thinking at Stanford and IDEO. In:
The Journal of Design, Economics, and Innovation,
Volume 2 (1): 88-101.
Campbell, D. (2005). Ethnocentrism of Disciplines and the
Fish-Scale Model of Omniscience. In S. J. Derry, C. D.
Schunn, & M. A. Gernsbacher (Eds.), Interdisciplinary
collaboration: An emerging cognitive science (p.
3–21). Lawrence Erlbaum Associates Publishers.
Card, D., A. Krueger (1994) Minimum Wages and
Employment: A Case Study of the Fast-Food Industry
in New Jersey and Pennsylvania. In: The American
Economic Review 84 (4): 772-793.
Cartwright, N. (1983) How the laws of physics lie. Oxford:
Oxford University Press.
Cartwright, N., J. Hardie (2012) Evidence-based policy.
A practical guide to doing it better. Oxford: Oxford
University Press.
Chambers, C. (2017) The seven deadly sins of psychology.
Princeton: Princeton University Press.
Checkland, P. (1986) Diagnosing the system for
organizations: S. Beer. In: European Journal of
Operational Research, 23 (2): 269-270.
Checkland, P. (1995). Model validation in soft systems
practice. Systems Research 12 (1): 47-54.
Checkland, P. (2012) Four conditions for serious systems
thinking and action. In: Systems Research and
Behavioral Science, 29: 465-469.
Checkland, P. & J. Scholes. 1990. Soft systems
methodology in action. Chicester: Wiley and Sons.
Chia, R. (2000) ‘Discourse analysis as organizational
analysis.’ Organization 7(3): 513-518.
Christensen, C. (2006) The Ongoing Process of Building
a Theory of Disruption, In: Journal of Product
Innovation Management, 23:39–55.
Christis, J. 2001 ‘Luhmann’s theory of knowledge: beyond
realism and constructivism?’ Soziale Systeme, 7 (2):
328-349.
Christis, J. (2005) Theory and practice of soft systems
methodology: a performative contradiction? In:
Systems Research and Behavioral Science 22 (1):
11-26.
Christis, J. (2009) Over bedrijfskunde en andere kundes.
In H. van de Berg e.a. (red) Het gelaagde denken. Den
Haag, F&N Boekservice. (klik hier)
Christis, J., B. Fruytier (2013) Onderzoeksmethodologie in
de bedrijfskunde. In A. van de Ven (red.) Op zoek naar
het andere. Boom/Lemma. (klik hier)
Christis, J., A. J. Smit (2018) Misverstanden over
praktijkgericht onderzoek. In Onderwijsinnovatie,
maart 2017. (klik hier).
167
Christis, J., J. Achterbergh, H. van Laar (2018)
Multidimensionaal organiseren: is dat slim? In: M&O,
1: 4-29.
Connors, L., W. Mitchell (2017) Framing Modern Monetary
Theory. In: Journal of Post-Keynesian Economics, 40
(2): 239-259.
Cowen, N. Cartwright (2014) Making the Most of the
Evidence in Education: A Guide for Working Out What
Works …. Here and Now.
Cowen, N., N. Cartwright (2019) Street-level Theories of
Change: Adapting the Medical Model of Evidence-
based Practice for Policing.
Cross, N. (1982) Designerly Ways of Knowing. In: Design
Studies, 3(4): 221–7.
Cross N., K. Dorst, N. Roozenburg (eds) (1992). Research
in Design Thinking. Delft: Delft University Press.
Cross, N. (2007) Designerly Ways of Knowing. Springer.
De Vauss, D. (2012) Research design in social research.
London: Sage.
Dilman, I. (2002). Wittgenstein’s Copernican revolution.
Hampshire: Palgrave.
Doorewaard, H., B. Tjemkes (2019) Praktijkgericht
Kwantitatief Onderzoek: Een praktische handleiding.
Amsterdam: Boom hoger onderwijs.
Doorewaard,H., A. Kil, A. van de Ven (2019) Praktijkgericht
kwalitatief onderzoek (tweede druk). Een praktische
handleiding. Amsterdam: Boom hoger onderwijs.
Dorf, M., Sabel, C. (1998) A constitution of democratic
experimentalist democracy. In: Colombia Law Review,
98, 267-473.
Dorst, K. (2015) Frame Innovation. Create New Thinking
by Design. MIT Press.
Dreyfus, H., S. Dreyfus (1986) Mind over Machine: The
Power of Human Intuition and Expertise in the Era of
the Computer, Oxford, U.K.: Blackwell.
Dupré, J. (1981) ‘Natural kinds and biological taxa.’
Philosophical Review 90: 66-90.
Elgin, C. (1997) Between the absolute and the arbitrary.
Ithaca: Cornell University Press.
Ellis, J. (1989) Against deconstruction. New Jersey:
Princeton University Press.
Ellis, J. (1993) Language, thought and logic. Evanstone:
Northwestern University Press.
Engström, Y. (2000) ‘Comment on Blackler et al.. Activity
theory and the social construction of knowledge: a
story of four umpires.’ Organization 7(2): 301-310.
Fay, B. (1996) Contemporary philosophy of science.
Oxford: Blackwell.
Fogelin, R. (1994) Pyrrhonian reflections on knowledge
and justification. Oxford: Oxford University Press.
Fogelin, R (2011) Figuratively speaking. Revised Edition.
Oxford University Press.
Gerring, J. (2007) Case study research. Cambridge:
Cambridge University Press.
Gerring, J. (2006) Single outcome studies. In International
sociology; vol. 21 (5), 707-734.
Giere, R. (2006) Scientific perspectivism. Chicago:
University of Chicago Press.
Gill, C. (2005) ‘Why clinicians are natural Bayesians.’
Medical Journal 330: 1080-1083.
Gillies, D. (2019) Causality, probability and medicine.
London: Routledge.
Gingerich, O. (2007) ‘Planetary perils in Prague.’ Daedalus
137 (1): 137-141.
Glock, H. (1996) A Wittgenstein dictionary. Oxford:
Blackwell
Glock, H-J. (1997). Truth without people? Philosophy 72,
85-104.
Glock, H. (2002) ‘Strawson and analytic Kantianism’ in
Strawson and Kant H. Glock (ed.), Oxford: Clarendon
Press.
Glock, H. (2003) ‘The linguistic doctrine revisited.’ Grazer
Philosophische Studien 66: 143-171.
168
Goertz, G., J.Mahony (2012) A Tale of Two Cultures.
Qualitative and Quantitative Research in the Social
Sciences. Princeton: Princeton University Press.
Goertz, G. (2017) Multimethod Research, Causal
Mechanisms, and Case Studies: An Integrated
Approach. Princeton: Princeton University Press.
Gofman, E. (1974) Frame analysis. Boston: North-eastern
University Press
Goodman, N. (1972) Problems and projects. New York:
The Bobbs-Merrill Company.
Goodman, N. (1976) Languages of art. Indiana: Hackett
Publishing Company.
Gutmann, A., D. Thompson (2004) Why deliberative
democracy? Princeton University Press.
Hacker, P. (1987) Appearance and reality. Oxford:
Blackwell.
Hacker, P. (1996) Wittgenstein’s place in twentieth-
century analytic philosophy. Oxford: Blackwell.
Hacker, P. (2018) The Roots of Value. Von Wright Lecture:
Helsinki, 5th June.
Hacking, I. (1999) The social construction of what?
Cambridge: Harvard University Press.
Hallett G. (1984). Logic for the labyrinth. Boston:
University Press of America.
Hallett, G. (1988). Language and truth. New Haven: Yale
University Press.
Hallett G. 1991 Essentialism. A Wittgensteinian critique.
Albany: State University of New York Press.
Harré, R. (1993). Laws of nature. London: Duckworth.
Hirschman, A. (1970) Exit, voice, and loyalty. Cambridge:
Harvard University Press.
Humphreys, P. (1989). The chances of explanation.
Princeton: Princeton University Press.
Hunter, J. (1990) Wittgenstein on words as instruments.
Edinburgh: Edinburgh University Press.
Illari, P., Williamson, J. (2012) What is a mechanism?
Thinking about mechanisms across the sciences.
In: European Journal of Philosophy of Science 2,
119–135.
Jewitt, D., and J. Luu (2007) ‘Pluto, perception and
planetary politics.’ Daedalus 136 (1): 132-137.
Kelley, D., G. Van Patter (2005) Design as Glue:
Understanding the Stanford d-school. NextDesign
Leadership Institute.
Kelton, S. (2020) The deficit myth. New York: Public
Affairs.
Kimbell, L. (2011) Rethinking Design Thinking: Part I. In:
Design and Culture 3 (3): 285-306.
Kimbell, L. (2012) Rethinking Design Thinking: Part II. In:
Design and Culture 4 (2): 29–148.
Kuhn, T. 1983 ‘Afterwords’ in World changes. Thomas
Kuhn and the nature of science. P. Horwich (ed.),
Cambridge: MIT Press.
Kupperman, J. (2000). How values congeal into facts.
Ratio 13: 37-54.
Lakoff, G. (2004/2014) Don’t think of an elephant. Know
your values and frame the debate. Chelsea Green
Publishing Co.
Latour, B. (2004) Why Has Critique Run out of Steam?
From Matters of Fact to Matters of Concern. Critical
Inquiry, 30 (2): 225-248.
Lawson, B. (1983/2005). How Designers Think: The
Design Process Demystified. 5th edition. London:
Architectural Press.
Lawson, B. and K. Dorst. 2009. Design Expertise. Oxford:
Architectural Press
Luhmann, N. (1973). Zweckbegriff und Systemrationalität.
Frankfurt: Suhrkamp.
Luhmann, N. 1988 Erkenntnis als Konstruktion. Bern:
Benteli.
Luhmann, N. 1990 Die Wissenschaft der Gesellschaft.
Frankfurt: Suhrkamp.
Mintzberg, H. (1973) The nature of managerial work. New
York: Harper & Row.
169
Mintzberg, H. et al. (2001) ‘Researching configuration’
in Rethinking strategy. H. Volberda and T. Elfring
(eds.), Schools of Thought in Strategic Management.
London: Sage.
Mohr, B., J. Watkins (2002) The Essentials of Appreciative
Inquiry: A Roadmap for Creating Positive Futures.
Pegasus Communications.
Mol, M., J. Birkinshaw (2008) Giant steps in management
: creating innovations that change the way we work.
Harlow: Prentice Hall.
Monmonier, M. (2004) Rhumb lines and map wars: the
social history of the Mercator projection. Chicago:
Chicago University Press.
Moen, R., C. Norman (2009) Evolution of the PDCA cycle.
Paper delivered to the Asian Network for Quality
Conference in Tokyo on September 17, 2009.
Morgan, G. (2006) Images of Organization. Sage.
Norman, D. (1988). The design of everyday things .
New York: Basic Books.
Norman, D. (2013) Rethinking Design Thinking. https://jnd.
org/rehtinking_design_thnking/
Niinluoto, I. (1999). Critical scientific realism. Oxford:
Oxford University Press.
Nowotny, H., P. Scott, M. Gibbons (2001) Re-Thinking
Science: Knowledge and the Public in an Age of
Uncertainty. Wiley.
Nussbaum, M. (1988) The fragility of goodness.
Cambridge: Cambridge University Press.
Pawson (1989) A measure for measures. A manifesto for
empirical sociology. London: Routledge.
Pawson, R. and N. Tilley 1997 Realistic evaluation.
London: Sage.
Pernu, T. (2020) COVID-19 and control: an essay from a
pragmatic perspective on science. In: M. Andrews
(ed.), Multidisciplinary Perspectives on the COVID-19
Pandemic. Helsinki: Helsinki Collegium for Advanced
Studies, 44-47.
Polanyi, M. (1985) Personal knowledge. London:
Routledge.
Putnam, H. 1990 Realism with a human face. Cambridge:
Harvard University Press.
Putnam, H. 1995 Pragmatism. Oxford: Blackwell.
Quine, W. 1969 Ontological relativity and other essays.
New York: Columbia University Press.
Raatzsch, R. 2003 Eigentlich Seltsames. Wittgensteins
Philosophische Untersuchungen. Paderborn:
Ferdinand Schöningh.
Ragin, C., P. Fiss (2017) Intersectional Inequality. Race,
class, test scores and poverty. University of Chicago
Press.
Raz, J. (1994). Moral change and social relativism. Social
Philosophy and Policy Foundation: 139-159.
Raz, J. (2001). Value, respect, and attachment.
Cambridge: Cambridge University Press.
Rittel, H., M. Webber, (1973) Dilemmas in a General
Theory of Planning. In: Policy Science, 4: 155-169.
Rodrik, D. (2012) Why We Learn Nothing from Regressing
Economic Growth on Policies. Seoul Journal of
Economics vol. 25 (2), 137-151.
Rowe, P. [1987] 1998. Design Thinking. Cambridge, MA:
MIT Press
Rowell, L., E. Polush, M. Riel, A. Bruewer (2015) Action
Researchers’ Perspectives about the Distinguishing
Characteristics of Action Research: A Delphi
and Learning Circles Mixed-Methods Study. In:
Educational Action Research 23 (2): 243-270.
Rundle, B. (1990). Wittgenstein and contemporary
philosophy of language. Oxford: Blackwell.
Rundle, B. (1993) Facts. London: Duckworth.
Sabel, C. (1994) Learning by Monitoring: The Institutions
of Economic Development. In N. Smelser, R.
Swedberg (Eds) Handbook of Economic Sociology.
Princeton University Press.
Sabel, C. (2004) Beyond principal-agent governance:
experimentalist organizations, learning and
170
accountability. In: Engelen, E.; M. Ho (eds) De
Staat van de Democratie. Democratie voorbij de
Staat. WRR Verkenning 3 (Amsterdam: Amsterdam
University Press), pp. 173–95.
Sabel, C., Zeitlin, J. (2012) Experimentalist governance. In:
Levi-Faur, D. (ed.) Oxford Handbook of Governance.
Oxford University Press, 169-183.
Schalken, M. (2006) Periodeverslag 2003-2006 Visuele
Retorica van het grafisch ontwerpen - deel F.
Schein, E. (1995) Process consultation, action research
and clinical inquiry: are they the same? Journal of
Managerial Psychology, 10 (6): 14-19.
Schilder, P., L. Munneke, D. Andriessen 2016 Maak
afstudeerwerk relevant voor opleiding én praktijk.
HBO Kennisbank.
Schön, D. (1983). The reflective practitioner. Basic Books.
Schön, D., M. Rein (1994) Frame reflection: toward the
resolution of intractable policy controversies. New
York: Basis Books.
Schudde, L. (2018) Heterogeneous effects in education:
the promise and challenge of incorporating
intersectionality into quantitative methodological
approaches. In: Review of Research in Education, Vol.
42, pp. 72-92.
Seawright, J. (2016) Multi-method social science.
Cambridge University Press.
Sellars, W. 1956/1997 Empiricism and the philosophy of
mind. Cambridge: Harvard University Press.
Shook, J. (2008) Managing to Learn: Using the A3
management process. Lean Enterprise Institute.
Singer, M. (1989). Value judgments and normative claims.
Key Themes in Philosophy 24: 145-173.
Simon, H. (1967) The business school. A problem in
organizational design. In: Journal of Management
Studies, 4 (1): 1-16.
Simon, H. (1996). The sciences of the artificial.
Cambridge: The MIT Press.
Simon, H. (1997) Administrative behavior, 4th ed. New
York: Free Press.
Simon, W. (2006) Toyota Jurisprudence: Legal Theory and
Rolling Rule Regimes. In: G. de Búrca, J. Scott (Ed.)
Law and new governance in the EU and the US. Hart
Publishing, 37-64.
Smit, A. J. (2018) Complexe problemen oplossen:
design thinking of ontwerpgericht onderzoek? In:
OnderwijsInnovatie, 20 (2): 17-24.
Soepenberg, G. (2010) Workload control under diagnosis.
Groningen: University of Groningen, SOM
research school.
Stiglitz, J. (2016) The Euro And its Threat to the Future of
Europe. Penguin.
Stoker, G., P. John (2009) Design experiments: engaging
policy makers in the search for evidence about what
works. In: Political Studies, 57, 356-373.
Stokes, D. (1997) Pasteur’s Quadrant: Basic Science
and Technological Innovation. Washington, D.C.:
Brookings Institution Press.
Strawson, P. (1959) Individuals: an essay in descriptive
metaphysics. London: Methuen.
Strawson, P. (1966) The bounds of sense. London:
Routledge.
Strawson, P. (1993) Analysis and metaphysics. Oxford:
Oxford University Press.
Sutherland, J. (2014) SCRUM. The art of doing twice
the work in half the time. London: Random House
Business Books.
Thompson, J. (1967) Organizations in action. New
Brunswick: Transaction.
Toulmin, S. (1953) The philosophy of science. London:
Arrow.
Van der Hilst, B. (2019) Teamgericht organiseren in het
onderwijs. Het Leren Organiseren.
Vauss, D, de (2001) Research in social design. Los
Angeles: Sage.
171
Vennix J. (1996) Group model building. Facilitating Team
Learning Using System Dynamics. John Wiley and
Sons.
Vincenti, W. (1990) What engineers know and how they
know it. Baltimore: The John Hopkins University
Press.
Vincenti, W. (1997) Engineering Theory in the Making:
Aerodynamic Calculation “Breaks the Sound Barrier.”
In: Technology and Culture, 38 (4): 819-851.
Watson, T. (1994) In search of management. Cengage
Learning Emea
Weick, K. (1979) The social psychology of organizing. New
York: Random House.
Weick, K. (1983) ‘Utilization as reverse simulation: making
the world more like the laboratory’ in Producing useful
knowledge for organizations. R. Kilmann et al.(eds),
494-521. San Francisco: Jossey-Bass.
Weick, K. (2001) Making sense of organizations. Oxford:
Blackwell.
Wittgenstein, L. (1954) Philosophical investigations.
Oxford: Blackwell.
Wittgenstein, L. (1967) Zettel. Oxford: Blackwell.
Wittgenstein, L. (1969) On certainty. Oxford: Blackwell.
Wray, R, (2012) A Meme for Money. Levy Economics
Institute of Bard College, Working Paper no. 736.
Yin, R. (1989). Case study research: Design and methods.
London: Sage Publications
Ziman, J. (1978) Reliable knowledge. Cambridge:
Cambridge University Press.
Ziman, J. (2000) Real Science. Cambridge University
Press.
172
173
Dit is een publicatie van de Hanzehogeschool Groningen,
Marian van Os Centre of Expertise Ondernemen en het
Instituut voor Bedrijfskunde.
ISBN: 978-90-5303-139-1
LectoraatOrganisatieontwerp en Verandering
Zernikeplein 23
9747 AS Groningen
ColofonAuteur: dr. Jac Christis
Design: The Creative Hub (powered by Canon)
Oplage: 100
2020 J.H.P. Christis
174
175