Embed Size (px)
Citation preview
IT security risicomanagement en het
Dunning-Kruger effect Bewust- en bekendheid van Risico’s
Cursus: IM060U Voorbereiden Afstuderen BPMIT
Student: Alex Trappenberg
Identiteitsnummer: 851058292
Datum rapport: 4-9-2016
Versie nummer: 1.0
Status: Definitief
Datum einde inschrijving: 18-09-2016
i
IT security risicomanagement en het Dunning-Kruger effect Bewust- en bekendheid van Risico’s
IT security risicomanagement and the
Dunning-Kruger effect Known and unknown risks
Opleiding: Open Universiteit, faculteit Management, Science & Technology
Masteropleiding Business Process Management & IT
Programme: Open University of the Netherlands, faculty of Management, Science &
Technology
Master Business Process Management & IT
Cursus: IM0602 Voorbereiden Afstuderen BPMIT
Student: Alex Trappenberg
Identiteitsnummer: 851058292
Datum: 4-9-2016
Afstudeerbegeleider Hugo Jonker
Meelezer Harald Vranken
Derde beoordelaar <indien aanwezig>
ii
Samenvatting
IT security risk management is voor de meeste organisaties van vitaal belang. Bedrijven zijn zo
afhankelijk van hun informatiesystemen dat een storing op dit vlak flink schade als gevolg kan
hebben. Ondanks dit feit en de verschillende modellen die toegepast kunnen worden bij IT security
risk management schetsen verschillende security rapporten een beeld dat het toch niet zo goed gaat
met de beveiliging. IT security risk management is per definitie lastig vanwege het feit dat er zoveel
variabelen zijn die hierop een invloed kunnen uitoefenen.
Dit rapport richt zich op het menselijk effect. Specifiek het overschatten van de prestatie van
toegepaste IT security management. De gemene deler bij alle IT security risk management modellen
is het proces risk assessment. Voor dit proces is het van uiterst belang dat een organisatie haar
“performance” op IT security reëel kan inschatten.
Dit rapport begint met het behandelen van IT security risk management en het metacognitieve
aspect dat aan het licht is gekomen tijdens deze literatuurstudie. Vervolgens wordt de problematiek
verder uitgewerkt. Binnen dit rapport wordt de hypothese onderzocht dat bedrijven die meer
kennis, ervaring en inzicht “in huis” hebben op het gebied van IT security, hun performance beter
inschatten dan bedrijven die dit niet hebben. Bedrijven die daarentegen minder kennis, ervaring en
inzicht hebben overschatten hun performance. Dit verschijnsel is bekend als het “Dunning-Kruger”
effect.
Keywords
Dunning-Kruger, IT security risk management, known unknowns
iii
Summary
IT Security risk management is for most organizations of outmost importance. They are so
dependent on their information systems that a problem in this field can cause a lot of damage to the
company.
Despite this fact and the usage of IT security risk methods, the amount of security incidents and the
damage they cause are rising according to the annual security reports.
IT security is a complex matter because there are so many variables that have an influence on it.
This study is focused on the human effect, specifically the failure to adequately assess their level of
competence regarding IT security. What all the security models have in common is that they all
possess a risk assessment part that relies on the competence of the individuals involved. If one
cannot correctly asses the risks involved than the organization can be exposed to unnecessary risks.
This literature study will cover IT security management and the metacognitive aspects documented.
Hypothesis of this study is that organizations with high levels of knowledge, expertise and insight in
IT security can better asses their competence, and on the other hand, companies with lower levels
of knowledge, expertise and insight will overestimate their competence in this field. This is known as
the Dunning-Kruger effect.
Keywords
Dunning-Kruger, IT security risk management, known unknowns
iv
Inhoudsopgave
Samenvatting .......................................................................................................................................... ii
Summary ................................................................................................................................................ iii
Inhoudsopgave ....................................................................................................................................... iv
1. Introductie ...................................................................................................................................... 1
1.1. Inleiding ................................................................................................................................... 1
1.2. Context .................................................................................................................................... 1
1.3. Relevantie ............................................................................................................................... 2
1.4. Probleemstelling ..................................................................................................................... 2
1.5. Opdrachtformulering .............................................................................................................. 3
2. Onderzoeksaanpak.......................................................................................................................... 4
2.1. Literatuurverkenning .............................................................................................................. 4
2.2. Selectie criteria ....................................................................................................................... 5
3. Uitvoering........................................................................................................................................ 6
3.1. Het Dunning-Kruger effect ...................................................................................................... 6
3.2. Link tussen Dunning-Kruger en IT security ............................................................................. 8
3.3. IT security Risk management ................................................................................................ 10
3.4. Risico ..................................................................................................................................... 10
3.4.1. Threat ............................................................................................................................ 11
3.4.2. Vulnerability .................................................................................................................. 11
3.5. IT Security risk management modellen en Dunning-Kruger ................................................. 13
3.6. IT risk management aspecten ............................................................................................... 15
4. Resultaten ..................................................................................................................................... 17
5. Conclusies ..................................................................................................................................... 18
Referenties ............................................................................................................................................ 19
Bijlage 1: Voorbeeld kalibratie test ........................................................................................................ 22
1
1. Introductie
1.1. Inleiding
Voor bedrijven is security voor hun IT activa van levensbelang. Informatiesystemen kunnen vatbaar
zijn voor bedreigingen (threats) die gebruik maken van zowel bekende als onbekende
kwetsbaarheden (vulnerabilities) om de beschikbaarheid, integriteit en confidentialiteit van deze
systemen aan te tasten. IT security management is het proces om deze kwetsbaarheden en
bedreigingen van informatiesystemen die voor een bedrijf van belang zijn om hun doelstellingen te
kunnen halen in kaart te brengen en passende maatregelen te nemen om het risico aanvaardbaar te
maken. Ondanks dat de meeste bedrijven IT security management toepassen komen security
incidenten steeds vaker voor. Een verkeerde inschatting van de prestatie van IT security zou een
oorzaak kunnen zijn. Volgens de onderzoekers David Dunning en Justin Kruger is de bagage (kennis,
kunde, ervaring, etc.), die nodig is om goed te kunnen presteren op een bepaald gebied, nodig om
een goede prestatie inschatting te kunnen maken. Op het gebied van IT security zou dit kunnen
betekenen dat organisaties die hun eigen IT security prestatie hoger inschatten dan het
daadwerkelijk is, de kenmerken missen om op een hoger niveau te kunnen presteren en juist deze
kenmerken ook nodig zijn om een juiste inschatting te kunnen maken van hun prestatie. Een “catch
22” als het ware. Bij organisaties die juist beter dan anderen presteren is juist het effect dat zij hun
IT security prestatie lager inschatten. In dit rapport wordt onderzocht of het Dunning-Kruger effect
op IT security aanwezig is en of te achterhalen is welke factoren een rol spelen bij het minder
presteren op IT security risk management. Het onderzoek is uitgevoerd volgens de gestelde kaders
die gelden voor de masteropleiding Business Process Management & IT van Open Universiteit
Nederland.
1.2. Context
De context waarbinnen dit onderzoek naar IT risico management plaats vindt is het afstudeertraject
van de masteropleiding Business Process Management and IT. Dit traject staat bekend binnen de
Open Universiteit als “het afstudeerproject”. Dit project bestaat uit twee cursussen, te weten:
Voorbereiden afstudeeropdracht BPMIT en Afstudeertraject Business Process Management and IT.
De eerste cursus wordt afgesloten met een eindrapport, dit rapport, en moet de
opdrachtformulering, opzet literatuurstudie en de resultaten bevatten. De literatuurstudie moet
gebaseerd zijn op 10-15 wetenschappelijke artikelen en een omvang hebben van maximaal 6.000
woorden. De maximale doorlooptijd is 1 jaar.
In dit rapport zullen termen die binnen IT security gebruikt worden en ook termen die gebruikt
worden binnen de leerpsychologie verder uitgelegd worden. Dit laatste om de metacognitieve
invalshoek van deze studie duidelijk te maken.
2
1.3. Relevantie
Security incidenten komen steeds vaker voor en vanuit verschillende hoeken. Dit wordt erkend door
verschillende Security onderzoeken. Een van de belangrijkste is het jaarlijkse “Global state of
information security” rapport van Price Waterhouse Coopers (PWC). Het rapport van 2016 begint
ook door te benadrukken dat cyberaanvallen in aantal en heftigheid stijgen en maatregelen om deze
waar te nemen en te voorkomen steeds vaker falen. Het is ook waargenomen dat de meeste
bedrijven al een op risico gebaseerd security raamwerk hebben, waarvan de meest toegepaste
raamwerken de ISO 27001 of NIST zijn. Omdat persoonsgegevens soms het doelwit zijn van
securityaanvallen is vanaf 1 januari in Nederland de wet Meldplicht Datalekken van kracht en is de
boetebevoegdheid van Autoriteit Persoonsgegevens uitgebreid. Alle bedrijven zijn verplicht om
dataverlies te melden indien het verlies van data negatieve effecten zouden kunnen hebben voor de
betrokkenen.
IT security is hierdoor bij de meeste organisaties steeds belangrijker geworden. Bij het bestuderen
van artikelen op het gebied van IT security risk management is het duidelijk geworden dat er
verschillende raamwerken bestaan en in de praktijk gebruiken bedrijven dan ook deze raamwerken
als basis. Daadwerkelijk gebruikt IT risk management raamwerk kan per bedrijf verschillend zijn
(ENISA 2006). Verschillen en overeenkomsten tussen raamwerken en uitdagingen die zich voordoen
bij IT risk management zijn onderzocht. Tijdens het verkennen van het IT security risk management
gebied ben ik steeds meer geïnteresseerd geraakt in het feit dat het van vitaal belang is dat er een
goede inschatting wordt gemaakt van de risico’s die een bedrijf loopt met de bestaande IT security
middelen die gebruikt worden. Met andere woorden, hoe schat IT management hun IT security
prestatie in. Er is weinig onderzoek gedaan op het effect van prestatie inschatting ten opzichte van
daadwerkelijke prestatie op het gebied van IT security management (Dunning-Kruger effect). Een
verkeerde inschatting kan ervoor zorgen dat de organisatie onbewust zichzelf blootstelt aan
bedreigingen (threats).
Dit onderzoek heeft als focus of het Dunning-Kruger effect meetbaar is op het gebied van IT security
risk management en wat de aspecten zijn die hier een rol spelen. Als er is vastgesteld dat het
Dunning-Kruger effect aanwezig is en er verband gelegd kan worden met factoren die hier een rol
spelen, kunnen bedrijven, en in het bijzonder IT security managers, bewust hiermee omgaan en dat
zal hopelijk de stijgende lijn aan security incidenten doen veranderen.
1.4. Probleemstelling
Ondanks dat IT security risk management bij de meeste bedrijven aanwezig is, heeft dit niet
voldoende resultaten met zich mee gebracht gezien de stijgende lijn aan security incidenten.
Kennelijk zijn er risico’s waar niet of nauwelijks op geacteerd wordt met als gevolg
beveiligingsincidenten.
Een mogelijk verklaring zou zijn dat binnen IT security management het zogeheten “Dunning-Kruger”
effect aanwezig is. Dit houdt in dat bedrijven die slechter presteren op dit gebied hun prestatie zelf
hoger inschatten. Dit is vanwege het feit dat ze de juiste kenmerken missen om deze slechte
3
prestatie te kunnen waarnemen. Het ontbreken van deze kenmerken is dan ook de oorzaak dat ze
slecht presteren.
De vraagstellingen voor dit literatuuronderzoek, gezien de constateringen zijn:
Is het Dunning-Kruger effect waarneembaar op het gebied van IT Security management en indien dit
het geval is wat zijn de factoren die hier een rol spelen?
Om deze hoofdvraag te kunnen beantwoorden zullen een aantal vragen behandeld worden:
- Wat is het Dunning-Kruger effect?
- Hoe wordt IT security risk management gedefinieerd?
- Wat is de link tussen Dunnig-Kruger en IT security risk management?
- Wat wordt verstaan onder risico binnen IT security risk management?
- Welke modellen zijn er voor IT security risk management?
- Wat is de verhouding tussen deze modellen?
- Welke IT security risk management modellen houden rekening met het Dunning-Kruger
effect?
1.5. Opdrachtformulering
Om antwoorden op de hoofd- en deelvragen te krijgen zal er, door middel van een literatuurstudie,
naar relevante informatie uit wetenschappelijke artikelen gezocht worden. Eerst zal er een
verkenning op het gebied van IT security risk management worden gedaan en de mogelijkheden om
een literatuurstudie op te zetten. Vanuit de opleiding BPMIT zijn er richtlijnen en tips die gevolgd
kunnen worden om onnodige tijdverspilling tegen te gaan. Verder is er via de leeromgeving van OU
een digitale bibliotheek beschikbaar voor studenten waar naar wetenschappelijke literatuur gezocht
kan worden. Ook kan er gebruikgemaakt worden van de openbare zoekmachine scholar.google.com.
Verkenning op het gebied van IT security risk management en de modellen die hier gebruikt worden
vormen een basis om overeenkomsten te vinden die later als toetsingscriteria gebruikt kunnen
worden. Verder zal bij deze modellen onderzocht worden of deze rekening houden met
metacognitieve aspecten die een rol spelen.
Het Dunning-Kruger effect, verwante metacognitieve aspecten en eerdere onderzoeken op dit
gebied zullen uitgezocht worden om bekend te raken met dit verschijnsel en de
toetsingsmogelijkheden.
Informatie uit de uitgevoerde literatuurstudie wordt in dit rapport gepresenteerd samen met een
conclusie van de bevindingen.
4
2. Onderzoeksaanpak
2.1. Literatuurverkenning
De literatuurstudie onderzoeksaanpak is uitgevoerd volgens de door Open Universiteit voorgestelde
methode voor deze studie en bijbehorende literatuur 'Methoden en technieken van onderzoek' van
Mark Saunders, Philip Lewis, en Adrian Thornhill.
Als eerste is begonnen met identificeren en definiëren van de kernbegrippen van IT security risk
management als basis voor het formuleren van een eenduidig en expliciet begrippenkader voor
verder onderzoek.
De deelvragen en benodigde gegevens per deelvraag:
Deelvraag Benodigde gegevens
Wat is het Dunning-Kruger effect Inzicht in het onderzoek van David Dunning en Justin Kruger
Hoe wordt IT security risk management gedefinieerd?
Definitie
Wat is de link tussen Dunnig-Kruger en IT security risk management?
Dunning-Kruger informatie binnen de context van IT security risk management.
Wat wordt verstaan onder risico binnen IT security risk management?
Definitie risico binnen IT security risk management
Welke modellen zijn er voor IT security risk management?
Modellen IT security risk management
Wat is de verhouding tussen deze modellen? Verschillen en overeenkomsten tussen modellen
Welke IT security risk management modellen houden rekening met het Dunning-Kruger effect?
Relatie IT security risk management modellen met Dunning-Kruger effect
Zoektermen om relevante wetenschappelijke artikelen te kunnen vinden die een antwoord op de
hierboven genoemde vragen te kunnen geven zijn:
“Dunning-Kruger” & “IT security”
“Illusions information system security”
“ IT security risk management”
“ known” & “unknown” & “IT security”
“IT security” & risk & models
“IT security” & aspects & risk
“IT security” & known unknowns
“effectiveness” & “IT security”
“overconfidence” & “IT security
De hierboven zoektermen zijn als volgt ontstaan. Er is begonnen met de zoektermen “Dunning-
Kruger” en “IT security” eerst apart om in te lezen in de materie waarna deze zoektermen samen zijn
5
gebruikt. Bij het bestuderen van de resultaten is het duidelijk geworden dat er verschillende termen
gebruikt worden die gerelateerd zijn aan het Dunning-Kruger effect. Deze zijn daarna gebruikt bij de
zoekmachines. Systematisch werd met de hierboven genoemde zoektermen naar relevante
artikelen gezocht via Google Scholar en de Digitale bibliotheek van Open Universiteit Nederland.
Deze eerste zoekactie leverde een aantal artikelen op. De eerste 20 artikelen werden beoordeeld op
bruikbaarheid door te controleren of deze een bijdrage leveren aan de benodigde informatie voor de
deelvragen. De artikelen waarnaar in deze selectie artikelen werd gerefereerd zijn ook opgezocht en
weer beoordeeld op bruikbaarheid (een soort olievlek effect). Verder is via de zoekmachines naar
artikelen gezocht die een verwijzing hebben naar de eerder gevonden artikelen. Deze dubbele
aanpak heeft een lijst aan artikelen opgeleverd voor deze literatuurstudie. Verder zijn uit deze
artikelen verwijzingen naar IT security risk websites gebruikt om kennis en inzicht op dit gebied te
vergroten.
Sommige artikelen die via de gebruikte zoekmachines werden gevonden konden alleen tegen
betaling gedownload worden. Bij deze artikelen is dan gezocht naar de titel met kernwoorden “pdf”
en “download” via de normale zoekmachine Google (niet scholar.google.com). Dit leverde wel een
link op waar het artikel zonder betaling gedownload kon worden.
2.2. Selectie criteria
Op basis van een samenvatting van het artikel die de zoekactie naar de trefwoorden heeft
opgeleverd is bepaald of het artikel een bijdrage kan leveren aan de benodigde informatie van de
deelvragen. In eerste instantie werden deze artikelen verzameld en achteraf in hun totaliteit
doorgenomen om de daadwerkelijke bijdrage te bepalen. Artikelen die na deze selectie overbleven
werden gebruikt om via scholar.google.com en Digitale bibliotheek van Open Universiteit artikelen
te vinden die citaties hebben naar deze artikelen. Hierna is op deze artikelen weer dezelfde
werkwijze toegepast van samenvatting doorlezen voor de initiële selectie en daarna het complete
document doornemen. Alle artikelen zijn wetenschappelijke artikelen of rapporten van welbekende
instituten op IT security gebied.
6
3. Uitvoering
3.1. Het Dunning-Kruger effect
Vóórdat David Dunning en Justin Kruger hun paper uitbrachten in 1999 waren er beweringen dat er
een omgekeerd verband bestond tussen zelfvertrouwen en bekwaamheid. Misschien een van de
oudste is die van Charles Darwin:
“Ignorance more frequently begets confidence than does knowledge".
Door de jaren heen zijn er talloze van dit soort uitspraken geweest. Echter was het niet eerder
empirisch vastgesteld. Het effect van Dunning en Kruger toont gelijkenis met “positieve illusies”
(Taylor & Brown 1988) zoals te positieve zelfevaluatie, overdreven perceptie van control of
meesterschap en onrealistisch optimisme, wat normaal is bij mensen en belangrijk is voor een
gezonde geest.
Iedereen heeft het weleens meegemaakt op een zekere moment in een bepaald gebied waar je
(nog) geen kennis, ervaring en inzicht in hebt . Je denkt dat je ergens goed in bent totdat je
geconfronteerd wordt met de resultaten. Of je vergaart meer kennis, ervaring en inzicht en komt er
dan achter dat je gebrekkig was op dit gebied. Dit verschijnsel wordt het “Dunning-Kruger effect”
genoemd.
David Dunning en Justin Kruger beweren dat mensen in het algemeen de neiging hebben om hun
bekwaamheid beter in te schatten dan het werkelijk is. Deze overschatting gebeurt, deels, omdat
mensen die minder bekwaam zijn in bepaalde domeinen een dubbele last hebben: deze personen
maken niet alleen verkeerde beslissingen en trekken foute conclusies maar hun onbekwaamheid
berooft hen van het metacognitieve vermogen om dit te weten. Hun incompetentie op een bepaald
gebied is niet bekend omdat ze dat in de eerste plaats niet kunnen zien.
Dunning en Kruger hebben studenten aan de Cornell universiteit in de V.S. getest op drie gebieden:
Gevoel voor humor, logische redenering en Engelse grammatica. Figuur 1 geeft het resultaat van
deze drie gebieden weer.
Figuur 1: Geschatte vaardigheid, geschatte test resultaat en test resultaat (Dunning & Kruger 1999)
7
Op alle drie de gebieden is geconstateerd dat studenten die minder competent waren op een
bepaald gebied hun eigen kunde overschatten in vergelijking met studenten die meer competent
waren.
Daarna zijn er nog twee tests uitgevoerd.
De eerste om te meten hoe eigen competentie inschatting verandert door competentie van anderen
te observeren. Daaruit bleek dat incompetente mensen hun eigen inschatting niet verbeteren of nog
slechter inschatten. Competente mensen daarentegen stellen hun eigen inschatting wel positief bij
wanneer zij hun competentie vergelijken met anderen.
De oorzaak dat zeer competente mensen anderen te hoog inschatten komt door het zogeheten
“False Consensus Effect”. Dat is een andere op hetzelfde niveau inschatten als zichzelf. (Ross, Greene
en House 1977). Een andere verklaring, echter wel extreem, zou zijn dat sommigen aan het
zogenaamde “Impostor Phenomenon” lijden (Sakulku & Alexander 2011). Dit zijn mensen die
ondanks succesvol te zijn op een bepaald gebied vanwege hun kwaliteiten/prestaties toch het
gevoel hebben dat ze ooit “door de mand” zullen vallen omdat ze hun eigen kunde als “nep”
beschouwen.
Bij de tweede test werd de competentie niveau gemanipuleerd om te controleren of deze de
inschatting verbetert. Er is gemeten dat door de competentie te verbeteren bij minder competente
studenten dat deze de inschatting ook verbeterde.
Een mogelijke oorzaak van verkeerde inschatting is dat mensen hun perceptie van prestatie deels
baseren op vooropgezette begrippen over hun eigen bekwaamheid (Dunning et al 2003). Een andere
metacognitieve bias is het “better than average” of “Lake wobegone” effect.
Figuur 2: Lake Wobegon, fictive stad bedacht door Garrison Keillor
Dit is het verschijnsel dat mensen zichzelf beter inschatten dan anderen. Bij een empirische studie
was dit waargenomen onder Computer Science studenten over hun kennis. (Tenenberg & Murphy
2005). Deze metacognitieve biases vallen onder de categorie “Self-enhancement”, mensen hebben
de neiging zichzelf in een positief daglicht te zien, soms zelfs als er concreet tegenbewijs is. Men
heeft de neiging de toekomst te rooskleurig te zien, hun eigen eigenschappen voornamelijk als
positief te waarderen, teveel krediet nemen voor succesvolle resultaten en bewijs te negeren dat
hun zelfvertrouwen aantast. Echter herkent men self-enhancement wel vaak in een ander maar is
blind wanneer ze dit zelf doen (Pronin 2007).
8
Het Dunning-Kruger effect, verkeerd inschatten van eigen prestatie in een bepaald gebied, kan
verschillende oorzaken hebben en niemand is hier immuun voor. Welke rol dit kan spelen bij IT
security wordt hierna behandeld.
3.2. Link tussen Dunning-Kruger en IT security
Als organisaties hun IT security management prestatie verkeerd inschatten, kan dit betekenen dat de
organisatie grotere risico’s loopt dan afgedekt wordt. Dit verschil kunnen we het “DK Gap” noemen
zoals te zien is in figuur 3.
Figuur 3: Dunning-Kruger gap
IT security is vanwege verschillende factoren een lastige taak. Het is vrijwel onmogelijk om zeker te
zijn van bepaalde zaken. Een van de beste verwoordingen van dit feit in relatie met Dunning-Kruger
is die van Jeremy Wittkop (2016): “..many people fall into the category of extreme ignorance as
revealed by the Dunning-Kruger Effect. It is easy to spot these people in information security, as they
speak in absolutes in formation security”. Een goede indicatie dat het Dunning-Kruger effect een rol
speelt is wanneer woorden als “altijd” of “nooit” worden gebruikt in relatie tot IT security.
Het Dunning-Kruger effect heeft ook als consequentie dat een organisatie niet alleen niet voorbereid
is voor een bedreiging maar is ook niet van bewust dat ze niet voorbereid is. Een duidelijk voorbeeld
is het “heartbleed” incident waar sommige bedrijven helemaal niet bewust waren dat ze niet op dit
type security problemen voorbereid waren (Køien2015). In dit specifieke geval is het niet een
ontwerpfout maar een implementatiefout (programeerfout binnen OpenSSL library) waarbij de
organisatie niet alleen het lek moet dichten, maar ook privé sleutels moet vervangen, bestaande
certificaten intrekken en ook de wachtwoorden moet veranderen. Dit was voor sommige
organisaties een pijnlijke constatering hoe slecht ze voorbereid zijn op totaal onverwachte
bedreigingen.
Gevolg van het Dunning-Kruger effect op IT security is dat deze het effect van “bikeshedding” sterker
kan maken (Køien2015). Bikeshedding is een term dat gebruikt wordt voor het Trivialiteitswet van
Parkinson (Parkinson 1968). Deze wet luidt als volgt: "The time spent on any item of the agenda will
be in inverse proportion to the sum [of money] involved." Omdat IT security vrij complex is kan bij
9
gebrek aan kennis veel tijd aan onnodige discussies worden besteed aan relatief onbelangrijke
thema’s en bij belangrijke, maar complexe thema’s, wordt ervan uitgegaan dat degene die erover
gaat, er verstand van heeft, waardoor er daar minder tijd aan wordt besteed.
Een onderzoek naar overschatting van kennis over drie typen bedreigingen (virus, trojans en
spyware) onder studenten heeft bewezen dat veel studenten denken dat hun computerkennis
voldoende is terwijl dit niet zo is (Hayes, Tanner & Schmidt 2007). Dit onderzoek is bij midden- en
kleinbedrijven uitgevoerd echter waren de resultaten niet zoals verwacht. De subjecten hebben hun
kennis niet overschat. (Hayes, Tanner en Schmidt 2012). Er zijn factoren die een invloed hebben op
zelfevaluatie. Het is bewezen dat er een sterk verband bestaat tussen zelfevaluatie en ervaring met
zelfevaluatie (Mabe & West 1982). Onderzoek naar validiteit van het vermogen van zelfevaluatie
(Mabe & West1982) heeft aangetoond dat variabelen als hoge intelligentie, hoge prestatie en intern
locus van control geassocieerd wordt met nauwkeuriger zelfinschatting.
IT security en het overschatten van kennis op dit gebied is afhankelijk van meerdere factoren. Bij
effectiviteit van IT security speelt naast de hierboven genoemde metacognitieve bias ook het
optimistische een rol. Optimistische bias is een cognitieve bias dat ervoor zorgt dat iemand doet
geloven dat hij minder kans loopt op negatieve gebeurtenissen dan anderen.
Optimistische bias is gemeten bij computergebruikers op het gebied van information security. Deze
blijkt gerelateerd te zijn aan de perceptie van beheersbaarheid van information security
bedreigingen (Rhee et al 2005). Ook was dit waargenomen bij information systems management
waarbij het verband sterker was bij organisaties waar het delen van informatie minder was (Rhee et
al 2012). Er is verder onderzoek gedaan naar de neiging tot optimisme bais op persoonlijk IT risk
beoordeling en welke meetvariabelen gebruikt kunnen worden (Warkentin & Mutchler 2013).
Information security awareness (bewustzijn) programma’s zouden een bijdrage kunnen leveren aan
deze problematiek (Rhee et al 2012). Er vanuit gaan dat iedereen die IT diensten gebruikt, hetzij
direct dan wel indirect, bewust dient te zijn van IT security, kunnen er vijf dimensies onderkend
worden bij IT security awareness met elk een andere aanpak/doelstelling (Siponen 2001):
- Organisatorische dimensie (doelgroep top management, IT/IS management, information
security staff, computing/IS professionals, eindgebruikers en derde partijen)
- Algemeen publiek (doelgroep IT/computer/IS professionals en andere eindgebruikers)
- Sociaal-politiek (doelgroep advocaten, mensen die werkzaam zijn in het publiek sector,
politici en overheid)
- Computer ethica dimensie (doelgroep computer ethica studenten/onderzoekers)
- Institutionele educatie dimensie (maatschappij gedreven proces, doelgroep individuen van
een maatschappij)
Bewustwording kan informatiebeveiliging gunstig beïnvloeden maar het kan nog een stap verder.
Het is bewezen dat eindgebruikers waarde aan IT risk management kunnen toevoegen wanneer
deze ook betrokken worden bij prioriteiten stellen, analyse, ontwerp, testen en monitoren van
gebruiker gerelateerde IT security controles binnen de business. (Spears & Barki 2010)
De link is gelegd tussen Dunning-Kruger en IT security echter is empirisch onderzoek vrij beperkt met
verschillende resultaten. Het effect van verkeerd inschatten van bestaande IT security heeft als
10
gevolg dat een bedrijf grotere risico’s loopt dan die denkt. Hierna wordt het beheren van risico’s bij
IT security behandeld.
3.3. IT security Risk management Het concept van IT security is het behoudt en beschermen van vier aspecten van informatie:
Availability, integrity, authenticity en confidentiality (Soo 2000).
IT Risk management is het proces dat ervoor zorgt dat organisaties (Stoneburner, Goguen & Feringa
2002):
a. risico’s in kaart brengen
b. risico’s beoordelen
c. op risico’s reageren wanneer deze zijn vastgesteld
d. continue monitoren van risico’s
Dit zijn ook de vier componenten van IT risk management volgens de literatuur maar anders
verwoordt: Risk identificatie, Risk analysis, Risk reducerende maatregelen en Risk monitoring. (Rot
2009)
IT risk management is het proces dat voor juiste balans zorgt tussen identificeren van bedreigingen
en de activiteiten die nodig zijn om IT activa hiervan te beschermen. (Rot 2009)
Het doel van IT security risk management is ervoor zorgen dat de organisatie zijn doelstellingen haalt
door (1) beter de IT Systemen die informatie bewaren, verwerken en versturen te beschermen; (2)
door ervoor te zorgen dat management goed geïnformeerde risk management beslissingen nemen
ten opzichte van uitgaven wat onderdeel is van hun IT budget; en (3) door management te
ondersteunen bij goedkeuringen van IT systemen op basis van documentatie die afkomstig is van
performance van risk management. (Stoneburner, Goguen, Feringa 2002)
Risico’s die bedrijven lopen door bedreigingen tot een minimum te reduceren is de taak van IT
security management. Hierna wordt ingezoomd op de termen risico, bedreiging (threat) en
kwetsbaarheid (vulnerability) waar threats gebruik van maken.
3.4. Risico Binnen IT security risk management kan risico gedefinieerd worden als de netto schade bij het
exploiteren van een kwetsbaarheid met de overweging van waarschijnlijkheid en impact van voorval.
(Stoneburner, Goguen, Feringa 2002). Simpel gezegd is risico de kans dat een dreiging zich voordoet
en de gevolgen daarvan (Risico = kans dreiging x gevolg)
Risico kan ook beschreven worden als de onzekerheid dat inherent is aan zaken doen: het is de kans
geassocieerd met verlies (of falen) van een systeem vermenigvuldigd met financieel verlies als het
risico is gerealiseerd. (Straub & Welke 1998)
Definitie van risico hoeft niet altijd negatief te zijn, in project management context wordt
gehanteerd: “an uncertain event or condition that, if it occurs, has a positive or negative effect on a
project objective.” Er is één auteur die deze definitie bij risk management gebruikt (Hubbard 2009)
Concreet is risico binnen IT security risk management het product van de kans dat de
beschikbaarheid, integriteit, authenticiteit en vertrouwelijkheid van informatie negatief beïnvloed
wordt en de gevolgen hiervan.
11
Er zijn vele typen IT risico’s, er kan een scheiding gemaakt worden tussen ramp scenario’s en
misbruik. Het meest ernstige risico voor een organisatie is dat bedrijf kritische systemen
onbeschikbaar worden door bijvoorbeeld orkaan, aardbeving, brand of sabotage (Straub & Welke
1998)
Een generieke definitie van risk management is de beoordeling en mitigatie van potentiele
problemen die een bedreiging zijn voor een bedrijf, ongeacht hun bron of origine (Southern 2009). IT
security risk wordt het beste uitgedrukt als: “The possibility of a threat taking advantage of a
particular vulnerability or weakness and the resulting impact of that action on the firm” (Rees &
Allen 2008).
In de volgende hoofstukken wordt ingezoomd op de termen threat en vulnerability.
3.4.1. Threat Threat, ofwel bedreiging, kan binnen IT security getypeerd worden als een potentiele oorzaak van
een incident dat schade kan veroorzaken op een systeem of organisatie (Janulevicius 2014;
Stoneburner, Goguen & Feringa 2002).
Typen bedreigingen gecategoriseerd (Rainer, Snyder & Carr 1991):
Fysieke bedreigingen: Apparatuur (hardware) storing, Stroomstoring etc.
Onbevoegd fysiek of elektronisch toegang: Computerdiefstal, Datadiefstal, hackers etc.
Bevoegd fysiek of elektronisch toegang: Verouderde applicatie portfolio, Toegenomen
eindgebruiker computer verbruik, etc.
Van de hierboven genoemde categorieën bedreigingen is de bevoegde toegang variant de meest
moeilijke te ontdekken en te beoordelen (Rainer, Snyder en Carr 1991). Een andere indeling
(Stoneburner, Goguen & Feringa 2002):
Natuurbedreigingen: Overstromingen, aardbevingen, tornado’s etc.
Menselijke bedreigingen: Aantasting van beschikbaarheid, integriteit en confidentialiteit van
systemen door fouten, aanvallen etc.
Milieubedreigingen: Langdurige stroomstoring, verontreiniging etc.
3.4.2. Vulnerability
In de context van informatiesystemen is vulnerability (kwetsbaarheid) een fout of zwakte van het IT
systeem of zijn omgeving dat samen met een interne of externe threat (bedreiging) kan lijden tot
falen van security. (Elahi, Yu & Zannone 2010) Een ander definitie van vulnerability is de
waarschijnlijkheid dat een asset (activa) de actie van een threat niet kan doorstaan. (Jones 2006)
Anders uitgedrukt is vulnerability alles wat geëxploiteerd kan worden die toegang tot een asset kan
krijgen of verbieden of een asset kan compromitteren. (Visintine 2003)
Aanwezigheid van een kwetsbaarheid alleen lijdt niet tot schade, er is een bedreiging nodig om hier
gebruik van te maken. Een kwetsbaarheid dat geen bedreiging kent hoeft niet op geacteerd te
worden maar moet wel erkend en in de gaten gehouden worden voor wijzigingen (ISOIEC 27005:
2008).
12
Er zijn anderen die liever bij het begin (ontwikkeling van informatiesystemen) willen zien dat
rekening wordt gehouden met kwetsbaarheden door gebruik te maken van modellen die hier
rekening mee houden (Elahi, Yu & Zannone 2010)
Bij software kan men rekenen op een levenscyclus van kwetsbaarheden zoals afgebeeld (Frei 2013).
Figuur 4: Kwetsbaarheid levenscyclus (Frei 2013).
Voordat er disclosure heeft plaatsgevonden is de kwetsbaarheid voor de systeemeigenaar niet
bekend en kan hierdoor geen actie ondernomen worden. Het is ook een punt van discussie om een
kwetsbaarheid bekend te maken of niet. Wordt deze naar buiten gebracht kunnen
systeemeigenaren hiermee rekening houden maar kunnen anderen hier gebruik van maken
(exploit). Het heeft dan ook alleen zin om een kwetsbaarheid “onder de pet” te houden als
kwaadwillende dit niet al door hebben. Zo kan “known known” en “known unknown” beïnvloed
worden zoals te zien is in figuur 5. (Frei 2013).
Figuur 5: Known Unknowns in IS Security (Frei 2013).
Deze drie categorieën worden binnen IT security soms op verschillende niveaus gebruikt, de
weergave hierboven is een voorbeeld van vulnerabilities. Een voorbeeld op een wat algemeen
niveau:
Known unknowns: Gevaar dat bekend is echter specifiek onbekend (virus, zero day etc)
Unknown knowns: Beveiligingsmaatregels die niet geborgd zijn maar worden wel toegepast
(onbekenden op de werkvloer worden aangesproken bijv.)
Unknow Unknowns: Gevaar is niet bekend en men weet ook niet van het bestaan ervan (social
engineering bijv.)
13
Known unknowns wordt vaak geassocieerd met de Amerikaanse politicus Donald Rumsfeld door zijn
bekende uitspraak: “There are known knowns, things we know that we know; and there are known
unknowns, things that we know we don't know. But there are also unknown unknowns, things we do
not know we don't know.” (Rumsfeld 2011).
3.5. IT Security risk management modellen en Dunning-Kruger
Met IT security risk management modellen worden binnen dit rapport zowel raamwerken, modellen
als methodologie hier bedoeld. De definitie van een model dat gehanteerd wordt voor IT security
risk management: “A model is an abstract, conceptual construct that represents processes,
variables, and relationships without providing specific guidance on or practices for implementation.”
(Tomhave 2005).
Raamwerk definitie: “A framework is a fundamental construct that defines assumptions, concepts,
values, and practices, and that includes guidance for implementing itself.” (Tomhave 2005)
Methodologie definitie: “A methodology is a targeted construct that defines specific practices,
procedures, and rules for implementation or execution of a specific task or function. (Tomhave
2005)
De focus van deze literatuurstudie is hoe er wordt omgegaan met zowel bekende onbekende en
bewuste en onbewuste threats (bedreigingen) die een rol kunnen spelen bij de centrale vraag van
dit onderzoek (Dunning-Kruger effect binnen IT security). IT security modellen worden hier gebruikt
om het risico van deze threats tot een minimum te brengen. De modellen variëren van vrij abstract
(model) tot specifiek (methodologie) in hun toepasbaarheid. De hierna genoemde modellen zijn de
meest geciteerde modellen die naar voren kwamen tijdens deze literatuurstudie. Deze modellen zijn
met elkaar vergeleken om de overeenkomsten te bepalen en welke van deze modellen rekening
houden met het Dunning-Kruger effect. De modellen zijn:
1. CRAMM: CCTA Risk Analysis and Management Method, ontwikkeld door het Britse Central
Communication and Telecommunication Agency.
2. CORAS: Risk management raamwerk, ontwikkeld door het CORAS project binnen het
Information Society Technologies (IST) programma.
3. OCTAVE: Operationally Critical Threat, Asset, and Vulnerability Evaluation. Methode
ontwikkeld door CERT (Computer Emergency Response Team)
4. EBIOS: Expression des Besoins et Identification des Objectifs de Sécurité, ontwikkeld door
Ansi in Frankrijk
5. ISO 27005: Ontwikkeld door International Organization for Standardization (ISO)
6. NIST SP 800-30: Ontwikkeld door de National Institute of Standards and Technology (NIST)
7. COSO: Enterprise Risk Management – Integrated Framework. Committee of Sponsoring
Organizations (Coso) heeft in 2004 het Enterprise Risk Management – Integrated Framework
ontwikkeld
8. McCumber Cube: Een model dat door John McCumber in 1991 is gepresenteerd wat uit drie
dimensies bestaat en elke dimensie uit drie onderdelen. Alle aspecten van IT seucurity kan
geplaatst worden binnen dit raamwerk.
14
9. FAIR: Methodologie ontwikkeld in 2005 door Jack Jones van Risk Management Insight. FAIR
is de afkorting voor “Factor Analysis of Information Risk”
10. FRAP: Facilitated Risk Analysis Process, ontwikkeld door Thomas Peltier in 1993. Een
methode van risk management dat per keer één systeem, applicatie of business segment
process analyseert met een team dat bestaat uit business managers en support groepen.
Geen van de hierboven genoemde modellen houdt direct rekening met het Dunning-Kruger effect.
Bij alle modellen wordt geacht dat de organisatie/personen die hierbij betrokken zijn een accurate
risico inschatting kunnen maken. De fase van risico inschatting wordt “Risk assessment” genoemd.
Niet alle modellen gebruiken dezelfde benaming voor deze fase of soms wordt dit over meerdere
onderdelen verdeeld. Tabel 1 geeft de modellen en de benamingen die gehanteerd worden binnen
deze modellen voor “Risk Analysis”.
model Risk analysis
CRAMM Threat and vulnerability assessment
CORAS Risk Identificatie Risk Analysis Risk Evaluatie
OCTAVE Identify threats Identify risks
EBIOS
Analyse van gevreesd beveiligingsincident Analyse van bedreigingsscenario's Risicoanalyse
ISO27005 Risk Identification Risk Estimation Risk Evaluation
SP800-30 Risk assesment
COSO Risk assesment
MCCUBER Geen speciefiek onderdeel
FAIR Evaluate Loss Event Frequency Evaluate Probable Loss Magnitude
FRAP Brainstorm sessie Gevolgen geanalyseerd. Threats en risico’s worden geprioriteerd
Tabel 1: Risk assessment onderdeel verschillende modellen
Tekortkomingen bij IT security modellen in het algemeen (Fenz et al 2014):
• asset and countermeasure inventory identification;
• asset value assignment;
• risk prediction;
• the overconfidence effect;
• knowledge sharing; and
• risk vs. cost trade-offs.
Van de hierboven genoemde tekortkomingen lijkt overconfidence (overmoedigheid) het meest op
het Dunning-Kruger effect. Factor die aan overmoedigheid bijdraagt, is stress met betrekking tot
beslissingen nemen waarbij tijd en resources krap zijn. Hierdoor worden risicoveronderstellingen te
rooskleurig geschetst.
15
Kalibratie
Overmoedigheid bij IT security, en ook andere gebieden, kan tegengewerkt worden met kalibratie
tests. (Hubbard 2009) Een manier waarbij kalibratie kan worden toegepast is door een persoon
triviale vragen te laten beantwoorden waarbij de antwoorden waar of niet waar zijn. Verder moet bij
de antwoorden het percentage ingevuld worden dat de persoon ervan zeker is van het antwoord.
Resultaten kunnen de overmoedigheid van voorspellingen vaststellen. Zie bijlage 1 voor een
voorbeeld van een kalibratie vragenlijst. Een persoon is ideaal gekalibreerd als hij of zij 80% van de
keren correct was bij 80% zekerheid, 90% correct bij 90% zekerheid, etc.
3.6. IT risk management aspecten
Kwalitatieve risk management modellen is vergeleken met kwantitatieve modellen meer subjectief,
kennis en ervaring spelen hier een sleutelrol. Als de kennis overschat wordt kan dit eerder een
negatief gevolg hebben dan bij kwantitatieve modellen.
Kwantitatieve risk is het uitdrukken van risico in monetaire waarde en frequentie. Als risico zo wordt
gemeten kunnen de kosten van risico worden afgezet tegen de kosten van het implementeren van
oplossingen om dit risico te verminderen. Rekenkundig kan kwantitatieve risk uitgedrukt worden in
“Annualized Loss Expectancy” (ALE). ALE = Asset Value x Exposure Factor x Frequency (annual rate
of occurrence)
Kwalitatieve risk bepaalt wat het effect van verlies, corruptie of onbeschikbaarheid van een asset
(activa) zou zijn. (Visintine 2003)
IT security risk management modellen hebben een fase waarbij IT activa wordt geïdentificeerd,
bedreigingen (threats) in kaart worden gebracht en kwetsbaarheden van IT activa tegenover de
bedreigingen wordt vastgesteld. Dit is de basis waarop beslissingen worden genomen en is ook het
meest complexe onderdeel omdat risico gekwantificeerd wordt aan de hand van perceptie en dat is
in grote mate subjectief. (Rainer, Kelly, Snyder & Carr 1991)
Een ander probleem dat onderkend wordt is het creëren en bijhouden van IT activa dat gebruikt
wordt voor risico analyse door het feit dat de scope, grootte en mate van verandering ervoor zorgt
dat deze moeilijk is bij te houden. (Rees en Allen 2008) Een nog groter probleem is het vaststellen
van mogelijke threats waaraan een organisatie bloot wordt gesteld, vooral de waarschijnlijkheid dat
deze plaatsvindt en de schatting van de schade als gevolg. (Rees & Allen 2008)
Anderen leggen de nadruk meer op de eindgebruikers. Namelijk als deze niet het beleid volgen dan
is alle inspanning voor niets geweest. Het naleven van information security praktijken en beleid is
beïnvloed door organisatorische, milieu en gedragsfactoren. (Herath & Rao2009)
Dit onderzoek kijkt naar hoe een organisatie omgaat met IT security risk management door het
correct inschatten van risico’s die wel of niet bekend zijn waarvan de organisatie wel of niet van
bewust is. Bewustwording is een belangrijk aspect bij individuen die hier een rol spelen. IT
beveiliging blijft mensenwerk, hetgeen betekent dat individuen binnen de organisatie een transitie
dienen te ondergaan van onbewust niet adequaat naar onbewust adequaat bij IT -beveiliging.
(Kornelisse 2007)
16
Figuur 7: Ontwikkeling van besef inzake IT –beveiliging (Kornelisse 2007)
De vier fasen van ontwikkeling van het IT beveiliging besef bij medewerkers is te zien in figuur 7.
Wanneer dit besef aanwezig is zal een medewerker spontaan proactief handelen als het gaat om IT
security kwesties, het is dan niet alleen de taak van IT security medewerkers en managers.
IT security bewustwording en perceptie bij managers is een functie dat bestaat uit drie factoren
(Goodhue & Straub 1991): 1. Risico inherent aan de industrie waar de organisatie opereert, 2. Mate
van inspanning dat al is genomen om de risico te controleren en 3. Individuele factoren zoals bewust
zijn van eerdere systeemincidenten, achtergrond hoe systemen werken, etc. Het model voor
management perceptie is te zien in figuur 8.
Figuur 8: Model voor management perceptie van IT risk (Straub & Welke 1998)
"Organizational Environment" onderdeel van dit model om perspectieven te verbeteren houdt in dat
er informatie over vatbaarheid van risico’s binnen de branche moet worden vergaard door lezen en
informatiedeling tussen branchegenoten.
“Individual Characteristics” is informatie over security incidenten en de vatbaarheid voor schade.
Bijvoorbeeld dat bij een systeem een aantal keren is geprobeerd deze te hacken en ook een keer is
gelukt moet bij de manager bekend zijn.
“IS Environment" refereert naar kennis over de technische en leidinggevende maatregelen die
beschikbaar zijn voor Informatie beveiliging en welke acties er mogelijk zijn.
17
4. Resultaten
De hoofdvraag van deze literatuurstudie was:
“Is het Dunning-Kruger effect waarneembaar op het gebied van IT Security management en indien
dit het geval is wat zijn de factoren die hier een rol spelen?”
Resultaten van de literatuurstudie naar IT security management en het Dunning-Kruger op het
gebied van IT security is dat het effect op zich veelvuldig wordt geciteerd. Het originele artikel
“Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated
self-assessments” werd op het moment van het schrijven van dit rapport 2901 keer geciteerd
volgens Google Scholar. Echter in combinatie met “IT security” zijn er maar 4 hits waarvan er slechts
één wat toevoegt aan de hoofdvraag van deze studie.
IT security risk management is vanwege verschillende factoren een lastig taak. Het is vrijwel
onmogelijk om zeker te zijn van bepaalde zaken. Er treden incidenten op waar sommige bedrijven
helemaal niet bewust van waren dat ze niet op voorbereid waren. Een onderzoek naar
overschatting van kennis over drie typen bedreigingen onder studenten heeft bewezen dat veel
studenten denken dat hun computerkennis voldoende is waar dit niet zo was, terwijl hetzelfde
onderzoek bij midden- en kleinbedrijven andere resultaten gaf. Kennelijk zijn er meerdere factoren
die een invloed hebben op zelfevaluatie. Het is bewezen dat er een sterk verband bestaat tussen
zelfevaluatie en ervaring met zelfevaluatie.
Ook speelt het optimistische bias een rol bij prestatie-inschattingen bij computergebruikers op het
gebied van information security (te rooskleurig beeld) wat gerelateerd is aan de perceptie van
beheersbaarheid van information security bedreigingen. Dit was ook waargenomen bij IT
management waarbij het verband sterker was bij organisaties waar het delen van informatie minder
was. Bewustwording in de vorm van Information security awareness (bewustzijn) programma’s zou
een bijdrage kunnen leveren aan deze problematiek. Het is bewezen dat eindgebruikers waarde aan
IT risk management kunnen toevoegen wanneer deze ook betrokken worden.
IT security risk modellen houden niet direct rekening met het Dunning-Kruger effect. Ze hebben
allemaal een “Risk assessment” onderdeel waar het realistisch inschatten een belangrijke rol speelt.
Het Dunning-Kruger effect heeft dan direct gevolgen voor het gekozen IT risk management model.
Binnen de literatuur is overconfidence (overmoedigheid) opgemerkt als één van de problemen bij IT
security risk management in het algemeen wat tegengewerkt kan worden met kalibratie tests.
Verder is het de Achilleshiel van IT security, het feit dat er rekening gehouden moet worden met
aspecten waar men niet eens weet dat die bestaan. Bewustwording van dit feit is al een stap in de
juiste richting waarbij de perceptie van de IT manager een sleutelrol speelt.
18
5. Conclusies Uit de literatuurstudie is gebleken dat het correct inschatten van de IT security een belangrijk uitgangspunt is. Het effect van geschatte prestatie en eigen prestatie op het gebied van IT security bij studenten en bij MKB hebben twee verschillende resultaten opgeleverd. Er is weinig bekend over het Dunning-Kruger effect bij IT security risk management bij andere typen organisaties zoals multinationals of bij de overheid en (semi-)publieke sector. Deze laatste vormt een brede categorie. Sommigen zijn groot (ministeries, universiteiten) met eigen expertise, sommigen klein (kleine gemeentes, zbo's) met externe IT. Er zijn vele aspecten die een invloed kunnen hebben op prestatie-inschatting. Door verschillende organisaties te onderzoeken binnen een bepaalde branche kan er een bijdrage geleverd worden aan dit risico gat binnen IT security risk managent. Plan voor een vervolgonderzoek is het meten van het Dunning-Kruger effect op IT security risk management bij overheidsinstellingen met als uitgangspunt de volgende hypothesen: -Overheidsorganisaties, zoals scholen, die per definitie opereren in een vijandige (hostile) omgeving doen het beter qua inschatting van hun IT security risk management prestatie omdat ze meer ervaring hebben met security incidenten. -Overheidsorganisaties waar er veel (externe) expertise aanwezig is op het gebied van IT security risk management doen het beter qua inschatting van hun IT security risk management prestatie vanwege aanwezige kennis en inzicht.
-Organisaties die weinig kennis, ervaring en inzicht op het gebied van IT security risk management
hebben overschatten hun prestatie op dit gebeid.
19
Referenties
Rumsfeld, D. (2011). Known and unknown: a memoir. Penguin.
Rainer Jr, R. K., Snyder, C. A., & Carr, H. H. (1991). Risk analysis for information technology. Journal of
Management Information Systems, 8(1), 129-147.
Rees, J., & Allen, J. (2008). The state of risk assessment practices in information security: An
exploratory investigation. Journal of Organizational Computing and Electronic Commerce, 18(4),
255-277.
Stoneburner, G., Goguen, A. Y., & Feringa, A. (2002). SP 800-30. Risk Management Guide for
Information Technology Systems, National Institute of Standards & Technology, Gaithersburg, MD.
Rot, A. (2009). Enterprise information technology security: risk management perspective. In
Proceedings of the World Congress on Engineering and Computer Science (Vol. 2, pp. 20-22).
Tomhave, B. L. (2005). Alphabet soup: Making sense of models, frameworks, and methodologies.
George Washington University.
McCumber, J. (1991, October). Information systems security: A comprehensive model. In
Proceedings of the 14th National Computer Security Conference.
Straub, D. W., & Welke, R. J. (1998). Coping with systems risk: security planning models for
management decision making. Mis Quarterly, 441-469.
Goodhue, D. L., & Straub, D. W. (1991). Security concerns of system users: a study of perceptions of
the adequacy of security. Information & Management,20(1), 13-27.
Elahi, G., Yu, E., & Zannone, N. (2010). A vulnerability-centric requirements engineering framework:
analyzing security attacks, countermeasures, and requirements based on vulnerabilities.
Requirements engineering, 15(1), 41-62.
Janulevicius, J. (2014). Development of a Risk Assessment Model for IT Risk Self-Assessment Expert
System for SMEs. International Journal of Computer and Communication Engineering, 3(4), 306.
de Kruijf, J. A., & Thiel, S. V. (2013). Keurslijf of maatpak? Over verschillen in aansturing en
dienstverlening tussen Agentschappen en Zelfstandige Bestuursorganen.
Thiel, S. V. (2012). Are you being served?: de opbrengsten van verzelfstandiging van
overheidsorganisaties. Nijmegen: Radboud Universiteit Nijmegen.
Ir. P. Kornelisse RE. Waarom lukt het niet (zuinig) te beveiligen?. Compact 2007/2
Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: how difficulties in recognizing one's
own incompetence lead to inflated self-assessments. Journal of personality and social psychology,
77(6), 1121.
Dunning, David, et al. "Why people fail to recognize their own incompetence." Current directions in
psychological science 12.3 (2003): 83-87.
20
Hayes, Thomas, Margaret Tanner, and George Schmidt. "Computer Security Threats: Small Business
Professionals’ Confidence in Their Knowledge of Common Computer Threats." Advances in Business
Research 3.1 (2012): 107-112.
Schmidt, George; Tanner, Margaret; and Hayes, Thomas (2007) "COMPUTER SECURITY THREATS:
STUDENT CONFIDENCE IN THEIR KNOWLEDGE OF COMMON THREATS," Journal of Business &
Leadership (2005-2012): Vol. 3: No. 1, Article 26.
Rhee, Hyeun-Suk, Young Ryu, and Cheong-Tag Kim. "I am fine but you are not: Optimistic bias and
illusion of control on information security." ICIS 2005 Proceedings (2005): 32.
Rhee, H. S., Ryu, Y. U., & Kim, C. T. (2012). Unrealistic optimism on information security
management. computers & security, 31(2), 221-232.
Siponen, M. (2001). Five dimensions of information security awareness.Computers and
society, 31(2), 24-29.
Tenenberg, J., & Murphy, L. (2005). Knowing what I know: An investigation of undergraduate
knowledge and self-knowledge of data structures. Computer Science Education, 15(4), 297-315.
Mabe, P. A., & West, S. G. (1982). Validity of self-evaluation of ability: A review and meta-
analysis. Journal of applied Psychology, 67(3), 280.
Southern, S. (2009). Creating risk management strategies for IT security. Network Security, 2009(3),
13-16.
Fenz, S., Heurix, J., Neubauer, T., & Pechstein, F. (2014). Current challenges in information security
risk management. Information Management & Computer Security, 22(5), 410-430.
Jones, J. (2006). An introduction to factor analysis of information risk (fair).Norwich Journal of
Information Assurance, 2(1), 67.
Visintine, V. (2003). An introduction to information risk assessment. SANS institute, 8.
ISO, B. (2008). IEC 27005: 2008. Information Technology–Security Techniques–Information Security
Risk Management.
Herath, T., & Rao, H. R. (2009). Protection motivation and deterrence: a framework for security
policy compliance in organisations. European Journal of Information Systems, 18(2), 106-125.
Frei, S. (2013). The known unknowns: Empirical analysis of publicly unknown vulnerabilities. Austin:
NSS Labs Inc.
Warkentin, M., Xu, Z., & Mutchler, L. A.(2013). I’m Safer than You: The Role of Optimism Bias in
Personal IT Risk Assessments. Dewald Roode Workshop on Information Systems Security Research.
Spears, J. L., & Barki, H. (2010). User participation in information systems security risk management.
MIS quarterly, 503-522.
21
Hubbard, D. W. (2009). The failure of risk management: Why it's broken and how to fix it. John Wiley
& Sons.
Wittkop, J. (2016). Building a Comprehensive iT security program. Apress
Ross, L., Greene, D., & House, P. (1977). The “false consensus effect”: An egocentric bias in social
perception and attribution processes. Journal of experimental social psychology, 13(3), 279-301.
Pronin, E. (2007). Perception and misperception of bias in human judgment. Trends in cognitive
sciences, 11(1), 37-43.
Køien, G. M. (2015). Reflections on Evolving Large-Scale Security Architectures. International Journal
on Advances in Security Volume 8, Number 1 & 2, 2015.
Parkinson, C. N. (1968). Parkinson's Law of the Pursuit of Progress. Penguin Books
Sakulku, J., & Alexander, J. (2011). The impostor phenomenon. International Journal of Behavioral
Science (IJBS), 6(1).
Taylor, S. E., & Brown, J. D. (1988). Illusion and well-being: a social psychological perspective on
mental health. Psychological bulletin, 103(2), 193.
22
Bijlage 1: Voorbeeld kalibratie test
Supplementary Calibration Test: Binary 1
Statement Answer
(T/F)
Confidence that you are
correct (Circle one)
1 The melting point of tin is higher than the melting point
of aluminum.
50% 60% 70% 80%
90% 100%
2 In English, the word “quality” is more frequently used
that the word “speed”.
50% 60% 70% 80%
90% 100%
3
Any male pig is referred to as a hog.
50% 60% 70% 80%
90% 100%
4 California’s giant sequoia trees are named for an early
19th century leader of the Cherokee Indians.
50% 60% 70% 80%
90% 100%
5
The Model T was the first car produced by Henry Ford.
50% 60% 70% 80%
90% 100%
6
When rolling 2 dice, a roll of 7 is more likely than a 3.
50% 60% 70% 80%
90% 100%
7 No one has ever been reported to have been hit by any
object that fell from space.
50% 60% 70% 80%
90% 100%
8
Sir Christopher Wren was a British anthropologist.
50% 60% 70% 80%
90% 100%
9
Pakistan does not border Russia.
50% 60% 70% 80%
90% 100%
10
The Navy won the first Army-Navy football game.
50% 60% 70% 80%
90% 100%
11 The paperback version of the book “The Da Vinci
Code”, as of July 2007, still ranks in the top 500
bestselling books on Amazon.
50% 60% 70% 80%
90% 100%
12
Italian has more words than any other language.
50% 60% 70% 80%
90% 100%
13
The month of August is named after a Greek god.
50% 60% 70% 80%
90% 100%
14 The deepest ocean trench is deeper than the Grand
Canyon.
50% 60% 70% 80%
90% 100%
15 Abraham Lincoln was the first president born in a log
cabin.
50% 60% 70% 80%
90% 100%
16 As of July of 2007, more people search Google for
“Harry Potter” than “Hillary Clinton” (according to
GoogleTrends).
50% 60% 70% 80%
90% 100%
17 The population of Alabama is higher than the population
of Arizona.
50% 60% 70% 80%
90% 100%
18
No category 5 hurricane hit the US in 2004.
50% 60% 70% 80%
90% 100%
19 The UK is among the top 10 largest economies in the
world (by GDP).
50% 60% 70% 80%
90% 100%
20 The movie Forest Gump has grossed more to date than
E.T. The Extra Terrestrial.
50% 60% 70% 80%
90% 100%
