30
Table of Contents Survey: Hoorcollege 1 – Survey............................................. 1 Hoorcollege 2 – Soorten Fouten.....................................7 Hoorcollege 3 – Survey Processen...................................8 Inhoudsanalyse Hoorcollege 1 – Inhoudsanalyse....................................11 Hoorcollege 2 – Operationaliseren.................................13 Hoorcollege 3 – Steekproeven......................................18 Hoorcolleges Survey Hoorcollege 1 – Survey In deze cursus wordt kwantitatieve inhoudsanalyse gewoon “inhoudsanalyse” genoemd, maar onthoud dus dat er ook kwalitatieve inhoudsanalyse mogelijk is (2 e jaar) Het doel van surveyonderzoek: - Uitspraken doen - Over een populatie o Grote groep mensen o Bijv Nederlandse bevolking o Gaat dus niet over subgroepen, maar over de hele populatie. Dus in dit geval niet “ouders met kinderen” of “jazzmuzikanten” maar dit kun je wel in de variabelen noemen, dus stel je voor jouw populatie is “muzikanten” dan kan een van je variabele zijn bijvoorbeeld welke muziek ze spelen. - Op basis van onderzoek bij een steekproef o Nog steeds grote groep maar niet hele groep - Met betrekking tot een specifiek aantal specifieke verschijnselen oftewel variabelen - Die verschijnselen moeten beschreven en verklaard worden Op de dia was verklaren groter gedrukt dan beschrijven. Dat komt omdat beschrijven verplicht is, maar als je het kan verklaren is het

mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

  • Upload
    others

  • View
    5

  • Download
    0

Embed Size (px)

Citation preview

Page 1: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Table of ContentsSurvey:

Hoorcollege 1 – Survey...........................................................................................................................1

Hoorcollege 2 – Soorten Fouten.............................................................................................................7

Hoorcollege 3 – Survey Processen..........................................................................................................8

Inhoudsanalyse

Hoorcollege 1 – Inhoudsanalyse...........................................................................................................11

Hoorcollege 2 – Operationaliseren.......................................................................................................13

Hoorcollege 3 – Steekproeven.............................................................................................................18

Hoorcolleges Survey Hoorcollege 1 – SurveyIn deze cursus wordt kwantitatieve inhoudsanalyse gewoon “inhoudsanalyse” genoemd, maar onthoud dus dat er ook kwalitatieve inhoudsanalyse mogelijk is (2e jaar)

Het doel van surveyonderzoek: - Uitspraken doen- Over een populatie

o Grote groep menseno Bijv Nederlandse bevolkingo Gaat dus niet over subgroepen, maar over de hele populatie. Dus in dit geval niet

“ouders met kinderen” of “jazzmuzikanten” maar dit kun je wel in de variabelen noemen, dus stel je voor jouw populatie is “muzikanten” dan kan een van je variabele zijn bijvoorbeeld welke muziek ze spelen.

- Op basis van onderzoek bij een steekproefo Nog steeds grote groep maar niet hele groep

- Met betrekking tot een specifiek aantal specifieke verschijnselen oftewel variabelen- Die verschijnselen moeten beschreven en verklaard worden

Op de dia was verklaren groter gedrukt dan beschrijven. Dat komt omdat beschrijven verplicht is, maar als je het kan verklaren is het beheers- en voorspelbaar. Dat is voor wetenschappers dus veel belangrijker.

BOEK: Op efficiënte wijze zo veel mogelijk bruikbare informatie opleveren door- Objectief - Vragen wat wordt bedoeld- Duidelijk en ondubbelzinnig- Vergelijkbare antwoorden opleveren- Rekening houden met misverstanden- Systematisch

Page 2: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

- Motiveren tot beantwoordingo Zorgen dat non-respons zo laag mogelijk is

Reactiviteit: Effecten van veelvuldig gebruik van vragenlijsten, zoals onderzoeksmoeheid en invloed die van vragenlijstonderzoeken zelf uitgaat.

Uit de hypothesen worden variabelen afgeleid, waartussen je relaties moet bedenken. Die variabelen ga je operationaliseren, maar de relaties stel je achteraf vast: kun je niet meten. Je meet dus de variabelen en stelt daarna vast in hoeverre ze samenhangen.

Waarnemen van variabelen- Gebeurt in principe op één moment- Gesloten vragen via gestructureerde vragenlijst - Mondeling of schriftelijk

Mondelinge interviews- Nadelen

o Duur (reiskosten)o Veel tijd

- Voordeleno Hoge responso Mogelijkheid tot het stellen van veel vragen (bijv gesprekken van anderhalfuur, kan

niet bij een webenquete)Telefonisch interview

- Nadeleno Kosten telefooncentrale zijn hoog

- Voordeleno Gaat snelo Kosten zijn minder hoog dan mondeling

- Random didgit dialing is nu niet meer zo goed om steekproeven mee te trekken omdat er weinig land lines meer zijn. Niet iedereen heeft nog een vaste telefoon.

Schritelijk interview- Nadelen

o Duur (postzegels en drukwerk)Online interview

- Nadelen o ..

- Voordeleno Heel goedkoopo Heel snel

- Is heel moeilijk toe te passen als je de hele Nederlandse bevolking als steekproef hebtJe kunt verschillende soorten inverviews met elkaar combineren.

BOEK: Soorten variabelen- Homogene variabele: Één aspect- Heterogene variabele: Meerdere aspecten en dus meerdere vragen nodig.

Steekproefkader (sample frame): Lijst met eenheden uit de populatie waaruit je een steekproef trekt voor de survey. Overlapt niet altijd met populatie.

Steekproef (sample): Eenheden uit de steekproefpopulatie die je uitnodigt om deel te nemen aan je onderzoek. Vallen allemaal in het steekproefkader.

Page 3: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Gerealiseerde steekproef (completed sample): Alle eenheden uit de populatie die de vragenlijst volledig hebben ingevuld. Er zijn heel af en toe mensen die niet bij de populatie horen, die moet je uit de dataset gooien voor je gaat analyseren.

Het kan dat je ondervraagden niet overeenkomen met je populatie. Je kunt bijvoorbeeld ouders vragen over het gedrag van hun kinderen, of medewerkers over hun bedrijf. Dan is de populatie dus kinderen of bedrijf, maar je ondervraagt de informanten.

Fouten in survey1. Coverage error2. Sampling error3. Non-response error4. Measurement error

Alles wat je doet tijdens surveyonderzoek is om te zorgen dat deze vier fouten zo klein mogelijk te houden. Je moet je dus altijd bewust zijn van de mogelijke fouten. HOOFDTHEMA IN DEZE CURSUS en dus ook heel belangrijk voor tentamen. De meeste andere fouten zijn te herstellen, denk bijv een fout in je analyse: kun je opnieuw uitvoeren.

1. COVERAGE ERRORTreed op wanneer niet alle leden van de populatie een van tevoren bekende kans hebben om in de steekproef te komen EN als degene die een kans van nul hebben op voor het onderzoek belangrijke variabelen afwijken van degene die wel een kans hebben.

Dus als je bepaalde mensen uitsluit, of een onbekende kans geeft, en ze wijken af op belangrijke variabalen, dan heb je last van coverage error. Niet alle leden hoeven dezelfde kans te hebben, maar de kansen moeten wel

bekend zijn zodat je dit uit kan wegen Degene die niet in de steekproef komen hoeven niet helemaal niet af te wijken,

maar alleen op belangrijke variabelen. (Dit is wel belangrijk voor puntschattingen, maar niet bij relaties tussen variabelen omdat je er daarbij vanuit gaat dat die relaties voor alle mensen gelijk zijn)

Dit is een probleem omdat je een fout beginpunt neem.

2. SAMPLING ERRORStel je weet alle eenheden van een populatie te ondervragen, dan weet je precies hoe de verdeling en de samenhang van die populatie is. Dan maak je dus geen sampling error. Als je niet de hele populatie ondervraagt, maak je een sampling error. Je steekproef kan namelijk gedeeltelijk afwijken op variabelen van de populatie.

- Bij een random steekproef vertelt de statistiek precies hoe groot de foutenmarge is (komt terug bij Statistiek A) Zegt eigenlijk gewoon dat hoe meer mensen er in je steekproef zitten hoe kleiner je sampling error is.

Sampling error kun je niet vermeiden maar moet je gewoon plannen: “De non-respons is ongeveer zo groot, en dus moet ik zoveel mensen ondervragen”Hoe groter je steekproef is, hoe beter je je waarden kan onderscheiden van het toeval

- Bij een niet random steekproef weet je niet wat de foutenmarge is, dat is een probleem. De resultaten van deze steekproef kan je dus niet generaliseren naar een populatie. Daarom gaat het bij Statistiek A en Methoden v Onderzoek vaak over random steekproeven, en niet over deze vorm.

Je kunt op z’n best uitspraken doen over een deelpopulatie uit de populatie die je eigenlijk wilde onderzoeken die gerepresenteerd wordt door degenen in je onderzoek.

Page 4: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Dit is echter niet waardeloos want als alle leden in de populatie op belangrijke kenmerken gelijk verondersteld worden, levert een niet-random steekproef dezelfde resultaten op als een random steekproef MAAR hiervoor moet je een goede theorie hebben zodat je goed kunt inschatten wat en hoe met de variabelen.

3. NON RESPONS ERROR Wanneer niet alle mensen uit de steekproef meedoen aan de survey EN wanneer de mensen die niet meedoen aan het onderzoek op belangrijke variabelen afwijken dan degenen die wel meedoen.Verschil met coverage error : Bij Non-respons kun je niet vragen op welke variabelen ze dan afwijken Het is mogelijk om een goede respons te krijgen, door bijvoorbeel de Total design methode te gebruiken.

Non-response error is het ergst want daar heb je het minst controle over. Pas als het onderzoek klaar is weet je of het gelukt is.

Kans zo klein mogelijk houden:1. Waargenomen beloning vergroten

a. Geef informatie over het survey en het belang ervanb. Vraag om hulp of adviesc. Toon respect voor de respondentend. Bedank de respondentene. Refereer aan waarden die breed worden onderschreven in de populatief. Geef tastbare beloningeng. Maak je vragenlijst itneressant voor verschillende groepen in de populatieh. Zorg voor sociale validatie: maak gebruik van een subjectieve norm die mensen uit

het gedrag van anderen afleideni. Laat weten dat de mogelijkheden om te reageren beperkt zijn, dat maakt het schaars

en schaarste is aantrekkeli jk2. Waargenomen kosten verkleinen

a. Maak het makkelijk om mee te doenb. Voorkom onderwerpende taal : “jij MOET …”c. Maak de vragenlijst kort en makkelijk in te vullend. Vraag zo weinig mogelijk persoonlijke en privacy gevoelige informatiee. Benadruk de overeenkomsten met verzoeken waarmee respondent al eerder heeft

ingewilligd, bijv. als iemand al eerder mee heeft gemaakt. 3. Vertrouwen vergroten voor jezelf als onderzoeker en de organisatie voor wie je werkt

a. Zoek ondersteuning van organisatie met legitieme autoriteitb. Geef vooraf een kleine blik van waarderingc. Laat hetgeen je van de respondenten verlangt belangrijk lijkend. Zorg ervoor dat beoogde respondenten merken dat je hun antwoorden vertrouwelijk

zult behandelen en dat je hun antwoorden veilig registreert.

4. MEASUREMENT ERRORWanneer hetgeen wat je meet niet correct of niet nauwkeurig is (staat in het BOEK van Brinkman)Heeft met zowel context van de vragen (lay out, volgorde) als de vragen zelf te maken (framing, nonverbale communicatie).

1. Systematische meetfout2. Toevallige meetfout

Variatie in onderzoeken is belangrijk.

Page 5: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Bijvoorbeeld twee keer hetzelfde mailtje sturen, of iets wat in een ander onderzoek voor irritatie zorgde, nog een keer gebruiken.

Nadenken over aspecten die meespelenBij elk surveyonderzoek moet je weer opnieuw nadenken. Alles wat je doet heeft invloed op

- Waargenomen beloning voor deelname- Waargenomen kosten van deelname- Het vertrouwen wat men jou en je opdrachtgever geeft

Aspecten ( KOMEN NIET OP TENTAMEN ) Maar moet je wel weten als je zelf vragenlijst op gaat zetten) 1. Survey modus

a. Schriftelijkb. Mondelingc. Web

2. Steekproef3. Contact met beoogde respondenten

a. Emailb. Briefc. Twee keer: 1. We gaan het onderzoek houden en dan drie dagen later 2. De

uitnodiging zelf4. Incentives5. Extra materiaal

a. Evt foldertjes etc6. Vragenlijst7. individuele vragen

BOEK: Beantwoordingsproblemen - niet aangeven wat er wordt verwacht van de respondenten- resopndentomstandigheden onbekend voor de onderzoeker- geen precies antwoord of niet willen geven- begrijpen van de vraag, anders opvatten o.i.d.

een meting is pas valide als de variabele zoals gemeten overeenkomt met de variabele zoals bedoeld

Variabele-zoals-bedoeld

indicator(en)

operationele definitie

vertaling in vragen

interpretatie van vragen

interpretatie van vragen door de respondent

verwoording van feit, mening, gevoel enz. door respondent

antwoorden op vragen in vragenlijst = Variabele zoals gemeten

Page 6: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Boek: Vraagtypen- “gewone” vraag- Aan te vullen bewering- Stelling- Vignet- Rangordening - Checklist / multipleresponsvraag - Opsomming met keuzebeperking - Constante som- Rapportcijfer- Antwoorden koppelen aan wegingsfactoren

Hoorcollege 2 – Soorten FoutenDoel van survey onderzoek

- uitspraken doen over populatie met bekendeo foutenmargeo zekerheid

- op basis van onderzoek bij steekproef- met betrekking tot een aantal specifieke verschijnselen- die we willen beschrijven en verklaren

nog even herhaling: Soorten fouten- coverage error- sampling error - non-response error- measurement error

bij de niet-random steekproef weet je niet hoe groot de kans is of hoe ver je er naast zit, je kan dus moeilijk generaliseren

waarom een random steekproef?- Als ieder lid van de populatie een bekende van nul afwijkende kans heeft om in de

steekproef te komen- En de steekproef groot genoeg is- Is er een grote kans dat | de verdeling van de variabelen | en de samenhang tussen de

variabelen binnen de steekproef | op een bekende wijze overeenkomen | met de verdeling en samenhang in de populatie

- Maar die kans is nooit 100%- Dus in principe zou je een steekproef kunnen trekken waarin alleen maar mensen zitten die

geen tv hebben thuis, maar het zou dus kunnen.

Soorten random steekproeven- Simpele random steekproef

o Nadeel: niks is 100% zeker dus je kan heel toevallig een hele rare steekproef krijgen, bv 90% is man

- Gestratificeerde random steekproefo Als je van je steekproefkader al de populatiegegevens hebt (bv geslacht en leeftijd,

en je weet al de populatie van hoeveel mensen man zijn ofzo) dan kun je dat gebruiken.

o Je kan elke eenheid in een stratum indelen. In die strata trek je simpele random steekproeven

Page 7: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

o Voordeel: kleinere kans op rare verdeling bij belangrijke variabelen en schattingen zijn bijna altijd preciezer

- Gestratificeerde randmo meertrapssteekproefo Je begint op een hoger niveau met definieren van een populatie en daar ga je een

steekproef uit trekken binnen die eenheden. o Bv Europa : land in europa: woonplaatsen: Straten : simpele steekproef altijd uit de

laatste stap - Clustersteekproef

o Op hoog niveau worden clusters genomen van eenheden en die worden opgenomen in de steekproef

o Bijvoorbeeld universiteiten in europa, en op die universiteiten neem je een deel van die studenten op in je onderzoek.

o Voordeel: Goedkoop onderzoek want je hoeft niet alle universiteiten af te reizen om daar een paar mensen te odnervragen, alleen je vraagt gewoon veel studenten bij maar een paar universiteiten

o Nadeel: respondenten kunnen redelijk op elkaar lijken

Alternatieven voor niet-random steekproeven- Sneeuwbal steekproef

o Je ondervraagden vragen of ze nog vrienden oid hebben die ook willen meedoen - Quotasteekproef

o Stel belangrijke variabelen en doorgaan met mensen ondervragen tot je genoeg mensen van die variabelen hebt (bv leeftijd of geslacht)

o Coverage error is hierbij geen probleem MITS je theorie in orde is en je goed zicht hebt op belangijrke variabelen

- Convenience sample o Bv panelo Bv iedereen die je kent

Representativiteit steekproef- Random steekproef- Niet-random steekproef- Je moet de representativiteit rapporteren

Je kunt bij statline (CBS) aan je gegevens komen. Je kan bv een kruistabel opvragen van leeftijd X geslacht.

Hoorcollege 3 – Survey ProcessenHet formuleren van vragen en processen rondom vragenlijstonderzoek.

Meestal doe je een meetonderzoek met bestaande meetinstrumenten: Beter goed gejat dan slecht bedacht, MAAR daarmee wordt het onderzoek doen niet makkelijker! Want de schalen die valide zijn voor ander onderzoek, zijn dat wellicht niet voor jouw onderzoek.

Gewoonte leidt tot gedrag: als jij altijd de krant leest tijdens het eten en je wordt ineens bedelaar zal je altijd de krant blijven lezen.

BELANGRIJK PUNT [ komt in deeltentamen ]: pas als je hypothesen hebt, weet je wat je wil meten, en dan weet je wat de variabelen zijn die je moet gaan meten met de vragenlijst. En pas dan kun je goede vragen opstellen voor de vragenlijst.

Page 8: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Je moet weten wat je wil meten voor je iets kunt zeggen over de validiteit van de meting.

Gewoonten zijn onbewuste en automatische reacties op stimuli uit de omgeving. Een automatisme is het vermogen om een taak uit te voeren zonder dat de prefrontale cortex daarbij de regie voert. Gewoonten zijn dus ook echt fysiek aanwijsbaar. Er wordt in je hersenen ruimte gemaakt om iets anders te gaan doen, tijdens het uitvoeren van je gewoonten.Bewuste processen kunnen automatisme:

- In gang zetten- Afbreken- Onderbreken

Een gewoonte is een automatisme opgeroepen door interne of externe signalen (cues) en kan beschouwd worden als een script: Zodra je de situatie begrijpt, schrijft dat script (flow chart) voor hoe je het kan behandelen. We zijn geen biologische slachtoffers van onze gewoonten, het is eigenlijk heel fijn (mede omdat scripts onderbroken kunnen worden). Een gewoonte is een associatie tussen een extern/intern gedrag en situatie.

Gewoonten en media:Onze cultuur staat bol van symbolen, die heel veel associaties bij ons oproepen. Er kunnen daardoor cues ontstaan die via hele lange ketens met bepaald gedrag in verband staan. Bijvoorbeeld “ik verveel me en pak mijn telefoon” of “ik mis mijn vriendin dus ik ga naar whatsapp”

Aspecten van automatiseren / gewoonten. Gewoonten worden geactiveert door een gebrek aan: - Intentionaliteit- Bewustzijn- Aandacht- Controleerbaarheid

Gebrek aan deze vier kan in wisselende combinaties voorkomen bij verschillende gewoonten. Bij fietsen ontbreken bijvoorbeeld alle vier.

Stel je wil een mediagewoonte meten. Dat kan bijvoorbeeld met Self Report Habit Index SRHI (zie dia). Je kan hier bijvoorbeeld “TV kijken” meten. Er zijn minstens 5 of 7 antwoordmogelijkheden.

Vertalingen :Een vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand die echt begrijpt waar het over gaat, taalgevoel heeft en gevoel heeft voor de cultuur van de populatie. Meestal wordt een meetinstrument in het engels gepubliceert, met vermelding waar het is afgenomen (dus welke taal het oorspronkelijk was): Je kan dus vragen om de vragen in de oorspronkelijke taal. Je moet NOOIT je oorspronkelijke vragen verwijderen!! Ook niet na vertaling

Onderwerp / Variabele per item6 en 9 meten dat gedrag moeilijk controleerbaar is3 en 8 zeggen dat het onbewust is5 en 10 : gewoontegedrag behoeft weinig aandachtMaar iets over gebrek aan intentie is nergens te vinden in de SRHI dus daar zit een gebrek in validiteit in deze methode. 2 geeft een vorm van automatisme aan4 en 11 geven dat het onderdeel uit zou maken van de eigen waargenomen identiteit1, 7 en 12 geven aan of het een geschiedenis van herhaling kent

Mogelijke uitbreiding van SRHIGedrag X is iets…

Page 9: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Wat ik nu eenmaal doe (gebrek intentionaliteit)Waar ik geen reden voor nodig heb

Hieraan zie je dat je kritisch moet zijn, ook gevalideerde meetinstrumenten kunnen een gebrek hebben en kunnen verbeterd worden.

Verwoording van items: items 9 en 6 omdat het woordje “niet” er in staat en het woord “moeite” dus het is een dubbele ontkenning.

De SHRI is lang, wat irritatie bij respondent op kan wekken. Daarom werd het ingekort naar de SRBAI (Self report behavioural automaticy index). Lijkt een valide schaal, MAAR

- Twee items meten bewustzijn- Moeilijke items naar letterlijke vertaling- Gebrek aan intentionaliteit wordt niet gemeten, maar ook niet in de SHRI

o “Wat ik nu eenmaal doe”- Gebrek aan controleerbaarheid zit er niet meer in, wel in SHRI

o “wat ik gewoon moet doen”- Item 2 (automatisme) moest als laatste, want mensen hadden het idee dat daarmee alles

gezegd was.

Likertschaal is een complexe variabele, die je dus kan meten met bijvoorbeeld SRHI of SRBAI. Het proces is dus veel moeilijker dan even wat vragen stellen: Je moet dus bv meetinstrumenten zoeken en verbeteren etc. Validiteit: meet je wat je wil weten? Meet je betrouwbaar?

Je moet altijd verantwoorden en overleggen, en rekening houden met heel veel tijd.Betrouwbaarheid: Kom je elke keer tot dezelfde uitkomst met hetzelfde meetinstrument?

Je kan niet meten zonder te beïnvloeden, mensen leren. - Bij een likertschaal worden vaak meerdere items gebruikt om één variabele te meten

(parallele meetinstrumenten), dus er wordt vijf keer gemeten om het antwoord te herhalen. De interne consistentie van die antwoorden is daarom een maat voor betrouwbaarheid

- Cronbachs alfa is een maat om de interne consistentie te schatten, en daarmee dus ook de betrouwbaarheid te schatten (staat niet in het boek)

o Cronbachs alfa: Drukt uit hoe groot het deel van de variantie is, dat niet veroorzaakt wordt door toevallige meetfouten (staat niet in het boek) en dus de betrouwbaarheid

o De cronbachsalfa = 0.8, dan is dus 20% veroorzaakt door toeval.

Boek: Soorten validiteit- Indruksvaliditeit (face)- Theorie en deskundigen raadplegen- Inhoudsvaliditeit - Predictieve validiteit- Concurrente validiteit- Criteriumvaliditeit

Schalenboek makenDocumentatie van concepten die je gaat meten, doe je in onderzoeksverslag, maar ook in aparte dataverslag want…

- Ruimte in het verslag zelf- Je kan niet alles onthouden- Anderen willen data misschien ook gebruiken

Documtenteren:

Page 10: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

- Hoe- Waarom- Volgorde- Waarom in die volgorde

Het belang van documentatie achteraf (niet in je werkstuk zelf maar “apart”):- Je houdt alles heel precies bij

o Hoe kwam steekproef tot stando Hoe en wanneer vragenlijst afgenomeno Responsverhogende maatregeleno Non-responso Datacleaning gedaan (privacy)o Representativiteit

- Daarvan verslag in datadocumentatie- Daaraan toevoegen:

o Schalenboek (in verleden tijd)o Vragenlijst zoals gebruikt (evt screenshots)

Mensen die je gebruikt voor je proefdraai mag je niet meer gebruiken voor je officiële vragenlijst !

JAR- scale (boek)Split-half-btrouwbaarheid (boek)Relatie bekende referentie (boek)

Inhoudsanalyse Boek:

- Wat is inhoudsanalyse H1 2 en 3- Meetmachine: Codeboek H4- Monsters: Steekproeftrekking H5 6 en 7

H8 en H9 moet je zelf bestuderen, komt niet in hoorcolleges. MC vragen zijn vooral leer- en kennisvragen (begrippen)

In deze versie van de samenvatting heb ik hoofdstuk 7 en 8 nog niet opgenomen (gaat over soorten validiteit (MethodenA) en data analyse). Deze hoofdstukken moet je globaal doornemen en zijn niet zo heel speciaal (letterlijk verteld in laatste hoorcollege). Je kan ze dus het beste zelf eventjes doorbladeren.

Hoorcollege 1 – InhoudsanalyseInhoudsanalyse onderzoeks niet de gevolgen van media, maar dat ligt wel ten grondslag aan waarom je het doet. Je wil weten wat er in de mediaboodschap zit, omdat je denkt dat het wel een of ander gevolg zal hebben.

Wat is inhoudsanalyse?Inhoudsanalyse is niet analyse van de inhoud. Analyse is wat je doet met bijvoorbeeld SPSS, rekenprogramma’s en wiskunde: Hoeveel procent zegt dit en dit, is het significant etc. Inhoudsanalyse is dataverzameling: Je verzamelt er gegevens mee, die ga je analyseren.Gegevens over ‘de inhoud’, maar wat is inhoud nou precies?Wat is inhoud??

Page 11: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

“DE inhoud” kan je niet objectief vaststellen. Je moet er altijd bij zeggen welke inhoud je wil gaan onderzoeken bij inhoudsanalyse. Je kan bijv bij een krant kijken naar bijvoorbeeld foto grootte, kopgrootte, inhoud van artikelen, reclame, etc. De inhoud van een boodschap is dus eigenlijk oneindig, helemaal afhankelijk van het perspectief waaruit je naar de media kijkt. Afhankelijk van

- Context onderzoekero probleemstelling

- Productiecontext van een boodschapo Doel producent

- Sociaal-culturele gebruikscontexto Tijd en plaats

Bij inhoudsanalyse gaat het om materiaal dat niet door de onderzoeker geproduceerd wordt maar wat al bestaat (nml. Niet bewerkte media) (secundaire analyse).

“De” definitie van inhoudsanalyse (staat ook in H2 aangevuld met boek)Quantitative content analysis is the systematic and replicable examination of symbols of communication which has been assigned numeric values according to valid measurement rules and the analysis of relationships involving these values using statistical methods, to describe the communication, draw inferences about its meaning, or infer from the communication to its context, both of production and consumption.Systematisch: Telkens op dezelfde manier metenSymbolen: de boodschap moet geïnterpreteerd, die er niet 100% van zichzelf in zit. Je kan van mening verschillenNumeric values (cijfers): je moet scores toekennen zodat je er mee kan rekenen.Inhoudsanalyse is in feite gewoon lezen/kijken/luisteren. Systematisch en selectief (als je wil letten op verhaallijn, ga je niet kijken naar kleurgebruik in een filmpje, boeit dus niet).

Hoe zou je het idealiter moeten doen:- Waar gaat het over

o Probleemstellingo Context o Geeft focus

- Wat wil ik meten o Theorieo Wat is van belang en wat niet, wat kan je verwachten? Wat weten we al?

- Hoe moet ik meten o Design

Algemene onderzoeksopzet Hoe weet een codeur wat te meten Welke data en waarom? Hoeveel?

- Wat komt eruit? o Analyseo Kwalificereno Rapporteren

BOEK: problemen van inhoudsanalyse als onderzoeksmethodeKritiek:

- Teveel nadruk op het vergelijken van different symbols’ appearance- Quantification leads to trivialization. Sommige onderzoekers vergelijken inhoudsanalyse met

het rekenen met getallen (numerieke data) terwijl het twee compleet verschillende

Page 12: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

methoden en manieren zijn. De data wordt zo gewoon en onbelangrijk gemaakt (denk aan de oude radboud spreuk “not a number” )

- De te onderzoeken problemen worden alleen onderzocht omdat ze kwantificeerbaar zijn, niet omdat ze relevant of interessant zijn

- Theorie en validiteit worden in gevaar gebracht door de mogelijkheid om te kunnen rekenen met resultaten en de nieuwe mogelijkheden van het zoeken naar materiaal

BOEK: Verschil tussen latente en manifeste inhoudManifest: “what you see is what you get”: Als het er niet staat is het niet zoLatent: “read between the lines”: Implicatie van de mediaboodschap

BOEK: Voordelen van kwantitatieve inhoudsanalyse van manifeste inhoud1. Het is een unobtrusive en niet-reactieve techniek. Boodschappen zijn gescheiden en worden

los gezien van zenders en ontvangers2. Longitudinale studies kunnen oud materiaal nog steeds gebruiken, omdat er niet hoeft

worden gekeken naar context (het gaat immers om manifeste inhoud). 3. Quantification or measurement by coding teams permits reduction to numbers of large

amounts of information or data that would be logistically impossible for close qualitive analysis. Properly organized and measured, such a process of reduction nonetheless retains meaningful distinctions among data.

4. Communicatie staat centraal, voor elk vraagstuk wordt wel iets van een symbol of communication gebruikt: inhoudsanalyse is dus voor heel veel disciplines bruikbaar.

BOEK: Bruikbaarheid van / Behoefte aan inhoudsanalyse- Als de toegankelijkheid van data een probleem is (dus als de onderzoeker beperkt is tot het

gebruik van documentary evidence- Als de ‘eigen taal’ (own language) van de zender van een communicatiesymbool van groot

belang is voor beantwoording van de onderzoeksvragen- Als de hoeveelheid materiaal te groot is voor de onderzoeker zelf

BOEK: Correlatie of causale relatieCorrelatie: Als iets wordt geobserveerd in één variabele, wordt er ook iets geobserveerd in een andere variabele.Causale relatie: Een specificatie van een correlatie, geeft een logische voorwaarde aan tussen twee variabelen: Verandering in het een geeft verandering in het ander. Voorwaarden hiervoor zijn:

- Tijdsduur: Eerst het een, dan het ander. - Een waarneembare correlatie op zich: Als je niet allebei de variabelen ziet veranderen kan er

bij voorbaat al geen causaal verband zijn.Bij causale relaties kan er een mediërende factor aanwezig zijn, dus niet A leidt tot B (normaal) maar A leidt tot B met invloed van T.

Hoorcollege 2 – OperationaliserenRiffe et al., hoofdstuk 4.Hoe doe je het in de praktijk: Operationaliseren

BOEK: Het uitvoeren van een inhoudsanalyse1. Conceptualiseren en doel

a. Identificeren van probleemb. Theorie en bekende onderzoeken bekijken en weergevenc. Specifieke RQ en hypothesen

2. Ontwerpen

Page 13: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

a. Relevante inhoud definiërenb. Specify formal designc. Create dummy tablesd. Operationaliseren

i. Codeerboek ii. Codeersheets

e. Populatie en sampling plans specificerenf. Testen en betrouwbaarheidsprocedures doorlopen

3. Analyse a. Data verwerken

i. Betrouwbaarheid zo hoog mogelijk krijgenii. Coderen

b. Statistische procedures uitvoerenc. Interpreteren van resultaten en rapporteren

Als je weet wat inhoudsanalyse is (definitie, systematisch, repliceerbaar, etc. VORIG COLLEGE). Hoe moet je het doen om te voldoen aan:

1. Probleemstelling Wat van de inhoud wel en wat niet? Waarom?

2. TheorieWat is van belang, wat niet, wat kun je verwachten, wat weten we al?Conceptualisatie v begrip

3. MeetinstrumentWelke zaken waarom?Alle kranten / spotjes / tv-programma’s? SteekproefOperationalisatie

4. Kwantificeren (=tellen)Welke dingen? Hoe? Wat?

In het BOEK worden er vijf stappen genoemd. De eerste drie zijn hetzelfde, maar de vierde stap wijkt af van de vierde en de vijfde stap die in het boek staan. In het boek geldt namelijk stap 4: Codeerinstructies vormen, en stap 5: Een codeersysteem vormen. Deze stappen gelden voor de vraag “HOE KOM JE TOT EEN WAARNEMINGSINSTRUMENT” later in het college

Operationalisering: heel precies aangeven hoe begrippen uit de vraagstelling worden gemeten bij een onderzoeksgroep, en hoe de vraagstelling in de analyse wordt beantwoord.

Het steeds concreter maken van de vraagstelling:- Populatie Steekproef- Begrippen Variabelen- Vraagstelling Analyse-opzet

Uiteindelijk is het gewoon het omzetten in cijfers.

Je gaat bij inhoudsanalyse iets meten bij eenheden, bij survey gaat dat over mensen, bij inhoudsanalyse over een “wat”.Meten = Het vastleggen van kenmerken, karakteristieken van eenheden. Waarnemingsinstrument = Een apparaat dat je zelf maakt om die kenmerken vast te leggen, zo betrouwbaar mogelijk (codeboek of codeformulier)

Bijvoorbeeld je wil weten wat een ei is en wat niet. Dan kun je een mal maken, alles wat daarin past telt als ei. SUPER BETROUWBAAR!! Degene die het ei in de mal doet heet de codeur.

Page 14: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Instructie voor codering : - Welke kenmerken- Wat is veel of weinig?

Zonder instructie zou je teveel onenigheid tussen codeurs krijgen, en dat brengt de betrouwbaarheid in gevaar.

Eenvoudig bij survey:- Populatie van mensen

o Steekproef van mensen- Waarnemingen bij mensen

o Eigenschappen van mensen- Tabellen met kenmerken van mensen

o Populatieeenheid = steekproefeenheid = waarnemingseenheid = analyse-eenheid

Bij inhoudsanalyse is niet alles zo simpel- Populatie is vaak media

o Steekproef zijn edities, afleveringen, etc.- Waarnemingen zijn natuurlijke delen van het medium

o Artikelo Programmao Sceneo Personage

- Analyse-eenheid is het mediumo Soms iets anders

BOEK: Vormen van communicatie die je kan onderzoeken en hun problemen- Geschreven communicatie: Informeert met teksten in een taal die gebruik maakt van

combinaties van symboleno Eigenlijk is hier geen groot probleem, dezelfde woorden hebben voor veel mensen

vaak dezelfde betekenis, dus hier is ambiguïteit geen groot probleem (de zin “ik haat jou” kan weinig anders opgevat worden)

- Verbale communicatie: Gesproken, zowel gemedieerd als niet-gemedieerd. Hoort alleen auditief onderzocht te worden (dus niet eerst opschrijven en dan analyseren maar vanaf bijv een bandje)

o Probleem: Er wordt vaak gebruik gemaakt van intonatie en verbuiging, waardoor de ontvangers een verschillende betekenis binnen kunnen krijgen

- Visuele communicatie: Communicatie zonder gebruik te maken van tekst, verwerkt met de ogen

o Probleem: Er kunnen onduidelijkheden (ambiguïteiten) optreden die niet opgelost kunnen worden door de boodschap zelf: Shared meanings of visual images are less common

- Multiform presentations gebruiken meer dan één vorm van deze bovengenoemde communicatievormen

Eenheden in inhoudsanalyse- Sampling units (steekproefeenheid)

o Eenheden om de steekproef te trekkeno Bijvoorbeeld een editie van een krant / voorpagina’s van kranten

- Recording units (Codeereenheid) (!!)o Eenheden voor de waarneming, deel van media inhoud waarvan kenmerken worden

gemeten

Page 15: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

o Is vaak een natuurlijk onderdeel van een steekproefeenheid Bijvoorbeeld een editie van een krant als steekproefeenheid en een

krantenfoto als waarnemingseenheid. Fotos zijn duidelijk te onderscheiden van tekst , berichten zijn te onderscheiden van elkaar door lijntjes en verschillende koppen. TENTAMEN!

Bij het journaal is het programma zelf de steekproefeenheid, het bericht zelf is de waarnemingseenheid TENTAMEN!

o Je kan in een onderzoek meerdere codeereenheden hebben, Vaak zijn er meerdere recording units in een waarnemingsinstrument.

o Bijvoorbeeld een voorpaginafoto- Units of analysis (analyse eenheid)

o Eenheden die in tabellen verschijneno Bijvoorbeeld een land, die worden met elkaar vergeleken.

- Context units o Mag je niet analyseren of gebruiken in je vraagstelling maar wel meenemen bij het

coderen (denk aan getrouwde stelletjes in series, die in één aflevering trouwen maar daarna getrouwd blijven: Dat is dus achtergrondkennis)

o Eenheden horen bij de instructie in het waarnemingsinstrument (codeboek), welke kennis mag de codeur gebruiken om te coderen?

o Dus als je uit vorig aflevering weet dat iemand getrouwd is maar het niet in deze aflevering voorkomt, mag je alsnog aangeven dat er een getrouwd persoon in de aflevering voorkomt.

o Bijvoorbeeld: body (als er op de voorpagina een foto staat met een verwijzing naar pagina 3 met een uitgebreid stuk wil je die niet meenemen), opmaak vd voorpagina, onderschrift foto.

BOEK: Soorten units (snap ik zelf nog niet zo heel veel van)- Physical units

o The most basic physical units are time and space measures of contento Although they are among the most objective units used in content analysis, physical units often are used, as in the

earlier statement about depth of coverage, to infer to the values of the sender and/or to their impact on the receiver.

- Meaning units o Meaning units must involve the kind of physical and temporal qualities described earlier, but are less standardized.

Van begrip naar variabele (operationaliseren)Onderstaand plaatje is algemeen, ander plaatje op bb is specifiek op dat onderzoek

Operationeren: Welke mag je wel meenemen en welke niet.

Coderen = Kenmerken van coding units vastleggen, het meten zelf.

Page 16: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Mediaspecifiek : tijd (bijv gepubliceert op een bepaalde tijd of dag), medium-specifieke samenstellingenNiet media-specifiek (= mediaextern ) : onderwerp, geruststellingsstrateige (ja of nee, welke dan), frame, etc.Bij operationaliseren spelen zowel mediumspecifieke als mediumexterne eenheden een rol

TENTAMENVRAAG: wat zou de steekproefeenheid, analyse eenheid, codeereenheid, etc. zijn van dit onderzoek (komt er 100% in)

Eerst moet je een eigenschap van het recording unit vaststellen,dan heb je aanvullende instructies voor toepassing nodig en dan moet je gaan waarnemen en het recording unit indelen bij een vd categorieën.

CategorieënDe categorieën moet je eerst omschrijven (bijvorbeeld zwart-wit, man-vrouw, etc). Dan aanvullen met instructies voor toepassing voortkomend uit de training die je met je codeurs hebt gedaan. Eisen aan categorieën systeem

- Uitputtendo Alle relevante categorieën moeten er in voorkomeno Als je wil weten wat het geslacht is kun je niet alleen “man” zeggen, er moet ook

“vrouw” bij zitten- Uitsluitend

o Geen overlappende categorieën- Empirisch relevant

o Het moet in het echt ook voorkomeno Je kan als categorieën hebben man-vrouw-hermafrodite o Hoe groot is de kans dat je hermafroditen tegenkomt??

- Analytisch relevant o Het moet wel relevant zijn voor je onderzoek / vraagstellingo Als je geen vraag hebt over hermafroditen hebt hoef je hem er niet in te stoppen

Stappenplan codeerformulieren1. Identificatiekenmerken

a. Bijv welke krant staat het2. Verpakkingskenmerken

a. Bijv hoe groot is de foto (oppervlakte)b. Gewoon een ratiovariabele, geen categoriec. Bijv onderwerpsvariabele d. Komt er sensatie voor?

3. Inhoudskenmerken a. Staan er mensen op de fotob. Wat voorn mensen staan er op de foto (politici, celebrities, etc) c. Emotie op de foto (iemand die boos is, blij is, etc.)

Vraag tentamen weblecture ong 10 min voor het einde!

BOEK: Nog een keer een mooie herhaling van de meetniveau’s, letterlijk gequote Nominal measures have numbers assigned to categories of contentOrdinal measures also place content units into categories, but the categories have an order to them.

Page 17: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Interval measures have the property of order, but the number assignment also assumes that the differences between the numbers are equalRatio measures are similar to interval because the difference between numbers is equal, but ratio data also have a meaningful zero point.

Laatste plaatje dia:Codeereenheid: foto’sAnalyse eenheid: dingen die je vergelijkt met elkaar, dus (populaire vs kwaliteits) krantenOnder de streep:Codeereenheid: voorpagia want je meet het kenmerk van een voorpagina (namelijk hoeveel fotos erop staan)Analyse eenheid: (Voorpagina’s van) kranten (populair vs kwaliteit)

Hoorcollege 3 – SteekproevenOnderzoek: Is tv een achterloper (minor) of een voorloper (molder)? De conclusie was: TV loopt soms voor, soms achter op de maatschappelijke ontwikkelingen als emancipatie, geweld, ontkerkelijking en relatievormen.

Sampling: subset eenheden (steekproef) uit de populatie die onderzocht wordt (letterlijk ook in boek). Een monster om uitspraken te doen over de onderzoeksgroep / case. Het soort sample dat je gebruikt hangt met je onderzoeksdoel samen.

- Voor Surveyonderzoek o Uitspraken doen over kwantitatieve verhoudingen in de populatieo Random sample: Toevalssteekproef.o Uitkomsten steekproefonderzoek zijn binnen zekere grenzen te generaliseren naar

de populatie- Kwalitatief onderzoek

o Uitspraken doen over kwalitatieve kenmerken (eigenschappen) van de populatieo Analystische sample (theoretical of purposive sample)o Eenheden zijn doelbewust gekozen om variatie binnen de populatie te dekken

Verschil tussen survey en inhoudsanalyse: In survey onderzoek worden er uitspraken gedaan over kwantitatieve verhoudingen in de populatie, en worden vooral random samples gebruikt. Survey wil vaak generaliseren, en bij survey kun je veel makkeljiker bepaalde steekproeven trekken.

In kwalitatief onderzoek (IA) worden er uitspraken gedaan over kwalitatieve kenmerken van de populatie. Er worden vooral analystische samples gebruikt (theoretical of purposive sample).

Page 18: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Het universum is je populatie, alle mogelijke units of content.Onderzoeksgroep is je daadwerkelijke populatie (population), alle sampling units waar de studie over zal gaan.Steekproefkader is de lijst uit wie je kan trekken.

BOEK: Probability sample : units worden random gekozen.

In het onderzoek in het begin beschreven:Universum: TV-fictieOnderzoeksgroep: TV-fictie op NL tv op primetimeSteekproefkader: Lijst uit tv-gidsen van 1980 – 2005Steekproef: fictieprogrammas om de 5 jaar alle primetime tv programma’s

Sampling technieken- Census

o Alle afleveringen van alle seizoeneno Als de groep waar je uitspraken over wil doen niet al te groot is

- Selecte steekproeveno Gemakssample

Ik wil onderzoek naar de Linda en ben zelf abonnee geweest, die heb ik nog liggen thuis dus die neem ik om te onderzoeken

Zit geen beredenering of methode achtero Doelgericht sample / quota sample

Heeft niks met toeval te maken Niet altijd te generaliseren Gebeurt vaak bij inhoudsanalyse

- Aselecte steekrpeveno Simple random

toevalsprocedureo Systematic

Elke [..]e van een lijst Valkuil: Interval van de selectie kan samenvallen met het natuurlijke ritme

van het medium (denk bijvoorbeeld aan seizoenen of cyclys van een krant)o Gestratificeerd

Uit alle landelijke kranten jaren titel per titelo Geclusterd

Katernen in kranten of websites indexen Mediamateriaal hoort vaak bij elkaar, denk bijv aan omroepen: Programmas

van de EO hebben kenmerken gemeen

Simple random sampling is vaak geen optie bij inhoudsanalyseTijd is bij inhoudsanalyse een systematisch onderdeel van mediamateriaal, dus wanneer iets geproduceert wordt. Een oplossing voor inhoudsanalyse is bijvoorbeeld multi-stage sampling:

- Eerst stratificereno Dus bijv niet te veel de maandagkranten onderzoeken want die hebben een andere

samenstelling- Dan a-select binnen strata kiezen

Sampling unit (steekproef eenheid)- Keuze is afhankelijk van doel onderzoek

Page 19: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

- Is een natuurlijke eenheid- Complexe eenheid

o Vaak is tijd beangrijk- Meerdere eenheden worden gehanteerd

Analysedoelen vs onderzoekskosten

- Generaliseren van steekproef naar universum- Vergelijken van subgroepen- Homogeniteit materiaal- Specificiteit van je uitspraak- Tijd en budget- Gevraagde statistische analyses

BOEK: Content Analysis ProtocolDefinities moeten altijd duidelijk en ondubbelzinnig worden uitgelegd, wat wordt gedaan in het inhoudsanalyse protocol (ik denk dat dit gewoon het codeboek is maar ik weet het niet zeker dus vandaar de rare naam).Het protocol heeft twee doelen:

1. Het geeft regels waar de onderzoekers zich aan moeten houden mbt definiëren, en zorgt dat de onderzoekers dan ook weinig anders meer kunnen gaan onderzoeken dan hun gedefiniëerde begrip (dus als jij zegt een stoel heeft vier poten kan je moeilijk ineens stoelen gaan onderzoeken die één standaard hebben o.i.d.)

2. Het is een register wwaarin de operations and defenitions vast worden gelegd, en waarin wordt beschreven hoe het onderzoek is uitgevoerd

Het protocol is vergelijkbaar met een kookboek. Het protocol is opgebouwd uit drie delen:

1. An introduction specifying the goals of the study and generally introducting the major concepts

2. Specification of procedures governing how the content was to be processed3. Specification of each variable used in the content analysis

a. Deze stap is het belangrijkst blz 101 tm 103 geven een voorbeeld van een protocol volgens mij.

1. Het codeboek: Zo weinig mogelijk interpretatieruimte. Gebruik maken van simpele variabelen.

2. Training: bril van de codeur moet hetzelfde worden als de bril van het codeboek. Veel oefenen, codeurs selecteren en problemen opsporen

3. Aanpassen codeboek4. Toetsen betrouwbaarheid

CodeursCodeurs zijn geen aselecte steekproef uit de bevolking, zijn hele specifieke mensen met een eigen idee. Daarom moet je ze trainen zodat ze het op dezelfde manier doen. Inhoudsanalyse is geen opinieonderzoek, het is de beredeneerde lezing van de onderzoeker. Je moet wel reproduceerbaarheid kunnen aantonen, anders is je hele onderzoek schijt.

CodeertrainingMet codeertraining leer je codeurs het waarnemingsinstrument toepassen

Page 20: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

- Op juiste wijze interpreteren (procedure)- Overeenkomstig met het doel van de onderzoeker (begrip)- Allemaal op dezelfde manier coderen

Je moet je waarnemingsinstrument continu testen en aanpassen, en geschikte codeurs vinden die je routines aan moet leren. Je moet je registratieproces uitproberen.

Kwaliteitscontrole- Reproduceerbaarheid van resultaten

o Betrouwbaarheid / reliabilityo Reproduceerbaarheid, navolgbaarheid, herhaalbaarheido Wordt verantwoord in de methodenparagraaf.

- Geldigheid van de conclusieo Validiteit o Intern of externo Geldigheidcontrole m.b.t. samlping, waarneming en analyseo De juiste toepassing van codeercategorieëno Meet je wat je wil meten?’o Is belangrijk maar krijgt geen nadruk

BetrouwbaarheidscontrolesAlgemeen: dubbelcoderen van set materiaal

1. Accuraatheid ( accuracy) a. Werk van codeur vergelijken met normcodering van onderzoekerb. Of het coderen samenhangt met een of andere externe standaard voor de inhoud, te

vergelijken met het gelijkzetten van je klok met een andere klok. c. (Het valt onder betrouwbaarheid maar heeft ook een) Validiteitsaspect: onderzoeker

bepaalt wat de juiste manier zou zijn om te meten. 2. Stabiliteit (stability)

a. Intracodeur-betrouwbaarheidb. Herhalen van deel codeerwerk (zelfde materiaal) op later tijdstip door dezelfde

codeurc. Codeur verandert door codeerwerk, dus als je veel achter elkaar codeert gaat het

anders 3. Reproduceerbaarheid (reproducibility)

a. Intercodeur-betrouwbaarheidb. Codeurs onderling vergelijkenc. Meest voorkomend

Intercodeur betrouwbaarheid bereken je door het percentage overeenkomende coderingen min de gokkans te doen.

Bijvoorbeeld je hebt 10 te coderen artikelen en daarvan heb je 7 overeenkomende coderingen, maar de gokkans is 33,3 procent. Dan heb je dus geen 70% betrouwbaarheid maar 36 en dat is heel weinig! Percentage overeenkomst heet ook wel holsti (in kommagetallen).

De Scott’s pi (π) is de echte betrouwbaarheid, dus holsti min gokkans.

BOEK: Reliability coefficients De vier meestgebruikte zijn:

1. Percentage of agreement (ook wel Holsti’s coëfficiënt)a. Hoeveel codeurs met elkaar overeenkomen/het met elkaar eens zijn

Page 21: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

b. Het aantal “goede” coderingen (overeenkomende coderingen) t.o.v. het totaal aantal coderingen

2. Scott’s pia. Houdt rekening met het feit dat mensen die totaal niet getraind zijn ook een

(toevallige) overeenkomst kunnen hebben met de getrainde codeurs, en corrigeert deze chance agreements.

3. Cohen’s kappaa. Maat van samenhang (eigenlijk niet bedoeld voor intercodeurbetrouwbaarheid)b. Lijkt heel erg op scott’s pic. Vooral nominaal meetniveau

4. Krippendorff’s alfa a. Meest gebruikt b. Is niet alleen te gebruiken voor interval en ratio niveau maar ook voor nominaal en

ordinaal (super handig)

Alles boven de 0.80 is goed, tussen de 0.67 en de 0.80 moet je slag om de arm nemen, dus even vermelden dat ander onderzoek miss andere uitkomst krijgt etc. alles onder de 0.67 mag je weggooien, en dus geen conclusies over trekken xxx meneer Krippendorff.

Maatregelen bij onbetrouwbare variabelenVoor de dataverzameling:

- Training voortzetten- Aanvullende instructies opnemen in instrument- Variabelen wijzigen in manifest kenmerk

o Sommige variabelen zijn heel abstract. - Variabelen opdelen in meerdere eenvoudige kenmerken

Na dataverzameling- Categorieën wijzigen (bijvoorbeeld twee categorieën samenvoegen)

BOEK: Twee soorten problemen bij coderen1. Problemen binnen de categorieën, gaat dus over bijvoorbeeld onduidelijkheid en ligt niet aan

de codeurs2. Problemen met de codeurs, bijvoorbeeld als een codeur niet genoeg van een onderwerp af

weet om iets over dat onderwerp te kunnen coderen.

BOEK: Als je klaar bent met trainen, moet de actual assessment of achieved reliability plaatsvinden 1. Selection of content for testing

a. If the number of content units being studied is small, protocol reliability can be established bij having two or more coders code all the content

b. Otherwise, researchers need to randomly select content samples for reliability testing’

2. The actual reliability test that will be used

BOEK: Aanbevelingen om betrouwbaarheid te waarborgen- Betrouwbaarheid voor elke variabele berekenen en rapporteren- Vaststellen wat voor jouw onderzoek een acceptabele hoogte is van je

betrouwbaarheidscoëfficiënt o bijvoorbeeld je gebruikt Krippendorff’s alfa, dan stel je dus vast dat je alles onder de

0,67 weggooit- Je kan meerdere metingen voor betrouwbaarheid uitvoeren en rapporteren

Page 22: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

- Het is heel belangrijk dat je samples random gekozen worden, zo niet dan moet je veel meer samples nemen.

INHOUDSANALYSE EN ICT ONTWIKKELINGEN (H9)Komen zowieso tentamenvragen overFuncties van een computer

- Internet onderzoek (als onderwerp)o Zoeken digitale documenten

Een probleem is dat onderzoekers vaak niet aangeven waarom ze digitale documenten gebruiken en waarom dat hun universe is.

- Toegankelijker maken (media)materiaalo Databases

Kan zorgen voor problemen: Omdat via de pc zoeken naar data heel makkelijk is, zullen onderzoekers snel in de verleiding komen om alleen maar digitaal materiaal te gebruiken, en dat is niet ok.

Drie problemen geformuleerd door Hansen (2003) 1. Zoekopdrachten kunnen inconsistent en niet precies zijn2. De online versie van een record komt niet altijd 100% overeen met de

originele (geprinte) versie van het record3. Het zijn mensenhanden die geprinte content overzetten naar electronische

content, dus er zitten fouten in. o Sampling methoden

- Assistentie bij coderen (media)materiaalo Software ontwikkelingo Automatische inhoudsanalyse : computers die de inhoudsanalyse doen voor de

onderzoekerDe computer kan woorden tellen, en opzoek naar specifieke woorden. Dat zoeken naar worden geeft grove indicatoren voor type tekts, en handig om een populatie van relevante items vast te stellen. KWIC: Key word in context: De directe omgeving van woorden geeft context. Het highlighten van woorden en contexten kan een hulpmiddel zijn voor categorisering.

BOEK: Typen computer inhoudsanalyse1. Woorden tellen

a. Woorden worden geteld en gesorteert van meest voorkomend naar minst voorkomend

b. Zo kun je inferenties van de schrijver/maker aflezen2. Key-word-in-context (KWIC) (hoorcollege, zie boven)3. Concordances/dictionaries

a. Woorden worden onderverdeeld in bepaalde woordgroepen, bijvoorbeeld “woorden voor positieve emotie” en “woorden voor negatieve emotie”

4. Language structure a. Gaat verder dan woordgroepen en woorden tellenb. Wordt vooral gebruikt om langere stukken te onderzoeken, zoals bijvoorbeeld hele

zinnenc. Denk bijvoorbeeld aan actie (werkwoord) en degene die de actie uitvoert

(onderwerp) samen genomen5. Readability

a. De computer meet nu hoe leesbaar (moeilijk of makkelijk) de teksten zijnb. Is vooral belangrijk voor reclameteksten: Leesbaarheid heeft invloed op

toegankelijkheid van de betekenis van de tekst.

Page 23: mycelium.numycelium.nu/wp-content/uploads/2016/10/Samenvatting-LP1... · Web viewEen vrije vertaling van een onderzoek is vaak beter dan het originele onderzoek, maar wel door iemand

Thesaurus- en woordenboekbenadering. Woordenboek onderdeel van programma: een bestaand woordenboek of door de onderzoeker zelf gemaakt. Kunstmatige intelligentie betekent dat computer zelf ook leert, en dus beslist onder welk thema een bepaalde tekst valt.

Automatische inhoudsanalyse1. Thematische inhoudsanalyse

a. Hoe vaak komen thema’s/actoren/producten/waarde/attributen in teksten voor?2. Relationele inhoudsanalyse

a. Welke thema’s komen voor en welke relatie wordt gelegd tussen verschillende thema’s of kenobjecten?

b. Soorten relationele analyse:i. Netwerkanalyse: Welke objecten samen voorkomen in teksten

ii. Semantische analyse: Wat de aard van de relatie tussen objecten is

TENTAMEN: Ongeveer zelfde inhoud als surveytentamen. Colleges zijn leidraad van wat je uit het boek moet weten. HEEL GLOBAAL hoofdstuk 7 en 8, zijn niet zo heel speciaal.

BOEK: Wanneer kan je computeranalyse gebruiken?1. When the unit of analysis is the symbol or word, and analysis concerns number of times a

symbol or word is used2. Als de analyse extreem complex is3. Als er met de analyse dezelfde data op verschillende manieren onderzocht moet worden4. Als de documenten die je onderzoekt van belang zijn voor verschillende disciplines,

bijvoorbeeld een tekst die voor zowel biologie als communicatiewetenschap als kunstmatige intelligentie belangrijk is.