OnderzoekscompetentiesVatbaar of glibberig?AVL-Studiedag: Competentiegericht evalueren in het secundair en hoger onderwijs

Ellen Claes en Eli Janssen SLO Maatschappijwetenschappen en filosofie, SLO Gedragswetenschappen, Centrum voor Instructiepsychologie en -technologie.

8 februari 2017

Inhoud• Onderzoek tekenen • Conceptualisering onderzoekscompetenties (OC) • Opvattingen over onderzoek • Onderzoekcompetenties in ET van het Secundair Onderwijs • Aanpak & Evaluatie

o OVURR evalueren o Eigen evaluatiepraktijk kritisch bekijken o Korte discussie

Opvattingen over onderzoek• Teken het antwoord op volgende vraag: “Wat verstaat u onder onderzoek? (Bruyninckx, 2016)

Conceptualisering OC• Onderzoekscompetenties

Is een proces waarbij informatie (data) systematisch verzameld, geanalyseerd en geïnterpreteerd wordt om op die manier een beter begrip te krijgen van het fenomeen waarin we geïnteresseerd zijn. (vertaald, Leedy & Ormrod, 2010, p.2).

Conceptualisering OC• Onderzoekscompetenties

Zijn clusters van kennis, vaardigheden, attituden, persoonlijke eigenschappen en inzichten die verbonden zijn met contextgebonden taken/activiteiten, veranderlijk zijn in de tijd en verworven worden door leer- en ontwikkelingsprocessen. (Van Merriënboer, van der Klink, & Hendriks, 2002)

Conceptualisering OC Onderzoekscompetenties

Onderzoekende houding

?

Onderzoeksvaardigheden ?

Conceptualisering OC Onderzoekscompetenties

Onderzoekende houding o Nieuwsgierigheid o Een open houdingo Bereid zijn tot

perspectiefwisselo Kritisch zijno Gerichtheid op

bronneno Gebaande paden

durven verlateno Willen begrijpeno …

Onderzoeksvaardighedeno Opstellen van een

onderzoeksvraago Bronnen evaluereno Verzamelen van datao Analyseren van datao Rapporteren van

bevindingeno …

Opvattingen over onderzoek (Schouteden et al., 2016)

A. Onderzoeksstappeno Focus op stappen bij het doen van onderzoek

B. Kenmerken van onderzoeksprocessen

o Opzet en de kwaliteit van onderzoeksprocessen

C. Kenmerken van een onderzoeker

o O.a. de onderzoekende houding

Onderzoekscompetenties in het SO• SETOC Humane Wetenschappen De leerlingen kunnen

o zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken (onderzoek afbakenen);

o over een gedrags- of cultuurwetenschappelijk vraagstuk, een onderzoeksopdracht voorbereiden, uitvoeren en evalueren (onderzoek uitwerken);

o  de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten (onderzoek communiceren).

Onderzoekscompetenties in het SO• SETOC in Exacte Wetenschappen De leerlingen kunnen

o zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken;

o een onderzoeksopdracht met een wetenschappelijke component voorbereiden, uitvoeren en evalueren;

o de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten.

Aanpak OC: OVURR

OriënterenVoorbereidenUitvoerenRapporterenReflecteren

O

V

U

R

R

Onderzoekscompetenties in het SO• SETOC Humane Wetenschappen De leerlingen kunnen

o zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken (onderzoek afbakenen);

o over een gedrags- of cultuurwetenschappelijk vraagstuk, een onderzoeksopdracht voorbereiden, uitvoeren en evalueren (onderzoek uitwerken);

o de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten (onderzoek communiceren).

Leuven OnderzoeksCompetenties-test (LOC-test)Opstellen

o OVURR-kadero Hands-off vaardigheidstoetso Vragen + theoretisch kader (OVURR) bespreken met 7 leerkrachten HW (GW, CW, STW)

o Vragen herwerken o splitsen in pre- en posttesto Vragen voorleggen aan 2 x 4 leerlingen in een cognitief interview

o Vragen herwerken

LOC-test: afname• Elke test werd in 14 klassen voorgelegd• Er waren 254 (pre) en 212 (post) respondenten• Uitsluitend HW klassen getest• Tijd 45 minuten• Geen hulp van observator of leerkracht• Afwisselend vooraan en achteraan beginnen

Aanpak OC: OVURR

OriënterenVoorbereidenUitvoerenRapporterenReflecteren

O

V

U

RR

Voorbeeldvraag A

Voorbeeldvraag B

Voorbeeldvraag C

Voorbeeldvraag D

Voorbeeldvraag E

Voorbeeldvraag F

LOC-test: Interpretatie en discussie• Totaal gemiddelde is laag:

o Beperkte OC’s bij de onderzochte leerlingen HW?o Test te moeilijk?

• Haalbaar volgens Lk’eno Oriënteren, rapporteren en reflecteren blijken het moeilijkst

• Kritisch denken (KD)• KD testscores ander onderzoek laag

o Creatief antwoord bedenken moeilijko Oordeel vellen makkelijker

Evaluatie van OC• Formatief vs summatief

o Performance assessment (Straetmans, 1993)

• Hands-off (vb. een periodieke cognitieve toets)• Simulaties• Hands-on

o Portfolioo Logboeko Observaties

Evaluatie van OCTotaalonderzoek:

o Mate van voorstructurering• Sterk of beperkt

o Frequentie evaluatie• Eenmalig en/of tussentijds (Stokking & Van der Schaaf, 1999)

o Onderwerp van evaluatie• Proces en/of product (Stokking & Van der Schaaf, 1999)

o De evaluator • Self/Peer/Co-assessment (Vermetten, Daniëls & Ruis, 2004)

Zelf aan de slag met OCReflectie over de eigen praktijk• Tekening?• Gebruikte evaluatiemethoden?• Kwaliteitscriteria?• Hoe evaluatiepraktijk aanpassen?

Evaluatie van OCKwaliteitscriteria:

o Betrouwbaarheido Validiteit

• Begripsvaliditeit• Inhoudsvaliditeit

o Aanvaardbaarheid• Transparant• Consistent

Korte discussie

ReferentiesBruyninckx, Y. (2016).Onder de loep: het meten van onderzoekscompetenties in het secundair onderwijs. Een verkenning in de derde graad Humane Wetenschappen [masterproef]. Ongepubliceerd manuscript, KU Leuven, Faculteit Psychologie en Pedagogische Wetenschappen.Bruggink, M., & Harinck, F. (2012). De onderzoekende houding van leraren: wat wordt daaronder verstaan? Tijdschrift voor lerarenopleiders VELON/VELOV, 33(3), 46‐52.Leedy, P. D., Ormrod, J. E. (2010). Practical research: planning and design (9th ed.). Upper Saddle River: Pearson.Schouteden, W., Verburgh, A., & Elen, J. (2016). Teachers' general and contextualised research conceptions. Studies in Higher Education, 41(1), 79-94. doi: 10.1080/03075079.2014.914915Stokking, K., & van der Schaaf, M. (1999). Beoordeling van onderzoeksvaardigheden van leerlingen: Richtlijnen, alternatieven en achtergronden. Utrecht: ISOR. Straetmans, G. (1998). Toetsing van competenties. Arnem: CITO. Van Merriënboer, J. J., van der Klink, M. R., & Hendriks, M. (2002). Competenties: Van complicaties tot compromis: Over schuifjes en begrenzers. Den Haag: Onderwijsraad.Vermetten, Y., Daniëls J. & Ruijs L. (2004). Inzet van assessment: Waarom, wat, hoe, wanneer en door 55 wie: Beslismodel voor een beargumenteerde keuze van assessmentvormen in onderwijs en opleiding. Retrieved December 20, 2016, from http://dspace.ou.nl/retrieve/257/Inzet+van+Assessment.pdf