American Educational ResearchJournalhttp://aerj.aera.netEducational Outcomes of Tutoring: A Meta-analysis of FindingsPeter A Cohen, James A. Kulik and Chen-Lin C. Kulik

Am Educ Res J 1982 19: 237

DOI: 10.3102/00028312019002237

The online version of this article can be found at:http://aer.sagepub.com/content/19/2/237Published on behalf of

American Educational Research Associationand

http://www.sagepublications.comAdditional services and information for American Educational Research Journal can be found at:Email Alerts: http://aerj.aera.net/alertsSubscriptions: http://aerj.aera.net/subscriptionsReprints: http://www.aera.net/reprintsPermissions: http://www.aera.net/permissionsCitations: http://aer.sagepub.com/content/19/2/237.refs.htmlAAmmeerriiccaann EEdduuccaattioionnaal l RReesseeaarrcchh JJoouurrnnaal lSSuummmmeerr 11998822,, VVooll.. 1199,, NNoo..22, , PPpp.. 223377--224488EEdduuccaattiioonnaal l OOuuttccoommeess ooff

TTuuttoorriningg: :AA MMeettaa--aannaalylyssisis ooff

FFiinnddiinnggssPPEETTEERR AA.. CCOOHHEENN,,DDaarrttmmoouutthh CCoolllleeggeeJJAAMMEESS AA.. KKUULLIIKK aanndd

CCHHEENN--LLIINN CC.. KKUULLIIKK

UUnniivveerrssiittyy ooff MMiicchhiiggaannAA mmeettaa--aannaallyyssiiss ooffffiinnddiinnggss ffrroomm

6655 iinnddeeppeennddeenntt eevvaalluuaattiioonnss ooff sscchhoooollttuuttoorriinngg pprrooggrraammss sshhoowweedd tthhaatt tthheessee pprrooggrraammss hhaavvee ppoossiittiivvee eeffffeeccttss oonn tthhee aaccaaddeemmiicc ppeerrffoorrmmaannccee aanndd aattttiittuuddeess ooff tthhoossee wwhhoo rreecceeiivvee ttuuttoorriinngg.. TTuuttoorreedd ssttuuddeennttss oouuttppeerrffoorrmmeedd ccoonnttrrooll ssttuuddeennttss oonn eexxaammiinnaattiioonnss,, aanndd tthheeyy aallssoo ddeevveellooppeeddppoossiittiivvee aattttiittuuddeess ttoowwaarrdd tthhee ssuubbjjeecctt mmaatttteerr ccoovveerreeddiinn tthh

ttuuttoorriiaall pprrooggrraammss..

TThhee mmeettaa--aannaallyyssiiss aallssoo sshhoowweedd tthhaatt ttuuttoorriinnggpprrooggrraammss

hhaavvee ppoossiittiivvee eeffffeeccttss oonn cchhiillddrreenn wwhhoo sseerrvvee aass ttuuttoorrss.. LLiikkeetthh

cchhiillddrreenn tthheeyy hheellppeedd,, tthh

ttuuttoorrss ggaaiinneedd aa bbeetttteerr uunnddeerrssttaannddiinngg ooffaanndd ddeevveellooppeedd mmoorree ppoossiittiivvee aattttiittuuddeess ttoowwaarrdd tthhee ssuubbjjeecctt mmaatttteerr ccoovveerreedd iinn tthhee ttuuttoorriiaall pprrooggrraamm.. PPaarrttiicciippaattiioonn iinn ttuuttoorriinngg pprrooggrraammss lliittttllee oorr nnoo eeffffeecctt,, hhoowweevveerr,, oonn tthhee sseellff--eesstteeeemm ooff ttuuttoorrss aanndd ttuutteeeess..

hhaaddTThhee ttuuttoorriinngg pprrooggrraammss ooffffeerreedd iinn mmaannyy eelleemmeennttaarryy aanndd sseeccoonnddaarryy sscchhoooollss ttooddaayy ddiiffffeerr iinn aann iimmppoorrttaanntt wwaayy ffrroomm yyeesstteerrddaayy'ss ttuuttoorriiaall pprrooggrraammss.. IInn mmoosstt mmooddeemrn pprrooggrraammss,, cchhiillddrreenn aarree ttuuttoorreedd bbyy ppeeeerrss oorr ppaarraapprrooffeessssiioonnaallss rraatthheerr tthhaann bbyy rreegguullaarr sscchhooooll tteeaacchheerrss oorr pprrooffeessssiioonnaall ttuuttoorrss.. TThhee uussee ooff ppeeeerr aanndd ppaarraapprrooffeessssiioonnaall ttuuttoorrss hhaass ddrraammaattiiccaallllyy aaffffeecctteedd tthhee aavvaaiillaabbiilliittyy ooff ttuuttoorriinngg pprrooggrraammss.. NNoo lloonnggeerr aa lluuxxuurryy aavvaaiillaabbllee oonnllyy ttoo aann aarriissttooccrraattiicc eelliittee,, ttuuttoorriinngg pprrooggrraammss ttooddaayy aarree ooppeenn ttoo bbooyyss aanndd ggiirrllss iinn oorrddiinnaarryy ccllaassssrroooommss tthhrroouugghhoouutt tthhee ccoouunnttrryy..HHuunnddrreeddss ooff tteeaacchheerrss aanndd rreesseeaarrcchheerrss aallrreeaaddyy hhaavvee wwrriitttteenn rreeppoorrttss oonn tthhee

eeffffeeccttss ooff ssuucchh pprrooggrraammss oonn cchhiillddrreenn.. AAlltthhoouugghh ssoommee ooff tthhee rreeppoorrttss aarree bbaasseedd

TThhee mmaatteerriiaall iinn tthhiiss rreeppoorrtt iiss bbaasseedd uuppoonn wwoorrkk ssuuppppoorrtteedd bbyy tthhee NNaattiioonnaall SScciieennccee FFoouunnddaattiioonn uunnddeerr GGrraanntt NNoo.. SSEEDD 7799--2200774422..AAnnyy ooppiinniioonnss,, ffiinnddiinnggss,, aanndd ccoonncclluussiioonnss oorr rreeccoommmmeennddaattiioonnss eexxpprreesssseedd iinn tthhiiss rreeppoorrtt aarree tthhoossee ooff tthhee aauutthhoorrss aanndd ddoo nnoott nneecceessssaarriillyy rreefflleecctt tthhee vviieewwss ooff tthhee NNaattiioonnaall SScciieennccee FFoouunnddaattiioonn..223377CCOOHHEENN,, KKUULLIIKK, , AANNDD KKUULLIKI Koonn ssuubbjjeeccttiivvee iimmpprreessssiioonnss aanndd iinnffoorrmmaall oobbsseerrvvaattiioonnss aanndd tthhuuss aarree ooff lliimmiitteedd sscciieennttiiffiicc vvaalluuee,, ootthheerr rreeppoorrttss ddeessccrriibbee ssoouunndd eexxppeerriimmeennttaall ssttuuddiieess ooff ttuuttoorriinngg.. IInn ssuucchh ssttuuddiieess,, iinnvveessttiiggaattoorrss uussuuaallllyy ccoommppaarree tthhee ppeerrffoorrmmaannccee ooff eeqquuiivvaalleennttggrroouuppss ooff ssttuuddeennttss aassssiiggnneedd ttoo ccllaassssrroooommss wwiitthh aanndd wwiitthhoouutt

ttuuttoorriinngg pprroo

ggrraammss..

CCoommppaarriissoonnss

oofftteenn

ffooccuuss

oonn lleeaarrnniinngg

ggaaiinnss iinn

tthhee

ttwwoo

ttyyppeess

ooff

ccllaassssrroooommss,, aanndd ssoommeettiimmeess aallssoo

uunnttuuttoorreedd ssttuuddeennttss..

ccoovveerr

aaffffeeccttiivvee ggrroowwtthh

ooff ttuuttoorreedd

aanndd

SSeevveerraall mmaajjoorr rreevviieewwss ooff ssuucchh ssttuuddiieess hhaavvee aappppeeaarreedd iinn tthhee eedduuccaattiioonnaall

lliitteerraattuurree iinn rreecceenntt yyeeaarrss ((DDeevviinn--SShheeeehhaann,, FFeellddmmaann,, && AAlllleenn,,

11997766;; EEllllssoonn,,11997766;; FFiittzz--GGiibbbboonn, ,

11997777;; RRoosseennsshhiinnee && FFuurrsstt,,

11996699)).. EEaacchh ooff tthhee rreevviieewwss

ccoonncclluuddeedd tthhaatt ttuuttoorriinngg pprrooggrraammss ccaann ccoonnttrriibbuuttee ttoo tthhee aaccaaddeemmiicc ggrroowwtthh ooff

tthhee cchhiillddrreenn

wwhhoo rreecceeiivvee tthhee ttuuttoorriinngg

aanndd

pprroobbaabbllyy

ttoo tthhee ggrroowwtthh

ooff tthhee

cchhiillddrreenn

wwhhoo

pprroovviiddee tthhee ttuuttoorriinngg aa

wweellll.. HHoowweevveerr,,

ttwwoo

ooff tthhee

rreevviieewwss((EEllllssoonn,,

11997766;; RRoosseennsshhiinnee && FFuurrsstt,, 11996699)) rreeppoorrtteedd tthhaatt tthheessee ccoonnttrriibbuuttioionnss

hhaadd bbeeeenn cclleeaarrllyy

ddeemmoonnssttrraatteedd

oonnllyy

ffoorr wweellll--ssttrruuccttuurreedd

aanndd

ccooggnniittiivveellyy

oorriieenntteedd pprrooggrraammss.. SSiinnccee eeaacchh ooff tthhee ffoouurr rreevviieewwss uusseedd rreellaattiivveellyy iinnffoorrmmaall nnaarrrraattiivvee aanndd bbooxx ssccoorree tteecchhnniiqquueess ffoorr ssuummmmaarriizziinngg ffiinnddiinnggss,, nnoonnee pprroovviiddeedd pprreecciissee ssttaatteemmeennttss aabboouutt tthhee ssiizzee ooff tthhee lleeaarrnniinngg ggaaiinnss ttoo bbee eexxppeecctteedd ffrroomm ttuuttoorriinngg oorr aabboouutt tthhee ccoonnddiittiioonnss uunnddeerr wwhhiicchh ppoossiittiivvee eeffffeeccttss aarree lliikkeellyy ttooooccccuurr.. nneeeeddeedd..

FFoorr

mmoorree pprreecciissee ccoonncclluussiioonnss,, mmoorree

ffoorrmmaall

rreevviieeww

mmeetthhooddss

aarreeIInn 11997777 HHaarrttlleeyy iinnttrroodduucceedd tthhee uussee ooff mmoorree ppoowweerrffuull rreevviieeww mmeetthhooddss iinnttoo

tthhiiss aarreeaa.. TThhee mmeetthhooddoollooggyy tthhaatt sshhee eemmppllooyyeedd,, ccaalllleedd ""mmeettaa--aannaallyyssisis,"," wwaass ffiirrsstt ddeessccrriibbeedd bbyy GGllaassss ((11997766)) iinn hhiiss pprreessiiddeennttiiaall aaddddrreessss ttoo tthhee AAmmeerriiccaannEEdduuccaattiioonnaall

RReesseeaarrcchh AAssssoocciiaattiioonn.. MMeettaa--aannaallyyssiiss

iiss ssiimmppllyy tthhee

ssttaattiissttiiccaallaannaallyyssiiss ooff aa llaarrggee ccoolllleeccttiioonn ooff rreessuullttss ffrroomm iinnddiivviidduuaall ssttuuddiieess ffoorr tthhee ppuurrppoossee ooff iinntteeggrraattiinngg tthhee ffiinnddiinnggss.. AAppppllyyiinngg tthhiiss mmeetthhoodd ttoo ffiinnddiinnggss oonn mmaatthheemmaatticicss tteeaacchhiinngg iinn eelleemmeennttaarryy aanndd sseeccoonnddaarryy sscchhoooollss,, HHaarrttlleeyy sshhoowweedd nnoott oonnllyy tthhaatt tthhee eeffffeeccttss ooff ttuuttoorriinngg wweerree ppoossiittiivvee,, bbuutt tthhaatt tthheeyy wweerree ssttrroonnggeerr tthhaann tthhoossee ffrroomm ssuucchh ootthheerr iinnddiivviidduuaalliizziinngg tteeaacchhiinngg mmeetthhooddss aass ccoommppuutteerr--bbaasseedd iinnssttrruucc ttiioonn,, pprrooggrraammmmeedd iinnssttrruuccttiioonn,, aanndd iinnssttrruuccttiioonn wwiitthh iinnddiivviidduuaall lleeaarrnniinngg ppaacckkaaggeess..

HHaarrttlleeyy aallssoo

sshhoowweedd tthhaatt

tthhee

eeffffeeccttss ooff ttuuttoorriinngg

wweerree

ssiiggnniiffiiccaannttllyy

ssttrroonnggeerr iinn ssoommee ssiittuuaattiioonnss tthhaann iinn ootthheerrss..

AAlltthhoouugghh HHaarrttlleeyy''ss ssttuuddyy aaddvvaanncceedd kknnoowwlleeddggee ooff ttuuttoorriinngg ccoonnssiiddeerraabbllyy,,

hheerr wwoorrkk

wwaass ssttiill

ssoommeewwhhaatt lliimmiitteedd

iinn

ssccooppee..

FFiirrsstt,,

HHaarrttlleeyy''ss

aannaallyyssiiss

ccoovveerreedd oonnllyy

mmaatthheemmaattiiccss tteeaacchhiinngg..

HHaarrttlleeyy

ddiidd nnoott

ddeetteerrmmiinnee

wwhheetthheerr

ttuuttoorriinngg pprrooggrraammss hhaadd tthhee ssaammee rreemmaarrkkaabbllee eeffffeeccttss iinn aallll ssuubbjjeeccttss oorr wwhheetthheerr

ssuucchh eeffffeeccttss wweerree rreessttrriicctteedd ttoo mmaatthheemmaattiiccss tteeaacchhiinngg.. SSeeccoonndd,, HHaarrttlleeyy ssttuuddiieedd

oonnllyy

aacchhiieevveemmeenntt

eeffffeeccttss.. SShhee

ddiidd nnoott

ddeetteerrmmiinnee

wwhheetthheerr

ttuuttoorriinngg

hhaadd

ppoossiittiivvee oorr nneeggaattiivvee eeffffeeccttss oonn ootthheerr iinnssttrruuccttiioonnaall oouuttccoommeess,, ssuucchh aass aattttiittuuddee

ttoowwaarrdd sscchhooooll,, aattttiittuuddee ttoowwaarrdd sscchhooooll ssuubbjjeeccttss,, oorr oonn sseellff--ccoonncceepptt..

HHaarrttlleeyy''ss aannaallyyssiiss aallssoo ssuuffffeerreedd ffrroomm ssoommee ppoossssiibbllee mmeetthhooddoollooggiiccaall wweeaakknneesssseess.. FFiirrsstt,,

hheerr ssttuuddyy

aaggggrreeggaatteedd eeffffeeccttss oonn tthhoossee bbeeiinngg ttuuttoorreedd aanndd

oonntthhoossee pprroovviiddiinngg ttuuttoorriinngg.. OOtthheerr rreevviieewweerrss hhaavvee pprreeffeerrrreedd ttoo lloookk aatt tthheessee aass

223388

EEODUUCCAATTIIOONNAALL OOUUTTCCOOMMEES S OOFF TTUUTTOORRINIGNGttwwoo ddiissttiinncctt

ttyyppeess ooff eeffffeeccttss..

SSeeccoonndd,,

HHaarrttlleeyy's's

aannaallyyssiiss wwass bbaasseedd oonn

ffaarr

mmoorree ffiinnddiinnggss tthhaann ssttuuddiieess ((7733 ffiinnddiinnggss ffrroomm oonnllyy 2299 ssttuuddiieess)).. TThhee ddeeppeenndd eennccee aammoonngg ffiinnddiinnggss mmaaddee iitt ddiiffffiiccuulltt ffoorr HHaarrttlleeyy ttoo ddeetteerrmmiinnee tthhee aammoouunntt ooff eerrrroorr iinn hheerr ssttaattiissttiiccss.. TThhiirrdd,, HHaarrttlleeyy iinncclluuddeedd iinn hheerr ppooooll ooff ssttuuddiieess ssoommee mmeetthhooddoollooggiiccaallllyy iinnaaddeeqquuaattee wwoorrkk.. MMaannyy rreevviieewweerrss wwoouulldd nnott ttaakkee sseerriioouussllyy ssttuuddiieess tthhaatt llaacckkeedd aa ccoonnttrrooll ggrroouupp..TThhiiss aarrttiiccllee rreeppoorrttss rreessuullttss ffrroomm aa mmeettaa--aannaallyyssiiss tthhaatt bbuuiillddss oonn HHaarrttlleeyy's's

wwoorrkk.. IItt iiss mmeeaanntt ttoo aannsswweerr sseevveerraall mmaajjoorr qquueessttiioonnss aabboouutt ttuuttoorriinngg.. HHooww

eeffffeeccttiivvee

ddooeess tthhee ttyyppiiccaall ssttuuddyy ssaayy tthhaatt ttuuttoorriinngg iiss?? AAree cceerrttaaiinn ttyyppeess ooffttuuttoorriinngg pprrooggrraammss uunnuussuuaallllyy eeffffeeccttiivvee?? IIss ttuuttoorriinngg eessppeecciiaallllyy

eeffffeeccttiivvee ffoorrcceerrttaaiinn ttyyppeess ooff eedduuccaattiioonnaall

oouuttccoommeess?? WWhhaatt

ssoorrttss ooff ssttuuddiieess ddeemmoonnssttrraatetetthhee eeffffeeccttss ooff ttuuttoorriinngg mmoosstt cclleeaarrllyy?? UUnnlliikkee HHaarrttlleeyy''Ss ssttuuddyy,, tthhiiss mmeettaa--aannaallyyssisisccoovveerrss ssttuuddiieess ooff ddiiffffeerreenntt

ssuubbjjeecctt aarreeaass aanndd ddeessccrriibbeess rreessuullttss ffoorr ddiiffffeerreennttkkiinnddss ooff sscchhooooll oouuttccoommeess.. IItt ttrreeaattss sseeppaarraatteelyly oouuttccoommeess ffoorr ssttuuddeenntt

ttuuttoorrssaanndd ttuutteeeess aanndd iinncclluuddeess oonnllyy ssttuuddiieess tthhaatt mmeeeett rreeaassoonnaabbllee mmeetthhooddoollooggiiccaallssttaannddaarrddss..MMEETTHHOODDSS

TThhiiss

sseeccttiioonn

ddeessccrriibbeess tthhee pprroocceedduurreess

uusseedd iinn llooccaattiinngg

ssttuuddiieess,,

ccooddiinngg

ssttuuddyy ffeeaattuurreess,, aanndd qquuaannttiiffyyiinngg oouuttccoommeess ooff ssttuuddiieess..SSoouurrcceess ooff DDaattaaTThhee ffiirrsstt sstteepp iinn tthhiiss mmeettaa--aannaallyyssiiss wwaass ttoo ccoolllleecctt aa llaarrggee nnuummbbeerr ooff ssttuuddiieesstthhaatt eexxaammiinneedd eeffffeeccttss ooff ttuuttoorriinngg pprrooggrraammss oonn sscchhooooll--aaggee cchhiillddrreenn.. WWee bbeeggaann

tthhee

ccoolllleeccttiioonn pprr

cceessss bbyy ccoommppuutteerr--sseeaarrcchhiningg

tthhrreeee ddaattaa bbaasseess

tthhrroouugghh

LLoocckkhheeeedd's's DDIIAALLOOGG

OOnnlliinnee IInnffoorrmmaattiioonn

SSeerrvviiccee:: EERRIICC,, aa ddaattaa bbaassee oonneedduuccaattiioonnaall mmaatteerriiaallss ffrroomm tthhee EEdduuccaattiioonnaall RReessoouurrcceess IInnffoorrmmaattiioonn

CCeenntteerr,,ccoonnssiissttiinngg ooff tthhee ttwwoo ffiilleess

RReesseeaarrcchh

iinn EEdduuccaattiioonn

aanndd CCuurrrreenntt IInnddeexx

ttooJJoouurrnnaallss iinn EEdduuccaattiioonn;; CCoommpprreehheennssiivvee DDiisssseerrttaattiioonn AAbbssttrraaccttss;; aanndd PPssyycchhoolloogg iiccaall AAbbssttrraaccttss.. TThhee bbiibblliiooggrraapphhiieess iinn aarrttiicclleess llooccaatteedd tthhrroouugghh tthhee ccoommppuutteerr sseeaarrcchheess pprroovviiddeedd aa sseeccoonndd ssoouurrccee ooff ssttuuddiieess ffoorr tthhee mmeettaa--aannaallyyssiiss.. IInn aallll,, oouurr sseeaarrcchh yyiieellddeedd aa ttoottaall ooff mmoorree tthhaann 550000 ttiittlleess..

WWee uusseedd tthhrreeee gguuiiddeelliinneess ttoo rreedduuccee tthhee iinniittiiaall ppooooll ooff 550000 ttiittlleess ttoo tthhee ffiinnaall sseett ooff 6655 ssttuuddiieess..'1 TToo bbee iinncclluuddeedd iinn oouurr aannaallyyssiiss,, ssttuuddiieess hhaadd ttoo ttaakkee ppllaaccee iinn aaccttuuaall eelleemmeennttaarryy oorr sseeccoonnddaarryy sscchhooooll ccllaassssrroooommss.. SSeeccoonndd,, tthheeyy hhaadd ttoo rreeppoorrtt oonn qquuaannttiittaattiivveellyy mmeeaassuurreedd oouuttccoommeess iinn bbootthh aa ttuuttoorreedd ggrroouupp aanndd aa

nnoonnttuuttoorreedd

ccoonnttrrooll

ggrroouupp.. AAnndd

tthhiirrdd,,

ssttuuddiieess hhaadd

ttoo bb

ffrreeee

ffrroomm ssuucchhccrriipppplliinngg mmeetthhooddoollooggiiccaall ffllaawwss aass ddiiffffeerreenntt aappttiittuuddee lleevveellss iinn tthhee ccoommppaarriissoonnggrroouuppss aanndd uunnffaaiirr ""tteeaacchhiinngg ooff tthhee tteesstt"" ttoo oonnee ooff tthhee ggrroouuppss.. FFiinnaallllyy,, wweeuusseedd

gguuiiddeelliinneess eessttaabblliisshheedd

ffoorr

oouurr

pprreevviioouuss mmeettaa--aannaallyysseess

((ee..gg..,, KKuulliikk,,KKuulliikk,, && CCoohheenn,,

11997799aa,, 11997799bb)) ttoo eennssuurree tthhaatt eeaacchh ssttuuddyy wwaass ccoouunntteedd oonnllyyoonnccee iinn eeaacchh aannaallyyssiiss..1 AA ccoommpplleettee lliisstt ooff ssttuuddiieess uusseedd iinn tthhee aannaallyysseess ddeessccrriibbeedd iinn tthhiiss aarrttiiccllee iiss aavvaaiillaabbllee ffrroomm PPeetteerr AA.. CCoohheenn..223399CCOOHHEENN,, KKUULLIIKK,, AANNDD KKUULLIIKKCChhaarraacctteerriissttiiccss ooff SSttuuddiieessTThhee 6655 ssttuuddiieess uusseedd

iinn tthhiiss aannaallyyssiiss wweerree ooff mmaannyy ddiiffffeerreenntt

ttyyppeess.. TToo

ddeessccrriibbee tthhee mmaaiinn ffeeaattuurreess ooff tthhee ssttuuddiieess,, wwee ddeeffiinneedd 1155 vvaarriiaabblleess.. FFoouurr ooff tthhee vvaarriiaabblleess ddeessccrriibbeedd tthhee ttyyppeess ooff ttuuttoorriinngg pprrooggrraammss uusseedd iinn tthhee ssttuuddiieess:: wwhheetthheerr tthhee ttuuttoorriinngg wwaass ssttrruuccttuurreedd oorr nnoonnssttrruuccttuurreedd;; wwhheetthheerr tthhee ttuuttoorriinngg wwaass ccrroossss--aaggee oorr nnoott;; wwhheetthheerr ttuuttoorriinngg wwaass aa ssuupppplleemmeenntt ttoo oorr aa ssuubbssttiittuuttee ffoorr ccllaassssrroooomm iinnssttrruuccttiioonn;; aanndd wwhheetthheerr oorr nnoott ttuuttoorrss rreecceeiivveedd ttrraaiinniinngg.. TThheenneexxtt

tthhrreeee vvaarriiaabblleess

ddeessccrriibbeedd aassppeeccttss

ooff

tthhee eexxppeerriimmeennttaall ddeessiiggnn ooff tthheessttuuddiieess:: rraannddoomm

vveerrssuuss nnoonnrraannddoomm aassssiiggnnmmeenntt ooff ssttuuddeennttss ttoo ccoommppaarriissoonnggrroouuppss;;

ccoonnttrrooll ffoorr

tteeaacchheerr eeffffeeccttss bbyy uussiinngg tthhee ssaammee tteeaacchheerrss ffoorr bbootthheexxppeerriimmeennttaall aanndd ccoonnttrrooll ggrroouuppss;; aanndd ccoonnttrrooll ooff aauutthhoorr bbiiaass oonn tteessttss tthhrroouugghh uussee ooff ssttaannddaarrddiizzeedd eexxaammiinnaattiioonnss.. SSiixx ootthheerr vvaarriiaabblleess ddeessccrriibbeedd ffeeaattuurreess ooff tthhee ccoouurrssee sseettttiinngg,, iinncclluuddiinngg dduurraattiioonn ooff tthhee pprrooggrraamm,, ccllaassss lleevveell ooff ttuuttoorrss,, ccllaassss lleevveell ooff ttuutteeeess,, ssuubbjjeecctt mmaatttteerr,, aavveerraaggee aabbiilliittyy lleevveell ooff ttuutteeeess,, aanndd lleevveell ooff sskkiillllss tteesstteedd oonn eexxaammiinnaattiioonnss.. FFiinnaallllyy,, ttwwoo vvaarriiaabblleess ddeessccrriibbeedd ppuubblliiccaattiioonn ffeeaattuurreess ooff tthhee ssttuuddiieess:: tthhee mmaannnneerr ooff ppuubblliiccaattiioonn ooff tthhee ssttuuddyy aanndd tthhee yyeeaarr ooff ppuubblliiccaattiioonn. .

SSttuuddyy OOuuttccoommeessTThhee 6655 ssttuuddiieess ddeessccrriibbeedd eeffffeeccttss ooff ttuuttoorriinngg pprrooggrraammss oonn bbootthh ttuuttoorrss aanndd

ttuutteeeess.. TThheessee

eeffffeeccttss

wweerree iinn

tthhrreeee mmaajjoorr aarreeaass:: ssttuuddeenntt aacchhiieevveemmeenntt

aassmmeeaassuurreedd

oonn

eexxaammiinnaattiioonnss,, ffaavvoorraabbiilliittyy

ooff

ssttuuddeenntt

aattttiittuuddeess

ttoowwaarrdd

tthhee

ssuubbjjeecctt mmaatttteerr,,

aanndd ffaavvoorraabbiilliittyy ooff ssttuuddeenntt sseellff--ccoonncceepptt.. TToo qquuaannttiiffyy

tthhee

eeffffeeccttss ooff ttuuttoorriinngg pprrooggrraammss iinn eeaacchh ooff tthheessee aarreeaass,, wwee uusseedd tthhee EEffffeecctt SSiizzee((EESS)),, ddeeffiinneedd aass tthhee ddiiffffeerreenncc

bbeettwweeeenn tthhee mmeeaannss ooff ttwwoo ggrroouuppss ddiivviiddeedd bbyytthhee ssttaannddaarrdd ddeevviiaattiioonn ooff tthhee ccoonnttrrooll ggrroouupp ((GGllaassss,, 11997766)).. FFoorr ssttuuddiieess tthhaatt rreeppoorrtteedd mmeeaannss aanndd ssttaannddaarrdd ddeevviiaattiioonnss ffoorr bbootthh eexxppeerriimmeennttaall aanndd ccoonnttrroollggrroouuppss,, wwee ccaallccuullaatteedd EESS ffrroomm tthhee mmeeaassuurreemmeennttss pprroovviiddeedd.. FFoorr lleessss ffuullllyyrreeppoorrtteedd ssttuuddiieess,, wwee ccaallccuullaatteedd EESS ffrroomm

ssttaattiissttiiccss ssuucchh aass /t aanndd FF,, uussiinnggpprroocceedduurreess ddeessccrriibbeedd bbyy MMccGGaaww aanndd GGllaassss ((11998800))..RREESSUULLTTSS

IInn tthhiiss sseeccttiioonn wwee ffiirrsstt ddeessccrriibbee tthhee eeffffeeccttss ooff ttuuttoorriinngg pprrooggrraammss oonn tthhee

cchhiillddrreenn

wwhhoo

rreecceeiivveedd

ttuuttoorriinngg.. WWee tthheenn ttuurrnn ttoo

tthhee eeffffeeccttss

ooff ttuuttoorriinngg

pprrooggrraammss oonn cchhiillddrreenn wwhhoo sseerrvveedd aass ttuuttoorrss iinn tthheessee pprrooggrraammss..

EEffffeeccttss oonn TTuutteeeessAA ttoottaall ooff 5522 ooff tthhee 6655 ssttuuddiieess rreeppoorrtteedd rreessuullttss oonn aaccaaddeemmiicc aacchhiieevveemmeenntt

ooff ttuuttoorreedd ssttuuddeennttss;; 99 ssttuuddiieess rreeppoorrtteedd

aattttiittuuddee ttoowwaarrdd ssuubbjjeecctt mmaatttteerr..

oonn sseellff--ccoonncceepptt;; aanndd 88 rreeppoorrtteedd oonn

AAcchhiieevveemmeenntt..

IInn 4455 ooff tthhee 5522 aacchhiieevveemmeenntt

ssttuuddiieess,, tthhee eexxaammiinnaattiioonn

ppeerr

ffoorrmmaannccee ooff ssttuuddeennttss wwhhoo wweerree ttuuttoorreedd wwaass bbeetttteerr tthhaann tthhee

eexxaammiinnaattiioonn

ppeerrffoorrmmaannccee ooff ssttuuddeennttss iinn aa ccoonnvveennttiioonnaall ccllaassss;; iinn 66 ootthheerr ssttuuddiieess,, eexxaammii--

224400EEDDUUCCAATTIOIONNALAL OOUUTTCCOOMMEESS OOFF TTUUTTOORRINIGN Gnnaattiioonn ppeerrffoorrmmaannccee wwaass bbeetttteerr iinn tthhee ccoonnvveennttiioonnaall ccllaassss;; aanndd iinn 1I ssttuuddyy,, tthheerree wwaass nnoo ddiiffffeerreennccee bbeettwweeeenn ttuutteeeess aanndd ccoonnvveennttiioonnaall ssttuuddeennttss.. AA ttoottaall ooff2200 ooff tthhee ccoommppaarriissoonnss rreeppoorrtteedd aa ssttaattiissttiiccaallllyy ssii

nniiffiiccaanntt ddiiffffeerreennccee iinn rreessuullttssffrroomm

tthhee ttwwoo tteeaacchhiinngg aapppprrooaacchheess.. RReessuullttss ooff

1199 ooff tthheessee ssttuuddiieess ffaavvoorreeddttuutteeeess,, aanndd rreessuullttss ooff

I1 ssttuuddyy ffaavvoorreedd

ccoonnvveennttiioonnaall iinnssttrruuccttiioonn.. CClleeaarrllyy,, aaddiissttiinncctt mmaajjoorriittyy ooff ssttuuddiieess ffaavvoorreedd ttuutteeeess..TThhee aavveerraaggee EESS iinn tthhee 5522 ssttuuddiieess wwaass ..4400;; tthhee ssttaannddaarrdd eerrrroorr ooff EESS wwaass..006699.. AAnn aavveerraaggee EESS ooff ..4400 mmeeaannss tthhaatt iinn aa ttyyppiiccaall ccllaass

ttuuttoorriinngg rraaiisseedd tthheeppeerrffoorrmmaannccee ooff ttuuttoorreedd ssttuuddeennttss bbyy aapppprrooxxiimmaatteellyy ttwwoo--ffiifftthhss ooff aa ssttaannddaarrdd- ddeevviiaattiioonn--uunniit.t. PPuutt iinn aannootthheerr wwaayy,, tthhee aavveerraaggee cchhiilldd iinn tthhee ttuuttoorreedd ggrroouuppssccoorreedd aatt tthhee

6666tthh ppeerrcceennttiillee ooff tthhee ssttuuddeennttss iinn tthhee uunnttuuttoorreedd oorr ccoonnttrrooll

ggrroouupp.. CCoohheenn ((11997777)) hhaass rreeffeerrrreedd ttoo eeffffeeccttss ooff tthhiiss mmaaggnniittuuddee aa ssiizzee..

mmooddeesstt iinnAAlltthhoouugghh tthhee eeffffeecctt ooff ttuuttoorriinngg wwaass mmooddeesstt iinn tthhee ttyyppiiccaall ssttuuddyy,, tthhee ssiizzee ooff

eeffffeecctt vvaarriieedd ffrroomm ssttuuddyy ttoo ssttuuddyy ((FFiigguurree 1I)).. TThhee llaarrggeesstt EESS ((22..33)) ccaammee ffrroommaa ssttuuddyy ffrroomm

MMoohhaann ((11997722)).. FFoouurr ootthheerr ssttuuddiieess aallssoo rreeppoorrtteedd llaarrggee eeffffeeccttssFFII GG UURREE 11.. DDiissttrriibbuuttiioonn sshhoowwiinngg tthhee eeffffeeccttss ooff ttuuttoorriinngg oonn ttuutteeee aacchhiieevveemmeenntt iinn5522 ssttuuddiieess..2ij22201816>- 1 ij uzw12::::>OJ wI0 a:u,86420-3

3 --2

2 --1 1 0 0

11 22 3EEFFFFEECTCSTS OONN TTUUTTEEEE

AACCHHIIEVEEVMEENMTENT (([ESS))224411CCOOHHEENN, , KKUULLIKI K, , AANNDD KKUULLIKI K

TTAABBLLEE II

MMeeaann aanndd SSttaannddaarrdd EErrrroorr ooff EEffffeecctt SSiizzee ffoorr TTuutteeee AAcchhiieevveemmeenntt wwhheenn SSttuuddiieess aarree CCllaassssiiffiieeddiinnVVaarriioouuss WWaayyssCCaatteeggoorryy ooff SSttuuddyy NNuummbbeerr ooffSSttuuddiieessIImmpplleemmeennttaattioionn

EEffffeecctt SSiizzeeMMeeaann SSttaannddaarrddEErrrroorrSSuubbssttiittuuttee 2299 ..4477

..1100SSuupppplleemmeenntt 2233TTuuttoorr TTrraaiinniinngg

..3311

..1100NNoo1133..3366..0099

YYeess3399A.4l1..0099

CCrroossss--aaggee TTuuttoorriinnggNNoo2244..2299..0077

YYeess2288.04499..1111

SSttrruuccttuurreedd TTuuttoorriinngg**NNoo2233..2266..0066

YYeess2299..5511..1111

RRaannddoomm AAssssiiggnnmmeenntt ttoo GGrroouuppssNNoo2222..3322..0077

YYeess3300..4466..1111

CCoonnttrrooll ffoorr IInnssttrruuccttiioonn EEffffeecctt

DDiiffffeerreenntt IInnssttrruuccttoorrss1t0o..3366..1100

SSaammee IInnssttrruuccttoorr4422.A4l1..0088

CCoonnttrrooll ffoorr AAuutthhoorr BBiiaass******

IInnssttrruuccttoorr DDeevveellooppeedd TTeesstt1122..8844..2211

CCoommmmeerrcciiaall SSttaannddaarrddiizzeedd TTeesstt4400..2277..0055

DDuurraattiioonn ooff TTrreeaattmmeenntt******

00--44 WWeeeekkss66..9955..2288

55--1188 WWeeeekkss3300.04422..0088

1199--3366 WWeeeekkss1144..1166..0099

CCllaassss LLeevveell ooff TTuutteeeess

11--333366.A4S5..0099

44--661t0o..2255..1122

77--99CCllaassss LLeevveell ooff TTuuttoorrss66..3333..1177

11--331IS5..3399..1133

44--661100..6644..2277

77--991144..2244..0077

1to0--11221I1I..3366..1111

SSuubbjjeecctt MMaatttteerr****

MMaatthh1188..6600..1166

RReeaaddiinngg3300..2299..0066

OOtthheerr44..3300..1133

AAvveerraaggee AAbbiilliittyy ooff TTuutteeee

LLooww4400..4422..0088

MMiiddddllee1122..3333..1144

LLeevveell ooff AAcchhiieevveemmeenntt MMeeaassuurree******LLooww--oorrddeerr

1166

..7766 ..1177MMiixxeedd

3366

..2244

..0055224422EEDDUUCCAATTIOIONNALAL OOUUTTCCOOMMEES S OOFF TTUUTTOORRINIGNGTTAABBLLEE II((CCoonnttiinnuueedd))CCaatteeggoorryy ooff SSttuuddyy

NNuummbbeerr ooffSSttuuddiieess

EEffffeecctt SSiizzee

Mean SSttaannddaarrddSSoouurrccee ooff SSttuuddyy**** UUnnppuubblliisshheedd DDiisssseerrttaattiioonn

66

3300

Mean..8855..2277

EErrrroorr..4422..0066

PPuubblliisshheeddSSttuuddyy YYeeaarr

1166 ..4477

..1122

11996611--1199665511996666--11997700

22

1177

..0066 ..3344..3322 ..008811997711--1199775511997766--11998800

226677

..4455..4444

..1111..2266** SSiiggnniiffiiccaanntt ddiiffffeerreennccee aammoonngg eeffffeecctt ssiizzeess ffoorr ccaatteeggoorriieess ooff tthhiiss vvaarriiaabbllee,,/p?