Upload
sfi-slides
View
108
Download
3
Embed Size (px)
Citation preview
ALTERNATIVER TIL
RCTs: MIKRO-ØKONOMETRISKE METODER Jan Høgelund
INDHOLD
• Introduktion • Skitsering af udvalgte metoder med eksempler, styrker og
svagheder • Regressionsanalyse • Matching • Regression discountinuity • Difference-in-difference
31-01-2014 MIKRO-ØKONOMETRISKE METODER 2
INTRODUKTION
• Alternativ til lodtrækningsforsøg:
• ”Kigge tilbage” vha. eksisterende data • Alternativt: være på forkant og indsamle masser af data • Udgangspunktet: Ikke muligt at styre, hvem der deltager
• Indsats- og kontrolgruppe typisk ikke ”ens” (=
”selektionsskævhed”) • Metoderne anvendes til korrektion
31-01-2014 MIKRO-ØKONOMETRISKE METODER 3
• At I får en intuitiv forståelse af metoderne for dermed at:
• Få bedre indsigt i, hvornår metoder kan anvendes som
alternativ
• Få bedre forudsætninger for at vurdere validiteten af eksisterende undersøgelser
INTRODUKTION – FORMÅL
31-01-2014 MIKRO-ØKONOMETRISKE METODER 4
• Krav til anvendelse:
• Detaljeret indsigt i økonometri og databehandling
• Konsekvens:
• Formålet er ikke, at I skal blive i stand til selv at gennemføre analyserne
INTRODUKTION – STORE KRAV TIL FAGLIGE FORUDSÆTNINGER
31-01-2014 MIKRO-ØKONOMETRISKE METODER 5
SELEKTIONSSKÆVHED – HVAD ER PROBLEMET?
• Systematiske forskelle mellem personer i hhv. indsats- og kontrolgruppe => • personer, der udtages til deltagelse, kan ikke sammenlignes
direkte med de personer, der ikke deltager, hvis
• den målte effekt er påvirket af, at personerne er forskellige
• fordi det dermed ikke er den rene effekt af indsatsen, der måles
31-01-2014 MIKRO-ØKONOMETRISKE METODER 6
SELEKTIONSSKÆVHED – HVORNÅR?
• Eksempler • Kommuner: Ishøj sammenlignet med Gentofte
• Unge på forskellige uddannelser, fx gymnasium vs. HTX
• Sygemeldte på kursus vs. sygemeldte, der ikke deltager i
kurset
31-01-2014 MIKRO-ØKONOMETRISKE METODER 7
• Opstår, når man ikke har et retvisende billede af den kontrafaktiske situation:
SELEKTIONSSKÆVHED – HVORNÅR?
31-01-2014 MIKRO-ØKONOMETRISKE METODER 8
Tid
Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb
Effekt af indsats = det vi vil måle MEN kontrafaktisk forløb ukendt
Indsats
• Hvis vi bruger kontrolgruppe som mål for kontrafaktisk situation, der afviger systematisk fra indsatsgruppe på forhold af betydning for udfald:
SELEKTIONSSKÆVHED – HVORNÅR?
31-01-2014 MIKRO-ØKONOMETRISKE METODER 9
Tid
Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb
Kontrolgruppe
Målte effekt af indsats
Indsats
SELEKTIONSSKÆVHED – HVORNÅR?
• I eksempel: En del af målt effekt kan tilskrives selektionsskævhed => Vi måler ikke den rene effekt
31-01-2014 MIKRO-ØKONOMETRISKE METODER 10
Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb
Kontrolgruppe Selektionsskævhed
Tid
Udfaldsmål
Faktisk effekt af indsats
Indsats
METODER TIL HÅNDTERING AF ”SYNLIGE”/MÅLBARE FORSKELLE
31-01-2014 MIKRO-ØKONOMETRISKE METODER 11
Indsats Udfald
Målbare forhold
• Sammenhæng med et eller flere forhold ?
• Eksempel: • Er der sammenhæng mellem andel piger i 9. klasse på
en given skole og andel elever, der gennemfører en ungdomsuddannelse?
REGRESSIONSANALYSE - FORMÅL
31-01-2014 MIKRO-ØKONOMETRISKE METODER 12
REGRESSIONSANALYSE - EKSEMPEL
31-01-2014 MIKRO-ØKONOMETRISKE METODER 13
Andel elever, der gennemfører en ungdomsuddannelse
Andel piger i 9. klasse
Skoler
REGRESSIONSANALYSE - EKSEMPEL
31-01-2014 MIKRO-ØKONOMETRISKE METODER 14
Andel elever, der gennemfører en ungdomsuddannelse
Andel piger i 9. klasse
Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.
Skoler
REGRESSIONSANALYSE - EKSEMPEL
31-01-2014 MIKRO-ØKONOMETRISKE METODER 15
Andel elever, der gennemfører en ungdomsuddannelse
Andel piger i 9. klasse
Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.
Skoler
Hældning udtrykker sammenhængen
REGRESSIONSANALYSE - EFFEKTMÅLING
• Effekt af vejledningsindsats som gives i udvalgte skoler
• Er der (positiv eller negativ) sammenhæng mellem at få vejledning og andel elever, der gennemfører en ungdomsuddannelse?
• Vi må tage hensyn til andelen af piger
31-01-2014 MIKRO-ØKONOMETRISKE METODER 16
REGRESSIONSANALYSE - EFFEKTMÅLING Eksempel: Effekt af forøget vejledningsindsats
31-01-2014 MIKRO-ØKONOMETRISKE METODER 17
Andel elever, der gennemfører en ungdomsuddannelse
Andel piger i 9. klasse
Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.
Skoler med indsats
Skoler uden indsats
Effekt af indsats
REGRESSIONSANALYSE – SVAGHED = ”OMVENDT KAUSALITET”
• Udfaldsmål kan have kausal effekt på indsats: • Eksempel:
• Hvis især skoler med dårligt karaktergennemsnit gennemfører indsats:
• Skoler med indsats har systematisk lavere karaktergennemsnit end skoler uden indsats
• Kan være årsag til negativ sammenhæng mellem indsats og karaktergennemsnit
31-01-2014 MIKRO-ØKONOMETRISKE METODER 18
Indsats Udfald
• Ikke-målte variabler påvirker både indsats og udfald:
• Eksempel: • Effekt af mindre klassestørrelse på elevpræstationer:
• Forældre med størst engagement kan være dem:
• der arbejder mest for at få små klasser • der mere end andre sikrer bedst mulig lektiehjælp
• Hvis forældreengagement påvirker både elevpræstationer og
klassestørrelse: • Sammenhæng kan skyldes forældreengagement
REGRESSIONSANALYSE – SVAGHED = ”UDELADTE VARIABLER”
31-01-2014 MIKRO-ØKONOMETRISKE METODER 19
Indsats Udfald
Målbare/ikke målbare forhold
REGRESSIONSANALYSE – SVAGHED
Statistisk sammenhæng mellem indsats og udfaldsmål
≠ Kausal effekt af indsats
31-01-2014 MIKRO-ØKONOMETRISKE METODER 20
MATCHING
• Central ide: • Personer i indsatsgruppe matches med en eller flere uden
for indsatsgruppe baseret på målbare forhold = forsøg på efterligning af RCT
• Kontrolgruppe = udvalgte sammenligningspersoner
• Central antagelse: • Når der betinges på en lang række målbare forhold =>
selektionsskævhed forsvinder => kausalt resultat opnås
31-01-2014 MIKRO-ØKONOMETRISKE METODER 21
Kontrol Indsatsgruppen Indsats Indsats Kontrol
Lars Skipper (2010): En mikroøkonometrisk evaluering af
den aktive beskæftigelsesindsats (AKF)
• Fokus: • Fuld population af aktiverede kontanthjælpsmodtagere med
problemer ud over ledighed (match 4 og 5) i vinteren 2005-2006
MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED
31-01-2014 MIKRO-ØKONOMETRISKE METODER 22
• Registerdata fra Arbejdsmarkedsstyrelsen, Danmarks Statistik og Sundhedsstyrelsen
• Oplysninger om: • Kontaktforløb mellem ledig og sagsbehandler • Sagsbehandlervurdering af fx søgeadfærd, risiko for
langtidsledighed, matchindplacering og årsag hertil • Arbejdsmarkedshistorie, indkomst, overførselsindkomster • Alder, køn, samlivsstatus, nationalitet, uddannelse • Diagnoser, hospitalsindlæggelse, køb af receptpligtig medicin
MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED
31-01-2014 MIKRO-ØKONOMETRISKE METODER 23
MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED
• Matching anvendes til at konstruere sammenligningsgruppe af kontanthjælpsmodtagere
• Forudsætninger: • Har alle oplysninger, der kan forventes at påvirke
udfaldsmålet • De to grupper er ikke så forskellige, at der ikke findes
overlap
31-01-2014 MIKRO-ØKONOMETRISKE METODER 24
• Indsatsgruppe: • Kontanthjælpsmodtagere, der deltager i aktivering mellem to
tremåneders samtaler omkring årsskiftet 2005/2006
• Kontrolgruppe: • Kontanthjælpsmodtagere, der i samme periode ikke deltager
i aktivering
MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED
31-01-2014 MIKRO-ØKONOMETRISKE METODER 25
• Sammenligning af indsats- og kontrolgruppe med matching:
• Der matches på lang række forhold knyttet til den enkelte
kontanthjælpsmodtager af betydning for udfald, bl.a.: • Demografiske forhold, arbejdsmarkedshistorik,
sagsbehandlervurdering, sundhedsoplysninger => ren effekt af aktiveringsindsats beregnes – eneste forskel mellem grupper: indsats/ikke indsats (forhåbentlig)
MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED
31-01-2014 MIKRO-ØKONOMETRISKE METODER 26
• Analyse: • Virker aktiveringen?
• Udfaldsmål:
• Tilknytning til arbejdsmarkedet (beskæftigelsesgrad og lønindkomst)
• Sum af offentlige overførsler
• Konklusion: Aktivering har ingen effekt, hverken på kort (3-6 mdr.) eller mellemlangt (op til tre år) sigt
MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED
31-01-2014 MIKRO-ØKONOMETRISKE METODER 27
MATCHING – STYRKER OG SVAGHEDER
• Styrke:
• Mere fleksibel metode end regressionsanalyse: • Sammenhæng ikke nødvendigvis lineær • Heterogene effekter kan belyses bedre
• Potentielle svagheder: • Hvis ikke-målbare forhold af betydning => misvisende
resultater • Hvis manglende overlap => behov for stort datamateriale for
at finde éns grupper
31-01-2014 MIKRO-ØKONOMETRISKE METODER 28
METODER TIL HÅNDTERING AF ”USYNLIGE”/IKKE-MÅLBARE FORSKELLE
31-01-2014 MIKRO-ØKONOMETRISKE METODER 29
Indsats Udfald
Målbare forhold
Ikke-målbare forhold
REGRESSION DISCOUNTINUITY - ANVENDELSE
• Når deltagelse/ikke-deltagelse i indsats er bestemt af, om person ligger over/under grænseværdi for variabel, der er afgørende for modtagelse af indsats • Eksempel: Ansatte på virksomhed, der har arbejdsrelateret
stress og ligger på mindst 80 på en skala fra 1-100
31-01-2014 MIKRO-ØKONOMETRISKE METODER 30
REGRESSION DISCOUNTINUITY – IDE OG INTUITION
• Ide: • Sammenligning af personer, der ligger hhv. lige over og lige
under grænseværdi = indsats- og kontrolgruppe
• Intuition: • Personer i de to grupper er ikke forskellige, bortset fra, om
de får en indsats. • Argument: De er i høj grad ens mht. den variabel, der afgør
om de får indsats
31-01-2014 MIKRO-ØKONOMETRISKE METODER 31
REGRESSION DISCOUNTINUITY
• Kausal effekt af indsats = spring i udfald ved grænseværdi • Forudsætning = Ikke andre spring omkring grænseværdi,
der kan påvirke udfaldsmål
• Tænkt eksempel: • Indsatsgruppe består af elever, der har mindre end 50%
rigtige i en given test (test1). • Hvordan påvirker en given indsats disse elevers andel
rigtige i ny test (test2)?
31-01-2014 MIKRO-ØKONOMETRISKE METODER 32
REGRESSION DISCOUNTINUITY – EKSEMPEL
31-01-2014 MIKRO-ØKONOMETRISKE METODER 33
Indsatskriterie: Andel rigtige i test1
Udf
ald:
And
el r
igtig
e i t
est2
REGRESSION DISCOUNTINUITY – EKSEMPEL
31-01-2014 MIKRO-ØKONOMETRISKE METODER 34
Udf
ald:
And
el r
igtig
e i t
est2
Indsatskriterie: Andel rigtige i test1
REGRESSION DISCOUNTINUITY – EKSEMPEL
Eksempel fra forskerverdenen (Leuven m.fl., 2007) • Indsats = ekstra økonomiske midler til hollandske skoler med
mange børn, der • var etniske minoriteter eller • havde forældre med et lavt uddannelsesniveau
• Indsatskriterie = Mindst 70% af eleverne opfyldte krav
• Formål: at forbedre elevers præstationer på udvalgte skoler
31-01-2014 MIKRO-ØKONOMETRISKE METODER 35
REGRESSION DISCOUNTINUITY – EKSEMPEL
Eksempel (Leuven m.fl., 2007) • Fremgangsmåde:
• Sammenligne skoler, der fik ekstra midler med skoler, der ikke fik disse midler
• Sammenligne før og efter introduktion af program (plus/minus 5% og 10% omkring de 70%)
• Resultat: ingen klar effekt – svag tendens til negativ effekt
31-01-2014 MIKRO-ØKONOMETRISKE METODER 36
REGRESSION DISCOUNTINUITY – POTENTIELLE SVAGHEDER
• Vanskeligheder, hvis sammenhæng mellem indsatskriterie og udfaldsmål er ikke-lineær
• Der er ingen værdier for indsatskriterie, hvor der både er personer i indsats- og kontrolgruppe
• Kun effekt omkring grænseværdien
31-01-2014 MIKRO-ØKONOMETRISKE METODER 37
• Paneldatametode: Bygger på data, hvor hver person (eller aldersgruppe eller skole eller… etc.) er observeret mindst to gange over tid
• Datamateriale: • To grupper, hvoraf kun den ene modtager en indsats
mellem de to observationstidspunkter
DIFFERENCE-IN-DIFFERENCES
31-01-2014 MIKRO-ØKONOMETRISKE METODER 38
Tid
Tid
Tid
DIFFERENCE-IN-DIFFERENCES - IDÉ
• De to grupper kan være forskellige på målbare forhold
• De gruppespecifikke gennemsnit for udfaldsmål kan være forskellige i fravær af indsats
• Men: Forskel kan ”differentieres ud” • Trække ændring for kontrolgruppe fra ændring for
indsatsgruppe • Tilbageværende forskel = kausal effekt
31-01-2014 MIKRO-ØKONOMETRISKE METODER 39
DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: Bille, Larsen, Høgelund og Holt (2013)
31-01-2014 MIKRO-ØKONOMETRISKE METODER 40
C = (Indsatsgruppeefter-indsatsgruppefør) – (kontrolgruppeefter-kontrolgruppefør)
Effekten af
indsatsen
DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: Bille, Larsen, Høgelund og Holt (2013)
31-01-2014 MIKRO-ØKONOMETRISKE METODER 41
• Kontrol kommuner som ligner indsatskommuner mht. rammevilkår og geografisk placering
• Brug af kontrolvariabler som køn, alder, uddannelse, medicinforbrug, indlæggelser, kontakter til læge mv.
• Tager højde for konjunkturer: de påvirker begge grupper=> påvirker ikke det endelige resultat => Resultater af DiD kan fortolkes som egentlige årsagssammenhænge
DIFFERENCE-IN-DIFFERENCES – ANTAGELSER
• Gruppespecifikke udviklingstræk for udfaldsmål ville have været være ens (= parallelle) i fravær af indsats, dvs. forskel skal være konstant over tid
• ”Før-måling” må ikke være påvirket af fremtidig indsats (annonceringseffekt)
• Der må ikke – samtidig med indsatsen – være andre ændringer af betydning for adfærd, der påvirker de to grupper forskelligt
31-01-2014 MIKRO-ØKONOMETRISKE METODER 42
DIFFERENCE-IN-DIFFERENCES – STYRKER OG SVAGHED
• Styrker: • anvender kontrolgruppe • tager højde for gruppespecifikke uobserverbare forhold, der
er konstante over tid…
• Potentiel svaghed: • …men tager ikke højde for uobserverbare forhold, der
varierer over tid
31-01-2014 MIKRO-ØKONOMETRISKE METODER 43
OPSAMLING
• ÉN METODE, der kan løse alle udfordringer, FINDES IKKE
• Regressionsanalyse og matching: • Fortolkes med forsigtighed, især overveje ikke-målbare
forholds betydning
• Brug af regression discountinuity: • ”Naturlige” eksperimenter – kræver diskontinuitet i
indsatsvariabel
• Differences-in-differences: • Kan tage højde for individ- eller gruppespecifikke ikke-
målbare forhold, der er konstante over tid
31-01-2014 MIKRO-ØKONOMETRISKE METODER 44
31-01-2014 MIKRO-ØKONOMETRISKE METODER 45
Hvad er forudsætningen for at lave en effektmåling •Veldefineret indsats
•Veldefineret (stor) målgruppe
•Veldefineret (stor) kontrolgruppe
•Målbare effekter
•Data for BÅDE indsatsgruppe og kontrolgruppe
•Effektmål
•Oplysninger til brug for korrektion af forskelle =>
MANGE data skal indsamles for både indsatsgruppe og
kontrolgruppe
SPØRGSMÅL OG
KOMMENTARER?!
MIKRO-ØKONOMETRISKE METODER 46
31-01-2014