Effektevalueringer Har tiltaket ønsket effekt? Sett ett kryss: □Ja □Nei

Frants Gundersen Norsk institutt for by- og regionforskning

18.09.2013

Noen vil noe (mål)

Aktivitet gjennomføres Noe skjer

Vil det som skjer oppfylle målene? Hvor stor er effekten?

Noen vil noe (mål)

Aktivitet gjennomføres Noe skjer

Mål Ressursinnsats Aktivitet Resultat Effekt

Effekten vil være avhengig av hvordan mekanismer fungerer i den gitte konteksten (programteorien)

Måling av sysselsettings-effekter av et tiltak

Relativt enkelt

Effektevaluering - utfordringer • Uklare mål som effektene skal måles mot

– Hva vil tiltakseier egentlig oppnå? – Holder programteorien? – Finnes det en programteori?

• Oppdragsgiver er (ofte) den samme som innførte tiltaket – Hvilke spørsmål er interessante – Hvorfor evaluere – Egeninteresse av svarene

• Nivåproblematikk – Kontekstavhengige resultater – Store mål – lite penger

• Bestillerkompetansen varierer – Hva er det mulig å svare på? – Hva er riktige spørsmål? – Bestiller kan ikke spørre om råd!

Beslutning i regjering/ Storting

Konkretiseres i departement

Konkretiseres igjen i direktorat, fylkeskommune

Konkretiseres igjen i kommune,

regionråd, o.l.

Konkretiseres igjen av

«prosjekteier»

Forventet resultat

Forventet effekt Hviskeleken

Eksempel på målhierarki

Bosetningsmålet, «alle skal kunne bo der de vil»

Hovedmål Delmål

Mål 1. Verdiskapning Økt verdiskapning, sysselsetting og internasjonal konkurransedyktig næringsliv gjennom næringsutvikling, innovasjon og entreprenørskap

Mål 1 Styrke regionale næringsmiljøer Skal gi bedre vilkår for innovasjonsbasert verdiskapning

Mål 2 Videreutvikle etablerte bedrifter Skal øke innovasjonsevnen og -takten i etablerte bedrifter

Mål 3 Entreprenørskap Øke omfanget av lønnsomme etableringer

Mål 2. Rammebetingelser Gode lokale og regionale rammebetingelser for næringsliv og befolkning.

Mål 4 Kompetanse Skal styrke grunnlaget for kompetanseheving for befolkningen

og i samfunns- og arbeidsliv

Mål 5 Infrastruktur Skal styrke fysisk infrastruktur og redusere avstandsulemper

Mål 3. Attraktivitet Utvikle attraktive regioner og sentra for befolkning og næringsliv.

Mål 6 Tjenester Skal gi god tilgang på grunnleggende lokale tjenester til

befolkningen

Mål 7 Stedsutvikling Skal gjøre mindre sentra og små og mellomstore byer mer attraktive

og aktuelle som bosted og som lokalisering av bedrifter

Effekter - utfordringer • Det kontrafaktiske dilemma

– Er det mulig å vite hvordan verden ville vært uten tiltaket?

• Tidsforskyvning mellom tiltak og effekt – Hvilket tiltak (blant mange) ga hvilken effekt?

• Alternativ ressursbruk

– Hvor stor skal effekten være for at dette er den optimale bruken av ressursene?

• Kvantifiserbare mål – Indikatorer som treffer (i forhold til teori)

Effekter - utfordringer • Registerbasert analyse

– Validitet. Måler vi det vi ønsker å måle? – Kontrollgruppeproblematikk – Selvseleksjon – Addisjonalitet/fortrengning

• Spørreundersøkelse

– Skjevt utvalg (de som kjenner tiltaket) – Taktiske svar – Vanskelig å måle nivå – «det er bedre å få penger enn ikke å få penger» – Kan sjeldent spørre direkte om effekt

Tid

Indi

kato

rver

di

Fra resultat til effekt Hva ville skjedd med prosjektet/aktiviteten uten tiltaket? 1. Gjennomført prosjektet/aktiviteten uten endringer; samme skala og

tidsskjema 2. Gjennomført prosjektet/aktiviteten i samme skala, men på et

senere tidspunkt. 3. Gjennomført prosjektet/aktiviteten i en mer begrenset skala, men

med samme tidsskjema 4. Gjennomført prosjektet/aktiviteten i en mer begrenset skala og på

et senere tidspunkt 5. Prosjektet/aktiviteten ville ikke bli gjennomført

Hva bruker vi? • ”Strategisk analyse”

– Kontekst, programteori, målkonflikt

• Spørreundersøkelse – Prosess, effekt

• Intervjuer – Prosess, målkonflikt

• Registerdata – Effekt, kontekst

• Syntese

Har tiltaket gitt ønsket effekt? Hvor stor er effekten?

Nja, litt snevert? Effektevaluering kan gi

– Bedre kunnskap om mekanismene mellom mål, innsats, resultat og effekt

– Bedre kunnskap om rammebetingelser og kontekst – Bedre kunnskap om prosessen (premiss for resultatet) – Måling av resultater (som regel) – Indikasjon på (men sjeldent eksakt angivelse av) noen av effektene

Har tiltaket gitt ønsket effekt? Hvor stor er effekten?