Karlsson, Utvärdering mer än metod

  • View
    264

  • Download
    5

Embed Size (px)

Text of Karlsson, Utvärdering mer än metod

UTVRDERING MER N METODEn versiktUtvrdering mer n metod. Tankar och synstt i utvrderingsforskning O VE K ARLSSON

JOUREN SERIE KUNSKAPSVERSIKTER FRN SVENSKA KOMMUNFRBUNDET NR 3

2

Utvrdering mer n metod

Svenska Kommunfrbundet 1999 Grafisk form: Rolf Hernegran Omslagsbild: Birgitta Edstrand Tryck: Norstedts tryckeri, Stockholm 1999 ISBN 91-7099-820-5 ISSN 1403-3593 Bestllningar: Kommentus Frlag, 117 99 Stockholm, tel 08-709 59 90, fax 08-709 59 80. Bestllningsnummer: 7099-820-5

Tankar och synstt i utvrderingsforskning

3

Frord

U

en given plats i kommunal verksamhet. Att frhlla sig till utvrdering kan inte desto mindre betraktas som en konst fr sig, srskilt i en politiskt styrd verksamhet. r det mjligt att frena utvrderingens olika perspektiv: politisk kontroll, en oberoende utvrderarroll, och verksamhetsutveckling till fromma fr bde medborgare och anstllda? I denna kunskapsversikt, Utvrdering mer n metod. Tankar och synstt i utvrderingsforskning, ger Ove Karlsson, fil dr i pedagogik vid Mlardalens hgskola i Eskilstuna, en kritiskt granskande bild av utvrdering baserad p forskningsresultat och illustrerad med praktiska exempel. versikten r skriven p uppdrag av Svenska Kommunfrbundets FoU-rd. Den ingr i jour en serie kunskapsversikter, som har till syfte att gra forskningsresultat tillgngliga fr den kommunala verksamheten. Ett srskilt tack till Lena Lern, FoU-Kronoberg, och Olliann Lundberg, nmndkontoret stersunds kommun, fr frmedling och kommentarer kring tv konkreta utvrderingar. Fr innehllet str frfattaren.TVRDERING HAR

Lennart RydbergOrdfrande i FoU-rdet

Lena LundstrmRedaktr, forskningssekreterare

Delar av denna versikt kan laddas ner frn FoU-rdets hemsida: http://www.svekom.se/skorg/fou/utvard.htm.

4

Utvrdering mer n metod

Frfattare

OVE KARLSSON r fil dr i pedagogik och verksam vid Mlardalens hgskola i Eskilstuna. Hans nuvarande forskningsintressen r pedagogisk utvrdering som teori och praktik samt vrdefilosofiska problem vid undervisning och utvrdering. E-post: ove.karlsson@mdh.se

Tankar och synstt i utvrderingsforskning

5

Innehll11 12 13 15 15 15 15 16 16 17 18 18 18 19 20 20 20 21 21 21 21 22 23 23

InledningUtvrdera mer n metod Lsanvisning

1. IntroduktionUtvrderingens knnetecken Kvantitativt fokus Kvalitativt fokus Fokus p anvndning och delaktighet Tre utvrderingsmnster Slutsatser om utvrdering Uppfljning, utveckling, utvrdering Uppfljning Utvecklingsarbete Forskning Fem forskningsflt Pedagogik Statsvetenskap Ekonomi Sociologi och socialt arbete Fr vem ska utvrderingen ske? Identifiering av intressegrupper Intressegrupper inom och utom systemet Utvrderarens perspektiv SammanfattningNoter

25 25 26 26 26 29 30

2. Utvrdering i kommunernaAktuella utvecklingslinjer Frn enkt till intervju Utvrdering och kvalitetsarbete Samverkansprojektet 4 i Vxj Vrd och omsorg i stersund SammanfattningNoter

31 31 32 33 33 34 35

3. Syftet med utvrderingSkillnaden mellan ml, syfte och funktion Kontrollera, frmja, ifrgastta Syften p olika organisationsniver Formativ och summativ utvrdering Praktiska exempel SammanfattningNoter

36 36 37 37 38 38 39

4. Vilken kunskap sks?Utforma en tankemodell Inte enkelt att utg frn mlen Kunskapssyn vid utvrdering Information och kunskap Frklara orsaker och frst sammanhang Tre perspektiv p kunskap

6

Utvrdering mer n metod

39 39 40 41

En kunskapsfilosofisk aspekt Vilken kunskap ger olika utvrderingar? Praktiska exempel SammanfattningNoter

63 64 64 66 66 66 67 67 67 67

42 42 43 43 44 45 46 47 47 48 48 49 50 50 51

5. Att bedmaEn rationell modell fr bedmning Vilka vrdekriterier ska vljas? Utvrdering med olika kriterier Objektiv och subjektiv bedmning Referenspunkter av objektiv karaktr Referenspunkter av subjektiv karaktr Tre principer fr att jmfra Vem ska bedma? Att vga samman resultat r alla offentliga tjnster jmfrbara? Strategier fr att vga samman Att bedma en versikt Praktiska exempel SammanfattningNoter

Utvrdering som del i professioner och medborgarskap Extern eller intern utvrderare Uppfattningar om utvrderaren Analys av utvrderarroller Traditionell utvrderare Intern utvrderare Demokratisk utvrderare Deltagande utvrderare Praktiska exempel SammanfattningNoter

69 69 70 70 71 72 72 73 73

8. Utvrdering och politikUtvrderingens legitimitet Utvrderare levererar akademikerkritik Aktionsforskning, utvrdering och politik Utvrderarens dubbla kompetens r forskning och politik s tskilda? Utvrdering utifrn en gemensam problemram Praktiska exempel SammanfattningNoter

53 53 53 54 55 55 56 59 60

6. Utvrderingens praktikStrategiska perspektiv vid utvrdering Den utprvande strategin Den frklaringsinriktade strategin Den interaktiva strategin Sammanstllning av strategier och modeller Utvrderingsmodeller Praktiska exempel SammanfattningNoter

62 62

7. Utvrderarens rollVad utmrker utvrderarens expertis?

75 75 76 76 77 77 78 78 78 79 79

9. Anvndning av utvrderingVad menas med anvndning? Bristande anvndning Utvrderingen Kommunikationen Anvndarna Felaktig anvndning Strategier fr att ka anvndning Frndra utvrderingen Utveckla kommunikationen Utbilda anvndarna

Tankar och synstt i utvrderingsforskning

7

80 81

Praktiska exempel SammanfattningNoter

83 83 83 84 84 85 86 86 89

10. Sammanfattning av centrala frgor och strategierVarfr ska utvrderingen gras? Vad ska utvrderas? Vilka kunskaper sks? Bedmningsarbetet Utvrderingens genomfrande Utvrderarens roll Anvndningsfrgan

Litteratur

8

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

9

Utvrdering mer n metod Tankar och synstt i utvrderingsforskningEn versiktO VE K ARLSSON

10

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

11

Inledningidag beskriver hur utvrdering har blivit en allt mer diskuterad och efterfrgad aktivitet under 1990-talet. Det kade intresset fr utvrdering kan ses i ljuset av att det har skett stora frndringar i synen p hur den offentliga verksamheten kan styras och kontrolleras. Fr bara ett par decennier sedan var vertygelsen fortfarande stark om att centrala politiska beslut, svl i staten som i kommunerna, blev omsatta i verkligheten genom en lojal frvaltning med plikttrogna tjnstemn som noggrant sg till att lagar och regler fljdes. Frndringar och reformer genomfrdes ocks enligt faststllda regler. Principen var att man frst noga tnkte igenom och diskuterade vad som skulle gras innan beslut. Gllde det stora eller principiellt viktiga frndringar s genomfrdes en utredningsprocedur som ofta innefattade en remissomgng dr olika intressenter fick komma till tals fre beslut. Genom den beredningen betraktades ocks frndringen i princip som utvrderad. Genomfrandet av frndringen eller reformen sgs mer eller mindre som en teknisk frga som reglerades i lagar och frordningar. Den offentliga verksamheten var med andra ord regelstyrd. Frgan om terkoppling och granskning av hur beslut genomfrdes lstes genom intern uppfljNGA SAMHLLSFORSKARE

M

ning i organisationen och revision som kontrollerade att inte regler och resurser missbrukades. Det var mindre vanligt med systematiskt genomfrd utvrdering som kritiskt granskade om tgrderna var rimliga fr att lsa problemen och vad de gav fr resultat. Att lsningarna var ndamlsenliga var redan prvat i utredningsskedet. Eftersom tgrden var rtt tnkt antogs den ocks ge frvntade resultat och ngon srskild utvrdering utver den interna uppfljningen och kontrollen var inte ndvndig. Under 1980-talet utsattes den offentliga verksamheten fr en vxande kritik fr bristande effektivitet och flexibilitet. Det blev allt svrare att genom detaljerade regelverk ge svar p hur beslut skulle tolkas och tillmpas. Mlstyrning fick erstta den tidigare regelstyrningen och genom kad delegering gjordes lokala beslutsfattare och personal i allt hgre grad ansvariga fr att anpassa politiska beslut till den verklighet som de mtte. Mlstyrning lste dock endast en sida av styrningsproblemet att ange vad som ska gras. Dremot svarade den inte p frgan vad som skedde med de politiska besluten i praktiken och om mlen uppfylldes. Att f kunskap om dessa frgor r en grundlggande frutsttning fr demokratisk politisk styrning. Politiker och beslutsfattare i offentliga verksamheter mste kunna svara p vad som

12

Utvrdering mer n metod

sker med deras beslut och hur deras lften till medborgarna infrias. Som ett svar p dessa behov vxte kravet p utvrdering. Det br dock ppekas att utvrdering inte blev en ersttning fr den uppfljning och revisionsverksamhet som redan fanns i systemet. ven i en utprglat mlstyrd verksamhet, med en kad utvrderingsaktivitet, kvarstr behovet av andra former fr terkoppling, granskning och kontroll. Vad man dremot kan iaktta r att uppfljning, utredning och ibland ocks revision, under senare r allt oftare kallas fr utvrdering. Mot den bakgrunden kan man frga om utvrdering enbart blir ett annat, finare, namn fr gamla verksamheter. Det r en sund skepsis att kritiskt granska alla nya och mer eller mindre modebetonade fenomen och begrepp som kommer och gr i debatten. Det vore dock fr enkelt att betrakta utvrdering som enbart en modetrend och ett nytt ord fr ngot som alltid har gjorts. Sklet r att det finns ett antal centrala inslag i utvrdering som gr att man kan tala om den som en aktivitet med srskilda knnetecken.

Problematiseringen bygger i frsta hand p forskningen inom omrdet, samtidigt som ocks en del konkreta exempel anvnds fr att belysa resonemangen. Bokens tyngdpunkt ligger p frgor som i vilket syfte en utvrdering grs, fr vilka, ur vilket tolkningsperspektiv och s vidare. Detta r frgor som kommer fre de mer p