Download pdf - Karlsson, Utvärdering mer än metod

Utvärdering – mer än metod.Tankar och synsätt i utvärderingsforskning

OVE KARLSSON

UTVÄRDERING –MER ÄN METOD

En översikt

ÀJOUREN SERIE KUNSKAPSÖVERSIKTERFRÅN SVENSKA KOMMUNFÖRBUNDETNR 3

2 Utvärdering – mer än metod

© Svenska Kommunförbundet 1999Grafisk form: Rolf HernegranOmslagsbild: Birgitta EdstrandTryck: Norstedts tryckeri, Stockholm 1999ISBN 91-7099-820-5ISSN 1403-3593Beställningar: Kommentus Förlag, 117 99 Stockholm,tel 08-709 59 90, fax 08-709 59 80.Beställningsnummer: 7099-820-5

3 Tankar och synsätt i utvärderingsforskning

TVÄRDERING HAR en given plats i kommunal verksamhet.Att förhålla sig till utvärdering kan inte desto mindre be-traktas som en konst för sig, särskilt i en politiskt styrd

verksamhet.Är det möjligt att förena utvärderingens olika perspektiv: po-

litisk kontroll, en oberoende utvärderarroll, och verksamhets-utveckling till fromma för både medborgare och anställda?

I denna kunskapsöversikt, Utvärdering – mer än metod. Tan-kar och synsätt i utvärderingsforskning, ger Ove Karlsson, fil dri pedagogik vid Mälardalens högskola i Eskilstuna, en kritisktgranskande bild av utvärdering baserad på forskningsresultat ochillustrerad med praktiska exempel.

Översikten är skriven på uppdrag av Svenska Kommun-förbundets FoU-råd. Den ingår i Àjour – en serie kunskapsöver-sikter, som har till syfte att göra forskningsresultat tillgängligaför den kommunala verksamheten.

Ett särskilt tack till Lena Lernå, FoU-Kronoberg, och OlliannLundberg, nämndkontoret Östersunds kommun, för förmedlingoch kommentarer kring två konkreta utvärderingar.

För innehållet står författaren.

Förord

Lena LundströmRedaktör, forskningssekreterare

Lennart RydbergOrdförande i FoU-rådet

Delar av denna översikt kan laddas ner från FoU-rådets hemsida:http://www.svekom.se/skorg/fou/utvard.htm.

U


OVE KARLSSON är fil dr i pedagogik och verksam vid Mälar-dalens högskola i Eskilstuna. Hans nuvarande forsknings-intressen är pedagogisk utvärdering som teori och praktik samtvärdefilosofiska problem vid undervisning och utvärdering.E-post: [email protected]

Författare


Innehåll

11 Inledning12 Utvärdera – mer än metod13 Läsanvisning

15 1. Introduktion15 Utvärderingens kännetecken15 Kvantitativt fokus15 Kvalitativt fokus16 Fokus på användning och delaktighet16 Tre utvärderingsmönster17 Slutsatser om utvärdering18 Uppföljning, utveckling, utvärdering18 Uppföljning18 Utvecklingsarbete19 Forskning20 Fem forskningsfält20 Pedagogik20 Statsvetenskap21 Ekonomi21 Sociologi och socialt arbete21 För vem ska utvärderingen ske?21 Identifiering av intressegrupper22 Intressegrupper inom och utom systemet23 Utvärderarens perspektiv23 Sammanfattning

Noter

25 2. Utvärdering i kommunerna25 Aktuella utvecklingslinjer26 Från enkät till intervju26 Utvärdering och kvalitetsarbete26 Samverkansprojektet 4Ö i Växjö29 Vård och omsorg i Östersund30 Sammanfattning

Noter

31 3. Syftet med utvärdering31 Skillnaden mellan mål, syfte och funktion32 Kontrollera, främja, ifrågasätta33 Syften på olika organisationsnivåer33 Formativ och summativ utvärdering34 Praktiska exempel35 Sammanfattning

Noter

36 4. Vilken kunskap söks?36 Utforma en tankemodell37 Inte enkelt att utgå från målen37 Kunskapssyn vid utvärdering38 Information och kunskap38 Förklara orsaker och förstå sammanhang39 Tre perspektiv på kunskap


39 En kunskapsfilosofisk aspekt39 Vilken kunskap ger olika utvärderingar?40 Praktiska exempel41 Sammanfattning

Noter

42 5. Att bedöma42 En rationell modell för bedömning43 Vilka värdekriterier ska väljas?43 Utvärdering med olika kriterier44 Objektiv och subjektiv bedömning45 Referenspunkter av objektiv karaktär46 Referenspunkter av subjektiv karaktär47 Tre principer för att jämföra47 Vem ska bedöma?48 Att väga samman resultat48 Är alla offentliga tjänster jämförbara?49 Strategier för att väga samman50 Att bedöma – en översikt50 Praktiska exempel51 Sammanfattning

Noter

53 6. Utvärderingens praktik53 Strategiska perspektiv vid utvärdering53 Den utprövande strategin54 Den förklaringsinriktade strategin55 Den interaktiva strategin55 Sammanställning av strategier och modeller56 Utvärderingsmodeller59 Praktiska exempel60 Sammanfattning

Noter

62 7. Utvärderarens roll62 Vad utmärker utvärderarens expertis?

63 Utvärdering som del i professioner ochmedborgarskap

64 Extern eller intern utvärderare64 Uppfattningar om utvärderaren66 Analys av utvärderarroller66 Traditionell utvärderare66 Intern utvärderare67 Demokratisk utvärderare67 Deltagande utvärderare67 Praktiska exempel67 Sammanfattning

Noter

69 8. Utvärdering och politik69 Utvärderingens legitimitet70 Utvärderare levererar ”akademikerkritik”70 Aktionsforskning, utvärdering och politik71 Utvärderarens dubbla kompetens72 Är forskning och politik så åtskilda?72 Utvärdering utifrån en gemensam

problemram73 Praktiska exempel73 Sammanfattning

Noter

75 9. Användning av utvärdering75 Vad menas med användning?76 Bristande användning76 Utvärderingen77 Kommunikationen77 Användarna78 Felaktig användning78 Strategier för att öka användning78 Förändra utvärderingen79 Utveckla kommunikationen79 Utbilda användarna


80 Praktiska exempel81 Sammanfattning

Noter

83 10. Sammanfattning av centralafrågor och strategier

83 Varför ska utvärderingen göras?83 Vad ska utvärderas?84 Vilka kunskaper söks?84 Bedömningsarbetet85 Utvärderingens genomförande86 Utvärderarens roll86 Användningsfrågan

89 Litteratur



Utvärdering – mer än metodTankar och synsätt iutvärderingsforskning

OVE KARLSSON

En översikt



Inledning

ÅNGA SAMHÄLLSFORSKARE idag beskri-ver hur utvärdering har blivit en alltmer diskuterad och efterfrågad akti-

vitet under 1990-talet. Det ökade intresset för ut-värdering kan ses i ljuset av att det har skett storaförändringar i synen på hur den offentliga verk-samheten kan styras och kontrolleras. För bara ettpar decennier sedan var övertygelsen fortfarandestark om att centrala politiska beslut, såväl i sta-ten som i kommunerna, blev omsatta i verklighe-ten genom en lojal förvaltning med plikttrognatjänstemän som noggrant såg till att lagar och reg-ler följdes. Förändringar och reformer genomför-des också enligt fastställda regler. Principen varatt man först noga tänkte igenom och diskuteradevad som skulle göras innan beslut. Gällde det storaeller principiellt viktiga förändringar så genom-fördes en utredningsprocedur som ofta innefattadeen remissomgång där olika intressenter fick kommatill tals före beslut. Genom den beredningen be-traktades också förändringen i princip somutvärderad.

Genomförandet av förändringen eller reformensågs mer eller mindre som en teknisk fråga somreglerades i lagar och förordningar. Den offent-liga verksamheten var med andra ord regelstyrd.Frågan om återkoppling och granskning av hurbeslut genomfördes löstes genom intern uppfölj-

ning i organisationen och revision som kontrolle-rade att inte regler och resurser missbrukades. Detvar mindre vanligt med systematiskt genomfördutvärdering som kritiskt granskade om åtgärdernavar rimliga för att lösa problemen och vad de gavför resultat. Att lösningarna var ändamålsenligavar redan prövat i utredningsskedet. Eftersom åt-gärden var rätt tänkt antogs den också ge förvän-tade resultat och någon särskild utvärdering utö-ver den interna uppföljningen och kontrollen varinte nödvändig.

Under 1980-talet utsattes den offentliga verk-samheten för en växande kritik för bristande ef-fektivitet och flexibilitet. Det blev allt svårare attgenom detaljerade regelverk ge svar på hur beslutskulle tolkas och tillämpas. Målstyrning fick er-sätta den tidigare regelstyrningen och genom ökaddelegering gjordes lokala beslutsfattare och perso-nal i allt högre grad ansvariga för att anpassapolitiska beslut till den verklighet som de mötte.Målstyrning löste dock endast en sida av styrnings-problemet – att ange vad som ska göras. Däremotsvarade den inte på frågan vad som skedde medde politiska besluten i praktiken och om målenuppfylldes. Att få kunskap om dessa frågor är engrundläggande förutsättning för demokratisk po-litisk styrning. Politiker och beslutsfattare i offent-liga verksamheter måste kunna svara på vad som

M


sker med deras beslut och hur deras löften till med-borgarna infrias. Som ett svar på dessa behov växtekravet på utvärdering.

Det bör dock påpekas att utvärdering inte bleven ersättning för den uppföljning och revisions-verksamhet som redan fanns i systemet. Även i enutpräglat målstyrd verksamhet, med en ökadutvärderingsaktivitet, kvarstår behovet av andraformer för återkoppling, granskning och kontroll.Vad man däremot kan iaktta är att uppföljning,utredning och ibland också revision, under senareår allt oftare kallas för utvärdering. Mot den bak-grunden kan man fråga om utvärdering enbart blirett annat, finare, namn för gamla verksamheter.

Det är en sund skepsis att kritiskt granska allanya och mer eller mindre modebetonade fenomenoch begrepp som kommer och går i debatten. Detvore dock för enkelt att betrakta utvärdering somenbart en modetrend och ett nytt ord för något somalltid har gjorts. Skälet är att det finns ett antalcentrala inslag i utvärdering som gör att man kantala om den som en aktivitet med särskilda känne-tecken.

Utvärdera – mer än metodSyftet med skriften är att ge en utvecklad bild avutvärdering och att höja medvetenheten om utvär-dering som företeelse. Det sker genom att disku-tera och beskriva några av de centrala problemsom man ställs inför när man ska beställa, genom-föra, tolka eller använda en utvärdering. Avsiktenär att visa vad utvärdering har för möjligheter ochbegränsningar genom att resonera om olika syn-sätt på utvärdering och visa var problemen finns.

Problematiseringen bygger i första hand på forsk-ningen inom området, samtidigt som också en delkonkreta exempel används för att belysa resone-mangen. Bokens tyngdpunkt ligger på frågor somi vilket syfte en utvärdering görs, för vilka, ur vil-ket tolkningsperspektiv och så vidare. Detta är frå-gor som kommer före de mer praktiska ”hur-frå-gorna” som inte kommer att behandlas. Detta äralltså inte ytterligare en metodbok, förtjänstfullasådana finns redan.

Boken är i första hand skriven för de besluts-fattare i offentlig verksamhet som beställer, tolkaroch använder utvärdering, och är intresserade avatt ta reda på varför utvärdering är mer än enmetodfråga. Skriften har också intresse för utför-are av utvärdering och utvärderingsforskare.

Dessa utgångspunkter leder vidare till en radfrågor som berör “den rationelle användaren“ ochsom – medvetet eller omedvetet – ligger bakomalla frågor om hur utvärdering kan genomföras ipraktiken.

1. Varför sker utvärderingen?

2. Vilken kunskap söks och vilka frågor ska besvaras?

3. Hur ska bedömningen göras och mot vilka kriterier?

4. Hur ska utvärderingen utformas, med vilken modelleller design?

5. Vilka är utvärderarens roller?

6. Hur förhåller sig utvärdering till politik?

7. Hur kommer utvärderingen till användning?

Detta är frågor som brukar återkomma i mer ellermindre likartade formuleringar inom utvärderings-forskning och jag använder mig av dem för attstrukturera framställningen och analysen avutvärderingsfältet.1


LäsanvisningBokens kapitelindelning följer de frågor som ställsovan. Varje kapitel avslutas med en kort samman-fattning av de viktigaste iakttagelserna. Ett antalfigurer och tabeller ger överblick av centrala frå-gor. Läsaren kan också ta till sig delar av bokensinnehåll genom att följa två utvärderingsexempelfrån Östersund och Växjö. De introduceras i kapi-tel två och återkommer i slutet av varje kapitelsom sammankoppling av praktik och teoretiskaresonemang. Det avslutande kapitlet är en sam-manfattning av centrala frågor och strategier förden läsare som beställer, genomför, tolkar ochanvänder utvärderingar.

I kapitel 1 presenteras ett antal centrala begreppoch aktuella debattfrågor inom utvärdering. Re-dovisningen utgår från aktuell utvärderings-forskning i Sverige och internationellt. Här fram-går hur utvärdering skiljer sig från uppföljning ochutvecklingsarbete. Konkurrerande mönster för ut-värdering presenteras i ett historiskt sammanhang,med utveckling från enbart mätinriktade metodertill mer pluralistiska.

I kapitel 2 presenteras två fall av utvärdering.Det ena gäller ett utvecklingsprojekt för myndig-hetssamverkan i Kronoberg, det andra en undersök-ning av hemtjänstens kvalitet i Östersund. Tillsam-mans ger de två bilder av hur utvärdering inomoffentlig verksamhet kan se ut. I de följande kapit-len tjänar de som exempel på allmänna resonemang.

I kapitel 3 diskuteras frågan vad utvärderingensyftar till, det vill säga hur den är tänkt att använ-das. Frågan om hur utvärdering faktiskt användsbehandlas i kapitel 9. Redan vid valet av vad det

är som ska utvärderas i en verksamhet börjar envärderande process. Här framgår hur syftet hängersamman med vilken nivå som initierar utvärde-ring. Tidsperspektivets betydelse framgår och attsyftena kontroll, utveckling och djupare kunskapinte behöver vara så åtskilda som det först kanverka.

I kapitel 4 behandlas frågan om vilka sidor avutvärderingsobjektet som ska uppmärksammas ochvilka frågor som ska ställas. Att beskriva vissaaspekter av en verksamhet och utelämna andra äri sig en värdering av vad som är viktigt och min-dre viktigt att belysa. Olika sådana kunskapsfilterställs mot varandra; mätinriktade, handlingsin-riktade och värdebaserade. Konsten att hanteraoklara eller svåranvändbara mål diskuteras också.

I kapitel 5 diskuteras utvärderingens uppgift attproducera eller uttala en bedömning. Det är encentral uppgift och utvärderingens särskilda kän-netecken. Frågan är på vilka värdegrunder och medvilka kriterier det kan ske. Mjuka offentliga verk-samheter kan vara svåra att mäta och jämföra,och i kapitlet diskuteras hur det går att göra ennyanserad utvärdering, med både mer objektivaoch mer subjektiva mått.

I kapitel 6 beskrivs olika aspekter på utvär-deringens genomförande. Dels val av design ellerutvärderingsmodell, dels metoder och tekniker fördatainsamling. Framställningen koncentreras tillmodellfrågan. I kapitlet redovisas tio vanliga ochprincipiella modeller, som kopplas till olika utvär-deringstrategier; utprövande, förklaringsinriktadeoch interaktiva.

Medan kapitlen 3 till 6 tar upp frågor om syfte,kunskap, bedömning och genomförande, handlar


kapitel 7 och 8 om den som gör utvärderingen ochom konsekvenserna av det sammanhang han ellerhon befinner sig i.

I kapitel 7 är utvärderarens roll i fokus. Härpresenteras de olika roller som utvärderaren an-tingen tar sig eller placeras i av andra. För- ochnackdelar med att använda en extern respektiveintern utvärderare diskuteras, bland annat i för-hållande till om syftet är kontroll eller utveckling.

I kapitel 8 är ämnet det spänningsfält som finnsmellan utvärdering och politik. En särskild dubbel-kompetens för utvärderare i offentlig verksamhetrekommenderas, dels i utvärderingsmetodik, delsi politisk kultur.

I kapitel 9 behandlas den fråga som utvär-deringsarbetets trovärdighet i längden är beroendeav: frågan om användning. Hur utvärderingenanvänds i praktiken är en livligt debatterad fråga.Kapitlet exemplifierar både legitim användning,såsom lärande processer, och illegitim, såsom attförhala eller undvika beslut. Orsaker till att utvär-dering inte används tas upp, t ex brister i utvärde-ringen, i överföringen eller hos användarna.

I kapitel 10 sammanfattas avslutningsvis defrågor som är viktiga att beakta vid utvärdering.

1 Franke-Wikberg & Lundgren (1980) s. 10; Shadish m.fl.(1991) s. 35; Åberg (1997) s. 85.


1. Introduktion

EDÖMNINGAR AV olika ting, händelser ochhandlingar är något som vi alla gör i olikavardagssammanhang utan att reflektera

över om det ska kallas utvärdering. Vi värderarsaker på olika sätt utifrån tycke och smak och meden måttstock som har formats utifrån våra värde-ringar och vanor. Dessa bedömningar är en typ avinformella utvärderingar som människor har gjorti alla tider till skillnad från den mer formella ut-värdering som behandlas i denna bok.

Utvärderingens känneteckenDet som brukar framhållas som utmärkande förformell utvärdering är att man värderar något påett systematiskt och genomtänkt sätt. Utvärderingblir därmed en rationell process där man följervissa metoder och försöker hålla kontroll på olikasteg i bedömningsarbetet. Följande definition avutvärdering, som redovisas i ett material från Sta-tistiska centralbyrån, är ett exempel där kravet påsystematik betonas.

Utvärdering är en systematiskt genomförd undersökningav värdet eller förtjänsterna hos ett givet föremål/aktivitet, som kan vara exempelvis ett åtgärdsprogram,ett projekt eller en produkt. 2

Kvantitativt fokusDet är också vanligt att definitioner av utvärde-ring framhåller att utvärderaren skall redovisa

uttalade (explicita) kriterier att jämföra mot. Vi-dare att han/hon ska summera resultatet till ettsamlat omdöme om vad utvärderingsobjektet harför inre meriter och yttre värde, dvs egna innebo-ende kvaliteter respektive nytta för omvärlden. 3

Det är inte ovanligt att utvärdering uppfattas somen fråga om att mäta skillnader och likheter motfastställda standards eller mått på ett objektivt sättdär resultatet helst uttrycks i siffror. Med ett så-dant synsätt brukar utvärderingen inriktas på attgranska om antal tjänster (t ex operationer, lektio-ner, hemtjänsttimmar) har utförts enligt uppställdamål eller avtal. Utvärderarens roll blir att varaexpert på mätmetoder. Däremot ligger det inte irollen att uttala sig om brister och förtjänster hosdet som utvärderas.

Kvalitativt fokusEtt annat sätt att se på utvärdering är inte likaentydigt inriktat på kvantitativ mätbarhet och an-vändande av enbart explicita kriterier. Utvär-deringsforskare som exempelvis Ernest House ochThomas Schwandt företräder en mer kvalitativtinriktad utvärdering.4 De utmanar bilden av denobjektiva måttstocken och menar att även mersvårfångade kriterier kan ligga till grund när mangör en utvärdering. Det kan röra sig om intuitivaoch underförstådda kriterier som utvärderaren ochberörda intressenter använder när de tolkar och

B


bedömer utvärderingsobjektets meriter och värden.Man kan exempelvis tala om kriterier som är präg-lade av olika kulturella och politiska sammanhangsom personerna representerar.

Fokus på användning och delaktighetYtterligare andra forskare betonar att utvärdering,förutom att uttala ett värdeomdöme mot vissa kri-terier, även bör medverka till att utvärderingenblir använd. Det kan ske genom att låta olika in-tressenter påverka så att det som utvärderas berördem. Ett par företrädare för den linjen är t ex Wil-liam Shadish och David Fetterman som argumen-terar för att större delaktighet ökar utvärderings-resultatens relevans för intressegrupperna och där-med användningen.5 Ytterligare ett motiv är attutveckla kompetensen hos deltagarna att självakunna medverka i utvärderingen. Ett populärt be-grepp i sammanhanget är ”empowerment”, somskulle kunna översättas med att ge bemyndigandeav makt till någon.

Dessa olika sätt att definiera utvärdering: (1)som en i huvudsak metodisk kompetens för attmäta, (2) som tolkande och kritiskt värderandeutifrån såväl uttalade som mer outtalade kriterier,(3) som inriktad på förändring av både organisa-tioners och individers sätt att fungera, visar attutvärdering inte är något entydigt vare sig sombegrepp eller praktik. Utvärdering är snarare ett”omtvistbart koncept” på liknande sätt som be-greppen jämlikhet, frihet, rättvisa, socialism. Fi-losofen Sven-Ove Hansson pekar på att uttrycksom tillhör denna typ av omtvistbara begrepp kanvara såväl kontroversiella som icke kontroversi-ella, positivt eller negativt laddade.6 Jag menar

att utvärdering dels är kontroversiellt, dels är posi-tivt eller negativt laddat beroende på omständighe-terna, vilket kan förklara varför det är så svårt attge utvärdering någon enkel entydig definition.

Det finns dock en minsta gemensamma näm-nare vid utvärdering, nämligen att den dels inne-bär att värdera och uttala ett omdöme, dels attsystematiskt arbeta för att skaffa ett så bra under-lag som möjligt för denna uppgift. När man däre-mot kommer in på hur utvärdering bör utformasmer konkret går åsikterna isär, bland annat i sy-nen på kriterier för bedömning och beställarens,utvärderarens och intressenternas olika roller. Detär om dessa olika sidor hos utvärdering som dennabok handlar.

Tre utvärderingsmönsterDet finns även ett historiskt perspektiv på utvärde-ring, där de olika fokus motsvarar olika mönstersett över tid. Mätning och kontroll visar sig i mål-resultatutvärdering, som dominerade utvärderingunder 50- och 60-talen. Utvärderaren sågs somexpert på att mäta och beskriva utfallet, vanligt-vis i kvantitativa termer. Däremot var det inteutvärderarens uppgift att värdera skillnaderna.Bedömningen överlämnades med andra ord tillbeställaren.

Processutvärdering blev ett vanligt mönsterunder 70- och 80-talen. Intresset inriktades på frå-gor om hur resultatet har kommit till. Utvärde-ringen skulle inte enbart vara beskrivande utanförväntades också att göra en kvalitativ bedöm-ning av hur verksamheten fungerade.

Interaktiv utvärdering är ett mönster som ut-vecklats under 80- och 90-talen och som lyfter del-


aktighet. Tanken är att medverkan från olika in-tressenter ökar relevansen i utvärderingens frågoroch resultat och stärker intressenternas inflytande.7

Diskussionen följer två riktningar. En del forskarelägger betoningen på deltagarmedverkan för attförbättra utvärderingens relevans för intressenterna,dels genom medverkan vid formulering av vad somska utvärderas, dels genom att delta i diskussio-nen kring resultat och deras användning. Andraforskare betonar medverkan i syfte att förbättraintressenternas situation, särskilt för de gruppersom har svårt att göra sig gällande. Utvecklingenhar med andra ord gjort att utvärderingen har bli-vit allt mer pluralistisk såväl i fråga om vilka somkan delta, som med vilka metoder och vilkabedömningskriterier utvärderingen genomförs.

De tre huvudmönstren för utvärdering kan sam-manfattas i följande tabell. I texten markerar kur-siv fet stil var tyngdpunkten ligger.

Jag kommer att anknyta till dessa tre mönsterför att forma utvärdering även i kommande kapi-tel. Historiskt har de följt på varandra, vilket inteinnebär att det senare har ersatt det tidigare. Sna-

rare har det nya mönstret lagts till som ett ytterli-gare lager i utvärderingens arkeologi. Det betyderatt vi idag har en rad modeller för utvärderingsom på olika sätt hämtar näring från de olikamönstren som existerar parallellt.

Slutsatser om utvärderingInför den fortsatta analysen kan det finnas skäl attredovisa vad jag själv ser som utvärderingenskärna. Jag menar att utvärderingens centrala upp-gift är att uttrycka ett värdeomdöme om sittutvärderingsobjekt. Utvärdering bör vara en kri-tiskt granskande verksamhet som kan komma inunder eller efter den insats som man vill bedöma.Uppgiften är inte enbart att beskriva, kartläggaeller mäta en attityd. Snarare bör strävan vara attförsöka gå djupare och ifrågasätta det som tas förgivet och hålls som självklart. Att öka medveten-heten och se samtliga aspekter, värden och kvali-teter hos det som utvärderas kräver ansträngningoch prövning även av egna värderingsgrunder. Detgäller för såväl utvärderaren som för berörda in-

Tabell 1. Tre huvudmönster inom utvärdering

1. Mål-resultatutvärdering

Utvärdering sker mot mål imätbara resultattermer

Genomförandet ses som ettrent verkställande av beslutsom man inte behöver gå innärmare på

Kvantitativt mätbararesultat

2. Processutvärdering

Utvärdering sker motkriterier för vad somutmärker en godprocess

Intresset inriktas pågenomförandet t exför att bedömaarbetssätt ochinnehåll

Resultatet antaspositivt om mankonstaterar attgenomförandetmotsvarar ställda krav

3. Interaktiv utvärdering

Besvaras genomintressenternas deltagande

Frågor om genomförandetutformas utifrån vad olikaintressenter vill veta

Intresse inriktas på vadolika intressegrupper sersom viktigt att utvärderautifrån sina perspektiv

1. Mot vilkakriterier skerutvärdering?

2. Hur förhåller sigutvärdering tillverksamhetensgenomförande?

3. Vilka resultatfokuseras ochför vem?


tressenter. Det är med en sådan ambition det blirmeningsfullt att diskutera utvärdering som verk-samhet och som problem.

Uppföljning, utveckling,utvärderingUtvärdering har också likheter med andra verk-samheter som syftar till systematisk beskrivningoch återkoppling av hur beslut genomförs och medvilka resultat. Jag tänker på verksamheter somuppföljning och utvecklingsarbete. Ett sätt att för-söka peka på vad som skiljer och som förenar dessaolika verksamheter är att bena ut vad de innehål-ler och har som mål.

UppföljningUppföljning kan beskrivas som en regelmässig ochfortlöpande insamling av information för att kon-trollera hur en verksamhet genomförs. Underlagetinhämtas via de administrativa systemens norma-la eller inbyggda informationsflöden. Det kan rörasig om kvantitativa basdata, exempelvis tillgångpå platser och fördelning av resurser. I uppfölj-ning liksom i utvärdering ställs krav på systema-tisk informationsbehandling. Några skillnader äratt uppföljning sker kontinuerligt medan utvärde-ring sker mer tillfälligt när man vill ha en mergrundlig bedömning av en fråga. Vidare ärinformationsinsamlingen vid utvärdering mer djup-lodande med uppgifter som inte självklart finnstillgängliga i verksamhetens normala rutiner.8

De två verksamheterna har också olika mål.Uppföljningens mål är att kontrollera genom att

producera systematiskt genomförda beskrivningarmed sakuppgifter om vad som sker i verksamhe-ten, vanligen genom att beskriva nyckeltal, bud-getutfall etc. Målet vid utvärdering är att produ-cera en bedömning av utvärderingsobjektet. Detär därför en alltför snäv beskrivning att säga attutvärdering enbart syftar till kontroll. Avsikten ärockså att kunna lära om och se nya aspekter avverksamheten och att utveckla den.9

UtvecklingsarbeteNär syftet är att bidra till lärande och förändringkan gränsen mellan utvärdering och utveck-lingsarbete vara flytande. Relationen kan beskri-vas på två sätt. Å ena sidan kan man tala om ut-värdering av utvecklingsarbete. Det innebär att detvå aktiviteterna hålls tydligt isär eftersom utvär-deringen granskar utvecklingsarbetet ”utifrån” ochbedömer dess slutresultat. Å andra sidan kan mantala om utveckling genom utvärdering. Det bliraktuellt när utvärdering bedrivs parallellt med ut-vecklingsarbetet och där syftet är att ge råd, stöd,kritik av arbetet som kan leda till förändringarsom förbättrar genomförandet. Det finns ocksåexempel på att utvärdering blir en så integreraddel av utvecklingsarbetet att det är svårt att skiljade två åt. En sådan långtgående integrering mel-lan utvärdering och utvecklingsarbete är vanlignär man betonar personalens ”egenutvärdering”och reflektion. Inom exempelvis förskolan finns entradition med denna form av utvärdering. Där ärdet också vanligt att framhålla utveckling som syfteframför kontroll.9

Trots nära kopplingar mellan utvärdering ochutvecklingsarbete finns det skäl att hålla isär akti-


viteterna, med tanke på deras skilda mål. Riskenär annars att utvärderingen förlorar sin kritisktgranskande roll och enbart blir en legitimerandedel av utvecklingsarbetet. Utvärderingens mål äratt göra en bedömning medan utvecklingsarbetetsmål är att komma fram till en positiv förändring.Att utvärderingens bedömning kan leda till attutvecklingsarbetets mål underlättas, förändrar inteden skillnaden.

ForskningUtvärdering och forskning har beröringspunkter.11

Speciellt i de fall där utvärderare, förutom att ut-tala sig om vad som är bra och dåligt, försöker attange orsaker till problem och därmed tänkbaraområden för åtgärder. Ibland används begreppet

utvärderingsforskning när man talar om att be-driva utvärdering med vetenskapliga forsknings-metoder. Begreppsvalet kan verka förvirrande omman jämför med begrepp som t ex arbetslivs-forskning och skolforskning, som betecknar forsk-ning om en viss verksamhet. I konsekvens meddetta borde även begreppet utvärderingsforskningreserveras för forskning om utvärdering.12

Oavsett vilket som används så visar begrep-pen att forskning och utvärdering har en koppling.Frågan är vad som skiljer. En skillnad är att forsk-ning inte är lika bunden till ramarna för sin under-sökning som utvärdering. Sociologen Lars Gun-narsson beskriver att utvärdering sker inom en”uppdragsram” som ofta är snävare formuleradän vad som gäller för forskning som sker inom en”teoriram” formulerad av forskaren.13 Man kan

Utvärdering

Politiska ochadministrativa beslut

Etisk kunskap förbedömning avmeriter, förtjänster,utveckling, lärande

Tillfälligt, vid behovav djupare granskningav en fråga

Bestäms av uppdrags-givaren

Vedertagna metoderoch tekniker

Uppföljning

Administrativa beslutom inbyggdakontroller i systemet

Instrumentell kunskapoch beskrivningar föratt kontrollera ochkunna rätta till fel

Fortlöpande

Utan tidsgräns

Inbyggda system/rutiner i verksamhe-ten

Utvecklingsarbete

Förändringsbehovidentifierade avledning och/ellerpersonal

Kunskap som hjälp attförändra ochåstadkommaförbättring

Dels fortlöpandeförbättring, delstillfälligt somsärskilda objekt

Skillnad centralt/lokalt utvecklingsar-bete. Bestäms avledning, respektive avpersonal

Försök och prövandeav nya ideer.Deltagande av berörda

1. Vem styrvad somutvärderas?

2. Vilket kunskaps-intresse ochmål?

3. När aktualiserasproblemet/uppdraget?

4. Hur längepågår under-sökningen?

5. Vilka metoderanvänds?

Forskning

Forskarens intresse,begrepp, traditioneroch teoriram

Kunskap för attförklara, förstå,förändra, beroendepå forskarens mål

Tillfälligheter, menockså i form avuppdragsforskning

Bestäms i huvudsakav forskaren

Vedertagnaforskningsmetoderoch tekniker

Tabell 2. Jämförelse av utvärdering och näraliggande verksamheter


ningsorienterat perspektiv med kopplingar till ame-rikansk och internationell utvärderingsdiskussion.

I den tidiga pedagogiska utvärderingstradi-tionen var det framför allt problemet med att mätamåluppfyllelse som stod i centrum. Exempel påfrågor var om eleven klarade kursens krav ochom undervisningen uppfyllde läroplanens mål.Under 1970- och 80-talet vidgades perspektivet ochutvärdering av skolan sattes in i ett samhälls-politiskt och kulturellt sammanhang. Det innebaratt utvärderingen inte enbart skulle svara påbeställarens frågor utan också söka en vidare för-ståelse och förklaring. Som exempel på pedago-giska utvärderingsforskare med ett brett perspek-tiv på det som granskades kan nämnas UrbanDahllöf med ”ramfaktorteorin” och Sigbrit Franke-Wikberg och Ulf P Lundgren med ”teoriinriktadutvärdering”.14 Inom pedagogiken har det ocksåutvecklats en utvärdering som betonar utveckling,lärande och lokal förankring med medverkan frånolika berörda intressenter.15 På senare år harutvärderingsverksamheten inom skolområdetinstitutionaliserats allt mer genom Skolverkets ochHögskoleverkets uttalade uppgifter som utvärde-rande myndigheter. I olika statliga och kommu-nala styrdokument framhålls också kommunernasutvärdering av skolan som ett viktigt kunskaps-område som bör utvecklas.

StatsvetenskapÄven statsvetare knyter an till den internationellautvärderingsforskningen. Som exempel kan näm-nas Bo Lindensjö, Rune Premfors och Evert Ved-ung.16 Starkt förenklat kan man säga att stats-vetarnas analyser fokuserar på utvärderingens

också tala om en gemensam ”problemram” förutvärderingen, vilket ska belysas i kapitel åtta.

Utvärderaren är således styrd av sitt uppdragmedan forskaren (idealt sett) styrs av vad han/honanser som värdefullt att forska om. En ytterligareskillnad är att målet vid utvärdering är mer pre-cist inriktat på att göra en bedömning. En likhetär dock att man använder sig av samma metoderför datainsamling och analys. Likheten med forsk-ning kan också understrykas när man jämförförändringsinriktad utvärdering och aktionsforsk-ning. (Se kapitel 8.)

De olika begrepp och verksamheter som hardiskuterats ovan kan sammanfattas i tabellform ien jämförelse utifrån fem frågor. (Se tabell 2 före-gående sida)

Fem forskningsfältHittills har jag nyanserat vad utvärdering är ge-nom att jämföra med liknande verksamheter. Föratt komplettera bilden ytterligare kan man se hurutvärdering tolkas inom några akademiska disci-pliner som har en utvecklad utvärderingsforskning:pedagogik, statsvetenskap, ekonomi, sociologi ochsocialt arbete.

PedagogikDet finns en förhållandevis lång utvärderings-tradition bland pedagoger. Traditionen innehål-ler både allmänna granskningar av utbildnings-politik och skolsystem och mer preciserade frå-geställningar om utvärderingars institutionellavillkor i politik, planering och praktisk verk-samhet. Pedagogerna anlägger också ett forsk-


Lars Gunnarsson analyserat utvärderingsforskningur ett sociologiskt perspektiv.19 Det finns också endiskussion kring utvärdering bland forskare i soci-alt arbete. Exempelvis Rosmari Eliasson, SuneSunesson och Per Nygren har granskat utvärde-ring kritiskt och forskare i socialt arbete har ävenutarbetat handböcker i utvärdering.20 StefanMorén lyfter fram behovet av teoriinriktad utvär-dering och framhåller även utvärdering som endel av socialarbetarnas kritiska reflektion över hurolika insatser genomförs och vad de betyder förklienterna.21 Även här har det skett en institutio-nalisering av utvärdering inom fältet genom Soci-alstyrelsen och bland annat Centrum för utvärde-ring som utför och stöder forskning kring utvärde-ring inom socialtjänsten.

För vem ska utvärderingen ske?Hittills har jag främst diskuterat olika sätt att sepå utvärdering och hur den kan utformas. En cen-tral fråga som ligger bakom de flesta resonemangär för vem utvärdering ska ske och vilka som skadelta och påverka. För ett par decennier sedan varsvaret på frågan de centrala beslutsfattarna. Idaghar frågan ett mer komplicerat svar eftersom ut-vecklingen, som beskrivits, gått mot att en rad in-tressenter ska ges möjlighet att delta.

Identifiering av intressegrupperJag använder termerna intressent och intressegruppför att beskriva en samling av personer som an-tingen räknas till eller förknippas med ett visst in-tresse, t ex en fråga eller social position. Vi talart ex om föräldrar i skolan, anhöriga inom sjuk-

förutsättningar inom offentlig verksamhet i form avpolicyfrågor, politiska målprioriteringar etc, och påutfall av politiska beslut och förvaltningsbeslut. Ifokus för analyserna står ofta den rationella policy-kedjan; beredning, beslut, genomförande, utvärde-ring, återkoppling, ny beredning. De ser med andraord utvärdering som starkt kopplad till styrning. Äveninstitutionaliserade former för utvärdering är före-mål för statsvetarnas forskningsintresse. SOU-väsen-det, Statskontorets och Riksrevisionsverkets rollersom granskande myndigheter diskuteras.

EkonomiEkonomer definierar utvärdering i första hand somen fråga om att avläsa effekter och bedöma effek-tivitet genom att jämföra resultat med mål ellerekonomiska kriterier. Den tillämpade kostnad-intäktsanalysen karaktäriseras som en utvärde-ringsmetod. Forskaren i ekonomisk historia Chris-ter Gunnarsson beskriver att nationalekonomer somhar bedrivit utvärderingsforskning främst har up-pehållit sig vid effektanalys medan de har ägnatsig mindre åt orsaks- och processanalys. Inom fö-retagsekonomisk forskning däremot finns mer avexempel på förhandsbedömningar och planerings-modeller, säger Gunnarsson.17

Hos en myndighet som Riksrevisionsverket ärkoncentrationen på resultatsidan tydlig i ett speci-ellt språkbruk där utvärdering och uppföljning be-traktas som delaktiviteter av resultatanalys somdet överordnade begreppet.18

Sociologi och socialt arbeteIntresset för utvärdering har även ökat inom so-ciologi och socialt arbete. Som nämndes ovan har


vården, oavsett om individen i fråga själv arbetaraktivt för att hävda sina intressen i den rollen. Enintressegrupp kan också identifieras av medlem-marna själva genom att man söker sig till ellerorganiserar sig kring en viss fråga.

När utvärderingsforskare ska definiera vilkasom är intressegrupper räknar de ofta upp alla sompå något sätt kan tänkas vara berörda av den verk-samhet som utvärderas, oavsett om de aktivt häv-dar sig eller ej. Sådana uppräkningar brukar om-fatta beslutsfattare och verksamhetens personal ochmålgrupper, dvs representanter från de intresse-grupper som ingår i det formella demokratiska styr-systemet. På senare år har dock begreppet in-tressentutvärdering vidgats till att även omfattaintressegrupper som finns utanför, men försökerpåverka, det formella beslutssystemet, exempelvisfinansiärer och institutioner som drabbas av kost-nader och sidokonsekvenser av den aktuella verk-samheten.22 Därmed blir identifikationen av vilkasom ska delta i utvärderingen genast mer kompli-cerad.

Komplikationen kan belysas genom att pekapå olika typer av intressegrupper. För det förstahar vi intressegrupper som arbetar för att försvaraeller beskydda sina medlemmar mot försämringaroch försöka att flytta fram deras positioner vidfördelning av samhällets resurser, exempelvisarbetsgivarföreningar, fackföreningar och handi-kapporganisationer. För det andra har vi intresse-grupper som organiserar sig kring en idé, sakfrågaeller intresse. Det kan röra sig om grupper somsamlas i syfte att driva en viss fråga, t ex att pro-testera mot miljöförstöring, abort, djurförsök, ut-byggnad av älvar, rivning av kulturhus, nedlägg-

ning av bibliotek osv. Slutligen har vi intresse-grupper i form av mer okontroversiella gruppe-ringar som samlas kring fritidsintressen och hob-bies av olika slag.

Till intressegrupper brukar ofta beslutsfattarna,politikerna, räknas. Här menar jag att det finnsanledning att göra en åtskillnad. Politikerna re-presenterar sina politiska partier och kan inte be-traktas som en intressegrupp på samma sätt somövriga grupper i en utvärdering. Till skillnad frånorganiserade intressegrupper kan politiska partierdefinieras som permanenta organisationer som strä-var efter att nå beslutsmakten inom det parlamen-tariska systemet. De utgör också en kanal för attkommunicera åsikter mellan de styrande och destyrda. Intressegrupper däremot kan definieras somorganiserade enheter som försöker påverka offent-lig politik, utan att ta över beslutsmakten själva.23

Intressegrupper inom och utom systemetI figuren på nästa sida har ett antal intressegrupperidentifierats med utgångspunkt från roller i det de-mokratiska styrsystemet: (1) medborgarna som deväljande och (2) politikerna som de som ansvararför besluten om den politik som ska föras, (3)förvaltningsledning som ansvarar för att organi-sera och leda och (4) de olika professionella grup-per som i praktiken ska utföra verksamheten. Deprofessionella möter vi som medborgare när vi fårdel av resultatet, dvs de tjänster som offentlig verk-samhet producerar. I detta möte kan vi ha olikaroller som brukare, klient, patient, elev eller kundberoende på vad det är för verksamhet som vi ta-lar om.


När figuren kopplas till utvärdering, går det attkonstatera ett par intressanta saker om intresse-grupper inom och utom det formella besluts-systemet. Politikerna, som finns inom systemet, skainte räknas som intressegrupp. Däremot kan fleraav de andra aktörerna i systemet representerassåväl som intressegrupp som i sin formella system-roll. Exempelvis ledning och personal som ansva-riga utförare men också som intressegrupper ge-nom sina fackföreningar.

Analysen visar att det inte är så enkelt somdet kan verka i diskussionen kring intressent-utvärdering där det ofta hävdas att man ska gealla olika intressegrupper möjligheter att påverkautvärderingen. Här krävs mer forskning och kri-tisk debatt kring olika typer av intressegrupper ochderas resurser att göra sig gällande. Utvärderarenbör informera och motivera omedvetna intressen-ter till deltagande. De grupper som redan är orga-niserade har en mer gynnsam position när det gäl-ler att kunna påverka. Gruppen har kanske redansjälv utsett representanter och har ett kontaktnätför att stödja sina ombud och driva frågor.

Utvärderarens perspektivEtt ytterligare problem med en breddning till flerintressenter är att den paradoxalt nog kan leda tillen begränsning av utvärderingens perspektiv. Ettskäl är att den i sig tidsödande uppgiften att samlain synpunkter från alla intressegrupper också kangöra att utvärderaren riskerar att bara kunna geen ytlig beskrivning. En annan komplikation äratt uppgiften att spegla en mängd intressegrupperkan begränsa utvärderarens möjligheter att upp-rätthålla ett kritiskt synsätt och hitta lösningar ut-anför den lokala verksamheten.24

Detta kan ses som argument för att utvärdera-ren bör utveckla ett eget perspektiv på det somutvärderas. En given fråga blir i så fall på vilkagrunder utvärderaren kan legitimera sina kriterier.Kan det ske genom att hänvisa till etablerade teo-rier om den verksamhet eller insats som ska utvär-deras, eller genom att hänvisa till en viss ideologieller etisk ståndpunkt såsom jämlikhet? Det svarsom en del forskare förordar är att utvärderarenbör utgå från en teori om social rättvisa och be-akta att de grupper som är diskriminerade och sombefinner sig i underläge får möjlighet att göra siggällande.25 (Se vidare kapitel 5.)

SammanfattningHistoriskt har utvärdering förändrats, från att ihuvudsak ha varit en fråga om testverksamhet ochkvantitativa mätningar av snävt avgränsade frå-gor, till att bli en verksamhet som omfattar be-dömningar av komplexa förhållanden ur olikaperspektiv. Det har lett till en omfattande debatt

2. Politiker 3. Förvaltningsledning

Intressegrupper

1. Medborgare

Brukare, klient,patient, ”kund”,etc.

4. Professionellayrkesgrupper somutför verksamheten

Figur 1. Intressenter i det demokratiska styrsystemet.


bland utvärderare och utvärderingsforskare ochman kan se att antalet olika konkurrerande meto-der och modeller har ökat. Vidare visar analysenatt utvärdering inom offentlig verksamhet inte kanses som någon isolerad ö från olika intressen ochmaktförhållanden i samhället. En vanlig tanke ti-digare var att utvärderingen kunde stå neutral in-för olika intressen genom objektiva mätningar avmål som alla förutsatts vara överens om.

Idag är de flesta utvärderingsforskare eniga omatt detta inte är möjligt – annat än möjligen i snävtavgränsade situationer eller inför tämligen okon-troversiella frågor. Det torde vara mer vanligt attställas inför olika åsikter om vad som bör gran-skas och mot vilka kriterier det ska ske. I den si-tuationen blir det viktigt att finna former som kanöka möjligheterna för olika grupper att göra siggällande. Möjligheterna att påverka skiftar dockmellan olika intressegrupper beroende på makt-positioner, status, kunskap och resurser. Ytterligareen svårighet är att identifiera vilka som bör med-verka, eftersom det inte finns något entydigt be-grepp för vad som är en intressegrupp. En frågasom också har aktualiserats i sammanhanget ärom det ankommer på utvärderaren att försökabalansera olika intressen i utvärderingen. Samti-digt som det är angeläget att förorda en demokra-tisk utvärdering så finns det anledning att efter-lysa mer forskning kring hur en sådan kan ut-vecklas för att hantera makt och inflytande frånolika intressegrupper.

2 Statistiska centralbyrån (1993) s. 1. Definitionen är en över-sättning av ”The Program Evaluation Standards”, utgiven aven kommitté för utarbetande av riktlinjer eller kriterier förutvärdering i USA.

3 Scriven (1991).4 House (1990); Schwandt (1998).5 Shadish (1994) s. 347–358; Fetterman (1994) s. 1–15.6 Termen ”omtvistbara begrepp” eller ”essentially contestedconcepts” har myntats av Gallie (1956). Begreppet analy-seras och utvecklas av Hansson (1998).7 Cronbach, m.fl (1981).8 Franke–Wikberg (1992) s. 17f.9 Ekholm & Lander (1993) s. 1–4.10 Ekholm & Hedin (1995) s. 13f; Johansson & Karlsson(1997).11 Lander (1987) s. 16ff; Rombach & Sahlin-Andersson(1995) s. 21f.12 Åberg (1997) s. 14.13 Gunnarsson (1987) s. 118ff.14 Dahllöf (1978). För beskrivning av ramfaktorteorin vidutvärdering, se Gustafsson & Selander (1994) s. 13–41.15 Ekholm (1992); Franke-Wikberg (1990); Karlsson (1995).16 Lindensjö & Lundgren 1986a, b, samt 1992; Premfors(1989); Vedung (1998).17 Gunnarsson (1982). Jfr. Rombach & Sahlin-Andersson(1995).18 Sandahl (1991).19 Gunnarsson (1987).20 Eliasson & Nygren (1980); Eliasson, m.fl. (1990); Eriks-son & Karlsson (1998).21 Morén (1996).22 Vedung (1998) s. 76f.23 Hauge, m.fl (1992) s. 255, 231.24 Shadish m.fl (1991) s. 475.25 Sirotnik (1990); House (1980, samt 1991).


2. Utvärdering i kommunerna

NDER 1980- och 90-talet har utvärderingsom begrepp och verksamhet fått ökad be-tydelse inom offentlig verksamhet. I kom-

munerna har under de senaste åren skett ett omfat-tande uppföljnings- och utvärderingsarbete medbetoning på uppföljning. En vanlig modell för dessaaktiviteter har varit att låta brukare av kommu-nala verksamheter svara på om de är nöjda medden tjänst de erbjuds. Omdömet redovisas ofta iform av en procentsats för andelen nöjda respek-tive icke nöjda brukare. Det är dock svårt att fånågon samlad bild över den kommunala utvär-deringsverksamheten. I detta kapitel ska några un-dersökningar redovisas som kan ge en uppfattningom aktuella utvecklingslinjer. Därefter ges exem-pel på utvärdering från två kommuner.

Aktuella utvecklingslinjerDen utbredda användningen av utvärdering göratt det knappast går att teckna någon entydig bildav utvecklingen utan att göra avgränsningar avnivå och verksamhetsområde.

Man kan som exempel nämna utvecklingeninom barnomsorgen som under 1960- och börjanav 70-talet präglades av ett politiskt-administra-tivt perspektiv på utvärdering. Utvärderingen gjor-

des från statlig nivå genom Socialstyrelsens årligasammanställningar av hur kommunerna klaradeutbyggnadsmålet om full behovstäckning. Undersenare delen av 1970- och under 80-talet föränd-rades dock bilden av utvärdering. Dels blev ettmer forskningsinriktat perspektiv vanligare genomatt barnomsorgsforskare började att arbeta medutvärdering, dels utvecklades ett professionellt pe-dagogiskt perspektiv på utvärdering med lokaltutvecklingsarbete som det centrala. Därmed komockså mer kvalitativt inriktade utvärderings-modeller i förgrunden.

Under 1990-talet finns flera parallella utveck-lingslinjer. En bestående linje är det politiskt-ad-ministrativa perspektivet med betoning på kontrolloch kvantitativ mätning. Därmed har den produkt-inriktade utvärderingen ökat med frågor om vadverksamheten ”levererar” och till vilka kostnader.En annan linje är ökad betoning på vikten av ak-tiv medverkan från olika berörda grupper, inte barabrukare. Förutom dessa styrningsinriktade ochdeltagarorienterade utvecklingslinjer finns äveninslag av en form av teoriinriktad utvärdering sombetonar reflektion och kritisk granskning. Här bru-kar de professionellas ansvar för utvärdering ba-serad på den egna yrkeskunskapen framhållas somett viktigt inslag.

U


Från enkät till intervjuÄven när det gäller de mer konkreta formerna förutvärdering har det skett förändringar under 1990-talet. I en enkät till Sveriges kommuner som ge-nomfördes av Svenska Kommunförbundet 1997 un-dersöktes vilka former av utvärdering man be-drev inom barnomsorgen.26 Enkäten sändes ut till450 kommuner/kommundelar. Resultatet visar attnio av tio av de svarande genomför mätningar avattityder till barnomsorgen via enkäter. Hälftengör det vid behov, medan en tredjedel gör det merstrukturerat enligt en fast utvärderingsplan. Denstarka betoningen på användande av enkäter hardock tonats ned den allra senaste tiden och ten-densen idag verkar vara att allt fler kommunerprövar intervjuer och andra mer kvalitativt inrik-tade metoder. I ett projektarbete som omfattadesamtliga kommuner i Västmanland och som på-gick under 1994-1996 under namnet ”Petrus-pro-jektet” sökte man utveckla metoder för utvärde-ring. Från kommunerna beskrev man att det fannsen utbredd trötthet på enkäter bland brukarna ochatt man måste ta fram andra metoder. 27

Utvärdering och kvalitetsarbetePå senare år har mycket av den uppföljande verk-samhet som bedrivs av staten och kommunernaskett inom ramen för kvalitetsbegreppet. Kvalitets-säkring och kvalitetsutveckling är koncept som hardominerat debatten vid sidan av utvärdering.Medan utvärdering allt mer har förknippats medforskningsinriktning så har de kvalitetskontroller-ande och kvalitetsutvecklande aktiviteterna förknip-pats med uppföljning av den löpande verksamhe-

ten. Utvecklingen kan ses mot bakgrund av ettbehov hos beslutsfattare på olika nivåer i orga-nisationen att få snabb återkoppling för att för-säkra sig om att olika verksamheter uppfyller demål och riktlinjer som beslutats och avtalats.

Det ligger utanför syftet med denna bok attbehandla det kvalitetsarbete i form av kvalitets-uppföljning, kvalitetskontroll, kvalitetsutveck-ling, etc, som kommunerna arbetar med. Här lig-ger fokus på utvärdering som problem och verk-samhet. Det betyder inte att gränsdragningen all-tid är så lätt att upprätthålla när man kommer inpå praktiska exempel, men de som redovisasnedan har jag valt med utgångspunkt från tvågrundläggande kriterier för vad som utmärkerutvärdering: Att studien är systematiskt genom-förd och att den innehåller en bedömning motredovisade kriterier. Om även kvalitetsarbete somuppfyller dessa kriterier därmed kunde kallas förutvärdering är en fråga som jag lämnar utanfördiskussionen. Följande exempel gör heller inteanspråk på att vara representativa för all denutvärderingsverksamhet som pågår i landets kom-muner. De har valts för att belysa generella pro-blem inom utvärdering som diskuteras i boken.

Samverkansprojektet 4Ö i VäxjöÖkad myndighetssamverkan var målet för ettprojekt som genomfördes av socialförvaltningeni Växjö kommun, länsarbetsnämnden, försäkrings-kassan, samt landstinget i Kronoberg. Arbetetstartade i januari 1997 och utvärderades i sep-tember 1998. Målet med projektet var att finnagemensamma lösningar för klienterna. Man ville


Utvärderingens genomförandeDen ekonomiska utvärderingen fokuserades påsysselsättning, produktion, fördelning, samtvälfärdseffekter i vidare mening.29 Utvärderingengjordes i form av effektutvärdering och kostnad-nyttaanalyser. I sin rapport gör utvärderarna eningående beskrivning av hur de har resonerat teo-retiskt och metodiskt för att göra en samhällseko-nomisk kalkyl och ekonomisk utvärdering av pro-jektet. De skiljer mellan att göra måluppfyllelse-utvärdering och att utvärdera effekter och effekti-vitet. I det senare fallet besvaras frågan vad pro-jektet har givit för effekter och om det är effekti-vare än en alternativ åtgärd. Utvärderingen bedö-mer effekter genom att beräkna kostnaderna förinsatserna vid projektet (personal, lokaler, etc) ochde samhällsekonomiska intäkterna (minskade ut-gifter, tillskott till produktionen och skatt när enperson kan arbeta). Utvärderingen ligger väl i linjemed den huvudfåra för ekonomisk utvärdering somjag beskrev i föregående kapitel.

När det gäller den andra aspekten, dvs effekti-vitet ur handläggarnas perspektiv, så gjordes ut-värderingen genom intervjuer med personal i bör-jan och i slutet av projekttiden.30 Fokus låg på ar-betsformer och deltagarnas upplevelser av moder-organisationen jämfört med projektorganisationen.Utvärderarna jämförde hur handläggarna såg påsin arbetssituation, relationer till kollegor, själv-bild och förändring i dessa två organisationer.Analysarbetet beskrivs ingående i utvärderings-rapporten och man anknyter till socialpsykologiskteoribildning för sitt tolkningsarbete. Utvärde-ringen har med andra ord en teoribaserad ansats,vilket betyder att utvärderarna har utgått från en

få till stånd en bättre samordning för att effektivi-sera den arbetslivsinriktade rehabiliteringen för degrupper med särskilda behov som var aktuella påtvå eller flera samverkande myndigheter. Måletvar också att i samarbete med den enskilde finnalösningar för att lättare få ut personer i arbete el-ler annan sysselsättning.3

De förbättringar som eftersträvades skulle manfrämst nå genom att utveckla samverkan mellanmyndigheterna i planering och genomförande avrehabiliterings- och andra arbetsförberedande in-satser för målgruppen på lokal nivå. Projektet ge-nomfördes av en arbetsgrupp på cirka 18 hand-läggare från de samverkande myndigheterna. Sam-arbetet organiserades i form av en gemensam sam-lingspunkt där deltagarna mötte handläggare medansvar för olika rehabiliteringsinsatser. Fram tilltiden för utvärderingen var cirka 100 deltagareaktuella i projektet.

Utvärderingens syfte och kriterierSyftet med utvärderingen var att visa om projek-tet uppfyllde de mål som beskrivits ovan. Utvär-deringen inriktades på tre områden: (1) projektetseffekter på samhällsekonomi och kommunal eko-nomi samt beräkningar av belastning på välfärds-systemet, (2) effekter av den organisatoriska för-ändringen med bedömningar av för- och nackde-lar ur handläggarnas perspektiv, (3) individrelate-rad utvärdering av projektets betydelse för delta-garna i fråga om förändringar av livskvalitet, ar-betssituation och potential på arbetsmarknaden,försörjningssätt, utbildning och rehabilitering, samtkontakter med personal i projektet.


teori om det som ska utvärderas i utformningen avsina frågor, snarare än att exempelvis utgå frånuppdragsgivarens eller de berördas frågor. Här kanman se en parallell till när pedagoger tillämpar teori-baserad utvärdering på förskolan och utgår från enutvecklingspsykologisk teori om barns behov.

Den tredje aspekten som utvärderades varklienternas upplevelser, vilket gjordes genom tvåenkäter.31 Den första beskrev klientens situation närhan/hon startade i projektet. Den andra undersök-ningen, som genomfördes efter 6–8 månader, mättehur klienten bedömde eventuella förändringar i sinlivskvalitet, relaterat till projektet. Frågor ställdesdels vad gäller klientens sociala situation (familje-situation, bostad, arbete, ekonomi, hälsa, fritid),dels vad gäller psykologisk upplevelse av hälsa(hörsel, syn, minne, kondition, aptit, humör, en-ergi, tålamod, självförtroende, sömn, uppskatt-ning). På dessa variabler fick den svarande angeett omdöme på en sjugradig skala med ytter-punkterna ”mycket dålig” till ”alldeles utmärkt”.Av cirka 100 tillfrågade svarade 59 på den förstaenkäten. Vid det andra tillfället kom det in 40 svarsom kunde ingå i de analyser som jämförde debåda tillfällena. Bortfallet visar ett problem sommånga erfar när de använder enkäter för att jäm-föra över tid. Det man kan konstatera är att dennautvärdering följer en traditionell form av mätandeansats med en kvantifierad skala för att mäta hurklienterna upplevde sin situation före och efter in-satsen.

Resultat och bedömningUtvärderingens resultat i exemplet från Växjö re-dovisas i separata rapporter för ekonomi-,

handläggar- och klientperspektiv. Utvärderarnasslutsats när det gäller ekonomi är att verksamhe-ten som effekt givit en samhällekonomisk vinst.De pekar också på att det av tids- och kostnads-skäl inte har varit möjligt att beräkna effektivite-ten. För att göra detta hade det krävts en jämförel-segrupp (verklig eller hypotetisk) som visaralternativsituationen att projektet inte hade kom-mit till stånd.

Utvärderingen av hur samverkan mellan myn-digheterna fungerat i praktiken, visar atthandläggarna har ökat sina kunskaper om de olikamyndigheternas regelverk. Konflikter vid startenhar ersatts med ökad förståelse. I intervjuerna medutvärderarna talar handläggarna mer om atmos-fären i gruppen än om hur deras arbetsuppgifterhar påverkats. Handläggarna är positiva till pro-jektet och likheterna i rollerna betonas. De bedö-mer kontakten med klienterna som mer positivinom ramen för projektet än vid myndigheten. Attmöta klienterna i en annan miljö än den traditio-nella myndigheten nämns som en tänkbar orsak.Arbetssättet är också mer inriktat på att finna lös-ningar som klienten önskar eller föreslår.

Utvärderarna noterar att handläggarna i hög-re grad kan styra över ärendemängden i projek-tet jämfört med arbetssituationen vid moder-organisationen, som upplevs som mer stressig.Utvärderarna säger att projektet för en del hand-läggare har blivit något av en ”tillflyktsort” därman kan koppla av från det hårda arbetet imoderorganisationen. Som helhet bedömerutvärderarna att arbetet i projektet har inneburiten utveckling för handläggarna. De har fått enökad omvärldskunskap genom erfarenhetsutbytetmed kollegor från andra myndigheter. Utvärderarna


bedömer att erfarenheterna på sikt kan medverkatill positiva förändringar även i den egna moder-organisationen.

Resultatet av utvärderingen av klienternas be-dömning och upplevelser av projektet visar att förgruppen som helhet förbättrades den sociala ochpsykologiska livskvaliteten under projekttiden.Utvärderarna konstaterar samtidigt att det finnsskillnader inom gruppen. Fler dimensioner av livs-kvalitet var sämre hos ensamstående jämfört medgifta/sambos, sämre hos högutbildade jämfört medlågutbildade, och sämre hos de som rapporterarmånga symtom jämfört med de som rapporterarfå symtom. Trots det relativt stora bortfallet i un-dersökningen (cirka 60 procent) tolkar utvärde-rarna resultatet ”med försiktig optimism” och bedö-mer att det stärker intentionerna till fortsatt verk-samhet i liknande former.

Vård och omsorg i ÖstersundDet andra exemplet på utvärdering är hämtat frånÖstersunds kommun 1998.32 Omsorgsnämnden ikommunen (beställaren) ville veta om brukare, menäven anhöriga och personal, upplever att brukar-na får den kvalitet på hemtjänsten som är avtaladmed respektive enhet, samt om de får hjälp ibeviljad omfattning.

Utvärderingens syfte och genomförandeSyftet med utvärderingen var att ta reda på omverksamhetsstyrelsen i kommunen (utföraren) hadeuppfyllt de kvalitetsdimensioner som anges i avta-let: tillgång och tillgänglighet, personkontakt och

bemötande, personalens kompetens, brukar-inflytande, kontinuitet, meningsfullhet och gemen-skap. I utvärderingsrapporten beskrivs olika kän-netecken för respektive kriterium för att preciseraden kvalitet som avses.

Utvärderingen genomfördes genom att brukar-na intervjuades personligen, samt genom enkätertill anhöriga och personalen. De frågor som an-vändes i respektive undersökning var struktureradeutifrån de kvalitetsdimensioner som nämnts ovan.Arbetet utfördes av en extern utvärderare som ana-lyserade och sammanställde resultatet och rappor-teringen. I utvärderingsrapporten beskrivs resulta-ten för respektive kriterium i form av tabeller medprocentandelar för olika bedömningsgrader. Påfrågan om brukaren får den hjälp som man kom-mit överens om anges exempelvis fem möjligasvarsalternativ: alltid, oftast, sällan, aldrig, vet ej.Skillnader och likheter mellan brukarnas, perso-nalens och de anhörigas svar kommenteras avutvärderaren.

Resultat och bedömningResultatet från utvärderingarna sammanfattas i enskrivelse till omsorgsnämnden i maj 1998 tillsam-mans med ett förslag till beslut. Nedan ges exem-pel på brister och förslag till åtgärder som utvär-deringen tar upp (min sammanfattning).

1. Tillgång/tillgänglighet. Resultat: Brister i förmedlingav information. Förslag: En tydligare struktur för hurinformation skall ges till brukarna.

2. Personkontakt/bemötande. Resultat: Bristande kon-takt, personalen stressad. Förslag: Att personalen gestid att tala med brukarna och försäkra sig om attde är nöjda.


3. Kompetens. Resultat: Viss tveksamhet hos brukarnatill personalens kompetens för vissa insatser. Förslag:Att beviljade insatser ges av personal med den kom-petens som svarar mot fastställda kvalitetskrav.

4. Inflytande. Resultat: 64 procent av brukarna anseratt de kan påverka hjälpens utförande i tillräckligomfattning. Förslag: Att öka brukarnas inflytandeenligt fastställt avtal.

5. Kontinuitet. Resultat: Brister i personalkontinuitet.Förslag: Att förbättra enligt de kontinuitetsaspektersom anges i avtalet.

6. Meningsfullhet och gemenskap. Resultat: Bristandetid att hinna med promenader, gemenskap och ak-tivering av brukare, etc. Förslag: Att ge brukarenden hjälp han/hon blivit beviljad.

Återkoppling och användningI en sammanfattning till omsorgsnämnden föreslårutvärderaren att resultatet överlämnas till verk-samhetsförvaltningen ”för reflektioner, analys ochåtgärder enligt redovisade punkter”. En muntligredovisning av nämndkontoret och omsorgsnämnd-ens presidium av utvärderingen ska ske till verk-samhetsstyrelsen, samt till brukare och anhöriga.Dessutom föreslås att verksamhetsförvaltningenskall lämna en åtgärdsplan till omsorgsnämndensenast i september 1998 som redovisar hur manavser att behandla de synpunkter som kommer frami utvärderingen.

Den ansvarige utföraren, verksamhetsstyrelsen,ger sin syn på utvärderingen i en skrivelse till be-ställaren omsorgsnämnden i oktober 1998. Delsbemöter styrelsen den kritik som framförs ochmenar att utvärderingen har bristande objektivi-tet. Dels menar man att den borde ha redovisats ipreliminär form så att styrelse, förvaltning ochpersonal kunnat klarlägga förhållandena innan den

slutliga utvärderingsrapporten. Verksamhetssty-relsen anser också att kritiken mot personal somstressar måste ses i förhållande till den tid somomsorgsnämnden har anvisat för uppgiften. Bestäl-lare och utförare har inte samma uppfattning ominsatstiderna, konstaterar styrelsen. Avslutningsvisredovisas vilka åtgärder som planeras på var ochen av de punkter som kritiseras i utvärderingen.

SammanfattningDe två exemplen innehåller klara uppgifter om hurutvärderingsuppdraget ser ut. I utvärderingarnaredovisas också kriterier för bedömning, metoderför datainsamling och analys, samt en avslutandebedömning. I exemplet från Östersund redovisasdessutom förslag till åtgärder som bör vidtas föratt åtgärda den kritik som framförs. Jag användermig av dessa två utvärderingar i de följande ka-pitlen för att ge exempel på hur de principiellafrågor som tas upp kan illustreras i praktiken.Användandet sker i samförstånd med representan-ter för FoU-Kronoberg och Östersunds kommun.

26 Svenska kommunförbundet (1997).27 Karlsson (1996).28 Samverkansprojekt i Växjö (1998).29 Delander & Nilsson (1998).30 Mattsson & Okmark (1998).31 Burman & Petersson (1998).32 Lundberg & Bergh (1998).


TT DEN beslutsfattare som sätter igången utvärdering bör kunna svara på var-för den sker, kan tyckas som ett själv-

klart krav. Det betyder inte att frågan har ett likasjälvklart svar. I detta kapitel ska jag belysa frå-gan om varför och när utvärdering sker. Ett syftekan vara att ge möjligheter att kontrollera ochbedöma effektiviteten och kvaliteten i offentligverksamhet. Syftet kan också vara att ge den en-skilde vägledning när det gäller att välja, exem-pelvis vilken skola, daghem, sjukvård, etc, som manvill ha. Ett tredje exempel kan vara att ge politi-ker och andra beslutsfattare underlag för priorite-ring av insatser och ett fjärde att ge den professio-nella, praktiskt verksamma personalen underlagför att utveckla och förbättra sin verksamhet. Syf-tet med utvärderingen kan också styras av när densker, eller med andra ord av om den är formativeller summativ, vilket ska belysas sist i kapitlet.

Skillnaden mellan mål, syfte ochfunktionNär utvärderingsforskare diskuterar frågan varförutvärdering sker brukar man skilja mellanutvärderingens mål, syfte och funktion eller an-vändning.33 Filosofen och utvärderingsforskarenMichael Scriven menar att målet med utvärdering

är att producera en bedömning som fastställer vär-det med det som utvärderas. Bedömningen görsgenom att tolka, beskriva och värdera utvärde-ringsobjektet på ett systematiskt sätt. När mandäremot talar om syftet med utvärderingen är detden avsedda, tänkta användningen inom systemetsom avses. Avsikten kan vara att kontrollera elleratt utveckla verksamheten.

Detta kan i sin tur skiljas från frågan om vil-ken faktisk användning eller funktion som utvär-deringen får i praktiken. Funktionen behöver intevara densamma som det avsedda eller deklareradesyftet – även om det i de flesta fall förutsätts varaså. Vilken funktion utvärderingen har kan varierai olika sammanhang och för olika intressenter. Fören del blir den en ”väckarklocka” som leder tillförändring av verksamheten för att rätta till bris-ter. I många fall torde en sådan funktion samman-falla med syftet. För andra blir utvärderingen pro-vocerande och de intar försvarsställning. Ytterli-gare andra kommer att uppfatta utvärderingen somen förhalningstaktik från beslutsfattarnas sida somgår ut på att slippa ta slutlig ställning i känsligafrågor eller att rikta uppmärksamheten från deverkliga problemen genom att utvärdera sidofrågor.

Av de tre nämnda infallsvinklarna på varförutvärdering sker (mål, syfte och funktion) är detsyftesfrågan i bemärkelsen vad man avser att ut-

3. Syftet med utvärdering

A


värderingen ska leda till, som diskuteras i dettakapitel. Det bör redan här påpekas att allautvärderingsforskare inte drar lika skarpa gränsermellan mål, syfte och funktion som MichaelScriven. Andra argumenterar för att utvärdering börmedverka till att resultatet blir använt och förmedlarekommendationer som syftar till att utveckla verk-samheten.34 Frågan om funktion och användningska jag behandla närmare i kapitel åtta.

Kontrollera, främja, ifrågasättaFöljande punkter sammanfattar vanligt förekom-mande syften enligt forskare som har granskat ut-värdering av offentlig verksamhet, exempelvisföretagsekonomerna Björn Rombach och KerstinSahlin-Andersson, och pedagogerna Inge Johans-son och Björn Flising.35

1. Korrigerande och kontrollerande för att styra för-sök.

2. Positivt understödjande för att få fram resultat somfrämjar påbörjade förändringar.

3. Skeptiskt ifrågasättande för att få fram resultat somkritiskt granskar verksamheten.

Att utvärdering sker för att kontrollera är de flestasom diskuterar frågan eniga om. Inom den poli-tiskt-administrativa domänen, där besluten omutvärdering ofta fattas, har politiker och ledningbehov av information för att kunna prioritera mel-lan konkurrerande intressen. De behöver ett så braunderlag för beslut som möjligt och har även be-hov av att kunna kontrollera att besluten genom-förs i praktiken. Här blir utvärdering en viktig deli informationsunderlaget.

Det är också vanligt att tala om ett främjandesyfte med utvärdering som dels handlar om att

verka för att resultaten används, dels om att manvill stödja den lokala verksamhetens och deltagar-nas personliga utveckling. Detta är syften som oftaförknippas med något positivt, medan kontrolluppfattas negativt. Det gör att även när syftet äratt bedriva kontroll så beskrivs det sällan i klar-text. Att utvärderingen fungerar som kontroll blirofta något som forskare och andra konstaterar närde granskar utvärderingens faktiska funktion.36

När utvärderingen genomförs av samhälls-forskare brukar ett kritiskt granskande syfte stå ifokus. Men även en mer generellt kunskaps-utvecklande ambition att kunna bidra till ökadteoretisk förståelse av verksamheten brukar fram-hållas. Forskaren vill inte enbart begränsa perspek-tivet till vilka effekter en insats får, utan ocksåförsöka att svara på varför vissa resultat uppstår.En del, exempelvis statsvetaren Evert Vedung,menar att en sådan ambition kräver att utvärde-ringen har en teoretisk ansats som sätter in detsom utvärderas i ett bredare sammanhang. Förstdå är det möjligt att koppla resultat till olika om-ständigheter som kan ge mer generella förklaringartill utfallet.37

Vissa av de syften som jag har pekat på kanförenas och de kan också förändras eller förskju-tas under utvärderingens gång. I tider med ekono-misk tillväxt och expansion kan dessutom syftenakontroll och utveckling ofta förenas utan störrekonflikter. Utvärderingen kan då ge underlag förbeslut om nya reformer och vara ett medel i kam-pen om ökade resurser. Vid nedskärning däremotkan utvärderingen läggas till grund för ompriori-tering och nedläggningar. Vid tillväxt är därmedkonfliktrisken liten och utvärderaren kan stå rela-tivt neutral. När kampen om resurserna hårdnar


blir utvärderaren tydligare sedd som part ochsyftesfrågan blir mer brännande.38

Syften på olika organisationsnivåerVilket syfte en utvärdering prioriterar hänger oftasamman med på vilken nivå i organisationen densker eller initieras. Sigbrit Franke-Wikberg gör enuppdelning i tre former av utvärdering kopplat tillorganisationsnivåer.39

”Vertikal utvärdering” typ 1 sker uppifrån och ned(top-down). Exempelvis utvärderar ledningen hurverksamheten utförs och utfaller. ”Vertikal utvär-dering” typ 2 sker nedifrån och upp (bottom-up).Exempelvis utvärderar personal ledningen, studen-ter utvärderar lärare, osv. ”Horisontell utvärde-ring” sker inom samma organisationsnivå. Exem-pelvis personalgruppens interna utvärdering därpersonalen ”äger” resultaten och själva avgör vadde vill lämna ut till andra nivåer i organisationen.Till dessa tre nivåer kan också läggas en nivå ut-anför organisationen i form av olika intressenter.Det finns anledning att påpeka att utvärdering enligtdessa olika beskrivningar kan existera parallellt.Ofta sker dock en sammanblandning eller ett för-sök att framhålla en typ som den enda rätta.

Vilket syfte som ställs i förgrunden beror ocksåpå vilka huvudfrågorna är. Den överordnade ni-vån vill ofta veta om besluten omsätts enligt gäl-lande mål och riktlinjer. Något som måste ses somett legitimt och demokratiskt kontrollkrav inomoffentlig verksamhet. De som utför verksamhetenpå lokal nivå kan själva vilja granska sina insat-ser för att få veta om de gör ett bra arbete och föratt kunna förbättra verksamheten. Slutligen kanmer externa intressenter vara intresserade av omdet har utvecklats några mer grundläggande kun-skaper som de kan lära sig av.

De olika syftena kontroll, främjande, kunskaps-utveckling och kritiskt granskande, samt fråganom på vilken nivå som syftet formuleras kan sam-manfattas enligt följande tabell.

Formativ och summativ utvärderingSyftet behöver inte vara låst till en viss besluts-nivå, utan kan mycket väl överlappa, inte minstdärför att en utvärdering kan vara både avsummativt och av mer formativt slag.40 Begrep-pen summativ och formativ har betydelse när man

Vad är syftet?

1. Kontrolleraoch gebeslutsunder-lag

2. Främja ochförbättra

3. Kunskaps-utveckla ochkritisktgranska

Vem formulerar syftet?

Den överordande nivån

Professionella ochbrukare i verksamheten

Forskarsamhället och enbredare extern publik

Vilka är huvudfrågorna?

Har man gjort det man skaenligt mål, beslut, lagar,riktlinjer, etc?

Fungerar insatserna somdet är tänkt? Kan arbetetförbättras?

Vad kan man lära?Vems intressen tillgodoses?Vem gynnas/missgynnas?

Tabell 3. Syftet med utvärdering på olika nivåer i organisationen

Typ 1

Typ 2

Horisontell


ska besluta vad utvärderingen skall ha för inrikt-ning. Är syftet är att kunna förbättra en pågåendeverksamhet görs en formativ utvärdering. Vill manveta om en viss insats har givit det resultat somförväntades så görs en summativ utvärdering. Skill-naden kan illustreras med ett exempel som de flestatorde vara bekanta med: Du kastar pil med någravänner på landet och varje spelare har fem pilar.När det är din tur kastar du din första pil och gören bedömning av resultatet. Du ser kanske att dumåste sikta högre, mer till vänster inför nästa kast.Även efter din andra pil gör du en bedömning in-för nästa kast, osv. Du fortsätter med denna”formativa utvärdering” efter varje kast och närdina fem pilar är kastade lägger du samman re-sultatet, dvs gör en ”summativ utvärdering”. Sålångt är skillnaden mellan utvärderingsformernaklar. Men bilden kan kompliceras om vi tänkeross att spelet omfattar flera omgångar där resulta-tet från varje omgång läggs samman till ett total-resultat. Här får den summativa utvärderingen frånrespektive omgång snarare formativ karaktär ge-nom att den kan påverka hur du lägger upp dinspelstrategi inför nästa omgång.

Exemplet visar att summativ, bedömande, ochformativ, stödjande, utvärdering blir beroende avvad som uppfattas som det totala utvärderings-objektet.

Praktiska exempelDet finns tre syften med utvärderingen avsamverkansprojektet i Växjö: att kontrollera ef-fektiviteten genom att se vilka ekonomiska resul-tat som projektet ger, att se om projektet ger kun-

skaper som kan förbättra den ordinarie verksam-heten för klienterna, och att förbättra personalensarbetssituation. Inriktningen har formulerats frånden överordnade ledningsnivån, men det finns ävenexempel på hur personal och brukare har tagit deli formuleringen av utvärderingens frågor.

Syftet med utvärderingen från Östersund ärinriktat på kontroll av kvalitet i hemtjänsten ochatt ge den överordande nivån beslutsunderlag förfortsatt styrning. Uppdragsgivaren omsorgsnämn-den vill även veta om brukarna får hjälp i denomfattning som beviljats.

En iakttagelse är att en utvärdering med såbreda syften som den i Växjö blir omfattande.Genomförandet har engagerat många utvärderareoch redovisningen består av flera rapporter förolika huvudfrågor. Fördelen är att utvärderingenger en bred belysning av projektet. Samtidigt ärden resurskrävande. Eftersom kostnadsfrågan oftaär avgörande för hur omfattande utvärdering manhar möjlighet att genomföra finns det skäl att fun-dera över prioriteringen mellan utvärderingensolika syften. Ur den synpunkten är utvärderingenfrån Östersund mer klart inriktad på de frågor somuppdragsgivaren vill få besvarade. Det gör att ut-värderingen blir mer kostnadseffektiv, samtidigtsom den riskerar att bli alltför begränsad.

Utvärderingarna av 4Ö-projektet i Växjö gjor-des när projektet hade pågått ett par år. Utvär-deringarna summerade resultaten och ställde dessamot målen för projektet. Det innebär inte att pro-jektet som sådant är avslutat, utan utvärderings-resultaten kommer att användas i det fortsatta ut-vecklingsarbetet. På så sätt har utvärderings-resultaten också en så kallad formativ roll. Utvär-


deringen i Östersund var främst summativ, dvs denvisade hur utföraren hade uppfyllt de brukarmålsom beställaren ställt upp. Även här kan man dockförutsätta att resultatet från utvärderingen i vissmån påverkar det fortsatta arbetet inom hem-tjänsten.

SammanfattningI detta kapitel har jag belyst frågan om varför ut-värdering sker genom att skilja mellan mål (attproducera en bedömning), syfte (utvärderingensavsedda användning) och funktion (faktisk använd-ning). Avsikterna med utvärderingen kan varieraberoende på vem som formulerar dem. Ett syftekan vara att kontrollera att beslutade mål har upp-fyllts. Ett annat syfte kan vara att stimulera tillutveckling av den verksamhet som granskas. Etttredje syfte kan vara att använda utvärdering föratt utveckla mer teoretiskt och vetenskapligt be-prövad kunskap. Frågan om varför utvärderingsker kan också analyseras utifrån vilken funktionden har i det sammanhang där den genomförs, medgranskning av både öppet uttalade och dolda mo-tiv. (Se kapitel 8.) Till sist har jag också pekat påatt gränsen mellan summativ, slutligt bedömande,och formativ, utvecklingsstödjande, utvärderinginte är så entydig. Det beror bland annat på i vil-ket tidsperspektiv och på vilken nivå man betrak-tar resultatet av utvärderingen.

33 Worthen, m.fl (1997) s. 7ff.34 Exempelvis Shadish (1994) och Fetterman (1994) sommenar att utvärdering också bör medverka till att olika

aktörer själva tar ett större ansvar för det som bör görasoch hur. Med dessa ambitioner blir mål, syfte och funktioninte så tydligt separerade.35 Rombach & Sahlin-Andersson (1995) s. 16ff; Johansson& Flising (1982) s. 93-100.36 Franke-Wikberg & Lundgren (1980) s. 12.37 Vedung (1998) s. 148, 162f.38 Lindensjö & Lundgren (1992) s. 235f.39 Franke-Wikberg (1992) s. 21ff.40 Begreppen summativ och formativ utvärdering ingår i denbegreppsapparat vid utvärdering som har myntats avScriven (1967).


DETTA KAPITEL skiftar jag perspektiv från ut-värderingen till utvärderingsobjektet. Fråganom vad som ska utvärderas innehåller dels

hur beställaren uppfattar det som ska utvärderas,dels vad det är för typ av kunskaper man sökerom objektet. Som vi ska se fungerar kunskaps-perspektivet som ett filter där vissa svar rensas utfrån början.

Utforma en tankemodellFör den som ska ta ställning till var utvärderingenska ha sitt fokus, på vilka frågor, aspekter ellerproblem i en verksamhet, är det viktigt att görasig en bild av vad som egentligen ska utvärderas.Ett sätt att skapa en bild av utvärderingsobjektetär att göra en tankemodell som visar de centralakomponenterna. En mycket vanlig generell tanke-modell vid utvärdering är den som innehåller kom-ponenterna mål, process och resultat. Utvärderings-forskare brukar utveckla modellen genom att upp-märksamma sådana ramar och förutsättningarsom bestämmer vad som är möjligt att göra i engiven situation och vad som inte kan förändras påkort sikt. Även samhällsförändringar som kan på-verka utvärderingsobjektet brukar markeras.41 Re-sultatet kan beskrivas genom följande figur.

En generell karta av detta slag gör det möjligtatt påbörja en specificering av fokus i utvärde-

ringen. Samhällsförändringar som kan påverka denaktuella verksamheten är exempelvis vad ett ökatantal invandrarbarn i kommunen betyder för sko-lan och barnomsorgen, eller vad ett ökat antaläldre innebär. Ramar och förutsättningar kan varaen begränsning av tillgänglig tid och ekonomiskaresurser. Inom verksamheten är en fråga om må-len verkar styrande eller om de bör förändras. Attgranska och värdera processer leder till frågor omhur deltagarna kan påverka innehåll och arbets-sätt. Om resultat är utvärderingens huvudfokus kandet gälla att se vad barn och elever lär sig i för-skolan och skolan eller vilken omvårdnad och ser-vice äldreomsorgen ger.

Exemplen visar att det kring varje begrepp itankemodellen är möjligt att göra en mer specifi-cerad lista över aspekter som man vill veta merom och kring vilka man kan formulera sinautvärderingsfrågor.42

4. Vilken kunskap söks?

I Samhällsförändringar

Ramar och förutsättningar

Mål Process Resultat

Figur 2. Tankemodell för utvärderingens objekt

Samhällsförändringar































Inte enkelt att utgå från målenAtt börja med att bilda sig en tankemodell för detsom ska utvärderas är inte någon självklar metod.Det vanliga har varit att beställaren tar utgångs-punkt i målen för den verksamhet eller den aktivi-tet som ska granskas, och söker kunskap om i vil-ken grad målen har uppnåtts. Tankesättet att mätamot på förhand fastställda och stabila mål är in-spirerat av en syn på utvärdering som liktydig medexperiment under kontrollerade betingelser. Ut-värderaren blir en opartisk expert på att mäta detutfall som beställaren är intresserad av att kon-trollera.

Synen på offentliga mål har dock problema-tiserats under senare år och samhällsdebatten vi-sar att det är tveksamt att hävda mål som endautgångspunkt i förklaring av ett visst utfall. Detutvärderingsforskare och andra samhällsforskarehar lyft fram är att offentliga mål har många funk-tioner och därför är notoriskt svåra att få greppom på något entydigt sätt. En del forskare somt ex Björn Rombach uttrycker det drastiskt genomatt säga att ”det går inte att styra med mål”.43

Offentliga mål upplevs inte heller som lika legi-tima av alla grupper. Mål är ofta resultat av kom-promisser mellan olika intressen och därför vagatill sin natur. Deras funktion kan vara att ena par-terna kring vissa gemensamma nämnare, snarareän att specifikt ange vad man ska uppnå.

Är det då inte utvärderarens uppgift att krävaatt uppdragsgivaren preciserar målen? Problemetmed ett sådant krav är att det kan blottlägga kon-flikter som beställaren, t ex politiker, inte vill skablossa upp eftersom de hotar att spräcka en kan-ske mödosamt upprättad kompromisslösning. För

att behålla de centrala målen intakta delegerarcentrala beslutsfattare ansvaret för att tolka ochprecisera innebörden till de som utför verksamhe-ten. Man får därmed olika målnivåer och övervä-ganden att ta hänsyn till vid utvärdering. Mål somtvärtom är utformade i detalj, är heller inte alltidlyckade, vilket kan illustreras. I början av 70-taletarbetade utredningen ”Målrelaterade utbildnings-mål” med att bryta ner skolans mål i mätbarabetygsnivåer. Måluppfyllelse blev en fråga om attmäta och kvantifiera hur många sidor eleven läst,hur många fakta som memorerats, osv. Utredningenlades ned efter att ha konstaterat att målrelateringskulle innebära alltför stark centralstyrning avskolan.44

Det sagda innebär givetvis inte att målen skaförkastas, men att de bör behandlas som en avflera faktorer som utvärderingen har att beakta.Idag kan man finna exempel på att utvärdering ioffentliga verksamheter har syftesformuleringarsom inte enbart handlar om att svara på om ettvisst mål har uppnåtts. Syftet kan vara att ge enbredare kunskap och en djupare förståelse. Detställer krav på att använda idén bakom tanke-modellen för utvärdering; att se till organisatoriskaförutsättningar, till det omgivande samhället ochtill olika interna faktorer i verksamheten. Inför frå-gan vad utvärderingen ska svara på finns det ocksåanledning att se med vilken kunskapssyn den skagenomföras.

Kunskapssyn vid utvärderingFör den som sätter igång eller beställer en utvär-dering är det viktigt att tänka över sina kunskaps-


mål. Syftar utvärderingen till att ge en allmän in-formation som kan ha intresse för en bredare pub-lik, eller till att ge en djupare förståelse, eller tillatt ge parterna ökade möjligheter att sätta sig in ioch förstå det som utvärderas även ur andras per-spektiv? Frågan om vad utvärderingen ska ledafram till kan således besvaras olika beroende påvad det är för information och för typ av kunskapsom prioriteras.

Information och kunskapAtt utvärdering ska ge information, t ex till be-slutsfattare inför beslut, eller att den ska ge kun-skaper, t ex om hur en verksamhet fungerar, ärsyften av två skilda slag. Skolforskaren och peda-gogen Per Dalin beskriver skillnaden mellan att fåinformation kontra att utveckla en mer djup kun-skap med följande metafor:

Information är som maten vi äter. Det hjälper inte attbara svälja maten. Den måste smältas. För det krävs ettfungerande matsmältningssystem.45

Kunskap blir med andra ord en bearbetad tanketill skillnad från information som kan vara någotsom vi noterar utan att närmare reflektera övervad den betyder, kanske som ett resultat av att viinte hinner eller är intresserade av att ta till ossinformationen på ett aktivt sätt.

Ytterligare ett steg är att fråga om vi sökervälgrundad kunskap av ett upplysande slag elleren mer djupgående förståelse. En stor mängd avden kunskap som människor utvecklar består avfaktakunskaper som kan kvantifieras och som kanuppfattas som en välgrundad sann beskrivning avsakförhållanden. Exempelvis vad ett land har förhuvudstad eller vad olika ord vanligen betyder.

Detta är en typ av kunskap som behövs för attkunna orientera sig i tillvaron och som vi vanli-gen inte ifrågasätter systematiskt. Talar vi däre-mot om att utveckla en djupare förståelse så hand-lar det mer om att kunna se sammanhang och attge det fenomen som studeras en mening, exempel-vis genom att se avsikten bakom det som sker.

Förklara orsaker och förstå sammanhangSkillnaden mellan orsaksförklaringar och en mersammansatt förståelse kan belysas med ett exem-pel. Anta att grannens bilmotor frusit sönder enkall natt i oktober. Orsaksförklaringen är att(kylar)vatten fryser under noll grader varvid detexpanderar och spränger sönder kylaren (kärlet).Därmed är orsakssambanden angivna och händel-sen har fått sin förklaring. Om man däremot efter-strävar en djupare förståelse av det inträffade ställsandra frågor. Var grannen okunnig om att det krävsfrostskydd i kylarvattnet vintertid? (Ett kunskaps-problem). Chansade han på att det inte skulle bliså kallt i natt eller hade han glömt bort att bileninte stod i garaget? (Ett psykologiskt problem).Fanns ett missförstånd om att verkstaden eller nå-gon annan i familjen hade fyllt i frostskydd? (Ettkommunikationsproblem).

Exemplet visar att det krävs inlevelseförmågaoch fantasi för att förstå situationen på ett djupareplan. Skillnaden kan också beskrivas så här: Mankan förklara en händelse genom att ange dess di-rekta orsaker. Men för att förstå samma händelsemåste man se vad den har för mening – vilken kanvara olika i olika sammanhang.

Forskaren Per Dahlin som nämndes ovan häv-dar att det framtida samhället kommer att ställaallt större krav på förmåga att kunna använda


intuition, känslor, förståelse för andra kulturer ochderas sätt att lösa problem. Han menar att vägenmot detta mål är ”lärande genom deltagande”.46

Att ange förståelse av det som utvärderas som målär således ett ambitiöst syfte som ställer krav påde berörda. Att underlätta för olika parter att ak-tivt ta del av utvärderingen blir en viktig fråga attbeakta vid planeringen.

Tre perspektiv på kunskapVad som är viktigt att veta är inte bara en frågaom relationen mellan information, kunskaper ochförståelse. Det är också i hög grad en fråga omutifrån vilket perspektiv vi betraktar utvärde-ringsobjektet och de förändringsprocesser som ut-värderas. Valet av perspektiv bildar ett slags filtersom styr hur vi tolkar information. Utvärderings-forskaren Ernest House har i en ofta citerad arti-kel beskrivit tre perspektiv som enskilt eller kom-binerat präglar de flesta utvärderingar: Ett teknisktperspektiv som betonar mätbara kunskaper för attse om förväntade resultatet har uppnåtts. Ett kul-turellt perspektiv som betonar kunskap om olikasammanhang för att öka förståelsen av vad sompåverkar genomförande och resultat. Ett politisktperspektiv som uppmärksammar för vem utvärde-ringen görs och där förändring och värdefrågorspelar en viktig roll.47

En kunskapsfilosofisk aspektDet finns likheter mellan dessa tre perspektiv ochen filosofisk diskussion kring kunskap och kunskaps-begreppet. Utan att gå in på någon djupare diskus-sion vill jag rikta uppmärksamhet på några cen-

trala kunskapsfilosofiska begrepp som kan ge enytterligare dimension. Forskaren i idéhistoria BerntGustavsson beskriver tre begrepp för olika typer avkunskap.48 Begreppen går tillbaka till Aristotelessom talar om (1) episteme, den vetenskapliga, teo-retiskt baserade kunskapen, (2) techne, denhandlingsbaserade kunskapen och (3) fronesis, denvärdebaserade eller etiska kunskapen.

Den vetenskapliga, teoretiska kunskapstypen(episteme) som den traditionellt har beskrivits byg-ger på observation och erfarenheter. De läggs tillgrund för hypoteser som prövas genom upprepadeexperiment och kontroll av utfallet. Upprepnings-barhet och kontroll spelar således en central roll.Den handlingsbaserade, praktiska kunskapen(techne) är färdigheter som en person behärskar,såsom att kunna utföra en komplicerad operation.Ibland beskrivs detta som ”tyst kunskap”, eftersomden främst uttrycks i handling och inte i ord. En deltalar också om förtrogenhetskunskap och om pro-fessionell kompetens att kunna kombinera teori ochpraktik till en helhet. Den värdebaserade eller etiskakunskapen (fronesis) är förmågan att kunna användasin klokhet på ett sådant sätt att handlingarna ocksåär etiskt försvarbara och omdömesgilla.

Inte minst inom utvärderingsfältet har dennatredje kunskapsform uppmärksammats under se-nare år eftersom det allt oftare ställs krav påutvärderaren att ange etiska grunder för sittbedömningsarbete.49 (Jag ska återkomma till frå-gan om utvärderarens roll i kapitel sju.)

Vilken kunskap ger olika utvärderingar?Man kan jämföra dessa tre perspektiv på kunskapmed de tre huvudinriktningar eller -modeller för


utvärdering som beskrevs i kapitel ett. Då fram-går det tydligt att modellerna har präglats av olikakunskapssyn. Mål-resultatmodellen kopplas till enteknisk kunskapssyn (episteme). Intresset inriktasmot om verksamheten når målen och vad det finnsför objektivt mätbara resultat som visar det.Processmodellen kopplas till förståelseinriktadkunskapsyn. Utvärderingen har ett kulturellt per-spektiv och intresset inriktas mot tolkande, beskri-vande och handlingsinriktad kunskap (techne). Härfinner vi diskussionen om reflekterande praktikeroch tyst kunskap, liksom diskussionen om själv-utvärdering. Interaktiv utvärdering kopplas tillkunskap om förändringars värdemässiga innebörd(fronesis) och fördelningspolitiska konsekvenser,men även på vad deltagarna själva kan påverka.

De olika kunskapsintressena och perspektivenpå utvärdering sammanfattas i tabell 4. Givetvisfinns det inslag av alla tre kunskapsperspektiv inom

de tre inriktningar av utvärdering som beskrivs itabellen. Här har dock endast det mest framträ-dande inslaget i utvärderingsmodellens syn påkunskap tagits med.

Praktiska exempelI utvärderingen från Växjö som beskrivits i kapi-tel två och som gällde att bedöma ett samverkans-projekt mellan olika myndigheter, finns prov påsamtliga tre typer av kunskap som talas om ovan.I utvärderingens ekonomiska del finns dels ett ut-präglat tekniskt-administrativt kunskapsintresse föratt mäta om projektet har lyckats uppfylla det fast-ställda effektivitetsmålet. Här finns även ett merhandlingsinriktat och praktiskt kunskapsintresse förhur de olika myndigheterna kan fungera tillsam-mans och vad olika verksamhetskulturer betyderför projektarbetarnas möjligheter att samarbeta.Kunskaper om det dagliga arbetet, vad man mö-ter för hinder och möjligheter, diskuteras med ut-gångspunkt från kulturella och lokala skillnader.Slutligen kan man i utvärderingen också finna ettetiskt inriktat brukarperspektiv med betoning avhur klienterna upplever sin situation och vilka somgynnas och missgynnas av den arbetsmodell somprövas i projektet.

Även i utvärderingen i Östersund finns exempelpå ett par av kunskapsperspektiven. Främst är detett tekniskt kunskapsperspektiv, där utvärderingenbrottas med frågan att mäta resultatet för att be-svara om hemtjänsten har uppfyllt de krav somomsorgsnämndens avtal beskriver. Men även i dennautvärdering finns inslag av ett etiskt och politisktintressentperspektiv just i strävan att identifiera varkvaliteten brister och därigenom kunna åtgärda

Tabell 4. Tre perspektiv på kunskap i förhållande tillutvärderingsmodeller

Mål-resultat-inriktadutvärdering

TeknisktperspektivObjektivt mätbarkunskap(episteme)

Viktigt kunskaps-intresse är omverksamheten nårmålen och vaddet finns förobjektivtmätbara resultatsom visar det.

Processinriktadutvärdering

KulturelltperspektivTolkande,beskrivande ochhandlingsinriktadkunskap (techne)

Viktigt kunskaps-intresse ärförståelse av detenskilda och avsammanhanget,samt hurverksamhetenfungerarpraktiskt ochmetodiskt

Interaktivutvärdering

PolitisktperspektivVärdeinriktad,etisk kunskap(fronesis)

Viktigt kunskaps-intresse ärvärdemässiga ochetiska aspekterpå verksamheten,vad den betyderför olikaintressegrupperoch hur de kanpåverka


glappet. Den vikt som läggs vid att hitta brister iuppfyllelse av åtagandet gentemot brukarna kan sessom en värdemarkering från beställaren att priori-tera ett brukarperspektiv.

SammanfattningI detta kapitel framgår att det perspektiv man an-lägger på utvärderingsobjektet bildar ett komplextfilter som styr hur information, värderingar ochförutsättningar kombineras i utvärderingsarbetet.Detta filter påverkar vad som blir viktigt att upp-märksamma, vilka handlingar som prioriteras,vilka problem som upptäcks och vilka förklaringarman finner som väsentliga. För den som sätter igångegen utvärdering, eller beställer den av andra, finnsdet därför anledning att tänka efter vad det är förkunskapsmål man eftersträvar.

Tre perspektiv har beskrivits för att visa vaddet rör sig om för skillnader i synsätt: Ett teknisktmätinriktat, ett kvalitativt handlings- och förstå-elseinriktat, samt ett politiskt eller värdemässigtperspektiv. Inom utvärderarsamhället förs ocksåen debatt kring detta. Traditionellt har utvärde-ring ofta skett utifrån ett tekniskt perspektiv påförändring. Men på senare år har de allt flerintressegrupper som medverkar i utvärdering gjortatt även andra kunskapsperspektiv har fått en vik-tigare roll i analysen och förståelsen av utvär-deringsarbetets villkor.

Historien visar också att de olika perspektivenfavoriseras av skilda grupper och att det inom varjeperspektiv finns konkurrerande intressen och före-ställningar. Mot den bakgrunden blir det viktigtför en utvärderare att, som pedagogerna Mats

Ekholm och Rolf Lander uttrycker det, användasig av ett flerdimensionellt perspektivseende somutvärderare för att få balans i sina utvärderings-frågor.50

41 Gustafsson & Selander (1994) s. 14; Alexandersson &Krogsmark (1984) s. 31; Ekholm & Lander (1993) s. 27.42 Frykholm (1997).43 Rombach (1991).44 Måhl (1991); Ramström (1998); Wallin (1998).45 Dalin (1994) s.109.46 Dalin (1994) s.118.47 House (1981).48 Följande beskrivningar baseras på Gustavsson (1996) ochpå samtal med författaren. Kopplingen till perspektiven ärdock min egen tolkning.49 Schwandt (1997, samt 1998).50 Ekholm & Lander (1993) s. 25; House (1981).

Ekholm och Rolf Lander uttrycker det, användasig av ett flerdimensionellt perspektivseende somutvärderare för att få balans i sina utvärderings-frågor.50

41 Gustafsson & Selander (1994) s. 14; Alexandersson &Krogsmark (1984) s. 31; Ekholm & Lander (1993) s. 27.42 Frykholm (1997).43 Rombach (1991).44 Måhl (1991); Ramström (1998); Wallin (1998).45 Dalin (1994) s.109.46 Dalin (1994) s.118.47 House (1981).48 Följande beskrivningar baseras på Gustavsson (1996) ochpå samtal med författaren. Kopplingen till perspektiven ärdock min egen tolkning.49 Schwandt (1997, samt 1998).50 Ekholm & Lander (1993) s. 25; House (1981).


5. Att bedöma

eDÖMNINGEN ÄR utvärderingens centralauppgift. Det är också den uppgift som åter-kommer som minsta gemensamma näm-

nare i olika definitioner av utvärdering. Hurbedömningsarbetet kan genomföras, mot vilkakriterier eller måttstockar, är temat för detta kapi-tel. Samtidigt är inte bedömningsarbetet isoleratfrån de värderingar som styr valet av kunskaps-perspektiv och den dolda värderingsprocess somsker redan där, vilket diskuterades i föregåendekapitel.51 Ämnet för detta kapitel är dock att dis-kutera den öppna bedömningsprocessen.

En rationell modell för bedömningFinns det någon rationell modell för hur bedöm-ningen ska gå till? Följande analys av frågan byg-ger på en modell för bedömning som MichaelScriven, en amerikansk utvärderingsforskare, harbeskrivit och vars logik bygger på följande fyrafrågor.52

1. Vilka värdekriterier finns för att bedöma och hur kande väljas ut?

2. Vilka mått och nivåer på utfall, vilka referenspunkter,kan anges för olika värdekriterier?

3. Hur och av vem kan bedömningen ske?

4. Hur kan resultatet för respektive kriterium vägassamman?

Jag börjar med att diskutera de två inledande frå-gorna om värdekriterier och vilka mått på utfallsom kan anges för att göra en bedömning av krite-riet.

Vilka värdekriterier ska väljas?Utvärdering är en rationell verksamhet som utgårfrån att det finns någon form av avsikt att ta fastapå som referenspunkt för bedömning. Traditionellthar kriterieproblemet hanterats genom att målenges en operationell definition i mätbara termer.Inom offentliga verksamheter finns dock mångamål som kan vara motstridiga, utan att det är klar-lagt hur de ska rangordnas.53

En alternativ bedömningsgrund som diskute-ras av allt fler utvärderare är att formulera teore-tiska utgångspunkter för utvärderingen. Här kanman skilja mellan två synsätt. Enligt det ena skautvärderaren formulera en mer färdig teori somvägledning för vad som ska uppmärksammas (såkallad deduktiv ansats). Ett exempel är användan-det av utvecklingspsykologisk teoribildning inomförskolan. Utgångspunkten är att man med hjälpav teorin kan ange kriterier för vad som bör ut-märka en trygg, utvecklande och stimulerandeverksamhet som tillgodoser barnens behov. Enligtdet andra synsättet (så kallad induktiv ansats) för-söker man formulera kriterierna utifrån lokala

B


verksamhetsteorier som tar hänsyn till verksam-hetens speciella omständigheter.54

När professionella yrkesgrupper formulerarkriterier för att bedöma sin verksamhet är det inteovanligt att hänvisa såväl till en utvecklad yrkes-teori som till praxis inom yrkesområdet som grundför vad som bör utmärka en kvalitativt god verk-samhet. Man kan säga att professionella kritierierav dessa slag kan grundas på teorier av både de-duktiv och induktiv karaktär.

Ytterligare ett exempel på kriteriekälla vid be-dömning är att förutom personalen också utgå frånvad olika intressenter anser. Det bygger på en plu-ralistisk tanke att olika intressenter kan prioriteraolika delar av en verksamhet, vilket gör att detfinns olika ”mätpunkter” för bedömning. Även härkan två huvudlinjer med tydliga ideologiska för-tecken skönjas. En variant är att se intressenternasom kunder vilka bedömer verksamheten enligtsamma rationella principer som gäller på mark-naden, dvs som köpare av varor och tjänster. Ef-fektivitet och mesta möjliga nytta för pengarnablir här det centrala värderingskriteriet.55 Den an-dra huvudlinjen är att betrakta intressenterna sommedborgare som bedömer verksamheten mot de-mokratiska värden som t ex rättvisa, jämlikhet ochinflytande.

En annan kriteriekälla för att formulerareferenspunkter vid bedömning är att ta utgångs-punkt i kulturella värden som olika grupper villslå vakt om och hävda. Med detta vill man upp-märksamma sådana värden som omfattas av olikaminoritetsgrupper i förhållande till den domine-rande kulturen. Det kan också röra sig om värdensom är specifika för den verksamhets- eller företags-kultur där utvärderingen sker.

Inte minst när det gäller demokratiska och kul-turella värden kan det vara svårt att ange någratydliga ”nyttonivåer” för bedömning. Vad somutmärker social rättvisa, jämlikhet, humanitet el-ler vad som avses med att ta hänsyn till kulturellasärarter, är inte alltid så lätt att uttrycka i mät-bara termer. Därmed inte sagt att kriterierna äromöjliga att bedöma. Ett sätt är att låta olikaintressegrupper formulera och diskutera hur deanser att verksamheten lyckas motsvarakriterierna.

Utvärdering med olika kriterierEtt exempel på utvärdering där bland annat in-tressenterna och den lokala verksamhetsteorin spe-lade en viktig roll, är ett försök med skolbarnsom-sorg i Eskilstuna kommun 1985-1990. Den nyaverksamheten avsåg att lösa tre problem: Att åstad-komma fler platser för skolbarn genom en effekti-vare, mindre personalkrävande organisation. Attutveckla en annorlunda pedagogik anpassad för9–12-åringar. Att bidra till att lösa sociala pro-blem genom en aktivt uppsökande verksamhet tillutsatta barn och ungdomar. För att nå dessa målformulerades ett projekt kring följande insatser:(1) Att starta försöksverksamhet med 25 fritids-klubbar. (2) Att förändra det kommunala regel-verket för att möjliggöra en större lokal variationav verksamhetsformer. (3) Att påverka olika in-tressenter för att förändra den traditionella bildenav hur skolbarnsomsorg kan se ut, genom att skapaalternativa bilder eller metaforer som gav idéerom hur en utvidgad fritidsverksamhet kunde se utmed en tydligare inriktning på arbete i närmiljönoch föreningslivet.


Utvärderingskriterier utformades dels för attbedöma utbyggnadsnivå och verksamheternas kost-nadseffektivitet (här finner vi åter ett exempel påett tekniskt kunskapsperspektiv), dels för att be-döma hur man lyckades att utveckla nya synsättpå pedagogiken och på verksamhetens målgrupper(här återfinner vi såväl ett handlingsorienterat somett värdeorienterat kunskapsperspektiv).

I utvärderingen konstaterades att verksamhe-ten nått framgång i att öka antal platser inomskolbarnsomsorgen till lägre kostnader per platsän tidigare. När det gällde målet att utveckla enannan pedagogik och ett nytt synsätt på verksam-hetens samhällsfunktion, visade utvärderingen attprojektet inte var lika framgångsrikt. Inte hellerlyckades man nå socialt utsatta eller missgynnadebarn. Utvärderingen avslutades med ett försök attkoppla dessa misslyckanden till en mer teoretiskförståelse av förändringsarbetets natur och av detraditioner som präglade synen på skolbarns fritidoch på åtgärder av detta slag. Även teorier omhur social segregation kan motverka de mål somprojektet hade diskuterades i utvärderingens teori-inriktade analys.56

Exemplet visar hur en utvärdering kan användasig av tekniska kriterier (antal platser), professio-nella kriterier (pedagogisk förnyelse), politisktetiska kriterier (socialt missgynnade grupper), samtmer teoretiskt förankrade kriterier för att utvecklaförståelse av segregationens konsekvenser.

Objektiv och subjektiv bedömningI det resonemang som jag har fört kring olika sättatt förhålla sig till mål, teori, professionella, de-

mokratiska och kulturella värderingar har jag pe-kat på att det sällan går att reducera dessabedömningsgrunder till helt entydiga mått. Att göraen bedömning är förenat med frågor om vad somär värdefullt och inte. Det är i sin tur beroende aven lång rad faktorer som t ex för vem bedömningengörs, ur vilket perspektiv och i vilket sammanhang.En utvärdering kan ha till uppgift att göra en be-dömning av vad som är den mest rättvisa lösningennär det gäller vilka som ska erhålla färdtjänst, skol-skjutsar, förtur till platser i barnomsorg, sjukvård,äldreomsorg. Eller vad som är den effektivaste ochnyttigaste lösningen, den vackraste, mest estetiskautformningen av en byggnad, en park, en konstnär-lig utsmyckning. Till grund för sådana bedömningarligger ställningstaganden kring vad som är rättvisa,skönhet, nytta etc.

Eftersom det är svårt att svara på hur bedöm-ningar av komplexa verksamheter kan göras medentydiga mått, är det vanligt att hävda att utvär-deringen inte får bli subjektivt godtycke. I ställetframhålls att den bör vara så objektiv som möjligtoch använda metoder som är systematiska. Frå-gan är om det också finns objektiva värderingareller om alla värderingar är subjektiva. Det är enkomplicerad fråga och det finns skäl att peka pånågra aspekter som frågan innehåller.

I en beskrivning av subjektivitet och objektivi-tet menar filosofen Göran Hermerén att det finnssubjektivitet i värderingsfrågan eftersom en per-son (subjekt) i sista hand måste bestämma.57 Sub-jektivitet kan uppfattas som ett godtyckligtkänslouttryck – ett usch! fy! jag gillar inte! Menett subjektivt värdeomdöme kan också ses somindividens åsikt om hur man bör handla. Att ut-


trycka avsky för dödsstraff tolkas då inte enbartsom ett känslouttryck, utan också som en värde-ring om att det bör avskaffas, dvs en uppmaningtill handling.

När man talar om objektivitet i värderings-sammanhang brukar man avse uppfattningen attdet finns en permanent, ahistorisk uppsättningvärderingsprinciper till vilka man kan vända sigoch som gäller oavsett vad en enskild individ an-ser. En mildare variant är att hävda att man kanha kunskap om vissa välgrundade värdeprinciperoch lämna möjligheterna öppna för att kunskapenom hur mycket man kan veta i värdefrågor ut-vecklas.58

Resonemanget om subjektiva och objektivauppfattningar kan sammanfattas på en samman-hängande skala, där ena ytterpunkten är enobjektivistisk utvärdering med en generell värde-grund och där den andra ytterpunkten är vars ochens subjektiva uppfattning om vad som är bra el-ler dåligt, rätt eller fel.59

Man kan också peka på ett tredje alternativbortom det objektiva och subjektiva genom att sevärdeprinciperna som motiverade med en ratio-nell argumentation.60 Det är en position som kanbeskrivas som ”dialogisk intersubjektivitet”. Be-greppet är från pedagogen Steinar Kvale och stårför ett rationellt samtal mellan bedömarna.61 Ra-tionellt betyder att man är överens om syftet medsamtalet och att dialogen sker med ömsesidighetoch öppenhet för varandras åsikter. Syftet är attpå ett ärligt sätt kritiskt pröva olika ståndpunkteroch att lyssna till hur andra värderar saken. Enannan pedagogisk forskare, Erik Wallin, beskri-ver att intersubjektiviteten inte betyder att alla

tycker likadant men att deltagarna i samtalet för-står vad de andra säger.62 Det primära målet ärinte att nå konsensus även om kommunikationenkan leda till det. Målet är en kritiskt granskandeutvärdering som ser vad som kan finnas bakomdet vi uppfattar vid en första anblick. Här kandialogen och reflektionen vara ett hjälpmedel.63

Denna korta utflykt i den värdefilosofiska dis-kussionen ger en bild av att valet mellan subjek-tiva och objektiva värderingar inte är så enkeltsom det kan verka i vardagsdiskussionen. Det kanvara en viktig insikt att ha med sig vid läsning avförslag till mer eller mindre fasta mätpunkter somfinns i olika utvärderingsmodeller och skalor, samti följande avsnitt.

Mot bakgrund av detta kan det verka motsä-gelsefullt att presentera ett par skalor med mät-punkter. Mitt motiv är att försöka knyta den filo-sofiska diskussionen om objektiva och subjektivabedömningar till några exempel på mer konkretareferenspunkter som kan diskuteras som möjliga.

Referenspunkter av objektiv karaktärI följande tabell och kommentarer beskrivs fyratyper av mätinriktade referenspunkter av mer ob-jektiv karaktär, i bemärkelsen att det rör sig om

3 Den bästa faktiskt konstaterade praktiken (bench marking)

1 Minimikraven

4 Den teoretiskt optimala praktiken

2 De genomsnittliga värdena t ex i kommunen, landet, etc.

Tabell 5. Att bedöma en verksamhet – objektiva referenspunkter


kvantifierbara mått på prestationer och kvaliteter,som därmed kan användas av olika utvärderareoberoende av varandra.

Den första referenspunkten fastställer grundläg-gande krav i form av ”en miniminivå” som verk-samheten ska motsvara för att anses godkänd sompraktik. Frågan vid bedömning blir att avgöra omden utvärderade verksamheten uppfyller dessaminiminormer eller minimikrav för godkänt.

En annan typ av referenspunkt kan kallas för”den genomsnittliga praktiken”. Här jämförs ettantal verksamheter med varandra utifrån en gemen-sam kravspecifikation för att få fram genomsnitts-värden på olika prestationer. Det kan gälla jämfö-relser mellan verksamheter inom kommunen, lan-det, eller internationellt. Det utvärderingen under-söker i detta fall är hur en viss verksamhet står sigi jämförelse med genomsnittet för vad som preste-ras inom området. I ”trappan” har denna nivå lagtsöver miniminivån vilket givetvis kan diskuteras.Genomsnittet kan ju visa sig under de krav manvill ställa som lägsta acceptabla nivå.

En tredje typ av referenspunkt är att jämföramot ”den bästa praktiken” definierad som den somerhållit den högsta poängen, omdömet eller eko-nomiska utfallet etc, vid en jämförelse med andralikadana verksamheter inom området. I stället föratt som ovan jämföra mot en ”genomsnittlig prak-tik” frågar man här hur en viss verksamhet stårsig i förhållande till den som fick de bästa vär-dena vid jämförelsen (benchmarking).

Slutligen kan man tala om en fjärde typ avreferenspunkt i form av ”den optimala praktiken”som den kan formuleras som teoretisk idealbild.Exempelvis vad en verksamhet borde visa för eko-nomiskt resultat om den fungerar optimalt.

Referenspunkter av subjektiv karaktärSom framgår av figuren presenteras de mer sub-jektiva referenspunkterna inte som en rangordnadstege utan som fyra infallsvinklar. Dessa kan an-vändas var för sig eller i kombination beroendepå hur sammansatt utvärdering man vill göra ochvilka resurser som finns till förfogande.

En första typ av referenspunkter är de som kanuttryckas med hänvisning till ”egna intressen” somindivid eller grupp. Så sker exempelvis vid egen-utvärdering där den enskilde eller arbetslaget gran-skar sin verksamhet och bedömer hur man lyckasange de kriterier som man själva ställer upp. ”Vitycker att vi har nått våra mål vad gäller X, menvi är inte nöjda med Z och ska försöka förbättraverksamheten i det avseendet.”

En annan variant är att vidga basen och äventa med brukarna och ”användarintresset” som re-

1. Den enskildeindividenseller gruppensbehov ochkrav

4. Professio-nellagruppersbehov ochkrav

2. Brukarnas/användarnasbehov ochkrav

3.Intressenternasbehov ochkrav(allmän-intresset)

Figur 3. Att bedöma en verksamhet – subjektivareferenspunkter


ferenspunkt. Här blir det fråga om att bedöma ivilken grad som verksamheten uppfyller de aktu-ella målgruppernas, brukarnas, klienternas, kun-dernas, etc, förväntningar. Det kan t ex ta sig for-men av att undersöka om användarna är nöjda.

Det tredje exemplet är att ytterligare vidgabasen och utgå från ett brett intressentperspektiv.Avsikten är att bedöma hur verksamheten motsva-rar krav som samhället ställer utöver vad somanges av de direkta användarna. När frågan for-muleras utifrån ett bredare samhällsintresse blirdet tydligt hur utvärderingen kommer in på politi-kens domän.

Det fjärde exemplet på kriterier för bedömningär att utgå från mer ”professionella referens-punkter” och låta yrkesgrupper inom verksamhe-ten bedöma på vilken nivå verksamheten preste-rar. Skillnaden mot det som beskrivits som ”denoptimala praktiken” på skalan med objektivareferenspunkter ovan, är att bedömningen av kri-terier och nivå här handlar om en intuitiv process.Bedömaren använder sin expertkunskap för attavgöra kvaliteter intuitivt. Man kan jämföra meddomare vid bedömning av prestationer inom olikasporter där det inte används objektiva mätinstru-ment, exempelvis vid gymnastik och konståkning.Ofta består expert- eller professionell bedömningav en kombination av objektiva och subjektivamått (jämför bedömning av stil och längd vid back-hoppning).

Tre principer för att jämföraHittills har jag beskrivit på vilket sätt man kanresonera sig fram till på vilka värdegrunder utvär-deringen kan göras. När det gäller frågan om hur

mätning kan ske mer metodiskt kan man skiljamellan tre principer: (1) Jämförelse mot en uttryck-ligt definierad referenspunkt av något slag, t exmål, idé, teoretiskt kriterium. (2) Jämförelser mel-lan utvärderingsobjekt av samma slag. (3) Jämfö-relser av förändring över tid eller med andra ordhur utvärderingsobjektet har utvecklats.

Den första punkten kan beskrivas som en frågaom att sätta betyg på något i jämförelse med ettkriterium, exempelvis målrelaterade betyg i grund-skolan. Den andra principen handlar om att rang-ordna, där jämförelsen kan göras mellan verksam-heter i en kommun, mellan olika kommuner i lan-det osv. Det tredje sättet att göra bedömning är attse hur det som utvärderas har utvecklats under enviss tidsperiod. Här kan man hålla sig till måttsom är unika för det aktuella jämförelseobjekteteller till mått som är gemensamma inom det aktu-ella verksamhetsområdet. Intresset är främst attjämföra med den egna utvecklingen över tid, sna-rare än att jämföra med andra.

Vem ska bedöma?Är det utvärderarens uppgift att svara för bedöm-ningen eller ska han/hon svara för att beskriva ochöverlåta till beslutsfattare och berörda att värdera?Detta är en återkommande tvistefråga. Som fram-gick av den korta historiebeskrivningen i det för-sta kapitlet så har utvärderarens roll förändratsfrån att vara en expert på mätproceduren för attvisa om det finns skillnader, till att bli en recen-sent eller domare som uttalar ett omdöme om enprestation eller ett resultat.

Under senare år har även olika intressenterkommit in i bilden som bedömare, vilket ställer


utvärderarens roll i en ny dager. En fråga somdiskuteras är om utvärderaren ska leverera sinbedömning vid sidan av olika intressenter somytterligare ”en röst i kören”. Utvärderarens rollblir i det fallet inte att vara experten som kanavge ett värdeomdöme. Snarare blir han/hon ensamordnande resurs som sammanställer vad olikaparter anser. En annan linje hävdar att utvärdera-ren ska svara för att ur ett mer principiellt ochövergripande värderingsperspektiv avge ett sam-lat omdöme. I det senare fallet bildar intres-senternas bedömningar snarast ett underlag förutvärderaren vid sidan av andra data som han/hon ser som viktiga för sitt bedömningsarbete.(Utvärderarens roll ska behandlas mer ingåendei kapitel sju.)

Att väga samman resultatDen sista frågan i Scrivens generella manual förutvärdering gäller hur resultat kan vägas samman.Även denna fråga är föremål för en livlig debattbland utvärderare. En del vänder sig mot attutvärderaren alltid ska avkrävas ett sammanvägtslutligt omdöme. Ett argument mot sammanväg-ning är att de konflikter som kan finnas mellanolika bedömningar förminskas. Sammanvägningpremierar ofta konsensus eftersom det ofta blir detalla är överens om som lyfts fram. Det gör attsynpunkter från minoriteter som principiellt kanha en stor betydelse riskerar att komma bort. Pro-blemet kan illustreras med H C Andersens sagaom kejsarens nya kläder där barnet avslöjar enkollektiv lögn. I stället för att sammanfatta vadmajoriteten anser kan en uppgift för utvärderaren

vara att söka efter ”det genomskådande barnet”bland bedömarna. Eller med andra ord att repre-sentera en kritisk bedömning som på rationellagrunder kan visa alternativa tolkningar som ärviktiga att beakta. Ett annat argument mot att vägasamman resultat är att det reducerar precisionennär man, för att uppnå jämförbarhet, tvingas an-vända generella termer.

Är alla offentliga tjänster jämförbara?Låt oss stanna upp lite och se på diskussionen omsammanvägningsfrågan i förhållande till vilken typav resultat man talar om. Alla resultat är inte avden arten att man kan sammanfatta och jämföramellan verksamheter. Problemet är att en stor delav det som produceras i offentlig verksamhet ärtjänster och inte materiella produkter. Det somutmärker en tjänst är att den för det första är nå-got immateriellt, vilket gör den svårare att utvär-dera innan man har köpt eller förbrukat tjänsten.För det andra produceras ofta en tjänst samtidigtsom den ”konsumeras” och för det tredje är tjäns-ten en process som pågår, men influensen eller på-verkan från tjänsten kan pågå långt efter det attsjälva tjänsten konsumerats. Det är mot bakgrundav denna komplexa bild som frågan om i vilkengrad det råder jämförbarhet mellan olika offent-liga tjänster ställs.

Forskaren Rolf Sandahl, verksam vid Riksre-visionsverket, har gjort en analys av olika typerav prestationer och gör följande gradering av jäm-förbarhet mellan prestationer inom offentlig verk-samhet.64 Jämförbarheten sjunker ju längre ned pålista man kommer.


1. Identiska prestationer

2. Typlika prestationer

3. Besläktade prestationer

4. Unika prestationer

”Identiska prestationer”: Här kan man nämnaexempel på offentliga tjänster som utfärdandet avpass, körkort, inspektion, kontroller, där varje en-skild prestation kan jämföras. Man kan exempel-vis kontrollera om det finns någon felfrekvens iutförandet av tjänsterna, om det skiljer sig mellanolika utförare när det gäller väntetider för att fåtjänsten utförd, osv.

”Typlika prestationer”: Här rör vi oss medtjänster som sinsemellan är olika, men där grup-per av tjänster kan jämföras. Exempelvis kan manjämföra antal platser i barnomsorgen och äldre-omsorgen mellan olika kommuner.

”Besläktade prestationer”: Till denna kategorihör grupper av prestationer som i viss utsträck-ning kan jämföras. Exempelvis prestationer i formav revisionsrapporter och utställningar. Var ochen av dessa prestationer är unik, men det finnsockså gemensamma inslag som gör att man kanuppfatta vissa likheter.

”Unika prestationer” är exempelvis en infor-mationskampanj, en utfärdad riktlinje eller anvis-ning, en forskningsrapport. Här utgör varje pre-station ett specialfall som måste bedömas efter sittspecifika innehåll.

Inom kommunal verksamhet torde det finnas ex-empel på samtliga fyra typer av prestationer. Ten-densen i debatten om utvärdering och kvalitetssäkringär dock att betrakta alla prestationer som möjligaatt reducera till identiska eller typiska för att där-med kunna jämföra dem i kvantitativa termer.

Strategier för att väga sammanDen fråga som kvarstår är hur man kan utvärderade mer unika prestationerna utan att det resulterari långtgående förenklingar. En tänkbar strategi kanvara att organisera mötesplatser för berörda in-tressenter som kan föra en dialog kring hur de serpå resultaten. Utfallet av sådana möten kan varabeskrivningar av mönster som visar verksamhe-tens svaga och starka sidor. Som hjälp att tänkarunt sådana strategier kan man förutom att skiljamellan komplexa och enkla resultat, även skiljamellan våra föreställningar och intressen att före-språka eller motarbeta vissa resultat. ForskarnaBertil Rolf, Eskil Ekstedt och Ronald Barnett harformulerat en analysmodell för dessa variabler sombeskrivs i figuren nedan. 65

Figur 4. Strategier vid sammanvägning av resultat

Instruktioner,utbildning

Rationellasamtal, dialog

Samordning avföreställningar

Samordningav intressen

Stabila enklaresultat

Mål ochriktlinjer

Förhandling ochkompromisser

1 3

2 4

Komplexadynamiskaresultat


1–2. Problem med att sammanställa mer enty-diga och stabila resultat kan bero på bristande kun-skaper om hur olika resultat kan klassificeras ochbearbetas, t ex med hjälp av statistiska metoder.Problemet kan också bero på oklara besked omvilka resultat som ska prioriteras. Strategier föratt hantera dessa problem visas i figurens vänstrasida och kan vara utbildning eller att ange klararemål och riktlinjer.

3–4. Problem med att sammanställa merkomplexa och dynamiska resultat kan handla ombristande överensstämmelse i föreställningar omvilka de centrala frågorna är. Problemet kan ock-så handla om intressekonflikter. Att väga sammankomplexa resultat ställer krav på andra strategierän när man rör sig med mer stabila och entydigaresultat. Exempel på sådana strategier redovisas ifigurens högra sida. För att samordna olika före-ställningar hos intressenterna krävs en dialog ochen beredskap att se de nya infallsvinklar som an-dras perspektiv kan ge och en vilja att eventuelltompröva egna uppfattningar. För att hanteraintressekonflikter krävs också en förhandlingsviljaoch en beredskap att nå kompromisser.

Att bedöma – en översiktTabellen till höger är en sammanställning över defyra huvudpunkterna som beskrivits i kapitlets in-ledning för hur bedömningsarbetet vid utvärderingkan gå till.

Huvudpunkterna kan användas som utgångs-punkt för att se närmare på de två exemplen påutvärdering från Östersund och Växjö.

Praktiska exempelValet av värdekriterier i utvärderingen i Östersundbaseras främst på de mål för hemtjänsten som po-litikerna i kommunen angivit: Tillgång/ tillgäng-lighet, personkontakt/bemötande, kompetens, in-flytande, kontinuitet, meningsfullhet och gemen-skap.

De mer preciserade mått eller mätpunkter somanvänds utgörs av ett antal indikatorer av objek-tiv karaktär som preciserar målen. För tolkningenav målet ”tillgång/tillgänglighet” anges åtta måtteller referenspunkter, varav följande exempel geren uppfattning om preciseringens karaktär: att vetavart man vänder sig och på vilka tider man nårnågon inom hemtjänsten; att ha tillgång till infor-

MålTeoriIntressenDemokratiska och kulturellavärden

ObjektivaSubjektivaIntersubjektiva tolkningar avolika mått eller referens-punkter för bedömning

· Med ideal och verksamhet· Mellan olika verksamheter· Med utvecklingen över tid

Kvantitativa resultatsummeras till ”totalbetyg”.Bearbetas med statistiskmetod.

Kvalitativ analys avkomplexa resultat. Bearbe-tas i dialog med olikaintressegrupper.

Tabell 6. Fyra huvudpunkter vid bedömning

1. Värdekriterier attbedöma mot

2.Typ av bedömningoch referenspunkter

3. Tre principer föratt jämföra

4. Strategier att vägasamman resultat


mation om hemtjänstutbudet; att få kunskap ombehovsbedömningens grunder; att få tillgång tilladekvat behandling (t ex smärtlindring); handi-kappanpassade lokaler och bostäder. För målet”kontinuitet” är indikatorerna indelade i tre ty-per: personal, omsorgs- och tidskontinuitet. Strä-van ska vara att brukaren inte utsätts för onödigapersonalbyten mot sin vilja och trygghet, att hjäl-pen ges på samma sätt – det överenskomna, ochatt brukaren får hjälpen på överenskomna tider.

Metoden för bedömning är att jämföra denutvärderade verksamheten mot de ideal somkvalitetsdimensionerna beskriver. Vad gäller stra-tegi för sammanvägning så sammanfattadeutvärderaren resultaten inom var och en av dekvalitetsdimensioner som politikerna fastställt.

Däremot summerades inte sammanställningar-na till något totalomdöme om hemtjänsten. I stäl-let gjorde utvärderaren en allmänt hållen kommen-tar om att verksamheten hade en god kvalitet, menatt utvärderingen visade att det fanns en del pro-blem som behövde uppmärksammas, t ex behovav att personalen ägnade mer tid till kontakter medvårdtagarna.

Utvärderingen i Växjö består i praktiken av tresepararata utvärderingar. I den första del-utvärderingen, som gäller ekonomisk bedömning,är besparingsmål och effektivitetsmått mätpunkter.Metoden för bedömning är att ställa den genom-förda verksamheten mot en idealbild i form av enteoretisk modell för vad verksamheten skulle hakostat. Resultatet av jämförelsen summerades tillen slutresultat för hela projektet vad gäller ekono-misk effektivitet.

I den andra utvärderingen, som gäller hand-läggarnas arbete, dvs en processutvärdering, for-muleras värdekriterierna på basis av en teori omsocial interaktion. Med utgångspunkt från teorinresonerar utvärderarna sig fram till tänkbara”mått” för att bedöma genomförandet. Bedömnings-metoden består i att jämföra empiriska observa-tioner mot dessa teoribaserade kriterier. Utvärderar-na avslutar med att avge ett samlat omdöme omhur projektarbetet genomfördes.

Den tredje utvärderingen i Växjö gäller föränd-ringar i livskvalitet och upplevd hälsa för de somdeltog i projektet. Värdekriterierna för utvärde-ringen av livskvalitet formuleras utifrån en teoriom vilka behov människor måste få tillgodoseddaför att leva ett drägligt liv. Utifrån detta behovs-teoretiska resonemang formuleras också referens-punkter för att bedöma klienternas situation. Me-toden för bedömningen av livskvalitet är att mätautveckling över tid och se på förändring hos klienter-na efter deltagande i programmet. Utvärderarnagör till sist en sammanvägning av resultaten tillett totalomdöme om vad projektet har inneburitför klienternas livskvalitet.

SammanfattningUtgångspunkten för detta kapitel har varit att ge enbeskrivning av hur bedömingsarbetet kan organise-ras. Resonemanget har förts med hjälp av MichaelScrivens logik för bedömning i form av fyra frågor.Den första gäller urvalet av värdekriterier att bedömamot. Här beskrevs olika alternativ i form av mål-,teori-, intressent- och kulturellt baserade kriterier.


Den andra frågan gäller att ange mått och ni-våer för dessa kriterier. Här skilde jag mellan denobjektiva ståndpunkten att det finns generellavärderingsprinciper, den subjektiva ståndpunktenatt alla bedömningar är beroende av tolkaren, samtden dialogiskt intersubjektiva ståndpunkten att detgår att göra bedömningar utan att fastna iobjektivismens eller subjektivismens antingen-el-ler-resonemang. I stället kan värderingsprinciper-na utformas efter en diskussion mellan bedömaresom försöker sätta sig in i och förstå den andressynpunkter. Med denna filosofiska analys som rambeskrev jag ett antal referenspunkter för bedöm-ning.

Scrivens tredje fråga gäller hur bedömningarkan utföras. Här beskrev jag tre principer: Att jäm-föra mot en tydlig utgångspunkt, att jämföra mel-lan utvärderingsobjekt och att jämföra hur detaktuella utvärderingsobjektet utvecklas över tid.

Den fjärde frågan slutligen gäller om och hurman kan väga samman och jämföra resultat frånverksamheter av vitt skilda slag. Här visade jagatt det finns kommunala verksamheter därjämförbarheten är låg och andra där jämförbar-heten är större. En fråga blir därmed hur man kanhantera sammanvägning av resultat med radikaltolika karaktär. En tänkbar väg är att på sammasätt som i frågan om urval av kriterier och måttförsöka skapa ett öppet och ”maktfritt” samtalmellan utvärderingens olika intressenter.

51 Guba & Lincoln (1989) s. 57ff, talar om ”organizers” dvsorganiserande begrepp, som de kriterier eller frågor som styrhur utvärderingen blir utformad.52 Scriven (1980).53 Hur mål kan utformas för att vara styrande diskuteras avPhilgren & Svensson (1990) s. 44. Se även Kriterier och an-visningar för 1995 års Kvalitetsutmärkelse Svensk Skola(1994). För en kritisk granskning av målfrågan se Rombach(1991).54 Åberg (1997) s. 88f.55 House (1989) s. 45–64.56 Karlsson (1990).57 Hermerén (1987) s. 13ff.58 Bergström (1990) s. 61–72, 88.59 Indelningen utgår från Lindensjö & Lundgren (1992) s.223 och House (1983).60 Bernstein (1983) s. 2f. Det bör påpekas att uppdelningenmellan objektiv-subjektiv är problematisk. Bernstein menaratt man snarare bör tala om objektivism-relativism. För enanalys av skillnaden mellan begreppsparen se t ex sid 8–16.61 Kvale (1996) s. 64ff.62 Wallin (1998).63 Lindensjö & Lundgren (1992).64 Sandal (1991) s. 17ff.65 Rolf, m.fl (1993) s. 109. Se även Krogstrup (1997) s.223ff, för en diskussion kring ”tama” och ”vilda” problemsom metaforer för modellens ”stabila och enkla” respektive”komplexa och dynamiska resultat”.


6. Utvärderingens praktik

YFTET MED detta kapitel är att beskriva olikasynsätt på utvärderingens praktik. De per-spektiv på praktiken som diskuteras bland

utvärderingsforskare inleder kapitlet. Tio olikamodeller för utvärdering knyts till de olika per-spektiven och ringar in vad en viss utvärderingprioriterar för frågor, metoder och innehåll.Utvärderingens praktik på tekniknivå, dvs olikasätt att samla data om utvärderingsobjektet, lig-ger utanför den här bokens syfte. Framställningenhar strukturerats utifrån följande två frågor: Frånvilket strategiskt perspektiv sker utvärderingen?Med vilken modell eller design utformas utvärde-ringen?

Strategiska perspektiv vidutvärderingEn indelning av olika utvärderingsmodeller kangöras på flera sätt.66 En variant är att utgå frånvärdekriterier, om utvärderingen baseras på ob-jektiva eller på mer subjektiva värderingar, ochdela in utvärderingsmodeller i dessa två grupper.Här brukar man tala om produktinriktade och in-tuitivt inriktade modeller. Ett annat exempel påklassificering som förekommer i utvärderingslit-teraturen är att utgå från vad som utvärderas, t exsystem, mål och resultat, beslutsalternativ. Entredje variant är att dela in modeller efter vem det

är som utför eller antas medverka i utvärderingen,t ex expert, intressent eller brukare. En fjärde in-delningsgrund är att tala om olika strategier förutvärdering, dvs låta frågan om varför utvärde-ring sker vara utgångspunkten. Man kan här skiljamellan (1) utprövande och mätande, (2) upplysandeoch förklaringsinriktade, samt (3) interaktiva,samarbets- och förändringsinriktade strategier. 67

I det följande avsnittet ska jag granska vad detinnebär för valet av utvärderingsmodell om manutgår från ett visst strategiskt perspektiv. Valet avutgångspunkt sker med tanke på bokens målgruppav beslutsfattare som förmodas göra strategiskaöverväganden inför val av syfte och form för ut-värdering.

Den utprövande strateginDen utprövande och mätande strategin innebär attsöka den bästa lösningen på sociala problem ellerandra behov genom att testa vilket alternativ somär mest effektivt för att nå målen (nyttan). En ut-gångspunkt i denna prövningsprocess är att det ärmindre viktigt att veta hur eller varför en viss lös-ning fungerar. Det viktiga är att den fungerar.Tankegången kan beskrivas så här: Om du vill hahjälp med att tillgodose ditt behov X så kan utvär-deringen ge besked om att Y fungerar bäst. Om duvill ha en rymlig och familjevänlig bil, köp detta

S


märke, det är ”bäst i test”. Om du vill bli botadfrån din huvudvärk, tag denna medicin, den ärvetenskapligt utprövad. Om det du vill lösa är ettpedagogiskt eller socialt problem av detta slag,använd denna metod eller insats, den är utvärderadoch bedömd som effektivast osv. Hur bilen, medi-cinen, metoden eller insatsen verkar behöver duinte känna till. Utvärderingen har jämfört alterna-tiven utifrån dina användningsbehov och visat vil-ket som är bäst.

Förespråkarna för denna strategi ser somutvärderingens uppgift att ge service till en bredpublik. Därför föredrar de metoder som ger tillför-litliga ”vardagsslutsatser” som kan presenteras förmånga olika intressenter, politiker, ledning, bru-kare, allmänheten. Man utgår från att det existe-rar bra lösningar på ”marknaden”. Genom att ut-värdera alternativen ges en överblick för tänktaanvändare som sedan kan göra sin egen bedöm-ning. Man kan säga att utvärderingen har en be-svarande och kontrollerande funktion.

Målet är att utvärderingen ska reducera osä-kerhet om vilka effekter som en viss lösning ger,snarare än hur man kan förbättra den. Utvecklings-ansvaret ligger hos den som producerar varan el-ler tjänsten och inte hos utvärderaren. Det är inteheller utvärderarens uppgift att säga vilket av deprövade alternativen som slutligen ska väljas. Närdet gäller sociala insatser eller alternativ inomoffentlig verksamhet är det politikerna som ansva-rar för dessa beslut.

Strategin har varit dominerande inom utvär-dering men dess popularitet har dalat då mångaav dess antaganden visat sig problematiska. Denutprövande strategins metoder har inte kunnat geklara svar på vilka lösningar som är de bästa för

att hantera sociala, pedagogiska eller andra sam-hälleliga problem. Ett annat kritiserat antagandeär att de lösningar som identifieras som ”de bästa”ska bli spridda och användas automatiskt. Kriti-kerna menar att människor väger in en rad be-dömningar av värdemässig och känslomässig ka-raktär vilket gör att sociala förändringsprocesserinte är så lättstyrda som strategin förutsätter.

Den förklaringsinriktade strateginDen upplysande och förklaringsinriktade strateginssyfte är att få kunskap om processer, hur de gårtill, kan utvecklas och vad de betyder för de in-blandade. En grundläggande tanke här är att olikalösningar på sociala frågor och problem kan visasig olika framgångsrika inom olika grupper. Härgäller det inte att utse den ”bästa lösningen” eller”det bästa köpet” för alla. Man tror inte heller atten viss lösning kan införas på något enkelt sätt ien verksamhet. Snarare ligger betoningen på attse varje förändring i sitt sammanhang och upp-märksamma de specifika omständigheterna.

Utvärderingens uppgift är att bidra med kun-skaper om varför lösningar kan fungera i vissasituationer och inte i andra. Som syfte betonar mankognitiv, upplysande användning av utvärdering.För att genomföra analyser av detta slag behöverutvärderaren bilda sig en mer teoretisk förståelseav utvärderingsobjektet och av social förändring.Teorin ska ge viktiga begrepp för att beskriva ochanalysera dels problemets karaktär, dels de logiskarelationerna mellan problem och åtgärd.

Problemet med strategin är hur man ska kunnakonstruera tillräckligt praktiskt användbara teo-rier som ger de berörda möjlighet att se var deras


frågor kommer in i bilden och blir besvarade. Stra-tegin är ofta inriktad på att utveckla generell kun-skap om hur sociala problem kan bearbetas ochtenderar att anlägga ett ”helikopterperspektiv”. Ettsådant kan vara viktigt för att skaffa en överblicköver sammanhang, men risken är att detaljernablir mindre synliga. Detaljer som kan vara nöd-vändiga för den som ska utföra verksamheten ipraktiken.

Den interaktiva strateginEn tredje huvudstrategi inom utvärdering är sna-rast en samling av strategier med interaktion mel-lan olika intressenter som den gemensammanämnaren. Med anknytning till metaforen ovankan man säga att strategin betonar att utvärdera-ren bör befinna sig ”på marken”, i kontakt medde som berörs eller har intressen i verksamheten.Dessa kan vara såväl beslutsfattare och användaresom mer perifera intressenter till verksamheten,exempelvis skattebetalare och representanter förorganisationer som engagerar sig inom området.Ambitionen att vända sig till olika aktörer väckerfrågan om utvärderingen i första hand ska priori-tera de som är direkt berörda eller ha ett brett per-spektiv på intressenter.

Den interaktiva, samarbets- och förändringsin-riktade strategin söker i första hand utvärderings-resultat som gäller för den aktuella verksamheten.Den söker med andra ord lokal eller situations-bunden kunskap. Utvärderarens uppgift är att för-söka medvetandegöra olika berörda intressenterom problem och behov som behöver åtgärdas.Förespråkarna för interaktiv utvärdering kritise-rar också andra strategier för att vara alltför sam-

mankopplade med traditionell social forsknings-metod på bekostnad av lokala teorier och metodersom involverar de berörda. De är även kritiskamot att rikta sig till diffusa allmänintressen medinformation i stället för att ge de berörda den in-formation de behöver. Kritiken riktas också motatt resultat inte presenteras snabbt nog för att an-vändas i beslutsprocessen.

Argument som i sin tur riktas mot deninteraktiva strategin är att den med sin starka be-toning på samverkan med de närmast berörda fårett alltför begränsat kunskapsperspektiv. Kritikernamenar också att strategin bygger på en orealistisksyn på möjligheterna att utbilda alla intressentertill kritiska, engagerade medutvärderare. Ytterli-gare en kritik är att strategin inte har givit någraklara bevis på att ge bättre utdelning för beställa-ren än andra, mindre kostnadskrävande former avutvärdering.

Sammanställning av strategieroch modellerI tabellen på nästa sida beskrivs de tre huvud-strategier som har redovisats ovan och ett antalutvärderingsmodeller som brukar anges i utvärd-eringslitteraturen. Strategierna och modellernakopplas här till tre olika beslutsnivåer i kommunalverksamhet: (1) den övergripande nivån, dvs kom-munfullmäktige, kommunstyrelse och förvalt-ningsledning, (2) mellannivå som kan vara ett di-strikt eller en kommundel, eller i mindre kommun-er en platschef, skolledare etc, samt slutligen (3)den praktiska verksamhetsnivån. På varje nivå form-uleras utvärderingsbehovet utifrån de förutsättningaroch frågor som nivån ansvarar för. Det innebär att


de tre strategier som jag har beskrivit ovan fårolika uttryck. Olika frågor kan naturligtvis över-lappa mellan nivåerna liksom olika utvärderings-modeller kan vara aktuella på flera nivåer.Tabellen ger en generell överblick, där ett urvalav frågor och modeller visar hur en analys avutvärderingsstrategi och modell kan göras.

UtvärderingsmodellerNedan ska de olika utvärderingsmodeller somnämns i tabellen beskrivas närmare. Med model-ler menas mer preciserade ansatser eller tillväga-gångssätt för att genomföra utvärdering. Det börpåpekas att även om de flesta utvärderingsforskareanvänder sig av modellnamn som liknar de somräknas upp, så finns det inget enhetligt beskriv-

ningssystem som alla ansluter sig till.68 Modell-indelningar kan användas både normativt för attplanera en utvärdering och som analytiska hjälp-medel för att kunna diskutera kring den svåröver-skådliga mängd varianter av utvärdering som manmöter i praktiken. De klassificeringar som olikamodellindelningar representerar gör det möjligt attkritiskt granska olika utvärderingar, t ex med av-seende på för vem den sker och med vilket syfte.

1. SystemanalysUtvärderingen innebär att ett system jämförs medett annat, t ex två olika skol-, sjukvårds- ellersocialvårdssystem. Detta sker genom att främst sepå utfallet av systemen, där frågan är vilka alter-nativ som ger bästa utfall till vilken kostnad. Förutvärderaren är uppgiften att samla empiriska

3. Interaktivt ochförändringsinriktad

Vilka behov finns? Hurkan man påverka/förändraförväntningar och behov?

Intressentmodellen(omfattar ofta fleranivåer)

Vad betyder insatsen förbrukare? Hur samarbetaför att utvärdera?

Brukarmodell

Hur bedömer användarnainsatsen? Kan de påverka?

Målfri utvärderingBrukarmodell

Strategi/Beslutsnivå

Centrala beslutsfat-tare i kommunen

Exempel på modell:

Mellannivå, t exdistriktsledning,skolledare, etc.

Exempel på modell:

Praktiskverksamhetsnivå

Exempel på modell:

1. Utprövande ochmätande

Vilket system fungerareffektivast? Vad gerinsatsen för resultat?

SystemanalysMål-resultatmodell

Hur omsätta mål tillbeslut och riktlinjer?

Beslutsmodell

Vad ger insatsen förkonkret måluppfyllelse?

Expertmodell

2. Upplysande ochförklaringsinriktad

Hur verkar insatsengenerellt? Vilka ärproblemen?

Teorimodell för utvärde-ring(deduktiv ansats)

Hur kan organisationengöras effektivare?

Aktionsforskningsmodell

Hur fungerar insatsenlokalt och hur kan denutvecklas?

SjälvutvärderingYrkesmässig reflektionTeorimodell (induktivansats)Aktionsforskningsmodell

Tabell 7. Strategier och utvärderingsmodeller på olika beslutsnivåer


översiktsdata och statistiskt analysera dem för attförse beslutsfattare med kunskaper om systemetseffektivitet. Effektmätning och kostnader (budget-utfall) är vanliga jämförelsepunkter. Det kan ex-empelvis gälla att bedöma olika utbildningssys-tem genom att använda sig av kunskaps- ochbegåvningsprov som metoder och testpoäng sommått.

2. BeslutsmodellenBeslutsinriktad utvärdering fokuserar på sådanavariabler som beslutsfattarna kan kontrollera ochbesluta om. Exempelvis vilka mål som ska gälla,hur organisationen ska se ut, vilka medel den skaha, hur verksamheten ska genomföras, om verk-samheten ska fortgå, modifieras eller avbrytas.Utvärderingen sker mot vedertagna kriterier förvad som anses utmärka ”bra” verksamhet, oftauttryckt i värden som effektivitet och nytta. Utvär-deringen har likheter med hur traditionellutredningsverksamhet tar fram beslutsunderlag ochförslag till beslut.

3. Mål-resultatmodellenUtvärderingen jämför mål och resultat, t ex hurväl elevers kunskaper motsvarar undervisningensmål. Jämförelsen sker vanligtvis genom att uttryckamål och effekter i samma termer. Det önskvärdatillståndet eller beteendet som målet uttrycker skakunna mätas som resultat, företrädesvis med kvan-titativa metoder, testmetodik, systematiska obser-vationer etc. Fokus ligger på vad som blev sna-rare än på hur det blev så, dvs utvärderingen haren summativ snarare än en formativ inriktning ochkoncentreras på slutresultatet.

4. Målfri utvärdering (konsumentmodell)Den målfria utvärderingen har ett något vilsele-dande namn eftersom mål spelar en central rolläven i denna modell. Men i stället för att utgåfrån officiella mål, tas utgångspunkten i andra målnär resultatet ska bedömas. Vilka dessa mål kanvara är inte så klart, men betoningen i utvärde-ringen ligger på kundens eller brukarens behov ochnytta. Tanken är också att utvärderaren kan upp-täcka bieffekter och andra resultat än de som ut-pekas inom det officiella målområdet.

5. ExpertmodellenExpertmodellen innebär att utvärderaren utgår frånkriterier som han/hon själv ställer upp som sak-kunnig. När det gäller t ex social verksamhet därutvärderingen ska bedöma komplicerade proces-ser är det främst utvärderarens intuitiva bedöm-ning med en mängd sammansatta kriterier somanvänds. Kriterierna legitimeras av utvärderarensspecialistkunskaper inom området. Expertisen kanockså handla om att vara specialist på utvärderings-metodiken. Med den betoningen på expertkunskapkan man tänka sig att utvärderaren kan utgå frånkriterier som beskrivs av andra.

6. Teoriinriktad utvärderingEnligt den teoriinriktade utvärderingen utgårutvärderaren från en teoretisk referensram.Referensramen kan vara en beskrivning avutvärderingsobjektets tillkomst, framväxt, organi-sation, mål, metoder och samhälleliga koppling.Den kan också ta upp aktuell debatt och problemi verksamheten. Enligt teorimodellen ska utvärde-ringen ge ett vidgat diskussionsunderlag där


förändringsarbetet kan förankras i insikter om hurverksamheten styrs och begränsas av de villkorsom gäller. Som framgick i kapitel fyra kan teorinvara i form av etablerade och beprövade teorier.Då styrs utvärderingen av ett kunskapsintresse re-presenterat av forskarsamhället. Man kan ocksåtala om en utvärdering som bygger på lokala teo-rier rekonstruerade ur aktörernas referensramaroch föreställningar om verksamheten.69

7. Självutvärdering, kritisk reflektionModellen går ut på att de människor som har tilluppgift att genomföra en bestämd verksamhet gestillfälle att reflektera över och sätta in sitt kon-kreta handlande i relation till målet för verksam-heten. Modellen kan exemplifieras med arbetet iförskolan där en enskild pedagog eller ett arbets-lag kan utvärdera sitt arbete i relation till en sär-skild uppgift som de ansvarar för. Genomförandeav utvärderingen kan göras genom att den enskildeförskolläraren och arbetslaget samlar in materialsom dokumenterar och på olika sätt illustrerar vadbarnen har arbetat med. Dokumentationen liggertill grund för reflektioner och diskussioner i arbets-laget och tillsammans med barn och föräldrar.70

8. BrukarmodellenHär avses med brukarmodellen den form av inter-aktiv utvärdering som bygger på att olika berördaparter kontaktas och medverkar i utformningen.Det är utvärderaren som ansvarar för och driverutvärderingen, men det sker i nära samarbete medde berörda inom den verksamhet som granskas,t ex brukare, personal och ledning. Brukarmodellenkan ses som en variant av intressentutvärdering(se nedan) men med en mer avgränsad målgrupp.

I jämförelse med den målfria utvärderingen somockså har konsumenten/brukaren i centrum är detinte lika självklart att det endast är nyttokriterietsom utgör grundvärdering. Snarare ligger här be-toningen på demokratiska kriterier och möjlighe-terna för berörda att påverka.

9. IntressentmodellenIntressentmodellen vidgar skaran av berörda delta-gare i jämförelse med brukarmodellen. Intressen-terna kan vara användare, utförare, ansvarigabeslutsfattare, finansiärer, institutioner som drab-bas av kostnader och sidokonsekvenser och ävende som har ett allmänt politiskt intresse inomverksamhetsområdet. Utvärderaren har en nyck-elroll som samordnare och ansvarig genomförare.Modellen ställer krav på utvärderaren att lyssnapå vad olika intressenter anser och vill ha ut avutvärderingen. Det innebär att frågan om vilkadelar av en verksamhet som ska bedömas och motvilka kriterier kan bli föremål för diskussion ochförhandling mellan ett stort antal parter. Utvärde-ringen blir därmed relativt resurskrävande samti-digt som möjligheterna till förankring hos de somberörs och är intresserade är stora.

10. Aktionsforskningsinriktad intressentutvärderingEn radikalare variant när det gäller att ge de be-rörda en aktiv roll som har utvecklats under senareår är en form av aktionsforskningsinriktad intressent-utvärdering. Här tjänar utvärderaren snarast somresurs för intressenterna att själva utvärdera de frå-gor de prioriterar. Syftet är att ge alla berörda grup-per en chans att göra sin röst hörd, men med speci-ell tonvikt på resurssvaga grupper. En variant avdenna modell har ”empowerment” som centralt


begrepp med vilket avses att stärka de berörda par-ternas egen förmåga till makt och inflytande.

Tabellen ovan ger en översikt av de olikautvärderingsmodeller som redovisats.

Praktiska exempelUtvärderingen av hemtjänsten i Östersund är gjordmed en tydlig mål-resultatmodell. Utvärderarens

uppgift är att kontrollera om utföraren hade upp-fyllt beställarens, dvs omsorgsnämndens, mål en-ligt det avtal som upprättats. Utvärderingen skerfrån politikernas perspektiv som övergripande an-svariga för verksamheten och med kriterier sompolitikerna beslutat i mål för hemtjänsten. Meto-den är att jämföra mål och resultat och man ute-sluter medvetet att utgå från personalens perspek-tiv – eftersom det är verksamhetsstyrelsen, inte

Tabell 8. Översikt av utvärderingsmodeller

Syfte

Bedöma system t exför utbildning

Ge underlag förrationella beslut

Kontrollera mål-uppfyllelse

Bedöma nyttan förbrukare, kunder

Värdera professionellstandard

Öka förståelsen förprocessvillkor

Öka medvetenhet omvad som fungerar ochinte

Bedöma det relativavärdet för brukaren

Värdera urintressegruppensperspektiv

Stärka och utvecklainflytande ochegenmakt

Från vemsperspektiv

Beslutsfattare ochsystemanvändare

Beslutsfattare påöverordnad nivå

Politiker/tjänstemänpå överordnad nivå

Brukare, kunder

Beställaren och andraexperter

Berörda användareForskarsamhället

Verksamhetensutförande

Berörda användareeller brukare

Berörda användaresamt övriga intresse-rade

Berörda användarespeciellt svagagrupper

Kriterier

Effektivitet ochkostnader

Beslutsalternativ,kostnader, nytta

Preciserade mål iresultattermer

Kundens, brukarensnyttokriterier

Etablerade kriterierinom professionen

Kriterier i etableradealternativt lokalateorier

Professionellakriterier på godverksamhet

Officiella mål ochbrukarnas preferenser

Officiella mål samtför- o. nackdelar förolika intressenter

Förändringsbehov förutsatta grupper

Frågor/ Modeller

1. Systemmodell/analys

2. Beslutsmodell

3. Mål-resultat-modell

4. ”Målfri”utvärdering

5. Expertmodell

6. Teorinriktadutvärdering

7. Självutvärdering

8. Brukarmodell

9. Intressentmodell

10. Aktions-forsknings-inriktadintressentmodell

Metod

Jämföra kostnaderoch result

Behovsanalyser, jfr.olika verksamheter

Jämföra mål ochresultat

Undersöka motkundens behov

Kritisk granskning avvillkor, miljö ochgenomförande

Forskningsmetod attkritiskt beskriva ochförklara

Egen reflektion,diskussion medkollegor o. berörda

Samarbete medberörda för attjämföra resultat

Observationer,intervjuer, möten,fallstudier, dialog

Kritisk granskning ochdialog


nämnden, som har personalansvaret – till förmånför frågor om kvalitet för brukarna.

I de tre utvärderingarna som genomfördes avprojektet 4Ö i Växjö praktiseras flera olikautvärderingsmodeller. Den ekonomiska utvärde-ringen kan beskrivas som systemanalys, där me-toden är att jämföra kostnader och resultat moteffektivitetskriterier utifrån beslutsfattarens ochsystemanvändarens perspektiv. Handläggarnasarbete utvärderas med utgångspunkt från teoretiskaresonemang kring grupprocesser. Utvärderarna for-mulerade först en teori om vad som utmärker olikatyper av grupper och grupprocesser och en kom-munikationsmodell med ett antal centrala begreppsom de sedan utgick ifrån när de samlade data omhandläggarnas arbete. Det gör att man möjligenkan säga att utvärderingen utgick från en teori-inriktad, eller kanske snarare teoribaserad modell.Skillnaden kan beskrivas som en fråga om var teo-rin kommer in i bilden. Vid teoribaserad utvärde-ring används en formulerad teori som utgångs-punkt och styr vad som ska uppmärksammas. Viden teoriinriktad utvärdering görs kopplingar tillteori i analysen av utfall för att försöka att för-klara och förstå resultaten på en teoretisk nivå.

Utvärderingen av klienternas åsikter om livs-kvalitet och upplevd hälsa kan ses som en form avmålfri utvärdering. I stället för att utgå från pro-jektets mål utgick utvärderarna från klienternasupplevelse av hälsa och livskvalitet. Det är såle-des klienternas ”nyttokriterier” som står i fokus.Men utvärderingen kan också ses som en variantav teoribaserad utvärdering. Utvärderarna utgårfrån teorier om människors grundläggande behovför att fokusera vilka frågor som ska utvärderas

och anger tre viktiga dimensioner i form av fy-sisk, psykologisk och social livskvalitet.

SammanfattningI detta kapitel har två frågor behandlats: fråganom med vilket perspektiv utvärderingen sker ochmed vilken modell den kan genomföras. I kapitlethar betoningen legat på val av modell utifrån stra-tegiska överväganden. Tre strategiska perspektivhar beskrivits i form av den utprövande strategin,den upplysande strategin och den interaktiva stra-tegin. Med utgångspunkt från dessa tre vägval kanföljande konsekvenser beskrivas: (1) utvärderingsom testverksamhet för att visa bästa val i enbeslutssituation, (2) utvärdering som ger tillskotttill den samlade kunskapsmassan, (3) utvärderingsom ger möjligheter för olika intressenter att en-gagera sig i bedömningen.

Också i valet mellan olika modeller för hurutvärderingen kan utformas mer konkret, kan olikaperspektiv anläggas. Ett tiotal modeller har be-skrivits som ger en uppfattning om den variationsom finns inom utvärderingsläran. Å ena sidan kanman utgå från ledningsintressen eller professionellaintressen vid utvärdering. Å andra sidan kan manutgå från de som deltar i verksamheten. Vi kanhär tala om ett ”elitistiskt” respektive ett ”massin-riktat” perspektiv.71 Utvärdering som görs från”elitens” perspektiv går ofta ut på att kontrolleraverksamhetens kvalitet och effektivitet. En vanligmetod är att göra fortlöpande beskrivningar uti-från ett antal ”nyckelvariabler” (uppföljning) till-sammans med specifika utvärderingar av vissa as-pekter. Utvärdering kan också göras från en un-


derordnad nivå mot en överordnad. Man kan ex-emplifiera med elevers utvärdering av undervis-ning, eller brukarnas utvärdering av verksamhe-tens innehåll, metoder och resultat.72 Genom-gången visar att valet av utvärderingsmodell harvärdemässiga aspekter som det är viktigt för be-slutsfattare att begrunda innan man tar ställningför en viss strategi och modell och kritiskt vill gran-ska den typ av utvärderingar som av traditionanvänds i kommunen.

66 Se exempelvis Franke-Wikberg & Lundgren (1980) s.120–128; Owen (1999) s. 53f.67 Shadish, m. fl (1991) s. 472–476.68 Indelningen grundas i huvudsak på Franke-Wikberg &Lundgren (1980); Vedung (1998).69 Åberg (1997) s. 64.70 Rubenstein-Reich & Wesén (1992).71 Åberg (1997) s. 36.72 Franke-Wikberg (1992).


E

7. Utvärderarens roll

N CENTRAL fråga vid utformning avutvärderingens praktik är hur man ser påförhållandet mellan utvärderaren och det

som utvärderas. Ska utvärderaren vara en opar-tisk, objektiv iakttagare eller en engagerad bedö-mare i den situation eller verksamhet som ska ut-värderas? När beställare vänder sig till specialis-ter på utvärdering kan ett motiv vara att de vill fåen objektiv bedömning, till skillnad från de merpartiska bedömningar som förknippas med intres-senter och berörda. Utvärderaren ses som en obe-roende expert specialiserad på att göra objektivatolkningar av verkligheten och anses vara en per-son som inte har några förutfattade meningar omförtjänster, värde eller särskilda särdrag hos detsom han/hon utvärderar.

Men utvärderaren kan också ses som en enga-gerad part i det som utvärderas och trots sitt enga-gemang representera ett kritiskt granskande per-spektiv. Exempelvis i egenskap av professionell,medveten person som förmår att se kritiskt på densituation han eller hon är del i. Dessa två ytterlig-heter beskriver den spännvidd i synen på utvärdera-ren som ska diskuteras i detta kapitel.

Vad utmärker utvärderarensexpertis?Kärnan i utvärdering är, som jag hävdade i bo-kens introduktion, att kritiskt granska och däref-

ter uttrycka ett värdeomdöme. Debatten om pro-fessionell utvärderingspraktik har domineras av endiskussion om lämpliga modeller och metoder, somspeglats i de föregående kapitlen. Här vill jag förafrågan vidare från modelldiskussion till utvärdera-rens roll. Följande resonemang utgår från en ana-lys som Thomas Schwandt, amerikansk utvärde-ringsforskare och filosof gör av utvärdering somprofessionell, expertbaserad verksamhet.73

Den traditionella bilden av vad som utmärkerett professionellt utvärderingskunnande och vadsom är utvärderarens rätta roll har kritiserats un-der senare år. Kritiker ifrågasätter om det kunnandesom professionella utvärderare representerar verk-ligen är värdeneutralt, fritt från ideologi och opå-verkat av utvärderarens eget perspektiv. Det ifrå-gasätts också om utvärderaren självklart bör varaen opartisk domare. Snarare bör utvärderaren varaen förespråkare för förändring, för rättvisa, för stär-kande av olika gruppers förmåga och makt, häv-dar kritikerna. Deras ståndpunkt aktualiserar frå-gan om utvärderaren ska vara mer av en med-forskare eller medarbetare i en utvärderingsstudieoch mindre av en utomstående expert.

Svar på dessa och liknande frågor avspeglarolika uppfattningar om utvärderarens professio-nella etik, plikter och ansvar. Som visas ovan kantvå generella ståndpunkter urskiljas, där den enaär objektivt värdeneutral och analytisk, och denandra är subjektivt värdebaserad och kritisk. Den


värdeneutrala hållningen kan beskrivas som dentraditionella utvärderarrollen, där en analytiskutvärderare ser sig som opartisk i förhållande tillde värden som kan tänkas vara inblandade. Medden andra hållningen är utvärderaren en del avden värderingsbas som utvärderingen vilar på. Meddet synsättet blir det viktigt för utvärderaren attange vilka värderingar som driver bedömningsar-betet. Det är också vanligt att förorda att utvärdera-ren bör ha ett emancipatoriskt mål och uppmärk-samma de frågor om rättvisa, ojämlikhet, maktoch förtryck som antas ligga till grund för sam-hällets verksamheter. Utvärderarens kunskaperanvänds här för att utöva olika typer av samhälls-kritik.

Utvärdering som del i professioneroch medborgarskapUtvärdering som en sysselsättning för specialistersom gör objektiva, oberoende bedömningar är så-ledes inte det enda sättet att se på utvärdering. Mankan också peka på att det inom en rad yrken somsjuksköterska, läkare, lärare, administratör, arbets-ledare, ställs krav på att yrkesutövaren kan bedömavad som är det bästa sättet att handla. I sådanamöten med människor går det inte att göra sig heltneutral eller koppla bort sina känslor och åsikter.Tvärtom krävs att yrkesutövaren engagerar sig föratt kunna bedöma situationen på ett insiktsfullt sätt.Detta slags informell utvärdering, som de flesta kankänna igen, illustrerar också de förhållanden somen formell utvärdering ställs inför.

Det innebär att utvärdering som verksamhet intekan isoleras till särskilda utvärderare som ser sa-ker utifrån. Utvärdering är också en del av varje

professionell yrkesutövares roll. Det kan handla omsituationer som är problemfyllda och konflikt-laddade och där yrkesutövaren måste göra egnautvärderingar av situationen. Sådana kan göras medolika ideal för ögonen. Ett sätt är att gå in i situa-tionen helt och handla efter vana, rutin och intui-tion. Ett annat handlingssätt är att distansera sig,”se kallt” på det hela och följa en uppsättning utar-betade principer för hur situationer av detta slagbör hanteras, med kontroll av regler och rutiner.

Ett tredje handlingssätt är att tillämpa bådadessa principer på ett avvägt sätt. Dels att användasig av sitt kunnande och engagemang, dels att setill mål, principer och teorier för den aktuella si-tuationen. Det fattade beslutet blir därmed intenågot fristående från yrkesutövarens självförståelseoch uppfattning om sina förpliktelser, mål ochansvar. Bedömningen är helt enkelt en del i denprofessionella identiteten.

Utvärdering kan också vara en del av rollensom medborgare. Inte heller då är engagemang isituationen ett problem, snarare en förutsättningför att kunna göra en insiktsfull bedömning.

Det sagda behöver inte nödvändigtvis stå imotsättning till att det också behövs utomståendeutvärderingsexperter. Sådana behövs för att ge ettalternativt perspektiv och vara ett ”bollplank” förden beslutsfattare, yrkesutövare eller intressent somstår mitt i skeendet och gör sina bedömningar. Denexterna utvärderaren kan vara en handledare, ut-bildare, samtalspartner snarare än en domare somavkunnar hur det egentligen är.

Dessa olika roller; utvärderaren som friståendeexpert, som reflekterande yrkesutövare, eller sommedveten och kritisk medborgare, leder vidare tillfrågan om intern respektive extern utvärderare.


Extern eller intern utvärderareVid intern utvärdering, som exempelvis vid själv-utvärdering, är det någon inifrån verksamhetensom både tar fram och använder resultatet. Vidextern utvärdering däremot kommer utvärderarenutifrån medan användaren av resultatet är intern.I tabell nio beskrivs för- och nackdelar med dessatvå varianter.74

Till den interna utvärderingens fördel brukarframhållas att den har god kännedom om vad sa-ken gäller, vet ”var skon klämmer”. Det gör attden kunskap som produceras kan förväntas varaväl anpassad till organisationens krav och behov,vilket kan öka chansen att resultatet blir använt.Samtidigt kan det vara känsligt att ge sig på orga-nisationens ”ömma tår”. Till den externa utvär-deringens fördel räknas att den står fri från internastrider och tabun och lättare kan kritisera ”heligakor” i organisationen.

Vilken av dessa varianter som ska väljas berorpå syftet med utvärderingen. Om syftet är kon-

troll och förvaltningsrevision är det en fördel attutvärderaren kommer utifrån. En del forskare an-ser att utvärderaren måste skapa distans till denverksamhet och de personer som utvärderas. Detsom behövs är främlingar som kan se på verksam-heten med klara kritiska ögon.75

Om syftet å andra sidan är att främja utveck-ling och lärande brukar valet luta mot att över-väga intern utvärdering. Den kan främja delak-tighet och att utvärderingens resultat blir de berör-das egendom. Ett argument är också att utvärde-ringen ses som ett sätt att tänka som måste lärasut bland personalen. Motivet är att varje organi-sation bör vara självlärande och självutvärderandeoch fortlöpande granska sin verksamhet och omdet som görs är bra .76

Uppfattningar om utvärderarenI utvärderingslitteraturen finns exempel på en radolika roller som en utvärderare antingen kan

Extern utvärderare

Positivt

1. Allsidigt belysande - har inga bindningar till verksam-heten.

2. Kan ha distans till det som sker och överblicka flerverksamheter än den som utvärderas.

3. Specialistkunskap i forsknings- och undersöknings-metodik, samt i rapportskrivning och resultat-spridning.

Intern utvärderare

Positivt

1. Utvärderaren är väl insatt i försöket och vet vilkaavsikterna är.

2. Utvärderaren vet hur verksamheten fungerar, kan dessspråk och speciella förhållanden.

3. Utvärderaren kan inträngande belysa vad som sker.

Negativt

1. Svårt att skilja på roller som personal ochutvärderare.

2. Risk för att bortse från, tona ned misslyckanden ochatt överbetona det som gått bra.

3. Brist på erfarenhet av utvärderingsarbete, rapporte-ring, etc.

Negativt

1. Bristande kännedom om verksamheten.2. Brist på engagemang i de idéer som ligger bakom

försöket.3. Svårigheter att anpassa resultaten så att de är

praktiskt direkt användbara i verksamheten, ellermed andra ord bristande lokal legitimitet i resultatet.

Tabell 9. För- och nackdelar med intern och extern utvärderare


hamna i eller själv söka sig till. Följande beteck-ningarna är kanske att se mer som målande änanalytiska. De blandar objektiva och subjektivaståndpunkter, liksom externa och interna uppdrag.De ger dock en idé om vilka positioner och rela-tioner utvärderaren kan ha till sin uppdragsgivareoch till de som utvärderas.77

Utvärderaren som den fristående experten harredan beskrivits ovan som den traditionella rol-len. En risk med den är att utvärderaren placeraspå en piedestal och hålls utanför det verkliga li-vet. Man kan välja att fästa avseende vid expertensutsagor eftersom det passar egna intressen. Enmotsatt roll är amatören. Valet att beskrivautvärderaren som amatör kan dels bero på att mananser att resultaten är triviala, ”sånt vi redan vis-ste”, eller något annat än man förväntat sig ellerkanske krävt, dels kan det vara ett sätt att försökaneutralisera obekväma resultat.

Utvärderaren kan också uppfattas som infiltra-tör och förrädare. Personalen kanske vill hjälpautvärderaren att få inblick i verksamheten och iförhållanden som kan vara problematiska. Närutvärderaren sedan fullföljer sitt uppdrag och påett kritiskt sätt beskriver förhållanden som är ne-gativa, kan det uppfattas som illojalt och ett svek-fullt ”tack för hjälpen”. När utvärderaren å andrasidan vill undvika att bli alltför delaktig i verk-samheten kan resultatet bli att hon/han betraktassom ledningens spion eller lakej. Det kan ocksåinträffa att ledningen uppfattar utvärderaren sompartisk för personalens intressen, som en försvars-advokat som tycks försvara innehållet i verksam-heten mot kritik. Utvärderaren kan också hamna irollen som provokatör, vilket kan inträffa när re-sultaten pekar på obehagliga sanningar som an-

svariga inte vill kännas vid. Ett sätt att neutrali-sera sådana resultat är att tillskriva utvärderarendolda motiv, där ett är att enbart vara ute för attprovocera och ställa till bråk.

Utvärderare får ofta en viss överblick över or-ganisationen och de enskilda människornas pro-blem och svårigheter. Det är en position som göratt utvärderaren förväntas kunna säga var olikasvaga punkter finns och säga hur det borde vara.Utvärderaren blir tipsare och rådgivare. Attutvärderaren skulle sitta inne med denna totalbildär en överdriven föreställning. Det är nog ett kloktråd att utvärderaren inte bör ge sken av att hadenna totalkunskap, även om det kan ge en vissstatus.

Då ett projekt startar finns ofta ett stort behovav utbildning och fortbildning. Förväntningar påatt utvärderaren skall delta eller ansvara för så-dan kan finnas hos såväl beslutsfattare som verk-samhet. Utvärderaren hamnar i rollen som utbilda-ren. En sådan roll är särskilt aktuell när det ärfråga om formativ utvärdering där utvärderarenföljer arbetet från början. Om detta ska uppfattassom en negativ roll eller inte är en fråga om per-sonlig uppfattning. För den som förordar distansblir utbildarens roll negativ, medan den som för-ordar delaktighet ser en positiv, aktivt påverkanderoll.

En annan variant på temat att bli delaktig avden verksamhet som utvärderas är att utvärdera-ren blir betraktad som projektledaren. Det kan beropå att den egentliga projektledningen är svag ochatt utvärderaren blir den som styr genom sina frå-gor. Rollen kan också vara officiell genom attprojektledaren samtidigt görs ansvarig för att ledaoch utvärdera projektet – vilket kan fresta till att


använda utvärderingen för att legitimera att detblev som det blev.

Analys av utvärderarrollerJag ska avsluta detta avsnitt om olika utvärde-rarroller genom att analysera dem utifrån detudelningar som diskuterats tidigare i kapitlet. Delsgenom att skilja mellan objektivistisk värdeneutralrespektive subjektivistisk värdebaserad utvärde-ring, dels genom att skilja mellan extern respek-tive intern utvärderare. I följande figur har fyraolika huvudroller för utvärderare identifierats iform av traditionell, intern, demokratisk och del-tagande utvärderare. Under dessa placerar jagäven de mer målande beteckningarna för vilkaroller utvärderare tar eller kategoriseras i.

Traditionell utvärderareEn oberoende, utifrånkommande utvärderare somrepresenterar en objektiv värderingsgrund är kän-netecken för den traditionella utvärderarrollen.Utvärderaren är den fristående experten med enbild av verksamheten som är överordnad intressen-ternas eftersom beskrivningen grundas på veten-skaplig metod. Den traditionella utvärderaren harsin förebild i en forskarroll som objektiv bedömare.Det är också här som rollen utsätts för kritik frånden del av forskarsamhället som menar att forska-ren inte bör syssla med att göra värderingsarbeteutan hålla sig objektiv och till neutralt beskrivandeverksamhet, vilket de ifrågasätter om utvärderingkan vara.

Intern utvärderareDen interna utvärderaren har etablerats inom or-ganisationen genom att man bygger upp egnautvärderingsfunktioner, vilket har blivit allt vanli-gare under senare år. Den interna utvärderaren ärofta en fortsättning på en traditionell utredarrolloch bygger ofta sin utvärderingskompetens på attrepresentera teknisk kunskap, helst i termer avforskningsmetodik. Det gör att den interna utvär-deraren (liksom den externa) förväntas kunna geråd om metoder och i vissa fall även i verksamhets-frågor. I det sammanhanget kan å andra sidanockså den interna rådgivaren kritiseras av praktike-rna för att inte kunna ”verksamhetens verkliganatur” tillräckligt väl.

Villkoren för utvärderare som arbetar inom denegna organisationen har uppmärksammats inomforskningen. Man har ifrågasatt om den internautvärderaren kan agera som kritisk bedömare utanFigur 5. Olika värderingsperspektiv och utvärderarroller

VÄRDENEUTRAL

EXTERN

1. Traditionell utvärderare.Utvärderaren som expertpå utvärderingsmetod.

Fristående expertTipsare och rådgivare

3. Demokratiskutvärderare.Utvärderaren som expertpå utvärdering och denverksamhet som granskas.

Infiltratör och förrädareFörsvarsadvokat

2. Intern utvärderare.Utvärderaren anställdinom organisationen ochhar sin legitimitet somexpert på utredning,ofta i kombination medutvärderingskunskap.

Spion och lakejProvokatörUtbildareProjektledare

4. Deltagande utvärderare.Utvärderaren som delaktig,t ex en professionell iverksamheten eller en aktivintressent.

Amatör

INTERN

VÄRDEBASERAD


att styras av att samtidigt vara anställd och bero-ende av arbetsgivaren för sin karriär. Innebär kravpå lojalitet att utvärderaren ska hålla tillbaka kri-tik? Sådana krav uttalas givetvis inte öppet, menkan finnas underförstått eller som ett upplevt hotav internt anställda utvärderare.78

Demokratisk utvärderareDen demokratiska utvärderaren vill ställa sinexpertkunskap till förfogande för att ta fram va-rierande och kritiska, alternativa, bilder till de somintressenterna har. Den demokratiske utvärdera-rens beskrivningar kan betraktas som ytterligareett sätt att se på verksamheten. Ibland kan de ocksåhävdas som mer ”sanna” bilder genom attutvärderaren ser verksamheten från ett utifrån-perspektiv. Sammantaget kan man likna rollen viden förhandlare som försöker få olika parter att seden andres perspektiv och att vara öppna för kom-promisser. Denna variant av utvärderarroll har dis-kuteras allt mer i utvärderingslitteraturen. Hurvanligt det är att rollen faktiskt praktiseras är detdäremot svårare att uttala sig om.

Deltagande utvärderareDen deltagande utvärderaren kan vara en enskildeller en grupp yrkesutövare som praktiserar egen-utvärdering genom att på ett systematiskt sätt re-flektera över sin verksamhet och sina insatser.Denna form av utvärderande kan också gälla förandra aktörer eller ”upplysta”, informerade intres-senter som på ett medvetet och reflekterat sätt be-dömer verksamheten med ett inifrånperspektiv. Dis-kussionen kring den deltagande utvärderaren har

också rört sig kring begrepp som ”den reflekte-rande praktikern” och ”den upplyste medborga-ren” som aktivt deltar i och granskar den verk-samhet som han eller hon berörs av. Detta är enform av utvärdering som ofta argumenteras förunder namn som dialoginriktad, interaktiv, utvär-dering med tyngdpunkt i verksamheten.

Praktiska exempelI de utvärderingar som beskrivs i kapitel två frånÖstersund och Växjö finns exempel både på ex-terna och interna utvärderare. I Östersund görsutvärderingen genom en kombination av bådadessa roller. Dels anlitas en extern utvärderare somär fristående från förvaltningarna och genomförutvärderingen på konsultbasis. Dels finns även,inom omsorgsnämndens beställarorganisation, enansvarig tjänsteman som upprättar frågorna, sam-ordnar och avrapporterar utvärderingen.

I utvärderingen av 4Ö i Växjö är det huvud-sakligen externa utvärderare som anlitas. Den eko-nomiska utvärderingen var knuten till Centrum förarbetsmarknadspolitisk forskning vid Högskolani Växjö (numer Växjö universitet), process-utvärderingen till samma lärosätes samhällsveten-skapliga institution, och utvärderingen av livskva-litet till försäkringskassan och landstinget.

SammanfattningSträvan att markera utvärderarens professionellastatus som expert på utvärdering har ökat i taktmed att utvärdering som verksamhet har vuxit ibetydelse. Det finns en internationell utvärderings-expertis som representerar hög kompetens inom


såväl det vetenskapliga som det politiskt-adminis-trativa samhället. Under senare år har utvär-derarrollen utvecklas mot att vara mer av sam-ordnare, organisatör, informatör och förmedlareav olika synpunkter och resultat mellan olika grup-per. Rollen har förändras till att vara dialogpart,kritisk granskare, utbildare. Detta ställer nya kravpå utvärderaren att kunna balansera olika kravoch intressen. Vi rör oss således med en svår ba-lansgång för utvärderare och andra intressenter iutvärdering. En balansgång mellan att å ena si-dan upprätthålla en vetenskaplighet som garante-rar saklighet och kritisk granskning och å andrasidan en värderande aktivitet vars resultat inte kanfrikopplas från värderingar som har politiska kon-sekvenser. Om detta handlar nästa kapitel.

73 Schwandt (1998).74 Johansson & Flising (1982).75 Scriven (1971).76 Vedung (1998) s. 108.77 Författarkollektivet AURORA (1983); Johansson (1979).78 Sonnichsen (1987, samt 1989); House (1986 samt 1988).


8. Utvärdering och politik

MAN KAN konstatera att utvärdering avoffentlig verksamhet befinner sig i ettpolitiskt laddat spänningsfält vilket

gör att utvärdering som verksamhet inte kan be-traktas fristående från politik. Utvärderingsforskaresom diskuterar relationen mellan utvärdering ochpolitik, exempelvis Carol Weiss, Dennis Palumbo,Peder Haug, brukar peka på följande kopplingar.79

Utvärdering inom offentlig verksamhet blir, om denanvänds, en del av den politiska beslutsprocessen.När utvärderingen tar ställning till positiva ochnegativa aspekter av en verksamhet så blir den endel av politiken kring denna verksamhet. Att ex-empelvis redovisa utvärderingsresultat som visaratt daghem är bra för små barn uppfattas inte en-bart som ett resultat. Det uppfattas också som ettinlägg i den politiska debatten, vare sig utvärdera-ren avser det eller inte.

Utvärderingens legitimitetUtvärderingen har en speciell roll genom att dendels förväntas vara anpassad till beslutsprocessenoch uppfylla beställarens krav på att komma tillnytta, dels ska uppfylla vetenskapliga krav för attha legitimitet. Vad dessa dubbla krav betyder förutvärderingens utformning och legitimitet är enangelägen fråga att granska närmare. PedagogenRolf Lander pekar på tre utformningar som påver-

kar hur utvärderingen uppfattas inom forskningoch politik.80

1. Utgångspunkt i användarnas föreställningar omutvärderingens problemram.

2. Utgångspunkt i utvärderarens tolkningsföreträde,efter hans/hennes egen politiska och teoretiskt be-stämda problemram.

3. Utgångspunkt i ett mer uttalat förändringssyfte, därutvärderaren blir en förändringsagent som försö-ker att utveckla såväl sin egen som användarnasproblemramar.

I det första fallet får utvärderingen en renodlatbeskrivande karaktär som kan accepteras som enneutralt beskrivande vetenskaplig roll och somockså kan tänkas passa den politiska världens in-tressen i vissa typer av utvärderingar.

I det andra fallet har utvärderaren givits privi-legiet att precisera problemet, vilket ger utvärde-ringen legitimitet inom forskarvärlden, samtidigtsom risken finns att den möter misstro från denpolitiska världen.

Det tredje fallet möter troligtvis det största pro-blemet när det gäller att vinna legitimitet inombåde världar. Om utvärderingen sker med ett po-litiskt kunskapsperspektiv där förändring är encentral målsättning blir frågan konfliktladdad. Attmedverka i ett förändringsarbete ställer utvärdera-ren inför en mer utsatt position än i de två förstafallen.


Utvärderare levererar ”akademikerkritik”När utvärderaren, inte minst för att motsvara forsk-ningens krav på kritiskt granskande, som sig börställer kritiska frågor och efterlyser åtgärder påeftersatta områden riskerar han/hon att komma ikonflikt med grupper som känner sig kritiserade.Utvärderaren kan hamna i rollen som provokatöreller beskyllas för att med utvärdering som täck-mantel driva politiska intressen. Ytterligare ettangreppssätt är att anklaga utvärderaren för attvara alltför ”akademisk” och att ha bristande kon-takt med den praktiska verkligheten. Konflikter avdetta slag förekommer inte minst när politiska in-tressen känner sig angripna av utvärderingen.

Följande exempel från en utvärdering av detsvenska utredningsväsendet belyser hur kollisio-nen mellan forskarvärldens och den politiska värl-dens logiker kan gestalta sig. I en rapport frånExpertgruppen för studier av offentlig ekonomi81

tar forskarna, dvs författarna, upp brister i Statensoffentliga utredningar. I sin utvärdering kritiserarforskarna utredningarnas kvalitet utifrån forsk-ningsmässiga kriterier på vad som bör krävas aven god utredning och rapportering. Resultatet vi-sar att 10 av de 20 undersökta utredningarna inteuppfyller dessa krav. Bristerna gäller bland annatdatamaterialet, metodvalet, analysen och sättet attdra slutsatser. Kritiken gäller också att resultatetofta blir alltför styrt av direktiven. Utredarna le-vererar förslag som stämmer med önskemålen frånregeringen även om förslagen inte har logiskt stödi det empiriska underlaget, säger utvärderarna.

I en reaktion på kritiken från politiskt håll an-klagar en före detta statssekreterare vid social-departementet utvärderarna för att leverera typisk

”akademikerkritik” som inte är användbar för detpraktiska politiska beslutsfattandet. En av de kri-tiserade utredningarna var skriven av en politikersom hade praktisk erfarenhet från området att bi-dra med, framhålls i försvaret för utredningarnaskvalitet.82

Aktionsforskning, utvärderingoch politikEtt sätt att analysera det problem som uppstår viden förändringsinriktad utvärdering med utvärdera-ren som aktiv förändringsagent är att dra en pa-rallell till aktionsforskning. I en analys av veten-skapens kontra politikens praxis pekar forskarenJorunn Møller ut följande skillnader.83

Tabell 10. Skillnader mellan vetenskaplig och politisk praxisKälla: Møller, J. 1996, sid 67.

Sammanfattningsvis kan man säga att politikenslogik innebär att handla utifrån en bestämd ideo-logi och att övertyga andra om den egna stånd-punkten. Vetenskapens logik däremot innebär att

Vetenskaplig praxis

Problematiserande ochreflekterande över lösningar

Regler för insamling av data

Krav på argumentation

Frihet från handlingstvång

Argumentativa dialoger

Långt tidsperspektiv

Ideologiskt opartisk

Politisk praxis

Problemlösande

Procedurer förproblemlösning

Krav på handling

Handlingstvång

Beslut om åtgärd

Kort tidsperspektiv

Handla utifrån ideologi


systematiskt samla erfarenhetsmaterial enligt reg-ler som forskarsamhället enats om. Dessa resultatska vara öppna för kritik oberoende av om det”drabbar” resultatet. Att föra en argumentativ dia-log kan jämföras med den form av ”dialogiskintersubjektivitet” som beskrevs i kapitel fem. Dethandlar om att föra ett samtal och utbyta synpunk-ter i syfte att kritiskt granska grunderna för ettpåstående, snarare än att med retorik försöka över-tala eller överbevisa. På så vis skiljer sig forsk-ningens dialog från politikens ”övertalnings-dialog”, där det är legitimt att göra taktiska över-väganden innan man redovisar allt underlag. Dettaför att inte förslag ska ”dödas” redan innan de harhunnit förankras i opinionen. Det betyder inte attmotståndaren inte anklagar förslagsställaren föratt ha spelat under täcket. Sådant tillhör också denpolitiska logiken.

Tidsaspekten är en annan väsentlig skillnad ipolitiskt och vetenskapligt arbete. Politik förknip-pas med konflikt och makt men också med kon-sensus för att nå kompromisser som möjliggör stödför beslut. Kompromisserna är nödvändiga inteminst därför att man inom politiken ofta måste tabeslut inom en viss tid. Inom vetenskapen däre-mot är det legitimt att skjuta upp besked till dessatt forskaren har tillräckligt säkert underlag föratt kunna uttala sig. Detta anses inte som en bristutan snarare som ett krav eftersom det ingår i forsk-ningens etik att så långt det är möjligt ge säkerkunskap.

Problemet med att utforma en utvärdering somsamtidigt förmår vara förändringsinriktad, kritisktgranskande, och uppfattas som legitim av forskareoch politiker kan förstås i detta spänningsfält mel-lan vetenskaplig och politisk praxis. Dessa två

praxisfält representerar olika infallsvinklar på frå-gan om utvärderarens roll och kompetens, de för-medlar en dubbel kravbild. Här kan rollen somaktionsforskare vara en förebild att diskutera förden som vill kombinera en kritiskt värderandeforskning med en utvärdering som också medver-kar till förändring.

Pedagogen Per-Johan Ödman diskuterar på vil-ket sätt som utvärderaren är besläktad med aktions-forskaren.84 Den svårighet som båda möter är attsvara på hur de kan legitimera sina resultat. Dentraditionella forskaren legitimerar sina resultat pågrundval av distans och opartiskhet. Genom attaktionsforskaren söker genomföra sin forskning isamverkan med de berörda blir gränsen mellanparterna svårare att göra synlig på ett praktisktsätt. Det hindrar inte att gränsen kan finnas somett väldefinierat och medvetet förhållningssätt hosforskaren. För den yttre betraktaren kan det dockvara svårt att se var gränsen mellan rollerna gårnär forskaren i praktiken uppträder tillsammansmed representanter för den verksamhet som utfors-kas. Här finns en klar parallell till den svårighetsom en förändringsinriktad utvärderare möter, sär-skilt när utvärderingen bedrivs i ett formativt, ut-vecklande, syfte.

Utvärderarens dubbla kompetensAmbitionen att kombinera teoretiskt och metodisktvetenskapligt kunnande med kunskaper om denpolitiska processens natur aktualiserar frågan omutvärderarens kompetens. Det som krävs verkarvara att behärska såväl forskningens som politi-kens språk och tänkande. Detta behov har upp-märksammats av fler utvärderingsforskare. Så har


exempelvis J-O Åberg pekat på den unika kompe-tens som utvärderare borde besitta och som kange legitimitet i både den politiska världen och iforskarvärlden.85

För den utvärderare som kunskapsmässigt upp-fyller dessa krav på ”tvåspråkighet” återstår frå-gan om det går att kombinera vetenskapens ochpolitikens logiker i den praktiska utvärderingen.Att utöva utvärdering som del i en politisk processgör den suspekt i de många forskares ögon somvill se sin verksamhet som värdeneutral. Å andrasidan kan kravet på att genomföra utvärdering somforskningsprocess, med ett stort mått av oberoendeför utvärderaren, göra politiker osäkra på om deerhåller den utvärdering de beställde. Det finnssåledes risk att den ”tvåspråkige” utvärderarenhamnar mellan två stolar med en utvärdering sominte får erkännande vare sig inom den politiskt-administrativa eller den vetenskapliga domänen.

Är forskning och politikså åtskilda?Frågan är dock om inte det scenario som målasupp ovan ger en alltför pessimistisk bild av utvär-deringens möjligheter att vinna legitimitet inombåde forskning och politik. Man kan som pedago-gen Rolf Lander konstatera att historiskt har sam-hällsforskare bedrivit forskning med ett politiskt(förändringsinriktat) kunskapsintresse. Inte minstpedagoger har ofta deltagit med beslutsfattare iolika politiska konstellationer vid reformarbetetinom undervisning. Det har inte hindrat forskarefrån att också bedriva forskning som har legitimi-tet bland kollegor. Från det perspektivet bör även

en seriös utvärdering kunna uppfylla krav som enform av aktionsforskning i en politisk kontext. Föratt detta ska vara möjligt krävs dock att utvär-deringens kritiskt granskande roll värnas och attden ges ett oberoende i förhållande till olika in-tressen och den verksamhet som utvärderas.

Utvärdering utifrån en gemensamproblemramDet finns ett antal krav som utvärdering ska upp-fylla för att vara legitim utifrån vetenskaplig praxis.Att den ska vara problematiserande och systema-tisk och ha frihet från handlingstvång – utvärdera-ren är inte beslutsfattare. Vidare att utvärderingenska arbeta med argumentativa, intersubjektiva,dialoger, vilket kan kopplas till frågan om attmedverka till förändring av såväl egna som an-dras problemramar. Begreppet problemram mar-kerar en skillnad i synsätt i förhållande till be-greppen ”uppdragsram” och ”teoriram”, vilkabeskriver beställarens respektive forskarens ut-gångspunkter (se kapitel 1). ”Problemram” avseratt ringa in det som olika parter ser som gemen-samma frågor att utvärdera. Frågorna kan i sintur beskrivas från olika perspektiv och olika tolk-ningar kan brytas för att utveckla synen på detsom utvärderas. Genom att välja problemram somorganiserande begrepp för utvärdering kan mankomma förbi den låsning som riskerar att uppstå ikampen mellan den forskningsinriktade utvärdera-rens ambition att kvalificera utvärderingen utifrånteoretiska krav och beställarens önskan att styrautvärderingen genom en preciserad uppdrags-beskrivning.


Utvärderingen bör också vara ideologiskt opar-tisk. Ett politiskt kunskapsintresse, dvs att med-verka till förändring för utsatta grupper, betyderinte att utvärderarna har deklarerat val av sida ien motsättning eller bestämda politiska uppfatt-ningar. Vad det handlar om är snarare att redo-göra för den roll som utvärderingen har i förhål-lande till de värderingsmässiga implikationer somman väljer för studien i fråga. Ett sådant synsättöppnar vägar för en mer nyanserad diskussion kringmöjligheterna att utveckla en utvärdering som fin-ner legitimitet såväl inom vetenskap som politik.

En kritisk punkt som det finns anledning attuppmärksamma är tidsaspekten. Här tror jag attkravet på att vara anpassad till policyprocessenär en avgörande skillnad i förutsättningarna förforskning och utvärdering. Den amerikanskautvärderingsforskaren Ellinor Chelimsky pekar påatt just bristen på kunskaper om policyprocessenär en viktig förklaring till att utvärdering inte an-vänds eller uppfattas som relevant av politiker.86

Om inte utvärderingen lyckas få en ”timing” tillbeslutsprocessen är risken stor att resultatet inteanvänds.

Här ligger en risk att utvärderaren pressas tillatt presentera resultat som inte är tillräckligt välunderbyggda. Därmed förlorar utvärderingen sinvetenskapliga legitimitet. Men eftersom man kananta att det även ligger i beställarens intresse attmotverka att så sker finns det anledning att tro attproblemet kan hanteras. Praktiskt handlar det omatt uppdragsgivare måste finna sig i att utvärde-ring ibland måste avstå från att besvara en fråganär utvärderaren bedömer att det inte går att geett välgrundat svar.

Praktiska exempelAtt det finns exempel på utvärdering som uppfyl-ler forskningsmässiga kriterier visas bland annat iutvärderingen av det myndighetssamverkande pro-jektet 4Ö i Växjö. Samtidigt kan vi också se attdet här rör sig om en utvärdering där den poli-tiska aspekten inte är särskilt kontroversiell, eftervad man kan bedöma av rapporter och reaktionerpå utvärderingens resultat. Utvärderarens uppgiftvar inte att aktivt bedriva något förändringsarbeteutan att beskriva vad olika intressenter ansåg omverksamheten.

I utvärderingen av hemtjänsten i Östersund ärutvärderarens koppling till politisk styrning betyd-ligt klarare. Här har utvärderaren en uttalad rollsom omsorgsnämndens ombud som ska kontrol-lera att utföraren verkställer sina avtalade uppgif-ter gentemot brukarna. Utvärderaren svarar ocksåför att föra utvärderingens resultat vidare in i denpolitiskt-administrativa beslutsprocessen med för-slag till beslut och åtgärder för att hantera utvär-deringsresultaten i hemtjänsten. Samtidigt varutvärderaren medveten om sin koppling tillden politiskt-administrativa sfären och man anli-tade därför en extern utvärderare som tillsammansmed den interna utförde uppdraget. Det är en åt-gärd som kan bidra till att försäkra att resultatetmotsvarar vetenskapliga krav.

SammanfattningEn del av förståelsen av utvärderingens roll är attuppmärksamma det spänningsfält som finns mel-lan forskningens och politikens praxis. Utvärde-ring som verksamhet befinner sig i en brytnings-


punkt mellan de logiker som dessa ”världar” re-presenterar med förväntningar på att både mot-svara forskningsmässiga och politiskt-administra-tiva krav. Det ställer utvärderaren inför proble-met att kunna balansera dessa krav på ett kon-struktivt sätt. I kapitlet konstateras att det behövsmer kunskap kring hur denna konflikt kan hante-ras i praktiken för att utveckla en utvärdering somhar legitimitet i såväl vetenskap som politik. Attuppmärksamma de krav på ”timing” som ställsutifrån policyprocessens krav är ett viktigt inslag iutvecklingen av en sådan kompetens för utvär-derare.

79 Weiss (1989); Haug (1991 samt 1998).80 Lander (1987) s. 154f.81 Finansdepartementet. ESO-gruppen (1998).82 Riksdag & Departement, nr 33/98, s. 4–6.83 Møller (1996).84 Ödman (1980).85 Åberg (1997) s. 49.86 Chelimsky (1987).


9. Användning av utvärdering

I DETTA KAPITEL diskuteras frågan om använd-ning av utvärdering som process och vad somsker med de resultat som produceras. Som jag

har påpekat i kapitel två kan man göra en skill-nad mellan vad som är den deklarerade avsiktenatt utvärderingen ska användas till ochutvärderingens faktiska användning eller funktion.I detta kapitel är det den senare av dessa aspektersom behandlas.

Vad menas med användning?Inledningsvis kan man peka på ett antal krav påanvändning som brukar diskuteras i utvärdering-slitteraturen. Utgångspunkten är självklart att ef-tersträva en hög användningsgrad. Frågan är dockvad man lägger för innehåll i användning. I enforskningsöversikt ger Michael Nydén sju exem-pel som samtidigt visar olika sätt att se påanvändningsbegreppet:87

1. Instrumentell eller konceptuell

2. Nu eller senare

3. Alla förslag eller några

4. Individ eller organisation

5. Interaktiv användning

6. Legitimerande

7. Taktisk

Användning av utvärdering kan ses som en i hu-vudsak instrumentell fråga, dvs något som visarsig i direkta handlingar. En annan infallsvinkel äratt tala om konceptuell användning, dvs att utvär-deringens resultat påverkar människors sätt atttänka och se på saken.

Användning kan också ses ur en tidsaspekt. Kra-vet kan vara att tillämpningen av utvärderingensresultat ska visa sig omedelbart, eller i varje fall inära samband med att resultatet har presenterats.Men kravet kan också avse mer långsiktiga effek-ter. Erfarenheter från undersökningar av använd-ning visar att det ofta kan dröja innan resultatenfår någon genomslagskraft och att användningenvisar sig först på lite längre sikt. Det gör att tids-aspekten vid bedömning av användning är viktigatt ta hänsyn till.

Ett krav på hög användning är att alla utvär-deringens förslag skall komma till någon nytta.Här finns det anledning att fråga om det inte ärmer realistiskt att förvänta sig att det i praktikenhandlar om ett urval av utvärderingens slutsatser,snarare än samtliga.

Användningsfrågan kan också ses ur ett indi-vid- respektive ett organisationsperspektiv. Med ettindividuellt perspektiv blir frågan om enskilda per-soner tar till sig utvärderingens resultat eller ej.Med ett organisatoriskt perspektiv är kriteriet att


användningen också måste komma till uttryck påen mer strukturell nivå.

En annan typ av tillämpning är att betona in-teraktiv användning, där utvärderingen får funk-tionen av en sökprocess med olika aktörer inblan-dade. Genom mängden deltagare och infallsvink-lar används utvärderingen för att få problemet all-sidigt belyst.

Offentlig verksamhet är politiskt styrd och enavgörande fråga för politikerna är att erhålla stödeller i vart fall acceptans för sina åsikter och be-slut. Utvärdering kan här ha en legitimerande funk-tion som stöd för redan befintliga ståndpunkter ochför att stärka den egna saken. Eller med andra ordanvändas som ett väl underbyggt argument ellerinlägg i en pågående debatt.

Utvärdering kan också ha en taktisk funktion,att vinna tid och undgå ansvar. Här är det inteutvärderingens resultat som är intressant utan ut-värderingen som process. Genom att hänvisa tillatt en utvärdering pågår kan man antingen slippasvara på vad som ska göras just nu eller skjutaupp ett definitivt beslut i en konfliktladdad fråga.

Bristande användningEn kanske ännu mer livligt diskuterad fråga änden om hur utvärdering används är frågan ombristande användning. Det har vuxit fram en forsk-ningsgren inom utvärdering som studeraranvändningsproblemet. En känd amerikanskanvändningsforskare är Carol Weiss och blandnordiska forskare kan nämnas Erik Albaeck, Mi-chael Nydén, Rune Premfors och J-O Åberg.88 Mankan sammanfatta anledningar till att utvärderinginte används i tre grupper.89

1. Brister i utvärderingen (hur den sker och vad denproducerar)

2. Brister i kommunikationen mellan utvärdering ochutvärderare

3. Brister hos användaren (som individ och system)

UtvärderingenBrister i utvärdering kan gälla design och metod-val. Det kan också handla om att utvärderingeninte förmår att producera kunskaper som uppfat-tas som tillförlitliga eller relevanta för använda-ren. Brister i utvärderingens genomförande bru-kar ofta kopplas samman med utvärderarens kom-petens. För att garantera att utvärderingen ge-nomförs på ett professionellt sätt, och därmed kanförväntas att bli använd, är det vanligt att be-tona att utvärderaren måste uppfylla professio-nella krav.90

När orsaken till bristande användning fokuse-ras på utvärderingens resultat är det vanligt atthävda att dessa inte håller tillräcklig vetenskapligkvalitet. Här är ofta utgångspunkten att det råderlikheter mellan den offentliga verksamhetens ochforskningens logik. Garantin för användning blirdärför att framhålla vetenskapliga kvalitetskrav,exempelvis tillförlitliga resultat, förklaringsdjup,systematik och teoretisk integration, etc. På senareår har utvärderingar också kritiserats för att inteha tillräcklig yttre relevans, dvs inte uppfattas somviktiga och aktuella för den situation och de pro-blem som verksamheten vill hantera. Här blir lös-ningen i första hand inte att efterfråga mer ”veten-skaplighet” utan snarare att efterfråga mer prak-tisk relevans. (Jämför kapitel 8 och diskussionenom vetenskaplig och politisk praxis.)


KommunikationenBrister i kommunikationen mellan utvärdering ochanvändare kan gälla såväl hur rapporteringen ut-formas som hur resultaten förmedlas. Utformningenkan ses som ett redaktionellt problem. Det är inteovanligt att utvärderingsrapporter kritiseras för attvara alltför omfattande och skrivna på ett krång-ligt språk. Förmedlingen är ett pedagogiskt problem,där en brist som brukar påtalas är att utvärderingenkommer för sent i förhållande till den politiskabeslutsprocessen. Politikerna kan ha känt sigtvingade att ta ett beslut utan att invänta resulta-ten. Det råd som ges är att utvärderaren måste hållasig informerad om när i policyprocessen som resul-tat måste redovisas för att bli beaktade.91 Resultatär också i många fall att betrakta som färskvara ien snabbt föränderlig verksamhet. Vitsen med attpublicera resultat kan gå förlorad om användarnainte längre uppfattar dem som aktuella.

AnvändarnaDet som brukar påpekas som problem hos använ-daren är bristande kunskaper, bristande motiva-tion och bristande förmåga att handla utifrån ut-värdering.92 Att det saknas kunskaper hos den en-skilde användaren kan bero på att politikern, med-arbetaren, brukaren etc, inte har satt sig in i vadutvärderingen syftar till och vad den har för bety-delse för den egna praktiken. På det organisato-riska planet kan problemet vara att det saknaskunnande hos ledning och stabsfunktioner att ana-lysera och formulera utvärderingens betydelse förverksamheten och för strategiska beslut som skatas. Ett annat skäl kan vara att beställaren, om

den är användaren, har gjort en felaktig eller oge-nomtänkt beställning.

Bristande motivation att ta till sig utvärde-ringen kan också bero på att man inte värderarutvärdering som verksamhet. De tänkta användar-na kanske föredrar andra informationskällor. Po-litikern, medarbetaren, brukaren, kan tänkas göraegna observationer, tala med arbetskamrater, be-kanta, och andra berörda som ger sina uppfatt-ningar om verksamheten och sedan utvärdera pågrundval av dessa informationer.

Det senare är ett förhållande som statsvetarenoch politikern Daniel Tarschys93 pekar på i en ana-lys av varför politiker inte tar till sig utvärderings-resultat. För politiker är det viktigt att hålla sigunderrättade om vad medborgarna anser. Det görhan eller hon genom sina partiorganisationer ochgenom att bygga upp ett personligt kontaktnät.Politikerna har med andra ord egna informations-kanaler som de förlitar sig på som ett alternativtill den formella utvärderingen. Andra förhållan-den som Tarschys pekar på är att politik inte är såeffektorienterat som utvärdering ofta förutsätter.Politik handlar om att visa vilja och ur det per-spektivet blir det inte lika prioriterat att fördjupasig i rapporter om hur det har varit. I stället före-drar man att tala om vad som ska åtgärdas för attdet ska bli bättre. Att utvärderingen uppfattas somen partsinlaga är ännu en tänkbar orsak till bris-tande användning. Utvärderingen kan också upp-fattas som en kravmaskin som ofta föreslår att nyaresurser ska skjutas till, men sällan att något skasparas.

Slutligen kan orsaker till bristande användningäven sökas i faktorer som har att göra med använ-


darens faktiska möjligheter att ta till sig och om-sätta resultatet. Om det saknas tid eller ekono-miska och personella resurser att handla på grund-val av utvärderingens resultat kan dessa rimligt-vis inte omsättas i verksamheten på något konkretsätt. Dock kan användarna vara medvetna omresultaten och kanske till och med önska att dekunde använda dem. För den som bedömer an-vändning är det därför viktigt att uppmärksammaom ickeanvändningen ligger på ett instrumentelltplan, medan det däremot finns en användning ochmedvetenhet om resultaten på ett kognitivt plan.

Felaktig användningInom utvärderingsforskningen förs också en dis-kussion kring felaktig eller illegitim användningav utvärdering, dvs att använda utvärdering en-dast som dimridå eller skenmanöver för andra syf-ten. Forskare på området menar dock att utvärde-ring som taktiskt spel är en renodlad politisk an-vändning och knappast en uppgift för utvärderings-forskaren.94

Strategier för att öka användningOvan har vi sett hur utvärderingsforskningen ana-lyserar och diskuterar orsaker till utebliven an-vändning av utvärdering. I följande avsnitt gran-skas några olika sätt som brukar föreslås för attöka användningen. Först tar jag upp ett par idéerom hur själva utvärderingen kan förbättras. Där-efter ser jag närmare på förslag om att utvecklaförmedlingen av utvärderingsresultat och slutligenpå förslag om att förbättra användarnas kompe-tens att ta till sig och omsätta resultaten. Orsakeroch strategier sammanfattas i ovanstående figur.

Förändra utvärderingenEn strategi för att förbättra användning är att görautvärderingen mer vetenskaplig i bemärkelsen mertekniskt rationell. Ett annat alternativ är att följaen kommunikativ och förändringsinriktad linje.95

Den tekniskt rationella utgångspunkten är att so-cial förändring effektivast kan genomföras i föl-jande två steg: 1) Åtgärder för att hantera ett pro-blem prövas i ett småskaligt försök åtskilt från den

Förändra utvärderingensform, innehåll och utförande

Utveckla kommunikationenmed användare

Påverka användarnas kunskaper,attityder och förmåga tillhandling

Orsaker till bristande användning av utvärdering

1. Utvärderingens utformning,genomförande och resultat

2. Överföring av information 3. Synsätt hos utvärderingens”publik” och avseddaanvändare

Strategier för att öka användning

Figur 6. Bristande användning och strategier för ökad användning.Källa: Åberg, J-O (1997).


ordinarie verksamheten och gärna i form av ettexperiment med försöks- och kontrollgrupp. Re-sultat från försöket utvärderas i syfte att ta framden bästa lösningen. 2) Utvärderingsresultatet med”den utprövade bästa lösningen” återförs till detpolitiska systemet för beslut. Användningen avutvärderingen kan därefter avläsas i form av för-ändrade beteenden eller i beslut och konkreta åt-gärder i verksamheten. Bristande användning be-traktas med andra ord som ett trovärdighets-problem som kan lösas genom att göra resultatenmer vetenskapliga.

Det kommunikativa och förändringsinriktadesynsättet betonar utvärderingsresultatens betydelseför att påverka och förändra deltagarnas föreställ-ningar. Utgångspunkten här är att aktörerna ärinvolverade i verksamhetens praktik och har ut-vecklat en attityd till det de erfar. Förändrings-behov måste därför vara förankrade i deras egnaupplevelser och erfarenheter. Om det uppstår endissonans mellan handling och attityd, där indivi-den eller gruppen inte är nöjd med det som utförs,så blir man medveten om brister och söker ny kun-skap för att förändra situationen. Användning avutvärderingen och dess resultat är då beroende avom utvärderingen verkligen upplevs som relevant,lyckas stimulera till kritisk granskning och reflek-tion hos berörda och till att utveckla medvetenhetoch kritiska tankar kring verksamheten.

Dessa två synsätt på förändring ger också olikastrategier för att förbättra användning, enligt denena genom att ställa vetenskapliga krav på resul-tatet, enligt den andra genom att skapa interak-tion mellan utvärdering och användare. Här lig-ger användningsfrågan mer på utvärderingen somprocess, där användandet blir en fråga om kon-

ceptuell eller kunskapsinriktad användning snarareän en instrumentell tillämpning av ett visst för-slag, metod eller teknik.

Utveckla kommunikationenEn annan orsak till bristande användning ärkommunikationen mellan utvärderare och använ-dare. Som nämnts tidigare kan frågan ses som ettredaktionellt problem och strategin blir här attförsöka förbättra och förenkla språket, göra rap-porteringen klarare, mer väldisponerad, intresse-väckande och mer användaranpassad. En komplet-terande strategi som statsvetaren Evert Vedungförespråkar är att på ett organiserat sätt engageramellanhänder som kan koppla samman utvärde-ring och användare.96 Det kan gälla att mobili-sera opinionsbildare som representerar utvärde-ringen och som kan presentera resultatet både un-der pågående utvärderingsarbete och efter. Ved-ung nämner också idén att inrätta referensgruppermed ombud för olika tänkbara målgrupper, lik-som att utse särskilda mottagare av informationmed ansvar att föra ut resultat på arbetsplatsereller i andra aktuella sammanhang. Ytterligare enåtgärd kan vara att engagera en informations-specialist som besitter professionella kunskaper föratt sprida resultat och kunskaper om utvärderingen.

Utbilda användarnaSlutligen kan orsaker till bristande användningligga hos användarna. Till att börja med kan mankonstatera att bilden av användare har blivit merkomplicerad i den offentliga sektorn. Förr varmottagaren av utvärdering liktydig med beställa-


ren – tydligt identifierbar. Idag är användaren enrad olika intressenter. Det gör att orsaken till bris-tande användning blir olika beroende på samman-hang. (En analys av användarsammanhang kangöras med utgångspunkt från den figur för ”rolleri det demokratiska systemet” som redovisades ikapitel 1.)

I en organisation kan strategier för att öka kun-skap vara att höja den allmänna kompetensnivånnär det gäller utvärdering och hur man kan om-sätta resultat. Exempelvis genom utbildning avpersonal och genom att uppmuntra till diskussionoch kritisk reflektion i det praktiska arbetet. Stra-tegiska åtgärder kan också vara att prioritera ana-lytisk förmåga i organisationen och att höja stab-ens professionella kompetens i utvärdering, samtatt utveckla kontakter med externa utvärderings-miljöer för kontinuerligt utbyte av erfarenheter ochkunskap. För att påverka motivation och intressetför att använda utvärdering kan ledningen visaatt de önskar och värdesätter utvärderingsarbeteoch att det är en merit att utföra en fortlöpandegranskning av den egna verksamheten. En viktigåtgärd för att påverka attityderna är dessutom atttillsätta resurser som gör det möjligt att tillämpautvärderingsresultat som anses viktiga.

Praktiska exempelEn beskrivning av hur utvärderingen presentera-des för uppdragsgivaren ger en bild av hur an-vändningen ser ut i exemplet från Östersund. Somframgick av beskrivningen i kapitel två presente-rade utvärderingen bedömningar av kvaliteteninom hemtjänsten och överlämnade resultatet tillverksamhetsförvaltningen för reflektioner, analy-

ser och åtgärder. I uppdraget till utvärderaren in-gick också att göra en muntlig redovisning förandra berörda parter på de olika arbetsenheternaoch till brukare och anhöriga. Konkret innebar detatt utvärderaren besökte varje enhet och redovi-sade resultatet till ledning och personal. Utvärdera-ren återkom också ytterligare en gång för att svarapå frågor sedan mottagarna hade diskuterat resul-taten. Exemplet visar hur en dialog kan upprättasmellan utvärderare och användare i verksamhe-ten för att sprida resultatet.

När det gäller redovisningen till brukare så be-skriver utvärderaren att denna information ännuinte har genomförts fullt ut, men att informationhar givits till olika brukargrupper och till pensionärs-råd med flera. Omsorgsnämnden har också beslu-tat att starta en kvalitetsgrupp där alla utförare avhemtjänst i kommunen kommer att delta. Tankenär att gruppen ska bli ett forum för att diskuteramellan beställarsidan och utförarna om vilka kva-litetskrav som kan ställas och hur dessa kan utvär-deras. Genom dessa externa kontakter kan dialo-gen mellan utvärdering och intressenter utvecklastill fler parter än personalen och ledningen.

Även i redovisningen av utvärderingen i Växjöfinns exempel på en rad aktiviteter för att spridaresultatet till användarna. Utvärderingen av 4Öhar redovisats vid en särskild utvärderingsdag därcirka 120 personer deltog. Deltagarna var förutomanställda och förtroendevalda i 4Ö:s organisatio-ner även länets övriga försäkringskassor, arbets-förmedlingar och kommuner, samt AMI ochlandstinget. En handfull personer från andra FoU-enheter i landet var också närvarande.

Utvärderingarna om ekonomi respektive livs-kvalitet har getts ut i arrangören FoU-Kronobergs


rapportserie och spridits via denna. Ekonomi-högskolan vid Växjö universitet har aviserat attanvända utvärderingsrapporten om ekonomiskaaspekter på 4Ö som undervisningsmaterial. Rap-porten har även väckt uppmärksamhet som metodför att utvärdera ekonomiska aspekter.

När det gäller utvärderingen av arbetsprocesser,handläggarnas arbete, så har man gjort en åter-koppling under arbetets gång. Processutvärderingenanvändes direkt i arbetsgruppens arbete, dels ge-nom den deltagande observationen och dels ge-nom att gruppen läste utvärderingen och diskute-rade förbättringar. Processutvärderingen har ocksåpresenterats för 4Ö:s styrgrupp vid speciellagenomgångar, och styrgrupp och arbetslag harmötts för gemensam diskussion.

Slutligen har olika beslut fattats under resansgång, t ex bildades en referensgrupp för att få medmellanchefer i arbetet, och livskvalitetmätningenkompletterades med uppgifter om sysselsättning.

I båda dessa utvärderingar ges alltså prov påinteraktiv användning. Med Michael Nydénsanvändningsbegrepp kan man vidare se att instru-mentell användning dominerar, men även koncep-tuell användning med förslag och reflektioner kringtänkbara förbättringar finns med i bilden. När detgäller tidpunkten så ligger tyngden på användningi nuet, även om det också här finns anledning för-moda att resultaten kommer att diskuteras ävenfortsättningsvis. Den uppföljning som diskuteraskring utvärderingen i Östersund och den använd-ning av utvärderingsrapporterna som FoU-Krono-berg redovisar i kommande utbildning är exempelpå detta. Huruvida alla eller delar av resultatenkommer till användning är svårt att svara på utannärmare undersökningar. Av utvärderarnas redo-

visningar att döma förefaller dock användningengälla stora delar av resultaten. Man kan också seatt användningen i första hand ligger påorganisationsnivå. En fortsatt mer kognitiv använd-ning kommer antagligen att ha mer individuellaförtecken.

Slutligen kan man kommentera de använd-ningssätt som Michael Nydén identifierar i formav taktisk och legitimerande användning och kon-statera att utvärderingarna medverkar till att legi-timera pågående verksamheter. Utvärderingen iVäxjö visar att samverkansprojektet är framgångs-rikt och ger stöd för fortsatt verksamhet. Utvärde-ringen i Östersund visar att hemtjänstens verksam-het uppfyller de grundkrav som beställaren har,samtidigt som den visar på viktiga områden sombehöver förbättras. Såvitt jag kan bedöma haringen av utvärderingarna genomförts av rent tak-tiska skäl utan förefaller vara seriöst menadegranskningar för att få värderingskunskap om deaktuella utvärderingsobjekten.

SammanfattningI diskussioner om bristande användning är det oftautvärderingens resultatsida som står i fokus. Mantalar om problemet med att utvärderingens olikaslutsatser och förslag inte uppmärksammas ochsprids vidare. Vad det kan finnas för orsaker tilldetta har engagerat många utvärderingsforskare.Bland förklaringsfaktorerna finns omvärlds- ellerbakgrundsförhållanden av olika slag som påver-kar hur utvärderingen kan läggas upp och genom-föras. Orsaker till bristande användning kan härsökas i oklarheter i organisationens sätt att för-hålla sig till utvärdering, hur man ser på varför


utvärdering sker, om det finns en övertygelse omnyttan med utvärdering, etc.

Förutom sådana externa faktorer kan det ocksåfinnas brister i själva utvärderingen. Problemenhär gäller hur utvärderingen är organiserad, vemsfrågor eller kunskapsbehov som tillgodoses och hurutvärderingens resultat ser ut och presenteras. Enkritisk fråga är hur resultaten förhåller sig till ti-digare dominerande föreställningar om hur verk-samheten fungerar. Slutligen kan också egenska-per hos de tilltänkta mottagarna förklara bristandeanvändning, exempelvis att det saknas kunskap,motivation och resurser att använda utvärdering.

87 Nydén (1992) s. 91.88 Albaeck (1988); Nydén (1992); Premfors (1986); Weiss(1989, 1991); Åberg (1997).89 Albaek (1988) s. 74.90 House (1996).91 Chelimsky (1987).92 Lundqvist (1987) s. 87ff.93 Tarschys (1986).94 Vedung (1998) s. 232.95 Vedung (1998).96 Vedung (1998) s. 227.


10. Sammanfattning av centralafrågor och strategier

I BOKENS NIO kapitel har ett antal huvudfrågorpresenterats att tänka på vid utformning avutvärdering. Syftet med detta kapitel är att

sammanfatta några viktiga punkter att beakta in-för den uppgiften. Förhoppningen är att den läsaresom står inför att beställa eller utföra en utvärde-ring kan granska sitt tänkande med hjälp av dessafrågor.

1. Varför ska utvärdering göras?

2. Vilka kunskaper söks?

3. Vilka bedömningskriterier ska användas?

4. Hur ska utvärderingen genomföras?

5. Vilken roll ska utvärderaren ha?

6. Hur ska utvärderingen användas?

Varför ska utvärderingen göras?Syftet bakom en utvärdering kan variera beroendepå vem som formulerar det. Utvärderingen kanformuleras på en överordnad organisationsnivå,exempelvis av politiker eller ledning. Den kanockså formuleras av de berörda själva inom enverksamhet, exempelvis personal och brukare.Syftet kan även formuleras av forskarsamhälleteller en bredare publik i samhället. (Se vidare ka-pitel 3.)

Beroende på vilka huvudfrågor man vill be-lysa eller besvara och vad man vill åstadkommamed utvärderingen, kan olika syften prioriteras:

≥ att kontrollera att beslutade mål har uppfyllts

≥ att stimulera till utveckling av den verksamhet somgranskas

≥ att använda utvärdering för att utveckla mer teoretisktoch vetenskapligt beprövad kunskap.

Vad ska utvärderas?Ett sätt att tänka inför valet av vilka frågor ochproblem en utvärdering ska fokusera på är att utgåfrån olika begreppsliga ramar. Som uppdragsgi-vare är det vanligt att tänka i termer av en upp-dragsram, medan forskaren föredrar att formulerautvärderingsfrågorna utifrån en teoriram som han/hon själv utformar. En tredje möjlighet att tänkaom vad som ska utvärderas är att använda be-greppet problemram.

Med problemram som organiserande begrepplämnas frågan öppen för såväl beställare ochutvärderare som andra berörda intressenter attpåverka vad som kommer att granskas. Argumen-tet för ett sådant synsätt är att utvärderingar inomoffentlig verksamhet ofta granskar komplexa för-hållanden och frågor. Dessa kan sällan avgränsas


på ett entydigt sätt innan utvärderingen kommerigång. Därför bör det finnas utrymme för modi-fieringar allt eftersom man lär sig mer om denaktuella verksamheten. Därmed motverkas att ut-värderingen blir alltför snävt styrd från början medrisk att viktiga bieffekter som inte kunde förutsesinte uppmärksammas.

Vilka kunskaper söks?Till grund för att göra en bedömning krävs attutvärderaren skaffar sig kunskap som gör utvär-deringsobjektet rättvisa. I alla undersökningar skerett val av vad som ska uppmärksammas och vadsom kommer att hamna vid sidan om. Skilda syn-sätt på förändring speglas i olika kunskapssyn. Enutvärdering kan således göras med olika ”kun-skapsfilter”. Tre sådana ”filter” kan beskrivas iform av olika perspektiv på kunskap:

≥ ett tekniskt perspektiv

≥ ett kulturellt perspektiv

≥ ett politiskt perspektiv.

Traditionellt har utvärdering ofta skett utifrån etttekniskt perspektiv på förändring. Det innebär oftaatt uppmärksamhet riktas mot kvantitativt mät-bara förhållanden, som t ex ekonomi. På senareår har allt fler intressegrupper kommit in som del-tagare vid utvärdering, vilket har gjort att ävenandra kunskapsperspektiv har fått en viktig roll,inte minst ett politiskt förändringsperspektiv somuppmärksammar sociala, politiska och kulturellaeffekter för olika grupper. (Se vidare kapitel 4.)

BedömningsarbetetUtvärderingens mål är att producera värderings-kunskap, dvs att säga något om utvärderings-objektets meriter och värde. Hur bedömningsar-betet kan genomföras kan analyseras med hjälpav fyra frågor som finns utvecklade i kapitel fem.

1. Vilka värdekriterier ska bedömas mot?

2. Med vilka mått ska kriterierna preciseras?

3. Enligt vilka principer ska jämförelsen ske?

4. Skall resultat vägas samman och i så fall hur?

Den första frågan, valet av värdekriterier, kanbaseras på mål, teorier, intressen eller kulturellavärden, beroende på vilka värderingar som prio-riteras.

När det gäller den andra frågan, hur kriteriernakan preciseras i mätbara mått, finns tre stånd-punkter: En objektivistisk som anser att det finnsgenerella mått, en subjektivistisk som anser attbedömning är beroende av tolkaren, och en dia-logiskt intersubjektiv ståndpunkt som anser attreferenspunkter för bedömning bör utformas i dis-kussion mellan olika bedömare.

Den tredje frågan, valet av jämförelseprinciper,kan gälla antingen att jämföra objektet mot en”yttre” referenspunkt, att jämföra mellan objekteller verksamheter, eller att jämföra en verksam-het med sig själv över tid.

Den fjärde frågan slutligen handlar om att vägasamman resultat och att jämföra olika verksam-heter. Resultat har ofta kommit till under skildaomständigheter som gör att de inte kan jämföraspå något enkelt sätt. Det gör att man måste varaförsiktig när det gäller att efterlysa jämförelser och


rangordningar som inte kan beakta detta. Samti-digt har beställare och andra intressenter ofta ettstort intresse av att få jämförelser, och utvärdera-ren kan sällan undvika frågan. Här råder en stän-dig kamp mellan kravet på enkla och överblick-bara resultat kontra insiktfulla och nyanseradebeskrivningar. En tänkbar strategi för att hanterasammanvägningen av komplexa resultat, presen-terad i kapitel fem, är att försöka skapa ett öppetoch ”maktfritt” samtal mellan olika intressenterför att enas kring en bedömning.

Utvärderingens genomförandeAnsvaret för det praktiska utförandet av utvärde-ringen brukar vara en fråga som beställaren över-

lämnar till utvärderaren. Det hindrar inte att ävenbeslutsfattaren bör göra sig en uppfattning om vil-ken strategi och typ av utvärdering som man villprioritera. Även här finns några valmöjligheter närdet gäller utvärderingsstrategier i form av:

≥ den utprövande strategin

≥ den upplysande strategin

≥ den interaktiva strategin.

Vilken strategi som ska väljas kan analyseras medhjälp av frågorna i följande tabell. Frågorna harformulerats med utgångspunkt från de olika besluts-nivåer där utvärderingen beställs eller utformas.(Utvärderingsmodellerna i tabellen presenteras ikapitel 6.)

3. Interaktivt ochförändringsinriktad

Vilka behov finns? Hurkan man påverka/förändraförväntningar och behov?

Intressentmodellen(omfattar ofta fleranivåer)

Vad betyder insatsen förbrukare? Hur samarbetaför att utvärdera?

Brukarmodell

Hur bedömer användarnainsatsen? Kan de påverka?

Målfri utvärderingBrukarmodell

Strategi/Beslutsnivå

Centrala beslutsfat-tare i kommunen

Exempel på modell:

Mellannivå, t exdistriktsledning,skolledare, etc.

Exempel på modell:

Praktiskverksamhetsnivå

Exempel på modell:

1. Utprövande ochmätande

Vilket system fungerareffektivast? Vad gerinsatsen för resultat?

SystemanalysMål-resultatmodell

Hur omsätta mål tillbeslut och riktlinjer?

Beslutsmodell

Vad ger insatsen förkonkret måluppfyllelse?

Expertmodell

2. Upplysande ochförklaringsinriktad

Hur verkar insatsengenerellt? Vilka ärproblemen?

Teorimodell för utvärde-ring(deduktiv ansats)

Hur kan organisationengöras effektivare?

Aktionsforskningsmodell

Hur fungerar insatsenlokalt och hur kan denutvecklas?

SjälvutvärderingYrkesmässig reflektionTeorimodell (induktivansats)Aktionsforskningsmodell

Tabell 7. Strategier och utvärderingsmodeller på olika beslutsnivåer


Utvärderarens rollValet av strategi och modell för utvärdering på-verkar också utvärderarens roll. Ett val står mel-lan att anlita en extern eller en intern utvärderare.Ovanstående tabell visar för- och nackdelar medde olika valen.

Förutom valet mellan intern och externutvärderare finns det en rad aspekter som kan be-aktas när det gäller utvärderarens roll. I kapitelsju beskrivs och analyseras fyra olika huvudin-riktningar som utvärderaren kan ha – traditionell,intern, demokratisk och deltagande utvärderare –samt en rad olika roller som kan förknippas meddessa inriktningar.

Strävan att markera utvärderarens professio-nella status som expert har ökat i takt med attutvärdering som verksamhet har vuxit i betydelse.Det finns ett allt större utvärderingskunnande inomsåväl det vetenskapliga som det politiskt-adminis-trativa samhället. Under senare år har utvärderar-

rollen utvecklas mot att vara mer av samordnare,organisatör, informatör och förmedlare, vilket stäl-ler nya krav på utvärderaren att kunna balanseraolika krav och intressen.

Det är viktigt att beslutsfattare och utförare avutvärdering av offentlig verksamhet uppmärksam-mar det spänningsfält som finns mellan forskning-ens och politikens praxis. Dessa två världar repre-senterar olika logiker, vilket utvärderaren förvän-tas kunna balansera på ett konstruktivt sätt. Dettaställer krav på utvärderaren att ha en kompetenssom motsvarar både vetenskapliga och politiskt-administrativa kriterier. Frågan utvecklas i kapi-tel åtta, där jag framhåller att det behövs mer kun-skap kring hur en sådan kompetens kan utvecklas.

AnvändningsfråganRedan vid planeringen av en utvärdering bör frå-gan om hur användningen ska se ut diskuteras.

Extern utvärderare

Positivt

1. Allsidigt belysande - har inga bindningar till verksam-heten.

2. Kan ha distans till det som sker och överblicka flerverksamheter än den som utvärderas.

3. Specialistkunskap i forsknings- och undersöknings-metodik, samt i rapportskrivning och resultat-spridning.

Intern utvärderare

Positivt

1. Utvärderaren är väl insatt i försöket och vet vilkaavsikterna är.

2. Utvärderaren vet hur verksamheten fungerar, kan dessspråk och speciella förhållanden.

3. Utvärderaren kan inträngande belysa vad som sker.

Negativt

1. Svårt att skilja på roller som personal ochutvärderare.

2. Risk för att bortse från, tona ned misslyckanden ochatt överbetona det som gått bra.

3. Brist på erfarenhet av utvärderingsarbete, rapporte-ring, etc.

Negativt

1. Bristande kännedom om verksamheten.2. Brist på engagemang i de idéer som ligger bakom

försöket.3. Svårigheter att anpassa resultaten så att de är

praktiskt direkt användbara i verksamheten, ellermed andra ord bristande lokal legitimitet i resultatet.

Tabell 9. För- och nackdelar med intern och extern utvärderare


Bristande användning har olika förklaringar ochförslagen till åtgärder blir därmed olika. (Se vi-dare kapitel 9.)

Bland förklaringarna till bristande användningfinns externa omvärlds- eller bakgrundsförhål-landen som påverkar utvärderingens uppläggningoch genomförande. Orsakerna kan också ligga ihur utvärderingen genomförs och utifrån vems frå-gor. Ytterligare orsaker till bristande användningkan vara att utvärderingens resultat inte uppfattassom relevanta eller att de presenteras på ett brist-fälligt sätt. Slutligen kan problemet vara att detilltänkta mottagarna saknar kunskap, motivationoch resurser att använda utvärdering. Till vart ochett av dessa orsaksområden kan man koppla tänk-bara strategier för att undanröja användnings-hindren.

Ett sätt att förbättra utvärderingen är att göraden mer tekniskt användbar genom att betona detkvantitativt mätbara. Ett annat alternativ för attöka användningen är att betona kommunikationoch interaktion med berörda intressenter.

Med det kommunikativa synsättet är man innepå betydelsen av att påverka och förändra delta-garnas föreställningar. Frågan om bristande kom-munikation kan också vara ett redaktionellt pro-blem, där strategin blir att göra rapporteringenmer användaranpassad.

Om man anser att orsakerna till bristande an-vändning ligger hos användarna är en åtgärd atthöja den allmänna kompetensnivån i organisatio-nen när det gäller utvärdering och hur man kanomsätta resultat, exempelvis genom att utbildapersonal och uppmuntra till diskussion och kritiskreflektion i det praktiska arbetet. En viktig åtgärdför att påverka attityder är dessutom att tillsättaresurser som gör det möjligt att tillämpa deutvärderingsresultat som anses vara viktiga.

Förändra utvärderingensform, innehåll och utförande

Utveckla kommunikationenmed användare

Påverka användarnas kunskaper,attityder och förmåga tillhandling

Orsaker till bristande användning av utvärdering

1. Utvärderingens utformning,genomförande och resultat

2. Överföring av information 3. Synsätt hos utvärderingens”publik” och avseddaanvändare

Strategier för att öka användning

Figur 6. Bristande användning och strategier för ökad användning.Källa: Åberg, J-O (1997).



Litteratur

Albaek, E. (1988). Fra sandhed til information. Evalue-ringsforskning i USA – for og nu. Viborg: AkademiskForlag.

Alexandersson, M. & Krogsmark, T. (1984). Ut-värdering och skolutveckling. En hjälpreda. Lund:Studentlitteratur.

Bergström, L. (1990). Grundbok i värdeteori. Stock-holm: Thales.

Bernstein, R. J. (1983). Beyond Objectivism and Relati-vism. Oxford: Basil Blackwell.

Burman, P. & Petersson, C. (1998). Livskvalitet ochupplevd hälsa. En utvärdering inom ramen för 4Ö.Växjö: Landstinget Kronoberg. Försäkringskassan Kro-noberg.

Chelimsky, E. (1987). What have we learned about thepolitics of program evaluation? Evaluation Practice, 8(1), s 5–21.

Cronbach, L. J., Ambron, S. R., Dornbusch, S. M., Hess,D. C., Hornik, R. C., Phillips, D. C., Walker, D. F., &Weiner, S. S. (1981). Toward Reform of ProgramEvaluation: Aims, Methods, and Institutional Arrange-ments. San Francisco: Jossey-Bass Publishers.

Dahllöf, U. (1978). Curriculum Evaluation, FrameFactors, and Teaching for Mastery; Reprints of threearticles. Pedagogiska institutionen vid Uppsala univer-sitet: Uppsala reports in education, 2.

Dalin, P. (1994). Utbildning för ett nytt århundrade.Stockholm: Liber Utbildning.

Delander, L. & Nilsson, M. (1998). Ekonomiska aspek-ter på 4Ö. Centrum för arbetsmarknadspolitisk forsk-ning. Högskolan i Växjö.

Ekholm, B. & Hedin, A. (1995) Upptäck vardagen! Ompraktisk utvärdering av daghemsverksamhet. Lund:Studentlitteratur.

Ekholm, M. (1992) Lokal utvärdering som grund förkunskapstillväxt. Nordisk Pedagogik, (1), s 22–29.

Ekholm, M., & Lander, R. (1993). Utvärderingsprakti-kan. Att utvärdera skolans verksamhet. Stockholm: Li-ber Utbildning.

Eliasson, R., & Nygren, P. (1980). Utvärderings-forskning – kritisk vetenskap eller professionaliseradreformism? (s 10–39). I B-Å. Armelius (red.), Gerbehandlingen resultat? Stockholm: Norstedts.

Eliasson, R., Levin, C., Meeuwisse, A., & Sunesson, S.(red.). (1990). Den värderande blicken. Om utvärde-ring i socialt arbete. Lund: Studentlitteratur.

Eriksson, B. & Karlsson, P-Å. (1998). Utvärdera bättre.För kvalitetsutveckling i socialtjänsten. Göteborg:Gothia.

Fetterman, D. M. (1994). Empowerment evaluation.Evaluation Practice, 15 (1), s 1–15.

Finansdepartementet. ESO-gruppen (1998). Kommitté-erna och bofinken. Kan en kommitté se ut hur som helst?Ds 1998:57.

Franke-Wikberg, S. (1990). En strategi för utvärderingoch lokal utveckling av utbildningskvalitet. Umeå: Pe-


dagogiska institutionen vid Umeå universitet.Arbetsrapport 81.

Franke-Wikberg, S. (1992). Utvärderingens mångfald.Några ledtrådar för vilsna utbildare. Stockholm: Uni-versitets- och högskoleämbetet.

Franke-Wikberg, S. & Lundgren, U. P. (red.). (1980).Att värdera utbildning. Del 1. Stockholm: Wahlström& Widstrand.

Frykholm, C-U. (1997). Att utvärdera kunskapslyftet –ett servicematerial. Stockholm: Delegationen förkunskapslyftet.

Författarkollektivet AURORA. (1983). Social fältforsk-ning. Uppsala: Almqvist & Wiksell.

Gallie, W. B. (1956). Essentially Contested Concepts.London.

Guba, E. G. & Lincoln, Y.S. (1989). Fourth GenerationEvaluation. London: Sage.

Gunnarsson, L. (1987). När måttstocken är problemet.Kritik av utvärderingsforskning. (s 118ff). I C. Edlund,C. Gunnarson, L. Gunnarsson, G. Hermerén, K. Mo-berg och T. Nilstun, Utvärderingsforskning. Kartlägg-ning av forskningsläget. MURA-projektet. Lund:Studentlitteratur.

Gunnarsson, C. (1982). Ekonomisk forskning och ut-värdering. (s 33–43). I C. Edlund, C. Gunnarson, L.Gunnarsson, G. Hermerén, K. Moberg och T. Nilstun,Utvärderingsforskning. Kartläggning av forskningsläget.MURA-projektet. Lund: Studentlitteratur.

Gustafsson, C. & Selander, S. (1994). Ramfaktor-teoretiskt tänkande. Pedagogiska perspektiv. En vän-bok till Urban Dahllöf. Uppsala: Pedagogiska institu-tionen, Uppsala universitet.

Gustavsson, B. Bildning i vår tid. Om bildningens möj-ligheter och villkor i det moderna samhället. Stockholm:Wahlström & Widstrand.

Hansson S. O. (1998). Vad är socialism? Tidskrift förpolitisk filosofi, (3), s 27–39.

Haug, P. (1991) Evaluering – vitskap eller politikk?Nordisk Pedagogik, (4), s 195–205.

Haug, P. (1998). Linking Evaluation and ReformStrategies. (s 5–20). I New Directions For ProgramEvaluation, nr 77. San Francisco: Jossey-Bass Publishers.

Hauge, R., Harrop, M. & Breslin, S. (1992). Comparativegovernment and politics. An introduction. London:Macmillan Press.

Hermerén, G. (1987). Teoretisk analys, politisk debattoch värderingar. (s 9–26). I C. Edlund, C. Gunnarsson,L. Gunnarsson, G. Hermerén, K. Moberg och T. Nils-tun, Utvärderingsforskning. Kartläggning av forsknings-läget. MURA-projektet. Lund: Studentlitteratur.

House, E. R. (1980). Evaluation with Validity. London:Sage Publications.

House; E. R. (1981). Three Perspectives on Innovation:Technological, Political and Cultural. I R. Lehming ochM. Kanne (red.), Improving Schools. London: Sage.

House, E. R. (1983). Assumptions underlying evaluationmodels. (s 45–65). I G. F. Madaus, M. Scriven, & D. L.Stufflebeam (red.). Evaluation models: Viewpoints oneducational and human services evaluation. Boston:Kluwer-Nijhoff.

House, E. R. (1986). Internal evaluation. EvaluationPractice, 7 (1), s 63–64.

House, E. R. (1988). Evaluating the FBI: A response toSonnichsen. Evaluation Practice, 9 (3), s 43–46.

House, E. R. (1989) Assumptions underlying evaluationmodels. (s 45–64). I G. F. Madaus, M. Scriven, & D.Stufflebeam (red.), Evaluation models: Viewpoints oneducational and human services evluation. Boston:Lluwer-Nijhoff.


House, E. R. (1990). Participant IntroductoryComments. (s 81–84). I M.C. Alkin (red.). Debates onEvaluation London: Sage Publications.

House, E. R. (1991). Evaluation and Social Justice: Whereare We? (s 232–247). I M. W. McLaughlin och D. C.Phillips (Eds.), Evaluation and Education: At QuarterCentury Chicago: University of Chicago Press.

House, E. R. (1996). Professional Evaluation. London:Sage.

Johansson, I. (1979). Utvärdera barnomsorgen. Insti-tutionen för praktisk pedagogik. Göteborgs universitet.Rapport 91.

Johansson, I. & Flising, B. (1982). Utveckla barn-omsorgen. Information och idéer om lokalt FoU-arbete.Stockholm: Liber.

Johansson, I. & Karlsson, O. (1997). Kunskapsläget ibarnomsorg inför framtida utvärdering. En inventeringoch analys. Stockholm: Skolverket.

Kvale, S. (1996). InterViews. An introduction toQualitative Research Interviewing. London: Sage.

Karlsson, O. (1990). Utvärdering av fritidsklubbar. Es-kilstuna: Socialtjänsten.

Karlsson, O. (1995). Att utvärdera – mot vad? Omkriterieproblemet vid intressentutvärdering. Stockholm:HLS Förlag.

Karlsson, O. (1996). Petrus-projektet. Västerås: Läns-styrelsen i Västmanland. Västmanlands kommunför-bund.

Krogstrup, H. K. (1997) Brugerindragelse og organisa-torisk laering i den sociale sektor. Århus: Forlaget Sys-time.

Kvalitetsutmärkelse Svensk Skola. Svenska kommun-förbundet och Institutet för Kvalitetsutveckling, Göte-borg 1994.

Lander, R. (1987). Utvärderingsforskning – till vilkennytta? Pedagogiska röster och två exempel från forsk-ningsfältet skolutveckling. Göteborg: Acta UniversitatisGothoburgensis.

Lindensjö, B. & Lundgren, U. P. (1986a). Att skilja detgoda från det dåliga. I (s 95–106). I. Palmlund. (red.),Utvärdering av offentlig verksamhet Stockholm: Liber.

Lindensjö, B. & Lundgren, U. P. (1986b). Politisk styr-ning av utbildningsreformer. Helsingborg: Liber.

Lindensjö, B. & Lundgren, U. P. (1992). Att utvärderautvärdering. (s 221–243). I S. Selander, (red.), Forsk-ning om utbildning. En antologi. Stockholm: BrutusÖstlings bokförlag.

Lundberg, O. & Bergh, K. (1998). Hur bra är vi på vårdoch omsorg? En rapport om kvalitetsuppfyllelse i hem-tjänst och hemsjukvård. Resultatenhet Västervik.Östersunds kommun. Omsorgsnämnden. Utvärderings-rapport 1998:3.

Lundqvist, L. (1987). Implementation Steering. An Actor-Structure Approach. Lund: Studentlitteratur.

Mattsson, B. & Okmark, G. (1998). Samverkan mellanmyndigheter. En processutvärdering av en arbetsgrupp.Växjö: Samhällsvetenskapliga institutionen. Högskolani Växjö.

Morén, S. (1996). Att utvärdera socialt arbete. Stock-holm: Norstedts Juridik.

Måhl, P. (1991). Betyg – men på vad? En bok omkunskapssyn och prov. Stockholm: HLS Förlag.

Møller, J. (1996). Aksjonsforskning i spenningsfeltetmellom politikk og vitenskap. Nordisk Pedagogik, 16(2), s 66–77.

Nydén, M. (1992). FoU utvärdering och användning.Stockholm: Byggforskningsrådet.

Owen, J. M. (1999). Program evaluation. Forms andapproaches. London: Sage.

Philgren, G. & Svensson, A. (1990). Målstyrning – 90-talets ledningsform för offentlig verksamhet. Malmö:Liber.

Premfors, P. (1986). Utvärdering i offentliga besluts-processer. (s 81–94). I I. Palmlund (red.), Utvärderingav offentlig verksamhet. Stockholm: Liber.

Premfors, R. (1989). Policyanalys. Kunskap, praktikoch etik i offentlig verksamhet. Lund: Studentlitteratur.

Ramström, D. (1998). Målstyrning i utbildningen –skåpmat eller en reell förnyelsekraft? Forskning om ut-bildning, (2), s 4–14.

Riksdag & Departement, nr 33, 1998, Debatten ”Ty-pisk akademikerkritik”.

Rolf, B., Ekstedt, E. & Barnett, R. (1993). Kvalitet ochkunskapsprocess i högre utbildning. Nora: BokförlagetNya Doxa.

Rombach, B. & Sahlin-Andersson, K. (1995). Från san-ningssökande till styrmedel. Moderna utvärderingar ioffentlig sektor. Stockholm: Nerenius & Santérus För-lag.

Rombach, B. (1991). Det går inte att styra med mål.Lund: Studentlitteratur.

Rubenstein Reich, L. & Wesén, B. (1992). Utveckla mera!Självvärdering och egen utveckling i barnomsorgen.Lund: Studentlitteratur.

Samverkansprojekt i Växjö. (1998). Slutrapport till In-rikesdepartementet. Kommittén för KommunaltOmstruktureringsstöd. Växjö: Samverkansprojektet4Ö.

Sandahl, R. (1991). Resultatanalys. Stockholm: Riksre-visionsverket.

Schwandt, T. A. (1997) The Landscape of Values inEvaluation: Charted Terrain and Unexplored Territory.(s 41–56). I New Directions for Program Evaluation, nr

76, San Francisco: Jossey-Bass Publishers.

Schwandt, T. A. (1998). De dubbla aspekternas dilemma.Pedagogiska Magasinet, (4), s 42–47.

Scriven, M. (1967). The methodology of evaluation. (s39–83) I R. W. Tyler, R. M. Gagne & M. Scriven (red),Perspectives of curriculum evaluation. Chicago: RandMcNally.

Scriven, M. (1971). Evaluating Educational Programs.(s 49–53). I F. G. Caro (red.), Readings in EvaluationResearch. New York: Sage.

Scriven, M. (1980). The Logic of Evaluation. Inverness,CA: Edgepress.

Scriven, M. (1991). Evaluation Thesaurus. London: SagePublications.

Shadish, W. R. (1994). Need-based evaluation theory:What do you need to know to do good evaluation?Evaluation Practice, 15 (1), s347–358.

Shadish, W. R. Jr., Cook, T. D. & Leviton, L. C. (1991).Foundations of Program Evaluation: Theories ofPractice. Newbury Park, Calif: Sage.

Sirotnik K. A. (1990). Evaluation and Social Justice:Issues in Public Education. New Directions för ProgramEvaluation, nr 45. San Francisco: Jossey-Bass.

Sonnichsen, R. C. (1987). An internal evaluator resp-ond to Ernest House´s views on internal evaluation.Evaluation Practice, 8 (4), s 34–36.

Sonnichsen, R. C. (1989). Open letter to Ernest House.Evaluation Practice, 10 (3), s 59–63.

Statistiska centralbyrån (1993). Gyllene regler vid ut-värdering – översättning av en amerikansk standard.Stockholm: SCB.

Svenska kommunförbundet (1997). Hur arbetar Sveri-ges kommuner med utvärdering och kvalitetsmätninginom barnomsorgen? Stockholm: Svenska Kommun-

förbundet och Skandinaviska utvärderingsinstitutet.

Tarschys, D. (1986). För döva öron? Politikern ochutvärderaren. (s 20–26). I I. Palmlund (red.), Utvärde-ring av offentlig verksamhet Stockholm: Liber.

Wallin, E. (1998). Om pedagogikens identitet som ve-tenskaplig disciplin. Pedagogisk Forskning i Sverige, 3(3), s 216–222.

Wallin, E. (1998). Om målstyrningens bekymmer. Forsk-ning om utbildning,(3), s 19–29.

Vedung, E. (1998). Utvärdering i politik och förvalt-ning. Lund: Studentlitteratur

Weiss, C. H. (1989). Where Politics and Evaluation Re-search Meet. (s 47–72). I D. Palumbo (red.) Politics andEvaluation. London: Sage.

Weiss, C. H. (1991). Evaluation Research in the PoliticalContext: Sixteen Years and Four Administrations later.(s 210–231). I M. MacLaughlinoch D. C. Phillips,Evaluation and Education at Quarter Century. Chicago:Chicago University Press.

Worthen, B. R. , Sanders, J. R. & Fitzpatrick, J. L. (1997).Program evaluation. Alternative approaches andpractical guidelines. (2.a uppl.). New York: Longman.

Åberg, J-O. (1997). Det rationella och det legitima. Enstudie av utvärderingars teori och praktik. Göteborg:Sociologiska institutionen, Göteborgs universitet.

Ödman, P. J. (1981). Aktionsforskning som utvärde-ring. (s 268–285). I S. Franke—Wikberg & U. P. Lund-gren (red.), Att värdera undervisning. Del 2. Stockholm:Wahlström & Widstrand.


