2011 Flodström Prestationsbaserad resurstilldelning

1

Prestationsbaserad resurstilldelning för universitet och högskolor

2

Till statsrådet Jan Björklund

Regeringskansliet uppdrog den X Juli 2010 åt professorn Anders Flodström att utvärdera forskningskvalitet som en grund för tilldelning av resurser till universitet och högskolor. Ämnesrådet Max Kesselberg har fungerat som sekreterare under genomförandet av uppdraget. Genom denna promemoria – Prestationsbaserad resurstilldelning för universitet och högskolor (Ds 2011:XX) – är uppdraget slutfört. Stockholm i oktober 2011 Anders Flodström

3

Innehåll

Till statsrådet Jan Björklund ..............................................2

Sammanfattning...............................................................9 Uppdraget...............................................................................9 Uppdraget.............................................................................15 Uppdragets genomförande..................................................16

1 Inledning ...............................................................18

1.1 Universitetens roll i och för samhället ...............................18

1.2 Den tid vi lever i ...................................................................20

1.3 Olika perspektiv på kvalitet.................................................22

1.4 Mångfald i fokus ..................................................................26

1.5 Prestationsbaserad tilldelning .............................................27

2 Indikatorer .............................................................31

2.1 Kollegial bedömning eller peer review och statistiska metoder som indikatorer på vetenskaplig kvalitet .............32

2.2 Forskningens vetenskapliga kvalitet mätt från en publikationsdatabas..............................................................36

2.3 Enkla begrundanden ............................................................37

Innehåll Ds 2011:

4

2.4 Externa medel som en indikator på framtida excellens .....40

2.5 De svenska indikatorerna i dagens system .........................41

2.6 Internationellt använda indikatorer ....................................42

3 Kollegial bedömning – peer review ............................43

3.1 Kollegiala bedömningens egenskaper och värden ..............44

3.2 Situationen i Sverige.............................................................47

4 Internationell översikt ..............................................51

4.1 Inledning...............................................................................51

4.2 Några länder mer i detalj .....................................................53

4.3 Kostnaden.............................................................................63

4.4 Utfall .....................................................................................64

5 Svensk översikt .......................................................69

5.1 Lärosätesutvärderingar.........................................................70

5.2 Nuvarande svenska system..................................................79

6 Humaniora och samhällsvetenskap............................85

6.1 Svenska databaser .................................................................87

7 Konstnärlig forskning ...............................................91

8 Samverkan och påverkan..........................................97

8.1 Begreppen .............................................................................99

8.2 Exempel på samverkan och påverkan - indikatorer..........101

Ds 2011: Innehåll

5

8.3 Internationellt ....................................................................101

8.4 Nationellt ...........................................................................104

8.5 Samverkan och påverkan ...................................................109

9 Överväganden och förslag.......................................115

9.1 Kollegial bedömning ..........................................................116

9.2 Hänsyn till olika forskningsområdens möjligheter att få extern finansiering .........................................................117

9.3 Externa medel.....................................................................118

9.4 Vetenskaplig excellens .......................................................118

9.5 Bibliometri..........................................................................119 9.5.1 Sjukhus och forskningsinstitut ..............................121 9.5.2 Tidpunkt för övergång ...........................................123

9.6 Konstnärlig forskning och utvecklingsarbete ..................123

9.7 Samverkan – uppdragsforskning och uppdragsutbildning ............................................................124

9.8 Ett pilotprojekt för att mäta samverkan genom fallstudier genomförs.........................................................124

9.9 Omfördelning av basresurser ............................................125

10 En modell för ökad kvalitet och excellens i svensk forskning..............................................................127

10.1 Externa medel.....................................................................129 10.1.1 Endast bidragsintäkter räknas................................129 10.1.2 Viktfaktorerna beräknas på SCB-data ...................130 10.1.3 Vetenskaplig excellens premieras genom att

medel från VR och ERC räknas högre ..................131

Innehåll Ds 2011:

6

10.2 Samverkan...........................................................................133 10.2.1 Samverkan premieras genom

uppdragsutbildning och uppdragsforskning .........133 10.2.2 Ett pilotprojekt för att mäta samverkan genom

fallstudier.................................................................137

10.3 Sammantaget utfall av de olika förslagen..........................139

Bilaga 1. Viktfaktorer - externa medel .............................149

Beräkning av viktfaktorer baserat på SCB-statistik över intäkter för forskning och forskarutbildning...................149

Bilaga 2. Sjukhus och forskningsinstitut..........................157

Beräkning av publikationer och citeringar för sjukhus och forskningsinstitut...............................................................157

Bilaga 3: Nationell modell för kollegial granskning ...........163

Simulering av en nationell kollegial bedömning........................163

Bilaga 4: Indikatorer - översikt .......................................178

Klassificering och bedömning av indikatorer enligt en rapport från OECD ...........................................................178 Kategori 1 ...........................................................................178 Kategori 2 ...........................................................................186 Kategori 3 ...........................................................................187

Bilaga 5: Samverkan - rapporter .....................................189

Bilaga 6: Rapport - Vetenskap & Allmänhet .....................195 Internationell översikt, analys och förslag till

samverkansindikatorer............................................195

Ds 2011: Innehåll

7

Bilaga 7: Uppdraget......................................................247

PM-uppdraget..............................................................................247

Bilaga 8: Akronymer .....................................................253

9

Sammanfattning

Uppdraget

Uppdraget har bestått i att • Lämna förslag så att utvärderingar av kvaliteten i forskningen

kan ingå som ett viktigt komplement till indikatorerna publiceringar och citeringar samt externa medel.

• Överväga hur hänsyn ska kunna tas till olika forskningsområdens förutsättningar.

• Föreslå hur lärosätenas kvalitet i samverkan med omvärlden och nyttiggörande av forskningsresultat kan bli en del i resurstilldelningssystemet.

• Bedöma om utvärdering av kvalitet i konstnärlig forskning och konstnärligt utvecklingsarbete kan integreras i en modell för utvärdering av kvalitet i forskningen.

Bakgrund

I forskningspropositionen Ett lyft för forskning och innovation (prop. 2008/09:50) föreslog regeringen införandet av två indikatorer för tilldelning av lärosätenas direkta anslag (basresurser). De två indikatorerna var möjligheten att attrahera externa medel och resultatet i form av publiceringar och citeringar som grund för tilldelning av nya resurser och för omfördelning av ca tio

Till statsrådet Jan Björklund Ds 2011:

10

procent av de befintliga basresurserna. Regeringen angav också att den hade för avsikt att noga följa och utvärdera effekterna av det nya systemet. Regeringen gjorde också bedömningen att det skulle vara önskvärt att fördelningen av direkta anslag på sikt även bygger på utvärderingar av kvaliteten inom olika forskningsområden. Regeringen aviserade vidare avsikten att ge en särskild utredare i uppdrag att utreda förutsättningarna för att utveckla en sådan modell. I uppdraget skulle ingå att utreda hur bedömningar av lärosätenas samverkan med omvärlden skulle kunna ingå i resurstilldelningssystemet.

I propositionen Forskarutbildning med profilering och kvalitet (prop. 2008/09:134) föreslog regeringen införandet av examen på forskarnivå för det konstnärliga området. Uppdraget kom därför även att innefatta om utvärdering av kvalitet i konstnärlig forskning och konstnärligt utvecklingsarbete kan integreras i en modell för utvärdering av kvalitet i forskningen och därmed om de konstnärliga högskolorna bör omfattas av ett system för kvalitetsbaserad fördelning av de direkta anslagen.

Internationellt

England införde som första land prestationsbaserad resurstilldelning för basresurserna under 1980-talet och sedan dess har antalet länder som infört sådana system ökat. Hösten 2011 finns det drygt tio länder med sådana system. Dessa system är lika i den meningen att det inte finns så många indikatorer som anses användbara. Däremot har alla länder inte valt precis samma indikatorer, men framförallt skiljer sig sätten att kombinera indikatorerna på.

Ds 2011: Till statsrådet Jan Björklund

11

Nationellt

Sverige införde en ny modell för tilldelning av anslagen för forskning och forskarutbildning med de båda indikatorerna externa medel samt publiceringar och citeringar fr.o.m. budgetpropositionen 2009. Första året fördelades enbart nya resurser enligt modellen. Året därpå fördelades återigen de nya resurserna enligt modellen, men också en omfördelning av ca tio procent av de befintliga resurserna. Tredje och fjärde åren användes samma förfarande med nya resurser. Till omfördelning däremot, togs bara det belopp som var resultatet av omfördelningen året före plus tio procent av de nya resurserna. Sammantaget omfördelas varje år ca 1 miljard kronor.

Våra förslag

• Kollegial eller s.k. peer review bedömning av forskningens kvalitet införs inte • Viktfaktorerna för externa medel görs dynamiska och bygger på data från SCB:s 12 forskningsområden • Endast bidragsintäkter vunna i vetenskaplig konkurrens räknas som externa medel • Vetenskaplig excellens belönas genom att medel från ERC och VR viktas högre än andra externa medel • En nationell databas, som utöver WoS, omfattar humaniora och samhällsvetenskap samt konstnärlig forskning byggs ut (SwePub) och formar tillsammans med WoS en integrerad forskningsdatabas för svensk forskning. Uppdraget utförs av KB i samverkan med VR och i nära dialog med lärosätena • Konstnärlig forskning kan ännu inte ingå i systemet • Publikationer från sjukhus och institut räknas inte in • Samverkan premieras i proportion till intäkterna från uppdragsutbildning och uppdragsforskning


12

• Ett pilotprojekt genomförs för att mäta samverkan genom att universitet och högskolor rapporterar en portfolio av fallstudier över forskningens externa påverkan • Omfördelningen av basresurser ska vart år omfatta 10 procent av föregående års basresurs

Kollegial bedömning

Kollegial bedömning har dålig precision, låg reliabilitet, kan inte genomföras årligen och är resurskrävande. Vi bedömer att lärosätenas egeninitierade kollegiala utvärderingar i sig är tillräckligt kvalitetsdrivande och att ett nationellt system inte är motiverat.

Viktfaktorer för externa medel

De nuvarande viktfaktorerna för externa medel ska ersättas med viktfaktorer byggda på data från SCB:s 12 forskningsområden. De blir då transparenta, speglar förhållandet på lärosätet och de uppdateras vartannat år.

Bidragsintäkter

Endast bidragsintäkter räknas som externa medel och inte intäkter från avgifter och uppdrag. Intäkter från avgifter är inte erhållna i konkurrens och intäkter från uppdrag speglar snarare samverkan med omgivande samhälle. Intäkter från uppdrag föreslås ingå som en indikator för samverkan.


13

Vetenskaplig excellens

Medel från Vetenskapsrådet och Europeiska forskningsrådet är erhållna i högsta nationella respektive europeiska konkurrens. De är dessutom ämnesneutrala i den meningen att de täcker in samtliga ämnesområden. Sådana medel premieras med högre vikt genom att tio procent av de externa medlen i modellen fördelas om i proportion till den nationella andelen av medel från dessa två finansiärer.

En nationell databas för publikationer

Publikationer från humaniora och delar av samhällsvetenskapen har dålig täckning i Web of Science, den databas som hittills använts. Vi föreslår att den svenska databasen SwePub byggs ut, för att kunna lagra alla publikationer från lärosätena. Uppdraget utförs av KB i samverkan med VR och i nära dialog med lärosätena via SUHF.

Konstnärlig forskning

Det konstnärliga forskningsområdet är på god väg att skapa en databas med kollegial bedömning för sina forskningsresultat inklusive icke-text baserade publikationer och artefakter. En nationell databas för konstnärlig forskning är målet. En styrgrupp utsedd av SUHF med representanter från de lärosäten som har konstnärlig forskning ska leda arbetet i samverkan med KB och VR.

Vi bedömer att behövs ytterligare tid innan databasen har sådan omfattning att den kan ligga till grund för resurstilldelning.


14

Kvalitet i samverkan med omvärlden

Samverkan premieras efter intäkterna från uppdragsutbildning och uppdragsforskning.

Nyttiggörande av forskningsresultat –påverkan

Ett pilotprojekt genomförs för att mäta påverkan genom att universitet och högskolor från forskningsresultat tillkomna vid lärosätet rapporterar en portfolio av fallstudier över forskningens externa påverkan.

Omfördelning

Nuvarande modell för omfördelning av basresurser ger i de flesta fall effekter på promillenivå. Vi föreslår att 10 % av föregående års basresurs ingår i omfördelningen. Därigenom får lärosäten som är framgångsrika i att öka sina andelar av indikatorerna större utdelning på sina ansträngningar.

Sammantaget

Vi har valt att tilldela basresurser efter två bedömningsgrunder, forskningens vetenskapliga kvalitet och kvaliteten i samverkan och påverkan. Den vetenskapliga kvaliteten ges 85 procent, medelst indikatorn för bibliometri 50 procent, och indikatorn för externa medel 35 procent. Kvaliteten i samverkan och påverkan av samhället ges 15 procent, medelst indikatorn för uppdragsmedel och indikatorn för påverkan mätt genom en portfolio av fallstudier för samverkan och påverkan.


15

Ekonomiska konsekvenser

De ekonomiska konsekvenserna uppskattas till en miljon kronor för utbyggnad av databasen SwePub i regi av Kungl. biblioteket Driften av databasen uppgår till två miljoner kronor per år, samt två miljoner kronor per år för klassificering och nivåindelning av publikationerna. Pilotprojektet beräknas kosta fem miljoner kronor för Vinnovas ledningsfunktion och för expertpanelernas medverkan. Övriga förslag innebär omfördelning av befintliga resurser.

Uppdraget och dess genomförande

Uppdraget

Uppdraget U2010/4145/SAM) har bestått i att

• Lämna förslag så att utvärderingar av kvaliteten i forskningen kan ingå som ett viktigt komplement till indikatorerna publiceringar och citeringar samt externa medel. • Överväga hur hänsyn ska kunna tas till olika forskningsområdens förutsättningar för att kunna bedömas med kollegial bedömning eller numeriska indikatorer baserade på ett statistiskt underlag. • Bedöma hur en granskning av lärosätenas kvalitet i samverkan med omvärlden och nyttiggörande av forskningsresultat kan bli en del i resurstilldelningssystemet. • Bedöma om en granskning av kvalitet i konstnärlig forskning och konstnärligt utvecklingsarbete kan integreras i en modell för en utvärdering av kvalitet i forskningen.


16

Uppdragets genomförande

Samtliga lärosäten som genomfört egeninitierade utvärderingar har besökts. Därutöver har följande institutioner eller personer besökts eller kommunicerats med. Anders Malmberg, Uppsala universitet Bo Rothstein och Sören Holmberg, Göteborgs universitet Dekanerna vid humanistiska och samhällsvetenskapliga fakulteter Gunnar Sivertsen, NIFU-STEP, Norge Håkan Billig, Sahlgrenska Akademien Konstnärliga fakulteten vid Göteborgs universitet. Kåre Bremer, Stockholms universitet Lena Adamson, Kungl. Tekniska högskolan Marc Luwel, Herculesstichtung Olli Porupudas, Undervisnings- och Kulturministeriet, Finland SFS SKL SUHF Svenskt Näringsliv Umeå universitet och Högskolan Väst Universitets- og Høgskolerådet, Norge Vetenskap & Allmänhet Vetenskapsrådet Vinnova

Flera lärosäten samt dekanerna vid de humanistiska

fakulteterna och vid de samhällsvetenskapliga fakulteterna framhöll att täckningen främst för publikationer inom humaniora i Web of Science är dålig.

Företrädare för teknik ansåg att de olika viktfaktorerna för naturvetenskap och teknik missgynnade teknisk forskning. De lärosäten som genomfört kollegiala bedömningar av forskningens kvalitet ansåg att detta var en bra metod att bedöma forskningens vetenskapliga kvalitet. Martin Ingvar vid


17

Karolinska institutet påpekade att om kollegial bedömning används för att bedöma kvaliteten i forskningens nyttiggörande så måste den kollegiala bedömningen struktureras för detta med tydliga bedömningsgrunder relaterade till nyttiggörande, s.k. strukturerad kollegial bedömning.

SKL och Håkan Billig pekade på svårigheterna att korrekt hänföra hemvisten, sjukhus/landsting eller lärosätet, för publikationer inom det kliniska medicinska området.

Svenskt Näringsliv, Vetenskap & Allmänhet, flera mindre universitet och högskolor och andra aktörer har pekat på behovet av att indikatorer för samverkan och påverkan ingår i bedömningen av forskningens kvalitet.

Lena Adamson bidrog signifikant till en ökad transparens och tydlighet i våra resonemang kring kollegial bedömning vis-a-vi numeriska indikatorer från statistiska underlag.

18

1 Inledning

1.1 Universitetens roll i och för samhället

Universitetens roll i samhället och betydelse för samhällsutvecklingen har dramatiskt ökat det senaste århundradet. Ny vetenskap och vetenskapligt skolade människor inom hälsa och omvårdnad, miljö och energi, kultur och media, forskning och utbildning, ekonomi och näringsliv är nyckeln till uthålliga infrastrukturer och till ökad livskvalitet för alla. Humboldts idéer från början på 1800-talet om under vilka förutsättningar som universiteten och dess lärare och forskare ska arbeta lever fortfarande starkt. Akademikerns frihet att forska och lära ut vad hon eller han, oftast han, ser önskvärt och friheten för studenten att studera vad han eller hon, oftast hon, önskar, markeras med kraft och ses som garantin för hög kvalitet på forskning och högre utbildning och därmed framgångsrika universitet. Begreppet akademisk frihet är starkt. Särskilt anses forskningens kvalitet som kritiskt beroende på att forskarna själva väljer mål och metod och att studenterna undervisas av lärare som är forskare. Samhället bör lyssna till akademien och samhällsutvecklingen bör förnuftsmässigt styras av akademiens vetenskapliga kunskap och tillämpningen av denna. Vi kan samtidigt konstatera att vad som idag sägs vara det globala samhällets och därmed vetenskapens stora utmaningar inte kommer från vetenskapen själv. Utmaningarna har snarare

Ds 2011: Inledning

19

skapats av oss människor och måste lösas av oss; en demografisk utveckling som ger oss många fler äldre i många länder och särskilt i Europa, en klimatförändring betingad av fossilt bränsle, vars tillgång likt andra naturresurser också är ändlig, en folkvandring till städerna som skapar problem med människors sociala och fysiska miljö, en globalt ojämnt fördelad varu- och tjänsteproduktion och oförmågan att skapa ett globalt tryggt och demokratiskt samhälle för att nämna några. Det är självklart att ett samhälle som står inför dessa utmaningar ser sig som en intressent i och ägare vis-a-vis vetenskapen och förväntar sig att vetenskapen och dess företrädare bedriver forskning, högre utbildning och samverkar med samhället så att utmaningarna kan vändas till möjligheter och till en utveckling till ett bättre samhälle och till bättre livskvalitet för enskilda människor. Universiteten förväntas samverka med samhället, inte bara genom sedvanliga resultat, dvs. ny kunskap som adderar till forskningsfronten och studenter med nytt kunnande. Universiteten förväntas också att katalysera och transformera forskning till nya innovationer. Innovationer som av entreprenörer kan ge ekonomiskt och socio-ekonomiskt positiva resultat och en förnyelse av samhället. Universiteten förväntas också att i samverkan med arbetsmarknaden utbilda studenter, som har ”rätta” kunskaper och färdigheter och också är kreativa, innovativa och potentiella entreprenörer.

Universiteten befinner sig i ett spänningsfält mellan den akademiska friheten som en metod och ett verktyg för sin egen utveckling och kvalitet och samhällets krav på att den utvecklingen och kvaliteten ska förnya samhället i stort och också vara en drivkraft för ekonomisk tillväxt. Synonymen mellan akademisk frihet och akademiskt lugn kanske i framtiden endast gäller lugnet i stormens öga. I den nya samverkan med samhället, där universitetens förmåga att forska för innovation och att utbilda kreativa entreprenörer ses som allt viktigare, kommer vindarna vara starka och föränderliga.

Inledning Ds 2011:

20

1.2 Den tid vi lever i

Vi lever i en tid av gränslös information och gränslösa åsikter, digitala, globala, sanna och falska. Nya generationer är globala i sin gemenskap och ser en parallell lokal och global social gemenskap genom Internet som självklar. Vi lever i en tid där entreprenören och entreprenörskapet prisas. Entreprenörens förmåga att förnya industriell, social och kulturell verksamhet och med eget företagande skapa ekonomisk tillväxt är avgörande för nationers, regioners och enskilda företags framgång. Dessa två trender präglar samhällsutvecklingen. Vi ser båda som positiva, som individer och som ett kollektiv. Vilket inte hindrar att vi oroar oss över utvecklingen av Internet; dess nyckelroll för all mänsklighet verksamhet och dess brist på demokrati, säkerhet och trovärdighet i kommunikationen mellan organisationer, företag och människor emellan.

Entreprenörskapet betydelse är svårare att förklara än ICT:s, trots att de två delar spelplan och trots att de är lika omvälvande. Global BNP har ökat tiofalt sedan 1970 och 80 procent av den ekonomiska tillväxten har skett efter att länder som Kina, Indien, Brasilien och Ryssland, och andra centralstyrda länder har liberaliserat sina ekonomier och tillåtit eget företagande och entreprenörskap att bli en motor för förändring och därmed ekonomisk tillväxt. Entreprenörskap var den uppenbara, men inte alltid nog värderade hemligheten bakom Amerikas enastående ekonomiska tillväxt under nittonhundratalet. Nu drivs ekonomisk tillväxt och övergången till uthålliga infrastrukturer av innovationer och entreprenörer som utnyttjar dessa, överallt, i Israel, i Turkiet, i Taiwan, i Singapore, i Brasilien och inte minst i Kina och i Indien. Även i Europa där framtiden ofta planeras centralt i samförstånd mellan politikens och näringslivets ledare, ses entreprenörskapet som en nödvändig folkrörelse och som grunden för en förnyelse av europeiskt näringsliv och en ökad ekonomisk tillväxt.

I informations- och entreprenörsåldern har den av nobelpristagaren Robert Solow introducerade faktorn ”mänsklig

Ds 2011: Inledning

21

kompetens” i teorin för ekonomisk tillväxt blivit symbolen för det nya kunskapssamhället. Ny kunskap och kunniga människor med ny kunskap är det som avgör om en nation eller region ska utvecklas positivt. ICT och entreprenörskap har varit en förutsättning för de innovationer som drivit social, kulturell, teknisk, medicinsk och ekonomisk ja nästan all samhällsutveckling. Än viktigare är att de har skapat nya samhällsmönster, nya sätt att arbeta och nya sätt att leva och umgås.

Hur drivande är och har universiteten i Europa varit för denna utveckling? Har de skapat nya utbildningar där konkreta mål finns för att göra studenten mer kreativ, mer innovativ och till en entreprenör? Har de tagit möjligheten till samverkan med näringslivet för en gemensam utveckling så att den akademiska forskningen katalyseras och transformeras till innovationer och genom entreprenörer till nya företag? Frågorna är berättigade. Universiteten har sedan Humboldt sett sig själva som samhällets gemensamma resurs för forskning efter ny kunskap och för utbildning av studenter som kan tillämpa den nya kunskapen. Har universitetens forskning och utbildning de kvaliteter och den kvalitet som samhället förväntar sig?

Att förändringen av universitetens roll i den samverkan med samhället och näringslivet inte är enkel illustreras väl av ett exempel från tidig utveckling av biotekniken för nya ”biologiska” läkemedel. Företag som Genentech och Biogen var pionjärer som omvandlade bioteknisk forskning till innovationer och till produkter som syntetetisk insulin och inferon. När Harvard 1980, försökte bli delägare i ett biotekniskt företag och i samverkan med kommersiella aktörer driva utvecklingen - forskning/innovation/produkt, så sade fakulteten nej. Samverkan där de gemensamma målen var kommersiella gagnade inte forskningen, var inte heller rättvis forskare emellan och riskerade den akademiska friheten. Idag är läget inom just bioteknik helt annorlunda. Ett universitets forskare inom bioteknik bör även för akademisk framgång i sitt CV kunna visa meriter relaterade till innovation och entreprenörskap i

Inledning Ds 2011:

22

utveckling av nya läkemedel eller andra biotekniska produkter. I USA har denna utveckling under 1980-talet betalat sig både akademiskt men också i kommersiella framgångar inom en ny teknologi. Europas biotekniska företagande motsvarar en liten del av USA:s och inga nya storföretag inom bioteknik har skapats i Europa. Samverkan med samhället, forskning och utbildning för innovationer och för ett akademiskt entreprenörskap är en del av ett nytt paradigm för universitetens roll i samhällsutvecklingen. I det nya spänningsfält där universiteten nu verkar, diskuterar vi inte antingen eller mellan vetenskaplig kvalitet och förmågan att katalysera och omvandla forskning till innovationer. Vi diskuterar kvaliteten på forskningen i ett både – och perspektiv.

1.3 Olika perspektiv på kvalitet

Ekonomer har visat att ny kunskap som ger innovationer och som kommersialiseras är den främsta orsaken till tillväxt i ekonomier där forskningen är i eller nära den globala forskningsfronten på området, dvs. den kan inte köpas eller lånas och enkelt kombineras med investeringar i produktion. Utbildade individer är mera produktiva och tar lättare till sig nya erfarenheter och anpassar sig lättare till förändringar. Ny kunskap samt arbetskraft som är utbildad och kunnig bidrar till ekonomisk tillväxt på ett avgörande sätt.

En marknadssyn på kvalitet kan sammanfattas som att en produkts eller tjänsts kvalitet ska se till att kundens krav och behov, nu och i framtiden, infrias. Vilka är konsekvenserna för en sådan syn när vi ser till kvaliteten på forskning och utbildning vid ett universitet? Vilka är då forskningens och utbildningens produkter? Vilka är kunderna? Hur mäter vi att kundernas behov nu och i framtiden uppfylls? Varje individ har en egen uppfattning av vad som är hög kvalitet. Uppfattningen om produktens eller tjänstens kvalitet baseras på hur olika egenskaper, utifrån ett helhetsperspektiv värderas och uppfylls.

Ds 2011: Inledning

23

En student som söker en utbildning värderar så skilda kvaliteter som; är utbildningens innehåll intressant i sig, är innehållet väsentligt för ett visst yrkesval, ger utbildningen färdigheter och kompetens för den tänkta karriären, men även de sociala förutsättningarna för en stimulerande studietid. Lärandemålen för utbildningen måste vara tydliga så att studenten kan bilda sig en uppfattning om vad hon eller han kan förvänta sig och att tidigare studenters resultat och deras uppfattning om utbildningen är kända. Kvaliteten på högre utbildning och utbildningarnas lärandemål utvecklas nu i samverkan mellan universiteten, studenterna och arbetsmarknaden. Kvalitet är inte längre tråkigt och statiskt. Kvalitet är spännande och dynamiskt. Kvalitet och granskning av kvalitet är en motor för kunskapssamhället. Öppen samverkan mellan universitet, studenter och arbetsmarknad avseende kvaliteten på och utbudet av utbildningar ger motsvarande förnyelse som öppen innovation ger produkt- och tjänsteutvecklingen på den s.k. marknaden.

Under de senaste årtiondena kan vi se en utveckling av lärandemålen från enbart mål avseende kunskap till mål på förmågan att tillämpa kunskapen till mål på att använda kunskapen för att skapa nya samhällsvärden inklusive kommersiella sådana. Detta är en annan konsekvens av samverkan mellan universitet, företag och arbetsmarknad. En utveckling från kunskapsbaserade till kompetensbaserade utbildningar. Vi står bara i början av denna utveckling och det är viktigt att inte uppfatta utvecklingen som en maktkamp, eller som ett utsuddande av gränserna mellan olika aktörers uppgifter och kompetens.

Forskningen ger ny kunskap och kvaliteten på forskningen ges av om den nya kunskapen är användbar, dvs. att den kan tillämpas. En uppenbar tillämpning av ny kunskap är som en grund för ny forskning, dvs. en framflyttad forskningsfront. Denna tillämpning ses av forskarna vid universiteten som den som skapar den excellens och det fokus som är nödvändigt för att vetenskapen ska utvecklas. Det är den som ligger till grund

Inledning Ds 2011:

24

för att avgörande vetenskapliga framsteg görs och vars resultat publiceras i Nature och Science och som ger nobelpris. Andra tillämpningar av forskningen är att utbilda studenter med kunskap nära forskningsfronten och som kan tillämpa den eller att forskningen katalyseras och omvandlas till innovationer som bas för nya samhällsvärden, ekonomiskt, socio-ekonomiskt och kulturellt. Ett universitet som forskar och utbildar och som genom samverkan med olika sektorer i samhället förstår och respekterar deras syn på studenternas kompetenser och deras syn på forskningens potential för innovationer, implicit eller explicit, är också en motor i samhällsutvecklingen och för den samhällsutvecklingen.

Europas företag inom forsknings- och innovationsintensiva sektorer är stora företag. De är nöjda, när europeiska och nationella, forskningsresurser ges till områden där ny kunskap och ny arbetskraft är viktig för deras framtida verksamhet. Företagen engagerar sig inte i universitetens forskning i en samverkan där forskning, innovation och produkt- eller infrastrukturutveckling drivs gemensamt. Universiteten är nöjda med att forska efter sin syn på olika områdens framtida vetenskapliga och samhälleliga potential. Denna karakteristik av samverkan blir uppenbar när vi studerar europeisk och nationellt finansierad forskning för att utveckla olika sektorer av samhället. Den görs nästan alltid vid universitet och statliga forskningsinstitut. Företagen använder sina ekonomiska och intellektuella resurser och sitt engagemang till egen forskning och utveckling av nya produkter och tjänster i både ett kort och långt perspektiv.

Inom vissa områden som bio-, nano-, och energiteknik finansierar Europas skattebetalare väl så mycket forskning som de amerikanska. Europeiskt näringsliv, från små till stora företag, ser forskningen vid universiteten som viktig för att ny kunskap genereras, men dock inte tillräckligt ofta som en möjlighet till direkt samverkan för att skapa innovationer.

Har universiteten i Europa blivit en resurs för entreprenörskap och för utbildning av entreprenörer? Ja! Vi

Ds 2011: Inledning

25

utbildar idag knappt hälften av alla ungdomar vid universiteten och ger dem på så sätt den kunskap och kunnande som möjliggör för dem att bli entreprenörer i det nya kunskapssamhället. Nej! Vi utbildar dem idag väsentligen på samma sätt som för flera tiotal år sedan. De har alldeles för få möjligheter, att utveckla sin kreativitet och förmåga till innovation genom att använda sin nya kunskap i praktik och verklighet. I en tid när yrkesrollerna var mer stabila och när den nya innehållsliga kunskap som studenterna bar med sig var mer begränsad så fanns tiden till inskolning i företagen på ett annat sätt och inskolningen kunde ses som början på ett livslångt arbete. Idag är det väsentligt att de under utbildningen får dessa möjligheter. Universiteten måste för att behålla sin ledande position inom högre utbildning bli bättre på att utveckla utbildningarna och deras kvalitet efter de nya krav som ställs. Universitetens förmåga att inte bara utbilda till kunskap utan också till kreativitet och entreprenörskap ifrågasätts. Unga entreprenörer ges idag stipendier av andra aktörer för att ägna tid och intellektuell förmåga att utveckla sina idéer, istället för att studera vid universitetet och högskolor och kunna utveckla sina idéer där

Forskningens kvalitet är inte endimensionell. Den är inte längre bara vetenskaplig kvalitet för vetenskaplig utveckling. Andra dimensioner är hur ny forskning utvecklar universitetens utbildningar och studenternas lärande och hur ny forskning leder till innovationer så att universitetens samverkan med samhälle och näringsliv får den dynamik som krävs för att vi ska kunna möta de utmaningar som samhället står inför. Dessa dimensioners växelverkan illustreras av kunskapstriangeln och som är det senaste paradigmet för universitetens verksamhet. En tydlig integration mellan forskning, utbildning och innovation för utvecklingen av nya idéer med genomslag och påverkan samt nyttiggörande i icke-akademisk verksamhet. I nästan alla europeiska länder får universiteten en ökad autonomi för att själva kunna skapa just sin bästa utveckling. Samhällets roll är att granska om universiteten håller hög kvalitet och genom ökade

Inledning Ds 2011:

26

resurser eller på annat sätt stimulera de bästa till ännu högre kvalitet. Universitetens forsknings, utbildnings- och samverkan kvaliteter bör därför inte granskas och stimuleras var för sig av olika myndigheter. Varje autonomt universitet har sin profil, sina mål och sin strategi och helhetens kvalitet bör därför granskas av en myndighet. I England, det landet i Europa med störst framgång i sitt arbete med att skapa forskning av högsta vetenskapliga kvalitet och som nu som första europeiska land avser att på allvar granska kvaliteten på samverkan har The Higher Education Funding Council for England (HEFCE) detta ansvar.

1.4 Mångfald i fokus

I det nya rollspelet mellan universitet och högskolor och samhälle är det uppenbart att den akademiska yrkesrollen som forskare och lärare vid ett lärosäte förändras. Färdigheter och förmågor som, ledarskap, entreprenörskap, kreativitet och social kompetens måste utvecklas. Om vi akademiker inte visar dessa egenskaper i arbetet med forskning, utbildning och innovation kan vi inte förvänta sig att studenter, doktorander och partners i näringsliv och samhälle ser oss som förebilder. Idag beskrivs snarast synen på utbildning av följande anekdot från sjuttiotalet. När Einar Lindholm, professor i atomfysik vid KTH, mötte sina assistenter och doktorander vid terminens början, brukade han vända sig till doktoranderna med orden: Du är duktig du får forska. Du är inte så duktig, du får undervisa.

Många lärosäten kommer dock inte att ha de akademiska, personella och ekonomiska resurserna att skapa excellens i alla discipliner och områden, inom forskning och innovation, utbildning och samverkan. Att välja, att fokusera och prioritera mellan olika strategier kommer alltså att bli alltmer nödvändigt. Varje lärosäte behöver söka sin profil utifrån de villkor som råder för bästa möjliga utveckling. Valen kommer då vägledas av en ny syn på forskningen och dess kvaliteter från andra aspekter än den

Ds 2011: Inledning

27

rent vetenskapliga utvecklingen, där värderingen av helheten som bygger på växelverkan mellan forskning, utbildning, innovation och samverkan av hög kvalitet är viktig. Tydliga verksamhetsprofiler ger också en resursanvändning som inte onödigtvis dubblerar verksamheter.

Fokus måste för kunskapstriangelns lärosäten väljas strategiskt och ”smart”. Vilket utmärkt varumärke det vore för ett universitet – det smarta universitetet? En förutsättning för smarta universitet är självklart att det lönar sig att vara smart. Men vad innebär det att vara smart? Räcker belöningar i form av erkännande och den samverkan som näringsliv och samhälle kommer att erbjuda? Knappast. Att vara smart innebär förmåga att ta sig fram i det system man befinner sig i. Det är därmed självklart att staten som finansierar ca 90 procent av universitetens verksamhet också måste dela synen på smarta universitet. Direkta statliga anslag och anslag från andra statliga finansiärer som forskningsråd, Vinnova och andra myndigheter måste premiera och förstärka universitetens ambitioner att prioritera och fokusera för att detta ska löna sig.

1.5 Prestationsbaserad tilldelning

Regeringar världen över har åsett de ovan beskrivna förändringarna av samhället och för universitet och högskolor infört olika prestationsbaserade system för tilldelningen av basresurser. I den officiella retoriken förekommer ofta excellens och ökad kvalitet, men också internationell jämförbarhet. Likaså synlighet och att för allmänheten motivera resurser till forskning. Beroende på valda indikatorer nämns även nyttiggörande och resursfokusering.

Bedömning av forskningens kvalitet förekommer också i ökande grad i myndigheters och finansiärers utvärderingar och granskningar av forskningsprogram, institutioner, områden och discipliner. Den ökade användningen av granskningar av forskning tillsammans med en relativt utbredd skepticism bland

Inledning Ds 2011:

28

forskarna om möjligheten att uppnå opartiskhet gör att behovet att mer på djupet förstå bedömningsprocesserna har ökat1.

Statliga medel till forskning vid universitet och högskolor har antingen gått direkt till lärosätet eller via någon offentlig forskningsfinansiär. Den senare kanalen har ofta byggt på projekt och ansökningar om projektmedel som kollegialt granskats och bedömts. Detta har vanligen administrerats av forskningsråd och gjorts med externa experter varit begränsad till ett visst område. Projektbaserad finansiering har sedan 1970-talet ökat i de flesta länder både i reala termer och andelsmässigt.

Andelen direkta anslag varierar mellan olika länder. Tyskland, Nya Zeeland, Österrike och Nederländerna har alla 80 procent och mer, medan Belgien och Korea ligger under 40 procent. Vid jämförelse mellan länder måste man också beakta institutssektorns storlek.

I Sverige har basfinansieringen, tidigare kallad fakultetsmedel, haft en minskande andel från över 60 procent vid mitten av 1980-talet till runt 45 procent under 2000-talet. Variationen mellan de svenska lärosätena är också stor. Lärosäten med inslag av medicin och teknik som Karolinska institutet, Kungl. Tekniska högskolan, Chalmers tekniska högskola, Luleå tekniska universitet och Mälardalens högskola ligger alla under 40 procent, medan lärosäten med humaniora och samhällsvetenskap, några av de mindre högskolorna samt de konstnärliga högskolorna har mer än 50 procent direkta anslag

Det första s.k. prestationsbaserade resurstilldelningssystemet avseende basanslag infördes i England 1986 och 2010 har 13 länder infört liknande system (kap 4). Systemen har orsakat viss spänning medan autonomi och kontroll och anses inom forskarvärlden delvis vara kontraproduktiva. I Sverige har basanslaget fördelats till lärosätena på historiska och politiska grunder, men 2009 infördes indikatorer i form av mängden erhållna externa medel och en kombination av publiceringar och citeringar.

1 http://www.wjh.harvard.edu/~mlamont/SSHRC-peer.pdf

Ds 2011: Inledning

29

Det finns också länder som har infört en del indikatorer, som skulle kunna leda till prestationsbaserade system, om utfallet kopplas till resurser.

31

2 Indikatorer

En indikator är ett enkelt mått, med vars hjälp information kan koncentreras i ett siffervärde, som sedan kan behandlas med statistiska metoder. Indikatorer mäter givetvis inte alltid precis det man önskar, utan ibland bara det som är lätt eller möjligt att mäta. Intresset för felanalys brukar ofta vara ringa. Indikatorn i sig avslöjar inte något om orsakerna till en eventuell förändring, varför slutsatser måste dras med försiktighet.

Bra indikatorer är robusta över tid vilket gör det möjligt att följa utvecklingen, men också att jämföra forskningen mellan sektorer och med andra inom och utom landet. En indikator måste därför möjliggöra jämförelser, vara relevant och upplevas legitim.

En indikator ska helst vara lätt att förstå, underlaget ska vara lätt tillgängligt och helst inte kräva stora resurser att ta fram. Dessutom bör indikatorn vara lätt att konstruera.

En mycket välkänd indikator inom nationalekonomin är bruttonationalprodukten (BNP) som anses säga något om ett lands ekonomiska tillväxt. Inom forskningsområdet utgav OECD den första versionen av Frascatimanualen, redan 1963. Den ligger till grund för definitioner inom OECD:s forskningsstatistik. Den ger riktlinjer för utvärdering av FoU-sektorn och används av alltfler länder, men också av Eurostat, Unesco m.fl. Manualen har utvecklats löpande och finns nu i version 6. Vindarna skiftar inom forskningspolitiken och exempelvis har inslag som innovation och nyttiggörande skapat behov av nya indikatorer och Frascatimanualen har därför fått

Inledning Ds 2011:

32

två syskon; Oslomanualen som behandlar innovation och Canberramanualen som behandlar mänskliga resurser.

I en rapport från OECD2, som beskriver s.k. resultatbaserad medelstilldelning för universitetens basresurser för forskning, görs en indelning i tre kategorier.

• kategori 1 försöker mäta prestationer genom input, processer, struktur och resultat; • kategori 2 försöker mäta effekter genom enkla mått som Journal Impact Factor (JIF) och h-index; • kategori 3 innebär kollegial bedömning för att ranka institutioner

En mer detaljerad beskrivning finns i bilaga 4.

2.1 Kollegial bedömning eller peer review och statistiska metoder som indikatorer på vetenskaplig kvalitet

Universiteten tar allt oftare steget ut i samhället och tillåter studenter, arbetsmarknad, företag och verksamheter som vård, omsorg, kultur, skola, transport, media och kommunikation säga sitt om kvaliteten på forskning, utbildning, innovation och på samverkan med aktörer utanför universitetet och den påverkan som denna ger.

Syftet med en kollegial bedömning eller en bedömning med statistiska metoder skiljer sig inte, båda ska spegla och ge information om den ”verkliga” kvaliteten. Vad är hög kvalitet i forskning eller hellre, vilka är resultat visar att forskningen är av hög kvalitet? All forskning värd namnet har en (internationell) forskningsfront. Forskningsfronten skiljer det kända från det icke kända. En forskare vet när resultatet av forskningen,

2 Performance-based Funding for Public Research in Tertiary Education Institutions. Workshop Proceedings OECD (2010).

Ds 2011: Inledning

33

experimentellt eller teoretiskt, gör att gränsen för vårt vetande flyttas fram en bit in i det icke kända. När forskarna når nya insikter är upplevelsen densamma för alla discipliner och områden och bygger på samma uppfattning vad som är forskning och forskningens kvalitet. För att forskningen ska bli forskning för andra forskare så måste upplevelsen kodifieras, dvs. skrivas ned, rapporteras och publiceras. Den bedömning som sker av kollegor av de publicerade resultaten är en förutsättning för att forskningsfrontens landvinningar är så riktiga som möjligt. Bedömningen som sker är inte bara ett ja eller nej. Publiceringen sker i tidskrifter med krav inte bara på nyhet och sanning utan också med krav på påverkan, som kan härledas till resultatets originalitet och betydelse för framtida forskning. Olika tidskrifter har olika impactfaktorer av skiftande skäl som resulterar i att vissa tidskrifter citeras oftare och har ett rykte om sig att de publicerar vetenskapliga upptäckter av större betydelse. Dessa tidskrifter har ett större genomslag och blir därmed attraktiva att publicera i. Detta medför att forskningen betygsätts av forskarnas uppfattning om tidskriftens, bokens eller rapportens betydelse. Att använda publikationens impactfaktor som ett betyg är därmed mer kvalitetsdrivande än att räkna citeringar. Detta hindrar inte att då och då publiceras banbrytande forskning i tidskrifter som inte har hög impactfaktor.

Alla granskningar av forskningens kvalitet och jämförelser av denna mellan olika lärosäten innefattar problemet att jämföra resultaten av forskningen från olika vetenskapliga kulturer. Sättet att kodifiera och kommunicera de resultat som flyttar fram forskningsfronten är olika mellan skilda discipliner och vetenskapsområden. Detta gäller i ännu högre grad när vi önskar jämföra hur forskningen i skilda discipliner och områden påverkar samhället. I fallet forskningens vetenskapliga kvalitet är åtminstone mekanismen given. Vi jämför olika publikationers genomslag i form av spridning och betydelse. I fallet samverkan och påverkan av samhället är mekanismerna många flera och olika, men även här kan kvalitet mätas genom att forskningens

Inledning Ds 2011:

34

påverkan på samhällsutvecklingen bedöms efter hur stor spridning och vilken betydelse som påverkan har haft.

Granskningen måste vara valid, transparent och rättvis, dvs. den måste ha tydliga bedömningsgrunder och bedömningskriterier för dessa. Kriterierna skiljer sig för olika områden, även inom samma fakultet. De tolkas också olika om flera expertgrupper används inom samma område. Vilket kan ge problem när dessa områden ska bidra till ett gemensamt betyg för exempelvis forskningen inom en fakultet eller ett lärosäte.

Utöver definierade bedömningsgrunder och bedömningskriterier för hög reliabilitet och validitet blir den kollegiala granskningen av forskningens excellens bättre när granskarens kunskap är i eller nära den forskning som bedöms. Kollegial granskning av forskningsprojekt inom begränsade områden har därför ett mycket gott renommé. Om forskningens kvalitet vid ett universitet eller en högskola ska bedömas måste forskningen brytas ned i områden som enskilda kan bedöma. Bedömningen görs med olika bedömningsgrunder, och oftast är den enda bedömningsgrunden vetenskaplig kvalitet, dvs. hur nära är forskningen en internationell vetenskaplig forskningsfront. Detta till skillnad från en kollegial bedömning av en utbildnings kvalitet, där bedömningsgrunderna är flera och säger vad en student ska ha lärt sig i form av kunskap, färdigheter och attityd.

En granskning med hjälp av statistiska metoder ska på motsvarande sätt spänna över samtliga discipliner och områden för att ge en rättvis bild. De indikatorerna som då väljs ska vara nära korrelerade med de aktiviteter vars kvalitet som granskas och ska ha ett rimligt statistiskt underlag. Många forskare är överens om att publikationer är ett viktigt resultat från forskningen inom alla områden, konstnärlig forskning undantagen. Forskningens kvalitet mäts ofta genom att räkna antalet citeringar av forskarnas enskilda publikationer och addera dessa. Detta kan ses som en kollegial granskning gjord av många bedömare och att detta speglar en vetenskaplig kvalitet är vedertaget. Dock publicerar forskarna från olika områden på

Ds 2011: Inledning

35

olika sätt; tidskrifter med kollegial bedömning, konferensbidrag med eller utan sådan, utredningar och rapporter, monografier och böcker, för att nämna de viktigaste. Hur forskarna publicerar är dynamiskt och växer fram ur hur forskarna uppfattar att de når största möjliga effekt för sig själva och för sin vetenskap. Vissa områden, särskilt inom teknik, naturvetenskap och medicin, är globala och en forskare som önskar få vetenskaplig uppmärksamhet måste publicera i tidskrifter med hög impactfaktor, dvs. tidskrifter vars artiklar citeras ofta. Områden som inte har nått status som disciplin har ofta färre forskare, och då kan konferensbidrag vara vanliga. Vetenskapligt arbete inom samhällsvetenskapen och humaniora är ofta enskilt och granskning av kvalitet sker ofta genom seminarier och symposier. Det nationella språket, kulturen, samhället och politiken spelar ofta en viktig roll vilket leder till att rapporter, monografier och böcker är vanliga som publikationer av vetenskapliga resultat. Globaliseringen gör dock att nationella skeenden får allt större globalt intresse. Ett exempel är den medie- och kommunikationskultur som omfattas av de nya generationerna som är sant global. Något tillspetsat kan vi i säga att en japansk tonåring nog känner större samhörighet med en svensk, än hon eller han gör med äldre generationer i Japan. Kanske kommer nya generationer av forskare också omfattas av motsvarande globalisering. Trenden är att samhällsvetenskapen och humaniora i ökande utsträckning publicerar sig i engelskspråkiga tidskrifter för att kunna påverka den vetenskapliga utvecklingen. Trenden har dock inte resulterat i att det idag kan ses som motiverat att ”tvinga” samhällsvetenskapen och humaniora att mätas med en indikator som baserar sig enbart på publikationer i tidskrifter från Web of Science3 (WoS). Det finns ett behov för en svensk databas för lärosätenas publikationer. En sådan databas skulle kunna utvecklas från SwePub4 och på sikt kunna samordnas med 3http://thomsonreuters.com/products_services/science/science_products/a-z/web_of_science/ 4 http://www.swepub.se/help.jsp

Inledning Ds 2011:

36

motsvarande databaser i Norge, Finland och Danmark. Konstnärlig forskning som arbetar med många uttryckssätt eller artefakter behöver en databas över dessa om en prestationsbaserad resursfördelning ska kunna göras. En sådan är under uppbyggnad och bör ges stöd för att ge den konstnärliga forskningen ändå större genomslag.

Tillgången på Internet till publikationsdatabaser som Google Scholar5 har skapat en ranking av enskilda forskares i vetenskapliga prestationer. Titel och adress på visitkort med det s.k. h-index, dvs. det antal av forskarens artiklar som har ett visst antal citeringar. Universitet och högskolor konkurrerar med varandra genom rankinglistor som databaser som WoS och där forskare konkurrerar med varandra genom CV:n, där främsta komponenten är vetenskapliga publikationer och h-index. Det förvånar inte att detta väcker motkrafter då en forskares främsta tillgång hans eller hennes nyfikenhet, kreativitet och intellekt inte kan mätas mekanistiskt utan endast uppfattas när andra forskare ser resultaten.

2.2 Forskningens vetenskapliga kvalitet mätt från en publikationsdatabas

När forskningens kvalitet mäts bibliometriskt, baserat på ett statistiskt underlag från en publikationsdatabas, görs det i huvudsak på två sätt. Endera mäts kvaliteten genom hur många gånger publikationen citerats i andra publikationer eller så används en impactfaktor för tidskriften där publiceringen sker. Impactfaktorerna ges för WoS tidskrifter av antalet citeringar i medeltal för tidskriftens publikationer över två år. Båda metoderna har sina för- och nackdelar. Antalet citeringar finns endast för publikationer i WoS tidskrifter där citeringarna är indexerade. Impactfaktorer kan ges alla typer av publikationer.

5 http://scholar.google.se/intl/sv/scholar/about.html

Ds 2011: Inledning

37

För tidskrifter i WoS redovisas impactfaktorer och för icke WoS publikationer dvs. andra tidskrifter, rapporter, monografier, böcker etc. kan impactfaktorer sättas efter ett resonemang om publikationens spridning och signifikans. I den s.k. norska modellen så tilldelar bedömningskommittéer för olika vetenskapsområden alla publikationer en impactfaktor efter publikationsform och nivå (kap 4). För att sätta impactfaktorer för icke WoS tidskrifter måste en bedömning ske som kan ifrågasättas och som kan manipuleras. Skämtsamt kan sägas att ett transparent sätt att sätta en boks impactfaktorer är att väga den och jämföra detta med medelvikten för tidskrifts publikation. Förfarandet uppmuntrar också till att publicera många (för) korta artiklar då alla publikationer ändå ges en impactfaktor och därmed räknas. Eftersom vi på detta sätt mäter kvaliteten för varje publikation, måste en multiplikation med antalet publikationer göras för att få ett mått på lärosätets vetenskapliga kapacitet. Om citeringar används räknas enbart publikationer som har citerats. Något som kan ses som renande. Publikationer bör baseras på ett tillräckligt bra och omfattande vetenskapligt material för att bli citerat. Med användningen av Waringmetoden fält normaliseras citeringarna, dvs. vi tar hänsyn till hur effektiva forskarna inom ett visst område är att publicera i WoS tidskrifter. Normaliseringen medför att de forskare som publicerar på annat sätt en WoS lyfter sitt område då de räknas som om de inte publicerar. Metoden med impactfaktorer har fördelen att bygga på en fullständig publikationsdatabas och alla författarna till en publikation syns och produktiviteten per forskare framgår direkt.

2.3 Enkla begrundanden

Att bedöma forskningens verkliga kvalitet från endera en ”peer review” granskning eller från en publikationsdatabas är

Inledning Ds 2011:

38

omöjligt. Båda sätten ger resultat som är proxies (ställföreträdare) för den verkliga kvaliteten. Vi anser att om ett lärosätes samlade vetenskapliga kapacitet ska mätas och resultatet användas för att fördela resurser är numeriska indikatorer baserade på det statistiska underlaget från en publikations databas att föredra. Detta hindrar inte att en ”peer review” granskning kan ge en information som är mer mångfacetterad och med mer framtidsperspektiv.

En ”peer review” bedömning av ett lärosäte blir sålunda kvalitetsdrivande genom sin information. De numeriska indikatorerna, baserade på det statistiska underlaget från publikationsdatabasen, blir kvalitetsdrivande genom möjligheten att jämföra olika universitets och högskolors vetenskapliga kvalitet. Båda metoderna har för- och nackdelar när det gäller att jämföra den vetenskapliga kvaliteten mellan olika vetenskapsområden, beroende på hur området väljer att visa sina vetenskapliga eller konstnärliga resultat och på hur området säkrar kvaliteten för dessa. Medicin, naturvetenskap och teknik visar och diskuterar sina forskningsresultat i tidskrifter med en ”peer review” bedömning, vilket garanterar en lägsta nivå på kvaliteten. Referenserna (citeringarna) i publikationerna i WoS är indexerade, vilket gör det möjligt att mäta den uppmärksamhet och spridning artikelns vetenskapliga resultat fått. Vissa tidskrifter lyckas att publicera artiklar som oftare blir citerade och därmed får impactvärde. Forskare söker publicera i sådana tidskrifter, eftersom de har större prestige, något som medför att konkurrensen att bli accepterad för publicering ökar och därmed kvaliteten. Samhällsvetenskapen till stora delar och nästan all humaniora däremot, väljer att visa upp sin forskning i monografier av olika slag och i böcker.

Publiceringskulturen utvecklas redan på forskarutbildningsnivå. Inom medicin, naturvetenskap och teknik är sammanläggningsavhandlingar, ofta med en enkel ”kappa”, är det brukliga, medan doktorander inom humaniora och samhällsvetenskap skriver monografier för sitt doktorsarbete.

Ds 2011: Inledning

39

Den kvalitetssäkring som sker för monografier och böcker sker genom en seminariekultur, där en längre och kontinuerlig granskning och diskussion kring den framväxande monografin eller boken sker. Denna typ av kvalitetssäkring var också den ursprungliga för naturvetenskapen. Newtons och Darwins brevväxlingar kring sina experiment och tankar är ett exempel på detta.

Det känns vetenskapligt viktigt att de två kulturerna och deras olika kvalitetssäkring får utvecklas parallellt och väsentligen ändras genom förändringar av det vetenskapliga arbete som sker exempelvis pga. en globalisering av forskningen inom samhällsvetenskapen och humaniora. Det är därför en grannlaga uppgift att hitta numeriska indikatorer som bygger på ett statistiskt underlag även från en heltäckande publikationsdatabas. Det går inte att undvika bedömningar som liknar en ”peer review” granskning av de olika vetenskapsområdena. Valet är snarare om en sådan bedömning vara politisk och ske i form av viktning för att behålla alla lagom nöjda eller missnöjda eller om bedömningen ske av vetenskapssamhället själv exempelvis i form av en diskussion av impactfaktorerna för böcker och monografier. Vi lägger ett förslag som möjliggör det senare i tron på den goda vetenskapskvinnan eller mannen. Vi ser också ett stort egenvärde i att all forskning inklusive den konstnärliga visas i sin helhet.

De två diskuterade sätten att mäta vetenskaplig kvalitet med numeriska indikatorer baseras båda på det värde som vetenskapssamhället ger olika publikationer genom hur ofta de citeras av kollegor. Additionen av publikationernas citeringar görs som beskrivits ovan olika och skapar därmed olika incitament. En större tro på globaliseringen av forskningen inom humaniora och samhällsvetenskap vägs mot en uppskattning av värdet av ett kvalitetssystem som är mer individuellt och som anpassat artefakterna efter detta.

Inledning Ds 2011:

40

2.4 Externa medel som en indikator på framtida excellens

Forskning sker oftast i projekt. Projektens kvalitet och originalitet bestämmer den vetenskapliga utvecklingen. Det är kutym att projekten bedöms och finansieras externt, dvs. de bedöms inte av forskare från forskarens universitet och finansieras inte av de statliga anslagen till forskarens universitet eller högskola. Bedömningen görs av kollegor i nationell, europeisk eller global konkurrens, som granskar en projektplan där målet med forskningen och med forskarnas dokumenterade förmåga att nå resultat ges. Den kollegiala bedömningen ses som en garanti för att de ”bästa” projekten finansieras och har stor legitimitet. Politiskt har detta också varit ett attraktivt sätt att nationellt nå högsta möjliga kvalitet och resultat för de statliga resurser som avsätts för forskning. Hur stor del av forskningen vid universitet och högskolor som finansieras externt varierar mellan olika discipliner och områden och självklart också mellan olika länder. Sverige har en hög andel av extern finansiering av forskningen vid universitet och högskolor. Inom medicin och teknik så närmar den sig 75 procent och den är nära 50 procent för övriga områden. Konkurrensen om de externa projektanslagen är stor. Visad tidigare excellens och visionära mål för ny forskning är nödvändigt för att nå framgång i konkurrensen.

Projektfinansiering riktas ofta till särskilda sektorer och områden eller har särskilda syften. Vinnova finansierar teknik- och innovationsforskning, Formas finansierar naturresursforskning och FAS finansierar samhällsforskning. Konkurrensen om anslagen från dessa forskningsfinansiärer är stor och det görs en integrerad bedömning av forskningens vetenskapliga kvalitet och relevansen för finansiärens område eller syfte.

Ds 2011: Inledning

41

2.5 De svenska indikatorerna i dagens system

I Sverige används sedan 2009 två indikatorer med lika vikt, nämligen mängden externa medel som ett lärosäte erhållit och en bibliometrisk indikator som kombinerar publiceringsvolymen med citeringsgraden.

Publikationer och citeringar är en output-indikator som speglar det som varit. Den kräver en heltäckande databas, men vare sig Thomson Reuters Web of Science (WoS), Elseviers Scopus6 eller Google Scholar uppfyller detta. WoS fungerar bäst för publikationer inom medicin och naturvetenskap, medan teknikområdet som oftare kommunicerar med konferensbidrag eller med kodifierad know-how delvis missas. Täckningen av humaniora och delar av samhällsvetenskapen är dålig (kap 6), vilket också gäller andra uttrycksformer som inom konstnärlig forskning (kap 7). Därför har länder som Norge, Danmark, Finland och Belgien byggt upp nationella databaser som tillsammans med WoS syftar till att nationellt bli heltäckande.

Externa medel är en input-indikator som speglar framtiden, dvs. en förväntan från de olika finansiärerna om goda resultat av forskningen. Tron och förväntan bygger ofta på de visioner och mål som exponeras i ansökan och på tidigare publicerad framgångsrik forskning. Olika forskningsområden har olika förutsättningar att attrahera externa medel och hänsyn till detta kan t.ex. tas med någon form av viktning.

En del externa finansiärer av universitet och högskolors forskning och innovation låter kollegor och andra experter bedöma och ranka projektansökningarna. Övriga ger medlen för ett särskilt syfte där ett visst universitet eller en viss högskola anses särskilt lämpad att åstadkomma ett önskat resultat. Resultatet behöver inte nödvändigtvis vara forskning som bidrar till forskningsfronten eller forskning överhuvudtaget. I dag räknas alla intäkter, avgifter, bidrag och uppdrag, från alla externa finansiärer in i underlaget för externa medel indikatorn.

6 http://www.scopus.com/home.url

Inledning Ds 2011:

42

Undantaget är endast medel från Kammarkollegiet och stiftelser knutna till lärosätet.

2.6 Internationellt använda indikatorer

Antalet indikatorer inom i olika länder har vuxit med åren beroende på dels försöken att minska eller eliminera nackdelarna med en hittillsvarande indikator dels behovet att skapa nya bättre. Indikatorer kan också användas för att driva på utvecklingen åt önskat håll, men oavsett syfte måste de väljas med omsorg för att minimera risken för att forskarna försöker optimera sin egen resurstilldelning på bekostnad av verklig kvalitet i forskningen.

Vanligast är indikatorer från kategori 1, speciellt input- och outputindikatorer som publiceringar och citeringar. Endast Polen använder strukturindikatorer. Belgien och Spanien använder indikatorer från kategori 2, nämligen JIF. Indikatorer från kategori 3 är också vanligt förekommande och trenden går från klassisk kollegial bedömning mot informerad peer review, samtidigt som antalet paneler minskar.

Det är också önskvärt att de indikatorer som används är oberoende, dvs. att de inte mäter samma sak. Används indikatorerna för att fördela forskningsmedel kan ett lärosäte annars sägas få betalt två gånger för samma prestation. Exempelvis är korrelationen mellan de i Sverige använda indikatorerna externa medel och bibliometri (publiceringar/citeringar) tämligen stor (kap 5).

Ds 2011: Inledning

43

3 Kollegial bedömning – peer review

Kollegial bedömning innebär att betrodda kollegor inom ämnesområdet granskar och bedömer resultatet av forskningen. Kollegial bedömning åtnjuter högt anseende och är en vanlig metod, ofta ansedd som en grundbult vid bedömning av publikationer och projekt. Bedömningen görs mot expertens erfarenhet och åsikt om forskningsfronten, vare sig den är internationell eller som ibland inom humaniora nationell. Den kan organiseras på olika sätt beroende på vad som ska granskas.

• Klassisk kollegial bedömning har traditionellt omfattat en

enskild forskares avhandling, manuskript för olika publikationer, tjänsteansökningar, medelsansökningar hos finansiärer m.m. och har gjorts av en eller flera bedömare med kompetens inom det aktuella området. Ibland kan bedömningen ske i flera steg som i fallet med tidskrifter.

• Modifierad kollegial bedömning avser bedömning av

forskargrupper, institutioner eller större forskningsområden. Den kan uppfattas som en medelvärdesbildning av den klassiska varianten, men där även en bedömning av organisationen kan ingå. I detta fall görs bedömningen av en panel med experter, vars sammantagna kompetens täcker det

Kollegial bedömning Ds 2011:

44

som ska bedömas. Resultatet av den modifierade kollegiala bedömningen brukar anges i ca fem steg. Benämningarna kan variera, men en förekommande variant är outstanding, excellent, good, weak and insufficient.

• Informerad kollegial bedömning är den modifierade varianten

kompletterad med olika indikatorer, vanligen bibliometriska.

Kollegiala bedömare i paneler förväntas bli valda utifrån sin områdeskunskap. Paneler av kollegiala bedömare bör ha en genusfördelning som speglar områdets. Att välja rätt panel är en förutsättning för en korrekt och rättvis bedömning. Trots detta används inte strukturerade och standardiserade urvalsmetoder. Ofta sker valet av bedömare till paneler från en förslagslista som tagits fram av dem ska bedömas. Jävsförhållanden kontrolleras dock noga.

Detta kan till en del förklara metodens popularitet. De som bedöms känner en trygghet när bedömningen görs av kända ansikten och kända personligheter. Att hitta bra bedömare är ibland svårt, då dessa ofta är efterfrågade. Bland de sju lärosäten som hittills genomfört egeninitierade utvärderingar finns de tre flerfakultets-universiteten Uppsala, Lund och Göteborg. Vi har undersökt hur många bedömare som engagerats av mer än ett av dessa universitet. Det visade sig att endast en bedömare deltagit i utvärderingen vid två olika lärosäten.

3.1 Kollegiala bedömningens egenskaper och värden

För publicering i tidskrifter är det redaktören som väljer bedömare, vilket kan uppfattas som något av ett lotteri 7.

7 Bornmann and Daniel: The luck of the referee draw. Learned Publishing Vol 22, NO. 2, 2009.

Ds 2011: Kollegial bedömning

45

Bedömningen av ansökningar om forskningsmedel görs ofta av äldre, etablerade oftast manliga akademiker som är förbundna med varandra i kollegiala nätverk8. Istället för att främja vetenskaplig kvalitet kan andra mindre transparenta kriterier spela en avgörande roll t.ex. olika slags närhet. Manliga nätverk antas därigenom utöva makt på ett partiskt sätt, något som bekräftats av Wennerås & Wold9 och i Jämställdhetsdelegationens delstudie Hans Excellens10. En annan systematisk avvikelse med kollegial bedömning är att den tenderar att, som otillbörligt kan gynna etablerade forskare enligt den s.k. Matteuseffekten11.

Vid utvärdering av forskningen vid ett lärosäte antas kollegial bedömning kunna mäta andra kvaliteter än de som numeriska indikatorer baserade på statistiska underlag förmår. Bedömningen anses kunna bli mer nyanserad och insiktsfull med en kollegial bedömning jämfört med numeriska indikatorer och kunna omfatta karakteristika som forskarmiljön, områdets, gruppens och de olika projektens potential. Om vi önskar att den kollegiala bedömningen ska bedöma annat än vetenskaplig kvalitet måste bedömarna ges tydliga instruktioner om vilka bedömningsområden och bedömningskriterier som ska användas för detta. Vi gör en strukturerad kollegial bedömning med indikatorer för olika bedömningsgrunder. Vi närmar oss den metodik som (bör) används vid kollegiala bedömningar av utbildningars kvalitet.

Kollegial bedömning med paneler av bedömare är svåra att upprepa med hög reliabilitet. De får inte genomföras för ofta då nya paneler med nya bedömare och med ny ”gruppkemi”, kan göra väsentligt andra bedömningar. Kollegiala bedömningar för olika områden är svåra att jämföra. Flera lärosäten pekar på att 8 Cole, Rubin and Cole 1978: Peer review in the National Science Foundation: Phase one of a study : prepared for the Committee on Science and Public Policy of the National Academy of Sciences. 9 Wennerås, C. Wold, A. (1997): Nepotism and sexism in peer-review, Nature, 387(6631): 341-343 10 Svart på vitt – om jämställdhet. SOU 2011:1 11 Var och en som har, han ska få………. Matteusevangeliet 25:29 (65 – 100 e. Kr.)


46

en panel kan påverkas (för mycket) av enstaka dominerande bedömare i panelen. Det händer också att två olika paneler ger samma forskargrupp omdömen som skiljer sig med mer än ett steg. Kort sagt existerar samma problematik här som vid bedömningen av studentarbeten där otaliga studier visat på mycket låg interreliabilitet mellan skilda bedömare. Orättvisan i båda situationerna behöver knappast kommenteras. Den bedömer normalt heller inte forskningens betydelse för utbildning eller påverkan, även om sådan information efterfrågats och getts i självvärderingarna.

Kollegial bedömning kostar pengar till arvoden, resor och uppehälle. De stora universiteten i Sverige redovisar för sina totalgranskningar en kostnad på upp till 10 miljoner kronor. I denna ingår kostnader dels för universitetets genomförande av utvärderingen dels för institutionernas arbetstid för framtagandet och organisationen av material i form av självvärderingar, årsrapporter och publikationslistor.

Vidare minskar bedömarnas och de bedömdas tid till forskning. Internationellt förekommer kollegial bedömning av forskning vid lärosäten oregelbundet, vilket kan bero på att den är arbetsam, dyr och tidskrävande. Om detta medför att utvärderingarna görs för glest riskerar resursfördelningen att grundas på inaktuella data och blir inte legitim.

När kollegial bedömning används för att avgöra om en projektansökan ska ges medel eller om en artikel ska publiceras är svaret antingen ja eller nej. Vid medelsfördelning krävs betyg med numeriska värden. Antingen en linjär skala, där avståndet mellan varje steg är lika stort eller som i England där Research Assessment Exercise (RAE) valde en kraftigt olinjär skala (kap 5). Vilket i praktiken innebar en betygsskala med endast två steg, med uppenbara konsekvenser för medelsfördelningen.


47

Fördelning basresurs

0

2

4

6

8

10

12

14

16

1 2 3 4 5 6 7 8 9 10 11 12 13

Andel basresurs (%)

Ant

al lä

rosä

ten

3.2 Situationen i Sverige

Vi har gjort en simulering av en nationell kollegial bedömning som bygger på de egeninitierade utvärderingarna, vilket redovisas i bilaga 3. Bland dessa utvärderingar valdes de från universiteten i Uppsala, Lund och Göteborg för att dessa lärosäten har flera fakulteter och därmed speglar en önskvärd bredd.

Den nuvarande fördelningen av basresurser (diagram 3.1) skiljer sig kraftigt från den simulerade fördelningen av basresurser byggd på nationell kollegial bedömning (diagram 3.2). Detta beror på att den nuvarande modellen, utöver citeringar, innehåller en volymkomponent, nämligen antal publikationer. Kollegial bedömning innehåller ingen sådan komponent, vilket tydligt framgår när diagrammen 3.1 och 3.2 jämförs. Kombineras den kollegiala bedömningen med en volymkomponent, t.ex. bestående av antalet fraktionerade publikationer, visar diagram 3.3 att den nuvarande fördelningen återskapas till del. Diagram 3.1: Nuvarande fördelning av basresurser. Diagrammet visat antal lärosäten som har en viss andel av de nationella basresurserna.


48

Simulering fördelning kollegial bedömning

0

50

100

150

200

250

300

350

400

2 3 4 5

Betyg

Ant

al o

mdö

men

Bet yg


0

2

4

6

8

10

12

14

16

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Andel basresurs (%)

Ant

al lä

rosä

ten

Diagram 3.2: Simulering av fördelning av basresurser. Diagrammet visar antal omdömen som fått ett visst betyg.

Diagram 3.3: Simulering av fördelning av basresurser. Diagrammet visar antal omdömen som fått ett visst betyg kombinerat med en volymkomponent.


49

Antalet betygssteg som används vid en kollegial bedömning är färre än i skalan som används för citeringar, som är mer finfördelad, eftersom den utgörs av antalet fältnormerade medelciteringar. Det blir sämre precision med få betygssteg och prestationsmässiga skillnader mellan olika lärosäten riskerar att inte få genomslag vid medelstilldelningen.

Erfarenheten från de egeninitierade utvärderingarna visar att omdömen kan skilja sig med upp till två betygssteg, när två olika bedömarpaneler utvärderar samma forskargrupp. För mindre lärosäten med liten omfattning på forskningen och därmed få bedömargrupper innebär ett enda betygstegs förändring en ökning eller minskning av basanslaget på procentnivå.

En nationell kollegial bedömning kan knappast genomföras oftare än var fjärde år, med tanke på det omfattande arbete som krävs på lärosätet. Delar av forskningen skulle kunna utvärderas efter ett rullande schema, vilket skulle både fördela kostnaden för lärosätet och för statsmakterna över flera år. Tematiska utvärderingar är en annan möjlighet. Vi anser dock att hela lärosätets forskning ska vara föremål för utvärdering. Vidare sker den nuvarande resurstilldelningen för den svenska högskolan på årsbasis och vi anser att ansträngningar för att förbättra den vetenskapliga kvaliteten och kvaliteten på samverkan också ska påverka medelstilldelningen varje år för att ge återkoppling tillräckligt ofta.

Kostnaden för ett nationellt system torde bli omkring 70 miljoner kronor. Enligt simuleringen kommer antalet omdömen i landet att vara omkring 900 och kostnaden för omkring 70 omdömen vid t.ex. Lunds universitet var omkring 6 miljoner kronor, vilket uppskalat ger en kostnad på nära 80 miljoner kronor. Emellertid bör en genomtänkt logistik kunna reducera besökskostnaderna något.

Vi anser att den dåliga precisionen vid kollegial bedömning, det långa tidsintervallet mellan olika bedömningar och den höga kostnaden talar mot ett införande av kollegial bedömning.

Den kollegiala bedömningen fungerar däremot utmärkt inom ett lärosäte och då också all forskning kan granskas och


50

bedömas. Detta bidrar i sig till att öka kvaliteten på svensk forskning, vilket är ytterligare ett skäl till att inte införa ett nationellt system för utvärderingar.

51

4 Internationell översikt

4.1 Inledning

För prestationsbaserad resurstilldelning har hittills antingen indikatorer i kategori 1, dvs. sådana som mäter input respektive output eller indikatorer i kategori 3 dvs. kollegial bedömning (peer review) använts.

I Förenade kungariket (UK) infördes 1986 Research Assessment Exercise (RAE) och 2010 använder sig 13 länder av prestationsbaserade modeller (se tabell nedan). De flesta modeller har ändrats, ibland radikalt, varför det är viktigt att klargöra vilken version det handlar om. Endast länder med modeller som avser forskningens resultat, som påverkar resurstilldelningen och som är nationella ingår i tabellen. Ansvarig är antingen ett ministerium eller en myndighet eller så är ansvaret delat mellan dessa.

Land/infördes Modell Ansvarig

Förenade kungariket (UK), 1986

RAE numera REF – research excellence framework

Hefce

Spanien 1989. Sexenio (vart sjätte år).

Ger lönebonus till enskild professor, dvs faller utanför

National Commission for Evaluation of Research

Activity (CNEA)

Slovakien 1992/2002. Vart tredje år.

Ministry of Education

Internationell översikt Ds 2011:

52

Hong Kong 1993. Ökat från 3 till 6-7 år

RAE University Grants Committee (inom ett ministerium)

Australien 1995. Varje år

Composite Index, Research Quality Framework (RQF), Excellence in

Research for Australia (ERA)

Department of Education, Employment and Workplace

Relations och Department of Innovation, Science and

Research

Polen 1998. Vart fjärde år

KBN statutory funding, “parametric method”

State Committee for Scientific Research (KBN) under Ministry of Science

and Higher Education.

Italien utvärdering 2001-03, påverkan 2009

Valutazione Triennale della Ricerca (VTR)

Agency for the Evaluation of University System and

Research (ANVUR). Tidigare (CIVR) är

rådgivande till Council of Ministers och Ministry of

Universities and Research.

Nya Zeeland 2001. Ökat från 3 till 6-7 år.

Performance-based research funding (PBRF)

Tertiary Education Commission (inom ett

ministerium)

Belgien (Flandern) 2003/2008

BOF-key (Bijzonder Onderzoeksfonds)

Steunpunt O&O Statistieken (SOOS) agency producerar

bibliometrin till BOF-key, för flamländska regeringen

Norge 2006. Varje år

Norska modellen Kunnskapsdepartementet / UHR

Sverige 2009. Varje år

Externa medel och publ/cit Utbildningsdepartement med faktabistånd av HSV

och VR

Danmark 2010 Införande av ”norska” modellen 2010

Finland 2010 Införande av ”norska” modellen 1998/2010

Utöver dessa finns länder med modeller som till vissa delar uppfyller eller är på väg att uppfylla kriterierna för att ingå i tabellen.

Ds 2011: Internationell översikt

53

• Frankrike har i samband med ackreditering för Bologna också reformerat universiteten och tycks vara på gång att i större utsträckning än hittills låta detta påverka resurstilldelningen för forskning. • Tyskland har ett excellensinitiativ som bygger på framtidsplaner snarare än resultat (jmf strategiska områden), där vissa universitet getts extra resurser. • Portugal fördelar enbart via projekt, men vid bedömning av ansökningar kan forskargruppens tidigare prestationer inräknas. • Japan fördelas forskningsmedel grundat på antal fakulteter, men regeringens försök att införa prestationsbaserad resurstilldelning har mött opposition. • I Korea har Seoul National University fått autonomi något som kan förebåda ett prestationssystem. • Nederländerna har utvärderingar med kollegial bedömning, men dessa har (ännu) inte fått styra resurstilldelningen. • Sydafrika utvärderar enskilda forskare med kollegial bedömning både av projektförslag och av resultat. Resultatet av bedömningen bestämmer sedan de individuella anslagen.

4.2 Några länder mer i detalj

Förenade kungariket

Prestationsbaserad resurstilldelning infördes i England in 1986, för att behålla kvaliteten när högskolesystemet expanderade. År 2001 infördes detta även i Skottland, Wales och Nordirland. Systemet kallas “Research Assessment Exercise” (RAE) och bygger på expertpaneler (67 paneler 2008) som var och en utvärderar forskningskvaliteten vid alla institutioner inom ett givet forskningsområde. Lärosätena väljer själva ut institutioner


54

för granskning, kompletterat med data om externa medel, personal, publikationer och annan relevant information. RAE använder fyra nivåer samt en kökkenmödding för kvalitet som understiger normen för nationellt erkända arbete eller arbeten som inte uppfyller definitionen av forskning för denna bedömning. 1. Kvalitet som är världsledande när det gäller originalitet, betydelse och stringens. 2. Kvalitet som är internationellt excellent i termer av originalitet, betydelse och stringens, men som ändå inte når upp till högsta standard. 3. Kvalitet som är internationellt erkänd i termer av originalitet, betydelse och stringens. 4. Kvalitet som är erkänd nationellt i termer av originalitet, betydelse och stringens.

Därefter publiceras en profil för varje bedömd institution med andelen av forskningen i respektive nivå och de använda vikterna 9, 3, 1 och 0 ger en mycket stark betoning på excellens. Resultat som kombineras med andra indikatorer som donationer, uppdragsforskning och antal handledda postdoktorer. Alla vetenskapsområden ges samma vikt, men hänsyn tas till kostsam infrastruktur som laboratorier och liknande. Slutligen aggregeras resultaten på lärosätesnivå. Den kollegiala bedömningen står för 65 – 70 % av denna s.k. QR (quality related) allocation. Alla lärosäten utom de privata kan delta och de är fria att internt fördela resurserna, men att de förväntas satsa på sina styrkeområden och på excellent forskning.

Den sjätte och senaste RAE-rundan genomfördes 2008 och påverkar tilldelningen under 2009 – 2010. RAE har kritiserats för att kräva stora resurser både centralt och på lärosätena. För närvarande utvecklas ett nytt system “Research Excellence Framework” (REF) där forskningsresultaten i form av artiklar, böcker eller andra varianter som granskats utgör 65 procent, påverkan/avtryck i form av fallstudier som visar att lärosätets


55

forskning har gett social, ekonomisk eller kulturell påverkan utanför akademin utgör 20 procent (planeras öka framöver) och kvaliteten på miljön i vilken forskningen bedrivs utgör resterande 15 procent. I den sista delen inräknas externa medel. För närvarande pågår flera pilotprojekt och slutgiltigt besked om de olika kriterierna publiceras under 2012. Första REF-rundan planeras till 201412.

Australien

Till skillnad från Englands paneler infördes ett system 1990 med fyra olika indikatorer. Externa medel, antal publikationer, antal masterstuderande och doktorander, samt antalet av dessa som blev klara inom den stipulerade tiden. Listan för publikationer och stipendier är gemensam oavsett forskningsområde. Under 2005-2007 utvecklades andra generationens system ”Research Quality Framework” (RQF), som utöver indikatorer innehöll utvärdering gjord av avnämare som skulle bedöma effekten på ekonomin och samhället. RQF kritiserades för att dels sakna transparens och dels ha höga kostnader. Den nya regeringen som tillträdde 2007 övergav omedelbart systemet innan det ens hade införts och påbörjade utvecklingen av tredje generationens system kallat ”Excellence in Research for Australia” (ERA). Det bygger på externa medel, citeringar och expertpaneler, men också kommersialisering och ryktbarhet, där den senare kan mätas via de internationella rankningarna.

Nya Zeeland

Nya Zeeland införde sitt system 2001 och låter ca 12 % av alla medel till universiteten påverkas av tre indikatorer. Kollegial bedömning av forskare snarare än institutioner (60 %), antal master- och doktorsexamina (25 %) och andelen externa medel 12 http://www.hefce.ac.uk/research/ref/].


56

(15 %), där de två senare indikatorerna uppdateras varje år. Kollegial bedömning däremot har skett 2003, 2006 och planeras till 2012. Data levereras av universiteten och systemet bygger på förtroende, ansvar och tillgänglighet. Tertiary Education Commission (TEC) och Utbildningsdepartementet granskar och bedömer data.

Polen

Det polska systemet, som infördes 1998, utvärderar på institutionsnivå och omfattar tre kategorier; humaniora, samhällsvetenskap och konstnärlig forskning (dock med viss begränsning som konserter och konstutställningar), naturvetenskap och teknikvetenskap samt livsvetenskaper. Informationen fås från lärosätena via årliga enkäter från Utbildningsdepartementet. Systemet bygger på publikationer, internationella projekt, disputerade och habiliterade, FoU-tillämpningar, näringslivssamarbete, patent, copyright och ackrediterade laboratorier. Därefter viktas ämnena och praktiska nyttan efter en detaljerad mall. Vidare beräknas effektiviteten genom att dividera slutpoängen med antalet forskare. Detta kompletteras med en bedömning av resursäskandet och rektors åsikt om lärosätet. Ministeriet fattar det avgörande beslutet för en femårsperiod, ett beslut som kan överklagas. År 2008 omfattades 60 % av forskningsresurserna. Lärosätena får fritt fördela sina resurser internt inom ramen för sin ansökan till departementet, som fastlagt vissa forskningsinriktningar.

Italien

I Italien publicerades 2006 en utvärdering byggd på forskningsresultat från 2001 – 2003, vilken påverkade fördelningen 2009. Någon ny utvärdering under perioden 2004 – 2006 gjordes inte. Istället skapades 2007 en ny


57

utvärderingsmyndighet (ANVUR), som kom igång redan 2009. Vidare beslöts 2009 7 % av basmedlen till universiteten (Fondo di Finanziamento Ordinario) ska omfördelas, så att 2/3 går till forskning och 1/3 till undervisning. Av forskningsdelen ges 50 % i proportion till betyget från utvärderingen 2006, 30 % andelen EU-medel och 20 % andelen konkurrensutsatta medel från ministeriet. Av undervisningsdelen 40 % på antal andraårsstudenter som klarat 2/3 av första årets kurser, 20 % på antal anställda studenter tre år efter examen, 20 % på antal fast anställda lärare/forskare i undervisningen och 20 % på studentbelåtenhet.

Belgien–Flandern

I mitten av 1980-talet var inflationen besvärande och som ett komplement till basfinansieringen inrättades den särskilda forskningsfonden BOF (Bijzonder Onderzoeksfondsen) för att stödja blue sky research och 2005 inrättades IOF (Industriele Onderzoeksfondsen) för att stödja tillämpad forskning. Flandern hade ett system baserat på antalet studenter, men införde 2003 som första land, även publiceringar och citeringar från Web of Science (WoS), som tillsammans bildade den sk BOF-key. På senare år har publiceringar och citeringar getts allt större vikt och 2010 var andelen uppe i 17 procent vardera. Flandern är enda land/region som kompenserat skillnaden mellan vetenskapsområden med Journal Impact Factor (JIF). Den mäter tidskrifters vetenskapliga inflytande utifrån hur ofta artiklar i tidskriften citeras.

Dock är täcks humaniora och vissa områden inom samhällsvetenskapen t.ex. juridik dåligt. Likaså publikationer på flamländska och i dec 2008 beslöts att bygga upp en databas där bl.a. lärosätena själva ska få dokumentera sina publikationer för att komplettera WoS. Villkoren, som liknar Norges, för att ingå i databasen är att publikationen • är publikt tillgänglig för alla forskare


58

• är identifierbar via ISBN eller ISSN • ger nya kunskaper • rapporteras via en publiceringskanal av peer-reviewtyp

Publikationerna kan vara artiklar, egna böcker, editor-böcker, bokkapitel och konferensbidrag. Egna böcker ges vikten 4, editor-böcker vikten 2 och konferensbidrag vikten 0,5 och för övriga publikationer där JIF saknas ges dessa vikten 1.

Den första versionen av databasen presenterades 2010 efter två års arbete.

Regeringen har också etablerat en panel bestående av 18 representanter från lärosäten med humaniora och samhällsvetenskap. Panelen ska framgent bedöma och kvalitetssäkra databasens innehåll. Databasen ska kompletteras ytterligare inför omförhandlingen av BOF-key 2012. Regeringen bidra med € 150 000 per år för insamling av data, uppdatering av databasen samt finansieringen av ”Gezaghebbend Panel”.

Norge

Under 2003 – 2004 utvecklades ett system, av Kunnskapsdepartementet i samarbete med det norska Universitets- och høgskolerådet (UHR), med en resultatindikator byggd på publiceringsdata. Systemet, som tillämpas från 2006, innehåller utöver publiceringspoäng de tre indikatorerna doktorsexamina, EU-medel och från Norges forskningsråd.

Norges system för publikationer är unikt genom att databasen byggs upp av institutionerna själva. Alla publikationer från lärosätena registreras i en nationell databas. Därefter poängsätts de, poängen summeras och publiceras. Systemet är transparent och ger dels lärosätena full insyn och dels en överblick av den forskning som bedrivs i landet.

Först avgör UHR om publikationen kan räknas som vetenskaplig, vilket är fallet om resultaten


59

• ger nya kunskaper • är kontrollerbara och användbara i ny forskning • är tillgängliga för de flesta forskare som kan antas vara intresserade • rapporteras via en publiceringskanal av peer-reviewtyp

På grundval av detta avgörs vilka publikationsformer och publiceringskanaler som är vetenskapliga och därefter vilka databaser som är relevanta. Lokala publiceringskanaler (mer än 2/3 av författarna kommer från samma lärosäte) räknas inte med. Publikationskanalerna delas in i två nivåer, 1 och 2 med riktvärde 80 % respektive 20 %, där nivå 1 omfattar ”det normala”, medan nivå 2 avser de ledande och mest betydelsefulla tidskrifterna och akademiska bokförlagen inom varje område. Nivå 2 revideras årligen av nationella ämnesråd (47 st 2010). Indelningen administreras av UHR. Regeringen bidrar med 1,6 MNOK per år till detta arbete.

Med hjälp av ISBN- och ISSN-nummer13 delas publikationerna in i tre grupper och ges nedanstående viktning.

Publikationsform Nivå 1 Nivå 2 Monografi 5 8

Artikel i tidskrift eller serie 1 5

Artikel i antologi 0,7 1

De två existerande dokumentationssystemen, Frida och ForskDok, som år 2011 förenas i systemet CRISTIN14 har kompletterats med hjälpsystemet Importtjenste og 13 ISBN (International Standard Book Number) används till monografiska publikationer

(böcker). Avsikten är att ge boken en unik identitet. ISSN är kopplat till en seriell titel som är densamma från nummer till nummer. ISSN och ISBN kan ibland användas på samma resurs, till exempel om en årsbok har ett ISSN för titeln som förblir densamma från år till år, medan ISBN identifierar den enskilda volymen.

14 http://www.regjeringen.no/nb/dep/kd/kampanjer/norsk-vitenskapsindeks.html?id=592490


60

Autoritesregistre (ITAR). ITAR importerar från ISI, Norart och BIBSYS. ISI innehåller ca 9000 tidskrifter, Norart ca 130 nordiska tidskrifter och i BIBSYS registrerar biblioteken vid UoH alla sina verk. Dessutom ingår publikationer från sjukhus och institut.

Omfördelningen på grundval av de fyra indikatorerna ligger strax under 2 procent, vilket svarar mot 400 – 600 MNOK av totalt drygt 20 GNOK. En publiceringspoäng motsvarar omkring 35 000 NOK. Lärosätena är fria att göra en intern resursfördelning. En utvärdering 2009 föreslog några smärre förändringar från 2012, bl.a. att inkludera regionala forskningsfonder och att reducera vikten för EU-medel.

Danmark

Av medlen till universiteten avsätts två procent till en omfördelningsfond. Tidigare fördelade Danmark dessa medel med på utbildning (50 %), på externa medel (40 %) och på antal doktorsexamina (10 %). Danmark har inspirerats av den norska modellen och från 2010 infört indikatorn publiceringar med årlig uppdatering. Andelen ska vara 10 % 2010, 15 % 2011 och 25 % 2012. Fördelningen blir därmed från 2012 undervisning (45 %), externa medel (20 %), doktorsexamina (10 %) samt publiceringar (25 %).

Publiceringsdata från olika lokala system samlas i en nationell databas. Som i Norge revideras nivå 2 årligen av forskarsamhället , genom 350 experter i 68 grupper utsedda av det danska rektorskollegiet ”Danske Universiteter”. Viktningen av de tre publikationsformerna är nästan densamma som i Norge. Till skillnad från Norge behålls relationen mellan de fyra vetenskapsområdena humaniora, samhällsvetenskap, naturvetenskap och teknik samt medicin. Därmed motsvarar en publiceringspoäng olika belopp beroende på vetenskapsområde. Endast de åtta statsägda universiteten omfattas, men där ingår


61

också offentliga forskningsinstitut. Smärre årliga utvärderingar planeras från 2010 och en mer omfattande 2013.

Finland

Det finska systemet är komplext. Uppställningen nedan visar till en del hur systemet är uppbyggt, men därutöver hänvisas till texten.

Av de totala medlen till universitet och högskolor utgör 75 % en basfinansiering och av denna går 45 % till forskning, vilket svarar mot ca 34 % av de totala medlen.

Basfinansiering (75%) Övrigt (25 %)

Utbildning (55 %)

Forskning och forskarutbildning (45 %)

Aktiviteter (75 %) Kvalitet och effektivitet (25 %)

Personår (50 %) Doktorsexamina utlovade (25 %) Doktorsexamina klarade (25 %)

Externa nationella medel (60 %) Externa internationella medel (20 %) Publikationer (20 %)

Finland fördelar årligen 75 % av dessa forskningsmedel enligt indikatorer som vanligen är 3-årsmedelvärden. Personår i undervisning och forskning (50 %) antal utlovade doktorsexamina enligt kontrakt med ministeriet (25 %) och antal realiserade doktorsexamina (25 %).

Resterande 25 % fördelas efter nationella konkurrensutsatta externa medel (60 %), publikationer (20 %), internationella externa medel och forskar- och lärarrörlighet (20 %). De nationella konkurrensutsatta externa medlen utgörs av medel erhållna från Finlands akademi till universitet (50 %), Finlands akademi till Excellenscentrum (30 %) och medel erhållna från Tekes (20 %).


62

Publikationerna består av referee-granskade publikationer i utlandet 70 % och av övriga vetenskapliga publikationer (30 %). Övriga vetenskapliga publikationer avser artiklar i samlingsverk eller i tryckta kongresspublikationer, monografier och publikationer i universitetens egna serier enligt den gamla Kota-klassificeringen.

Internationella externa medel och forskar- och lärarrörlighet mäts som konkurrensutsatta internationella medel (60 %) och lärar- och forskarrörlighet (40 %). Lärosätena är fria att fördela sina medel internt, men inom ramen för kontraktet med utbildningsministeriet.

En utveckling pågår av indikatorerna som avser undervisning, forskning, utbildningsvetenskap/research education och konstnärlig aktivitet. Detta kommer att kräva lämplig klassificering av publikationer t.ex. kollegialt utvärderade vetenskapliga artiklar, vetenskapliga skrivelser och vetenskapliga böcker som inte har utvärderats kollegialt, införande av den sk fyrstegskarriären och forskningssamarbete. Thomson Reuters databas har inköpts och ett publikationsprojekt liknande det norska har startats, där möjligheten att kvalitetsbedöma forskning medelst publikationer utreds. I första omgången omfattas universiteten, därefter yrkeshögskolor och senare kanske andra forskningsutförare.

Ökad andel av basmedlen kommer att fördelas på detta sätt när publikationsklassificeringen är klar och systemet beräknas komma igång 2013.

Tyskland

Indikatorerna varierar mellan delstaterna och omfattar både undervisning och forskning. Viktningen av dem beror på typen av lärosäte, där undervisning viktas högre för yrkesinriktade lärosäten (Fachhochschulen). Alla förbundsrepubliker (Länder) mäter externa medel och antal doktorsexamina. Brandenburg och Nordrhein-Westfalen nöjer sig med dessa två medan


63

Rheinland-Pfalz också inkluderar habilitationen. Berlin har hela åtta indikatorer och två speciella för Fachhochschulen. Bara Berlin och Bayern mäter publiceringar och ingen delstat utnyttjar kollegial bedömning. Berlin och Hamburg mäter också konstnärliga aktiviteter. Andelen berörda medel går från 8 % i Brandenburg till 30 % i Berlin. Lärosätena är fria att göra en intern resursfördelning.

Slovenien

Under 2010 pågick arbetet med en strategi för perioden 2011 – 2015. Det hittillsvarande systemet bygger helt på utlysningar och ansökningar som hanteras av The Slovenian Research Agency (SRA). Underlag för bedömningen omfattar publiceringar, kollegial bedömning av projektansökningar, deltagande i EU-projekt, externa medel från industrin samt forskarnas engagemang i undervisningen. SRA strävar efter öppenhet och transparens för att skapa legitimitet för fördelningen.

4.3 Kostnaden

Oberoende av hur kvaliteten av forskningen mäts uppstår kostnader. En kollegial bedömning kan bli ganska dyr, bl.a. för att så många människor är involverade. Indikatorsystem kostar givetvis också eftersom de kräver prenumeration på eller uppbyggnad och uppdatering av olika databaser.

RAE 2001 i England omfattade 70 paneler med ca 10 experter som förväntades läsa 180 000 publikationer från 50 000 forskare. Experterna skulle sedan ge 160 omdömen. Detta drog stora kostnader förutom de olika institutionernas arbete med att färdigställa underlag inför bedömningen.

Italiens utvärdering 2006 bestod av 20 forskningsområden, 102 forskargrupper som 18 500 publikationer granskades av


64

6 600 experter varav 1 450 utländska. Utvärderingen tog 18 månader och kostade 3,5 M€.

4.4 Utfall

De flesta länder har ännu inte hunnit utvärdera sina system, eftersom de införts så nyligen att effekterna ännu inte blivit mätbara. Hittills finns få studier gjorda med välstrukturerade metoder och analys av kvalitativa data. Istället förekommer frekvent användning av ord som troligen, möjligen och potential och exemplen är ofta anekdotiska snarare än evidensbaserade.

De flesta studier avser givetvis RAE15, eftersom britterna hållit på längst. Generellt konstaterar Gläser16 att trots att systemen kan vara väldigt olika finns det bara ett begränsat antal sätt att reagera på de stimuli forskarna utsätts för. Frågan är om det ändrade beteendet är önskvärt eller inte? Svaret beror på vilken intressegrupp man tillhör; regeringen, skattebetalarna, lärosätet, forskargruppen eller forskaren själv.

15 A study for the Higher Education Funding Council of England (HEFCE) – focus groups of senior academics and administrators, survey of heads of departments or research units, staff survey, interviews with limited range of users and funders of research (McNay 1998); A second study for HEFCE focussing on the effect of the Research Assessment Exercise (RAE) on interdisciplinary research, which surveyed 5,505 researchers (37% response rate) and 327 RAE panel members (62% response rate) (Evaluation Associates Ltd 1999); The Roberts‟ review of the RAE which encompassed 420 consultation responses; 44 consultative meetings, 6 open public meetings; 9 workshops (Robets 2003); Research Information Network (RIN)/Joint Information Systems Committee survey of 800 UK academics (Fry et al. 2009a); 16 Gläser J. 2008 The social orders of research evaluation systems. In the Changing Governance of the Sciences (p 256)


65

England

I England finns viss kritik av systemet, men de flesta tycks vara överens om att systemet har åstadkommit en ökad medvetenhet om kvalitetsfrågorna och drivit fram en högre kvalitet i forskningen. RAE verkar ha lett till att brittiska forskare totalt sett har förbättrat sina citeringsvärden17, den excellenta forskningen gynnas, att forskningen görs synlig och får förtroende i samhället i stort, inte minst hos politikerna och att medvetenheten om behovet av strategisk planering ökar hos alla aktörer.

Många engelska bedömare menar att på sikt borde enklare modeller för anslagsfördelning skapas och att den administrativa bördan är för stor. Vidare att de etablerade miljöerna gynnas och att rekrytering ibland sker för att optimera mot RAE.

Resultaten påverkar internfördelningen av resurser och att koncentration på forskningsutvärdering medför att undervisningens status sjunker liksom ansvaret för samverkansuppgifterna, att forskningens koppling till samarbetspartner som industri och offentlig sektor missgynnas.

Systemet ledde till en koncentration av forskningsmedel fram till 2008, men sedan systemet ändrats till att gå från ”single star” till klassning medelst kvalitetsprofil fick 25 lärosäten ökade forskningsresurser, varav somliga med betydande belopp. Exempelvis sjönk Russel groups18 andel från 65 till 60 procent. Vidare ändrades betygsskalan från 0, 1, 3 och 7 till 0, 1, 3 och 9 så att högsta betyg gavs större vikt, vilket minskade omfördelningen.

17 Adams, J. and K. Gurney (2010), “Funding Selectivity, Concentration and Excellence – How Good Is the UK’s Research?”, Higher Education Policy Institute (HEPI), www.hepi.ac.uk/455-1793/Fundingselectivity,- concentration-and-excellence---how-good-is-the-UK%27sresearch. html. 18 http://www.russellgroup.ac.uk/


66

Nya Zeeland

En utvärdering med tre faser där fas 1 är implementering, fas 2 trendanalys (2008) och fas 3 en fullständig utvärdering planerad till 2012. Fas 2 visar att resurserna flyttades från tekniklärosäten till universitet och den förutvarande trenden med ökad tekniksatsning bröts och de tekniska lärosäten som kollektiv tappade mer än 60 procent av forskningsfinansieringen. Tidigare hade ”lågkostnadsområden” som humaniora och samhällsvetenskap med många studenter genererat mest resurser, men nu får lärosätet mest från ”högkostnadsområden” som naturvetenskap med relativt få studenter.

Australien

En bibliometrisk rapport19 från 2003 visade att införandet av prestationsbaserad finansiering vid universiteten bidrog till en klar ökning av produktiviteten inom alla vetenskapsområden, något som inte inträffade vid forskningsinstitut och andra statliga forskningsorganisationer. Kritik riktades mot kvantitetstänkandet och ett nytt mer RAE-liknande system diskuteras för närvarande (se ovan). Regeringens policy20 utvärderades 2004 och forskningens kvalitet hade förbättrats samt att fördelning av block grants skapat mer strategiskt tänkande hos lärosätena.

Spanien

Det spanska systemet, infört 1989, men justerades 1994 för att ytterligare betona vikten av att publicera i internationella

19 Australian bibliometric analysis done in the Research Evaluation and Policy Project (REPP) at the Australian National University (Linda Butler 2003) 20 Knowledge and Innovation: A policy Statement on Research and Research Training(1999)


67

tidskrifter. Vid utvärderingen 200321 konstaterades att en ökad publicering skett i WoS-tidskrifter. Orsaken bedömdes vara den ekonomiska belöningen, men också ökad uppmärksamhet samt ökade möjligheter att få mer prestigefyllda positioner.

Norge

Genom att publikationerna delades in i två nivåer uppstod inte den befarade situationen med ökad publicering på bekostnad av kvaliteten, vilket inträffade i Australien. Istället har publiceringarna ökat i alla sorters tidskrifter22 och andelen publiceringar i högt rankade tidskrifter har ökat. Norges andel av publiceringar i WoS har också ökat till skillnad från de övriga nordiska länderna.

Belgien

Införandet av en bibliometrisk indikator verkar enligt Expertisecentrum O&O Monitoring (ECOOM) ha stimulerat universiteten i Flandern till ökad publicering. Genom att den bibliometriska indikatorn sedan 2004 bygger på WoS har andelen artiklar inom humaniora och samhällsvetenskap ökat i WoS (kap 6).

21 Jimenez-Contreras, The Evolution of Research Activities in Spain (2003) 22 Sivertsen. A Bibliometric Funding Model Based on a National Research Funding System 2010.

69

5 Svensk översikt

Sju svenska universitet har genomfört egeninitierade kvalitetsutvärderingar under senare år: Uppsala universitet (KoF07), Kungl. Tekniska högskolan (RAE 2008), Lunds universitet (RQ 08), Sveriges Lantbruksuniversitet (KoN 09), Örebro universitet (ÖRE 2010), Göteborgs universitet (RED 10) och Karolinska institutet (ERA 2010).

Målet har varit att få en bild över kvaliteten på lärosätets forskning i internationellt perspektiv och därmed få ett underlag till att bedöma hur resurser ska disponeras i framtiden.

Utvärderingarna har genomförts på liknande sätt och inletts med att utse en projektledning. Därpå har en beskrivning av lärosätet tagits fram, forskningen delats in i lämpliga utvärderingsenheter, presumtiva bedömare tillfrågats och självvärderingar gjorts. Därefter genomförs själva utvärderingen med platsbesök och ofta görs även en bibliometrisk studie.

Utvärderingarna har gett ledningen en god överblick av lärosätets forskning och nästan alla universitet har avsatt en prispott som fördelats till den forskning som erhållit de bästa omdömena. Utvärderarna har också lämnat rekommendationer om lämpliga förändringar, samt pekat på den forskning som inte hållit måttet. Flera lärosäten planerar en andra omgång som Uppsala universitet, Lunds universitet, Kungl. Tekniska högskolan och Göteborgs universitet.

Svensk översikt Ds 2011:

70

5.1 Lärosätesutvärderingar

Uppsala universitet

Under våren 2007 genomfördes en kollegial granskning av forskningens kvalitet, Kvalitet och Förnyelse 2007 (KoF07), av all forskning med hjälp av 24 bedömarpaneler med i medeltal 7 internationella bedömare, inalles 174 stycken. I varje panel fanns en svensk med erfarenhet av, och insyn i, den svenska högskolan. Bedömarna valdes främst efter förslag från fakulteterna. En noggrann jävskontroll gjordes. De 24 områdena valdes utifrån hur doktorander och forskare var grupperade. Syftet var att identifiera bra forskning och framgångsrika forskningsmiljöer, men inte att jämföra olika områden inom universitetet. Kostnaden för hela utvärderingen var 7 miljoner kronor.

Expertpanelerna tillsändes material som i strukturerad form inhämtats från institutionerna och sammanfattningar från de centrala databaserna (personal, publikationer, forskarutbildning och ekonomi) samt en instruktion om förväntningarna. Detta för att säkerställa att alla bedömare hade samma utgångsläge. Vid platsbesöket i Uppsala deltog samtliga 174 bedömare. Besöket omfattade en vecka per panel varav huvuddelen av tiden tillbringades vid institutionerna.

Panelerna kommenterade; kvaliteten på forskningen, forskningsmiljön, forskningens infrastruktur, nätverk och samarbeten samt framtida planer och möjligheter. Forskningens kvalitet gavs fyra olika betyg: Top quality or world leading, internationally high standard, internationally recognized standard and acceptable standard.

Parallellt gjordes en bibliometrisk studie av Centre for Science and Technology Studies (CTWS) vid Leidenuniversitetet, som med Web of Science (WoS) och Uppsala universitets publikationsdatabas (OPUS) studerade 40 % av antalet artiklar för perioden 2002–2006. Panelerna hade,

Ds 2011: Svensk översikt

71

med avsikt, inte tillgång till dessa resultat för att slutsatserna från platsbesöket inte skulle påverkas. Humaniora och delar av samhällsvetenskapen hade för få WoS-artiklar för att statistisk signifikans skulle nås.

Vidare konstaterades att bibliometri inte kan ersätta panelbedömning, utan kompletterar denna eftersom bedömningarna också ger kommentarer och rekommendationer baserade på ingående presentationer av och diskussioner med aktuella forskargrupper. Överensstämmelsen mellan bedömningarna och den bibliometriska analysen var god. Utvärderingen ledde till att de 70 miljoner kronor som avsatts, efter diskussioner inom universitets- och fakultetsledningar, fördelades till olika verksamheter. KoF07-rapporten har också varit ett värdefullt stöd t.ex. vid arbetet med av forsknings- och utbildningsstrategier och i arbetet med att positionera lärosätet i förhållande till de nya nationella strategiska forskningsområdena.

En andra forskningsutvärdering, KoF11, genomfördes våren 2011. Att hitta internationella bedömare tog längre tid än väntat inför KoF07 och det arbetet påbörjades nästan ett helt år innan KoF11. Syftet med KoF11 är att identifiera starka områden och framgångsrika forskningsmiljöer och att identifiera nya forskningsinitiativ.

197 internationella ämnesexperter, fördelade på 25 paneler, gjorde denna gång platsbesök på samtliga institutioner under två veckor i maj 2011.

I KoF11, som beräknas vara klar nov 2011, görs också en uppföljning av KoF07.

Kungl. Tekniska högskolan

Under sex månader i början av 2008 lät KTH utvärdera sin forskning (RAE 2008), för att få underlag till den strategiska planen för 2009–2012. Forskningen delades in i 47 utvärderingsenheter, så att de i möjligaste mån var jämförbara vid medelstilldelningen. Dessa granskades av 12 bedömarpaneler.


72

KTH engagerade 80 internationella bedömare på förslag från institutionerna. I likhet med Uppsala universitet blev det ont om tid eftersom ett antal tackade nej. Antal bedömare stod i proportion till antal professorer inom varje utvärderingsenhet och kom att vara mellan 5–9. Andelen kvinnliga panelister var endast 14 procent. I varje panel ingick en bedömare som var förtrogen med den svenska högskolan och minst en från industrin. Panelerna fick material med en beskrivning av personal och resurser samt med en självvärdering av forskningen och dess potential.

Platsbesök genomfördes under en vecka. De omdömen som användes varierade beroende på om det rörde sig om grund- eller tillämpad forskning, För den vetenskapliga kvaliteten användes omdömena; world-leading, internationally high standard and internationally recognized standard. För de övriga användes något av omdömena; outstanding, excellent, good, weak and emerging.

Parallellt, men oberoende, gjordes också en bibliometrisk studie för åren 2000–2006. Resultatet var inte känt av panelerna. Korrelationen mellan kollegial bedömning och bibliometri är hög för de områden som publicerar i WoS-tidskrifter.

Kostnaden för hela utvärderingen var 6 miljoner kronor, institutionernas arbete oräknat.

Utvärderingen ledde till att 5 % av de centrala medlen omfördelades efter panelernas bedömning och med viss hänsyn tagen bibliometrin. I genomsnitt fick en framgångsrik institution en ökad tilldelning på ca 1 miljon kronor.

En andra utvärderingsomgång (RAE 2012) planeras under hösten 2011 och på grundval av vunna erfarenheter kommer rekrytering av bedömare att påbörjas i god tid och insamlingen av data från institutionerna struktureras bättre.

Lunds universitet

I enlighet med den strategiska planen för 2007–2010 genomförde Lunds universitet under våren 2008 en kollegial granskning av


73

sin forskning, förutom den konstnärliga, Research Quality 2008 (RQ 08). Syftet var att öka forskningens kvalitet, stärka forskningsmiljöerna, samt att medvetandegöra hela organisationen om att granskningar är en del av verksamhetens utveckling. De drygt 70 institutionerna delades, efter diskussioner med dekanerna, in i 17 grupper och tilldelades varsin bedömarpanel. Varje panel bestod av 4–9 internationella forskare, som gemensamt ansågs täcka gruppens forskning. Bedömare valdes efter förslag från dekanerna. Noggrann jävskontroll gjordes.

117 panelister, varav 17 ordförande och en huvudordförande var engagerade. Den direkta kostnaden var ca 6 miljoner kronor.

Panelerna tillsändes material som i strukturerad form inhämtats från institutionerna plus en instruktion om vad som förväntades. Detta för att säkra att alla bedömare hade samma bakgrund och medvetande om dessa.

För att minska panelisternas arbete gjorde endast ordförandena och viceordförandena platsbesök. Bedömarpanelerna träffades istället där det ansågs vara enklare.

Panelerna använde efter fyra bedömningsgrunder; vetenskaplig kvalitet, vetenskaplig produktivitet, impact eller relevans samt vitalitet och förmåga att bedriva forskning. Betygsskalan var 6-gradig; outstanding, excellent, very good, good, insufficient and poor. Genom att utöka skalan på lägstasidan fick den i praktiken de önskade fem stegen, eftersom erfarenheten visar att bedömare sällan sätter lägsta betyg.

Många paneler efterfrågade bibliometriska data, men dessa kunde inte erbjudas. Istället genomförde CTWS vid Leidenuniversitetet en bibliometrisk studie parallellt med den kollegiala bedömningen.

Resultaten av RQ 08 användes dels för att identifiera bra och dålig forskning dels för att fördela 100 miljoner kronor. Bara allmänna konstateranden om bibliometrins prediktionsförmåga gavs. En ny granskning planeras till 2013/2014.


74

Sveriges lantbruksuniversitet

Efter styrelsebeslut våren 2008 skedde utvärderingen Kvalitet och Nytta (KoN 09) våren 2009. Utvärderingen omfattade vetenskaplig kvalitet och relevans med hjälp av kollegial bedömning, men även nyttan ur ett användarperspektiv sedd av SLU:s intressenter i näringslivet, vid myndigheter och andra intressenter.

Den vetenskapliga granskningen fokuserades på forskargrupper. 130 forskargrupper, indelades i 15 grupper som tilldelades varsin panel. Dessa bestod av 3-7 internationella forskare samt 1–2 vetenskapligt meriterade externa experter, främst från svenska intressenter.

Fyra bedömningsgrunder användes; vetenskaplig kvalitet, Internationellt erkännande och position, relevans, genomslag (nytta) och strategi eller potential. För varje sattes betyg efter en skala från 1 (svag) till 6 (världsledande). Till sin hjälp hade panelerna forskargruppernas självvärderingar och en bibliometrisk analys. Detta kompletterades med intervjuer av forskargrupperna. Varje panel satte betyg, gjorde specifika kommentarer och rekommendationer för varje forskargrupp, samt gav ett omdöme om forskningsområdets potential.

Utvärderingen av nyttan för industri och övrigt samhälle genomfördes dels i form av djupintervjuer med 28 utvalda intressenter, dels genom övergripande, områdesvisa analyser som utfördes av fem intressentpaneler med vardera 5–8 personer, främst från Sverige. Panelområdena valdes utifrån fem tillämpningsområden som är centrala för SLU; livsmedel, djurhälsa och djurhållning, energi- och industriråvaror, samhällsplanering, miljö och natur samt fortlöpande miljöanalys. Panelernas rapporter omfattade de fyra bedömningsgrunderna; teknisk kvalitet och relevans, funktionell kvalitet, SLU:s varumärke, samt framtida utmaningar. Kostnaden för hela utvärderingen var ca 10 miljoner kronor.

Utvärderingen gav en grund för strategiska beslut på olika nivåer. 86 miljoner kronor (10 %) av statsanslaget omfördelades


75

efter utvärderingen. De mest framstående grupperna gavs 2 miljoner kronor var.

Göteborgs universitet

Göteborgs universitet utvärderade under 2010 forskningen, inklusive konstnärlig forskning. Research Evaluation for Development of Research 2010 (RED10) påminner om motsvarande utvärdering vid Lunds universitet. De knappt 50 institutionerna fick lämna in självvärderingar och delades in i 18 grupper med vardera en bedömarpanel. Varje panel bestod av 4–9 internationella forskare, inalles 118 stycken (en tredjedel kvinnor), främst från Norge, Finland och Storbritannien.

Panelerna hade att bedöma quality (excellens och uppmärksamhet), productivity (antal publikationer), uniqueness (udda och utmärkt), relevance (relevans) och vitality and organisational capacity (intern och extern förmåga). Dessa bedömdes efter fyra kriterier; kvalitet, produktivitet, relevans samt vitalitet och förmåga att bedriva forskning. Betygsskalan var 6-gradig; outstanding, excellent, very good, good, insufficient and poor.

Syftet var att identifiera styrkor och svagheter i universitets nuvarande samt planerade forskning och ge ledningen ett underlag för framtida strategiska beslut såsom förstärkning eller avveckling.

Panelerna försågs med fakta om personal, examinationer, ekonomi, publikationslistor, forskningsaktiviteter och självvärderingar. De hade alltså tillgång till publiceringslistor men inte någon bibliometrisk studie. För att institutionerna och utvärderarna skulle ”förstå” varandra bättre fick de läsa respektive panels instruktioner inför utvärderingen.

Ordförandena och vice ordförandena gjorde platsbesök, under det att bedömarpanelerna träffades på för dem lämpliga platser. De institutioner som så önskar kommer framöver ges tillfälle att kommunicera med respektive panel för att fördjupa


76

och förtydliga bedömningar och rekommendationer. Kostnaden uppgick till ca 10 miljoner kronor.

Utvärderingen ledde till ett antal rekommendationer på universitets-, fakultets- och institutionsnivå. Dessa ligger nu till grund för både mer kortsiktiga handlingsprogram och Vision 2020, det strategi- och visionsdokument som nu är under upprättande.

Örebro universitet

Utvärderingen (ÖRE2010) startade hösten 2009 med att uppgifter ur interna administrativa system om forskningen och forskningsorganisationen insamlades. De 37 utvärderingsenheterna fastlades efter diskussioner med forskarna. Bortsett från humaniora och samhällsvetenskap där viss gränsdragningsproblematik fanns var detta enkelt. Därefter valdes bedömare ut av dekaner och projektledning. Under våren 2010 inlämnade enheterna relevant material om sin forskning i form av CV:n, självvärderingar och vetenskaplig publicering.

Därefter gjordes en kollegial granskning, inklusive platsbesök under hösten 2010. 30 bedömare, svenska och internationella, som företräder nationell och internationell expertis har medverkat i utvärderingen. För var och en av de 37 utvärderingsenheterna gavs panelutlåtanden om utvärderingsenheten allmänt, vetenskapliga kvaliteten på forskningen, forskningsmiljön och infrastruktur, nätverk och samarbeten samt utvecklingspotential. Panelerna har betygsatt forskningen efter en femgradig skala från excellent till inte tillfredsställande.

I oktober 2010 förelåg också ett bibliometriskt underlag framtaget av Ulf Sandström baserat på omkring 3000 publikationer och deras citeringar, under perioden 2000-2008 för varje utvärderingsenhet. Resultatet presenterades per individ och aggregerades inte till institutionsnivå för att minska risken att framstående forskargrupper skulle drunkna i bruset. Detta var


77

bara känt för en av panelerna vid bedömningen, men delgavs alla paneler före den slutliga bedömningen. Det fanns oftast en god samstämmighet mellan panelernas bedömning och den bibliometriska studien.

Kostnaden har uppskattats till 1,5 miljoner kronor exklusive kostnader för projektledningen och för forskargruppernas arbete.

Utvärderingen ledde till en medvetenhet hos forskare vid universitetet om vad som karaktäriserar framstående forskning och därmed också en acceptans för utvärderingen. Vidare ledde den till att en strategisk forskningssatsning görs 2012–2014. Den strategiska satsningen på totalt 150 miljoner kronor fördelas utgående från utfallet av utvärderingen till forskare och enheter som uppvisar god publicering och citering. Dessutom riktas konkurrensutsatta satsningar till lovande yngre forskare och till rekrytering av doktorander. Inför 2013 kommer ytterligare omfördelningar av forskningsanslaget att göras baserade på utvärderingen och den annonserade Forsknings- och utbildningsstrategin 2012–2014. Örebro universitet är det enda lärosäte som använt utvärderingen till att omfördela medel, vilket bedömts nödvändigt på grund av de relativt begränsade forskningsresurserna.

Karolinska institutet

Universitetsstyrelsen beslöt 2009 att genomföra en extern utvärdering av forskningens kvalitet, External Research Assessment (ERA 2010), inför den strategiska planen 2013 – 2020.

Styrelsen för forskning gav en referensgrupp och en projektgrupp ansvar för genomförandet. Forskningen delades in i nio områden och för vart och ett utsågs fem koordinatorer vid KI för att kunna täcka all forskning. Varje område utvärderades av en panel sammansatt av 6–10 internationella experter. Koordinatorerna nominerade bedömare till panelerna vilka


78

tillsammans skulle täcka bredden inom varje forskningsområde. Efter diskussioner i referens och projektgrupp utsåg dekanus för forskning en ordförande och en svensk viceordförande för varje panel. Övriga panelmedlemmar togs fram i diskussion mellan referens- och projektgrupp, panelordförande och viceordförande med utgångspunkt i koordinatorernas nomineringslista, ett arbete som tog drygt 4 mån under senhösten 2010. En noggrann jävskontroll gjordes

Forskarna själva bildade ca 500 utvärderingsgrupper av varierande storlek, vilka sedan valde ett av de nio områdena att utvärderas inom. Grupperna överlämnade strukturerad information till utvärderarna, med CV, finansiering, publiceringar, samarbeten, framtida planer och behov. KI genomförde en intern bibliometrisk studie, vars resultat panelerna fick tillgång till vid platsbesöket, som varade i tre och en halv dag, under våren 2011.

Omkring 60 grupper vars forskning låg i flera forskningsområden bedömdes av två paneler, t.ex. translationell forskning. Bedömarna avgav därför ca 550 omdömen på en 6 -gradig betygsskala från outstanding till poor. I 19 fall skilde sig bedömningen ett betygssteg och i 17 fall två betygssteg. Trots uppdraget var ganska brett valde bedömarna att i huvudsak bedöma vetenskaplig kvalitet. Framgent behövs en starkare styrning från KI för att bedömarna ska hålla sig till givna bedömningsgrunder.

Kostnaden har uppskattats till drygt 6 miljoner kronor för projektledning, paneler, uppehälle, resor och bibliometri. Därutöver kommer arbetet ute på institutionerna och bland forskarna

Rekommendationerna i utvärderingsrapporten beaktas när ledningen under hösten arbetar fram KI:s nya forskningsstrategi för 2012–2020. Utvärderingen ledde också till att ledningen går igenom resultatet med respektive prefekt och en förväntan om att grupper med låga omdömen antingen får konstruktivt stöd eller läggs ner.


79

5.2 Nuvarande svenska system

I betänkandet från utredningen Resurser för kvalitet (SOU 2007:81) s.k. RUT 2 föreslogs fyra numeriska indikatorer, som tillsammans skulle påverka 50 procent av resursfördelningen.

Externa medel (20 %), publicering/citering (20 %), antal disputerade lärare (5 %) och antal kvinnliga professorer (5 %). Regeringen valde i propositionen Ett lyft för forskning och innovation (prop. 2008/09:50) att använda de två förstnämnda indikatorerna, samt att låta utreda huruvida kollegial bedömning(som enligt betänkandet skulle påverka resterande 50 %) och om bedömningsgrunden samverkan skulle kunna ingå i en framtida resursfördelning.

I betänkandet föreslogs att en omfördelning av halva anslaget sker vart fjärde år. Detta svarar mot drygt 10 procent vart år, något som regeringen valde. Påverkan på systemet sker då varje år, men blir vid varje tillfälle inte så omfattande.

Externa medel

Det beslöts att att intäkter från avgifter, bidrag och uppdrag skulle ingå, men inte medel från Kommerskollegium och från stiftelser knutna till lärosätet. Valet stod sedan mellan att begränsa externa medel till intäkter som är kvalitetsgranskade eller ta med ”alla” intäkter. Oavsett vilket, är det uppenbart att humaniora och delar av samhällsvetenskapen missgynnas. Detta löstes genom införande av viktfaktorer, vars värden fastlades efter ett antal simuleringar. Vikterna blev för humaniora och samhällsvetenskap = 2, för naturvetenskap = 1,5, för medicin och teknikvetenskap = 1 och området övrigt = 1,1.

De externa medel som indikatorn bygger på är ett löpande medelvärde av förbrukade medel under de tre föregående åren, med data hämtade från Högskoleverket.


80

Publicering/citering

För indikatorn publiceringar och citeringar stod valet mellan crown indicator, de bästa 10 % och Waringmodellen, den senare förespråkad av RUT 2. De tre korrelerar starkt och korrelationskoefficienten är över 0,9. Waringmodellen gav minsta skillnaderna mellan lärosätena och valdes av det skälet. Den upplevs dock som komplex och är omstridd. Fördelen är att den tar hänsyn till både antal publiceringar och citeringar, dvs. både kvantitet och kvalitet vägs in. De bibliometriska data är också treårsmedelvärden. Dessutom infördes samma viktfaktorer för denna indikator som för externfinansieringen, trots att publiceringsdata redan är områdesjusterade och citeringsdata är fältnormerade.

Som nämnts i kap 2 är dessa båda indikatorer korrelerade. I de två diagrammen nedan är lärosätena är uppdelade för att kunna särskiljas. Första diagrammet visar en korrelationskoefficient på 0,74 för de lärosäten som har störst forskningsanslag. Det andra diagrammet visar en korrelationskoefficient på 0,60 för övriga lärosäten. Korrelationskoefficienten för alla lärosäten tillsammans blir 0,92.

Diagrammen visar också vilken indikator lärosätet har mest framgång i relativt medelvärdet i landet för respektive grupp. Universiteten får bättre ”betalt” för bibliometrin och högskolorna för externa medel. Slutsatsen är att vetenskaplig kvalitet mäts bäst med bibliometri och att externa medel också mäter vetenskaplig, men även andra kvaliteter.


81

Samband: Externa medel - bibliometri

KaU

M iU

LN U ÖU

B T H

HiJM aH

M d H

GIH

HBHD

HGo

HHHkr

HiG

HS

HV

SH

0,0

100,0

200,0

300,0

400,0

500,0

600,0

0 20 000 40 000 60 000 80 000 100 000 120 000 140 000 160 000

Externa medel (kr)

War

ingv

ärde

Samband: Externa medel - bibliometri

U U

LU

GUSU

U mULiU

KI

C T H

Lt U

SLU

KTH

0,0

1000,0

2000,0

3000,0

4000,0

5000,0

6000,0

0 500 000 1 000 000 1 500 000 2 000 000 2 500 000 3 000 000

Externa medel (kr)

War

ingv

ärde

Diagram 5.1: Sambandet mellan indikatorerna externa medel och bibliometri för de elva lärosäten som har störst anslag. Korrelationskoefficienten är 0,74.

Diagram 5.2: Sambandet mellan indikatorerna externa medel och bibliometri för de övriga lärosätena. Korrelationskoefficienten är 0,60. Tyvärr överlapp i markeringen mellan dels Högskolan i Borås och Högskolan Kristianstad, dels Högskolan Dalarna och Högskolan i Skövde.


82

Minimiresursen

Utöver detta garanterades varje lärosäte en minimiresurs byggd på 8 000 kr per antal helårstudenter år 200723, som inte skulle ingå i omfördelningen av forskningsmedel. I de efterkommande fördelningarna har detta basår behållits och möjligheten att bilda medelvärden över tillkommande år inte utnyttjats. Till de fyra lärosäten vars dittillsvarande forskningsanslag inte nådde upp till denna nivå tillfördes 2009 extra medel. Sedan dess har både forskningsmedlen och antalet helårstudenter ökat och med hänsyn med antalet helårsstudenter för 2010 hamnar åter några lärosäten under miniminivån.

I praktiken

Det första året som modellen tillämpades, dvs. 2009, fördelades de nya medlen med indikatorerna externa medel 50 procent och publicering/citering 50 procent. Det andra året dvs. 2010 tillfördes ytterligare resurser som fördelades efter denna princip. Dessutom skedde en omfördelning av 10 procent av befintliga resurser enligt den beskrivna modellen. Dock subtraherades först minimiresursen, varför den faktiska omfördelningsandelen var ca 8 procent. För ett enskilt lärosäte däremot blev förändringen i något fall större, men för de flesta var den under 5 procent. Åren 2011 och 2012, tilldelades återigen nya resurser som tidigare, men omfördelningen tillgick så att lärosätena bidrog med samma belopp de erhållit året före, men utan subtraktion av minimiresursen. Därigenom minskade omfördelningen sett från lärosätet till några promille för de flesta och till några procent för övriga. Således är tilldelningen av nya medel av större ekonomisk betydelse än omfördelningen.

Modellen innebär att om inga inbördes förändringar i indikatorvärdena mellan lärosätena sker mellan åren och heller

23 Undantagen var Södertörns högskola eftersom högskolan har tillgång till forsknings medel via Östersjöstiftelsen.


83

Effekt av omfördelning

-10 000

-8 000

-6 000

-4 000

-2 000

0

2 000

4 000

6 000

2011 2012 2013 2014

År

Om

förd

elni

ng

Chalmers

Luleå

inga nya medel tillförs blir omfördelningen verkningslös. Om istället vart lärosäte till omfördelningen varje år lägger 10 procent av föregående års basresurser kommer, för de flesta lärosäten, skillnader på procentnivå att uppstå. Emellertid kommer skillnaderna, dvs. vinster eller förluster, att avta exponentiellt och omfördelningseffekten minskar för vart år enligt diagram 5.3. Samma utveckling gäller om nya medel tillförs.

För att ansträngningar för ökad kvalitet ska ge större effekter i resurstilldelningen föreslår vi att 10 procent av föregående års basresurser omfördelas varje år.

Diagram 5.3: En omfördelning av 10 % på föregående års basresurs givet att lärosätena behåller sina indikatorvärden och att inga nya resurser tillförts. Här visas ett lärosäte som 2011 hade större andel av indikatorerna än andel av basresursen och ett som hade mindre andel.


84

Viktfaktorerna har hållits konstanta sedan starten och de lärosäten som valt och fått sin verksamhet klassad som naturvetenskap och inte teknik i regleringsbrevet 2008, gynnas av att naturvetenskap gavs vikten 1,5 relativt teknik som gavs vikten 1.

Vetenskapsrådet har inte uppdaterat Waringreferensvärdena sedan 2009 och ursprungsvärdena för tilldelningen 2009 har också använts i tilldelningarna för perioden 2010–2012. Detta innebär att de förändringar som skett i indikatorn för publiceringar och citeringar beträffande publiceringsdelen endast hänför sig till publiceringsvolymen.

När det gäller nya medel belönar modellen lärosäten med stora intäkter av externa medel främst Lunds universitet och Karolinska institutet som båda har ca 15 procent av alla externa medel. Den belönar också lärosäten med höga Waringvärden (mått på publicering och citering) främst Uppsala universitet, Lunds universitet och Karolinska institutet som alla har nära 15 procent var av rikets Waringsumma.

Vid omfördelningen däremot belönar modellen lärosäten som ökat på sina andelar av externa medel och Waringvärden. Bilden modifieras dock när viktfaktorerna införs och lärosäten med humaniora och samhällsvetenskap gynnas, medan lärosäten med teknik och medicin missgynnas (bilaga 1).

Slutligen tillfördes år 2009, som nämnts ovan, de fyra lärosäten som inte nådde miniminivån, extra medel.

De s.k. strategiska forskningsmedlen ingår inte i fördelningsmodellen.

85

6 Humaniora och samhällsvetenskap

Den vetenskapliga produktionen inom humaniora och samhällsvetenskap (HS) täcks i olika hög grad av databaser som Ulrich’s, European Reference Index for the Humanities (ERIH), Web of Science (WoS), Scopus24 och Google Scholar, bl.a. beroende på de kriterier som tillämpas vid urvalet. Att enas om lämpliga kriterier för de internationella publikationerna är betydligt enklare än för olika nationella publikationer. Därmed kommer olika databaser att ha olika täckning, vilket främst påverkar täckningen inom området HS, där publiceringen oftast sker på det egna språket. Dessutom är citeringsmönstren annorlunda, eftersom referenser till tidskrifter är mindre vanliga inom HS. Referenserna används där för att ge sammanhang och bakgrund, snarare än som inom medicin och naturvetenskap att beskriva forskningsfronten.

Den i många länder använda databasen för bibliometri WoS täcker således inte stora delar av samhällsvetenskapen, bortsett ekonomi och psykologi, och för humaniora är det än värre25 26. Begränsningen till tidskrifter innebär också att antologier, monografier, artiklar i dags- och populärvetenskaplig press inte inräknas. Dessa uttrycksformer är både vanligare inom HS och i fallet med monografier mer prestigefyllda, speciellt inom H- 24 Hicks, B and J.Wang: Towards a Bibliometric Database for the Social Sciences and Humanities (2009). 25 Moed, H.F: Citation Analysis in Research Evaluation, Springer Doordrecht, Nederländerna (2005) 26 Bibliometrisk indikator som underlag för medelstilldelning. Vetenskapsrådet (2009).

Humaniora och samhällsvetenskap Ds 2011:

86

området. Vetenskapsrådet17 visar i en analys av den norska publikationsdatabasen (kap 4) att täckningsgraden för åren 2005 – 2009 inom samhällsvetenskap är drygt 10 procent och för humaniora ca 5 procent. Umeå universitets publikationer enligt Digitala Vetenskapliga Arkivet27 (DiVA) bekräftar mönstret. För åren 2006 – 2009 täcks artiklar inom samhällsvetenskap (35 %) och inom humaniora (10 %). Böcker saknas helt och ett fåtal antologier finns med.

För att kompensera för den bristfälliga täckningen infördes i Sverige viktfaktorer, samma viktfaktorer som för de externa medlen, där som nämnts humaniora och samhällsvetenskap gavs dubbla vikten jämfört med medicin och teknik (kap 5). Norge har istället valt att komplettera WoS med den nationella databasen CRISTIN (kap 5). Även i Danmark och Finland samt i Belgien (Flandern) pågår uppbyggnaden av nationella databaser. Därigenom avses att fånga den vetenskapliga produktion som har låg täckningsgrad i WoS. En jämförelse mellan databaserna i Norge och Flandern28 visar att täckningsgraden för HS-området 2009 är 40 procent i Flandern och 30 procent i Norge, Flandern har under perioden 2005 – 2009 ökat sin andel med ca 15 procentenheter medan Norge legat konstant. Andelen artiklar på nederländska respektive norska är ca 35 procent och ca 40 procent och i båda länderna har andelen minskat med ca 10 procentenheter.

För närvarande utnyttjar inte alltid svenska forskare inom S-området möjligheterna att publicera på engelska i internationella tidskrifter. Att publicera i internationella tidskrifter leder till att nationella förhållanden placeras i en internationell kontext och att sådan forskning slipper riskera att betraktas som oviktig29. Likaså publicerar humanister gärna i bok- eller antologiform och riskerar därmed att missa utbyte med den internationella forskningsfronten.

27 http://www.ub.uu.se/ 28 Sivertsen et al: A comparison of publication patterns and incentive structures in Flanders and Norway. 29 Rothstein, B: Private communication (2011)

Ds 2011: Humaniora och samhällsvetenskap

87

Utvecklingen i Norge och Flandern visar att andelen artiklar skrivna på engelska ökar och i Flandern ökar också andelen artiklar i WoS. Det kan bero på att Flandern sedan 2004 har haft en finansieringsmodell som bygger på WoS, medan Norges finansieringsmodell täcker alla tidskriftsområden. De belgiska forskarna har därmed haft en drivkraft att publicera i WoS-tidskrifter, men också att få in sina nationella tidskrifter i WoS. Dock finns områden som juridik som både i Flandern och i Norge legat konstant på runt 5 procents täckningsgrad i WoS.

Enbart närvaron i WoS betyder emellertid inte att kvaliteten är hög och tanken bakom den norska modellen, med en nivåindelning, är att driva på forskarna att publicera i de mest ansedda tidskrifterna för att det ska öka kvaliteten. Publiceringen i nivå 2 (kap 4) som omfattar de 20 procent av alla tidskrifter inom respektive vetenskapsområde, som av UHR bedömts vara de främsta, har också ökat med över 50 procent sedan 2005.

6.1 Svenska databaser

Några svenska lärosäten påbörjade vid sekelskiftet uppbyggnad av lokala system för digital lagring främst för avhandlingar och examensarbeten. När redovisning av kollegiegranskade publikationer infördes i lärosätenas regleringsbrev 2003 inkluderades även sådana publikationer. Ett exempel är Uppsala universitets DiVA som är en gemensam sök- och analystjänst för forskningspublikationer och studentuppsatser. För närvarande 2011 är nära 30 lärosäten anslutna till DiVA, som bygger på programvaran Fedora. Två andra databaser är Borås Akademiska Digitala arkiv30 (BADA) vid Högskolan i Borås och Malmö University Electronic Publishing31 (MUEP) vid Malmö Högskola som båda använder programvaran DSpace. DSpace

30 http://bada.hb.se/ 31 http://www.mah.se/bit/muep

Humaniora och samhällsvetenskap Ds 2011:

88

används av Högskolan i Borås, Göteborgs universitet, Malmö högskola och Karolinska institutet.

Sedan slutet på 2009 överförs innehållet från ett trettiotal svenska lärosätens publikationsdatabaser i till Svensk vetenskaplig publicering32 (SwePub), som administreras av Kungl. biblioteket (KB). I den databasen kan vetenskapliga publikationer sökas i form av tidskriftsartiklar, böcker, doktors- och licentiatavhandlingar, bokkapitel, forskningsrapporter, recensioner, konstnärliga arbeten mm. De lokala publiceringsdatabaser den bygger på, används även som underlag för resurstilldelning och redovisning på lärosätesnivå.

Vi föreslår att KB ges ansvaret för att SwePub byggs ut till en nationell databas. KB tar emot och validerar informationen från lärosätena, samt rensar bort dubbletter. Informationen bör kvalitetssäkras på lärosätesnivå eller på institutionsnivå och KB bör därför erbjuda en adekvat formatspecifikation för att databasen ska innehålla alla de uppgifter som behövs. Databasen bör som grund förses med information från externa källor t.ex. WoS, vilket både reducerar inmatningsarbetet och minskar risken för felinmatningar. Den bör också innehålla open-access publikationer.

SwePub behöver också möjliggöra bibliometriska analyser. Vi föreslår därför att KB i samarbete med VR och i nära dialog med lärosätena ges uppgiften att utforma SwePub på ett sådant sätt att Vetenskapsrådet (VR) årligen kan leverera underlag till det nationella tilldelningssystemet för lärosätenas basresurser till Utbildningsdepartementet. SwePub ska också kunna innehålla sökbar information och bibliometriska funktioner för att ett enskilt lärosäte ska kunna ta fram underlag för överblick, utvärdering eller för lokal medelstilldelning.

Den bör på sikt kunna samverka med motsvarande databaser i Norge, Danmark och Finland, när det gäller det publikationer inom det ”skandinaviska” språkområdet.

32 http://swepub.kb.se/help.jsp

Ds 2011: Humaniora och samhällsvetenskap

89

Slutligen bör den kunna hantera icke-text baserade publikationer för att också täcka in konstnärlig forskning (kap 7).

Publikationer från sjukhus och forskningsinstitut bör också finnas med i SwePub.

91

7 Konstnärlig forskning

I propositionen Ett lyft för forskning och innovation (prop. 2008/09:50) bedömde regeringen att den konstnärliga forskningen och utvecklingsarbetet fortfarande befinner sig i en uppbyggnadsfas, men är under utveckling och har potential. I linje med det föreslogs i propositionen Forskarutbildning med profilering och kvalitet (prop 2008/09:134) en konstnärlig examen på forskarnivå. Det blir då naturligt att jämföra det konstnärliga området med de vetenskapliga områdena, samtidigt som det finns en risk att områdets särart inte beaktas och utvecklingen hämmas av en traditionell akademisk bedömning. Samtidigt kan hävdas att konstnärlig forskning, precis som annan forskning, ska bedömas efter hur andra använder resultaten, dvs vilken nytta resultaten har för andra. Vidare behöver den konstnärliga forskningen både visa upp sig för och mäta sig med omvärlden, det senare inte minst för att driva på kvalitetsutvecklingen. Ett flertal internationella tidskrifter för konstnärlig forskning är i dag i verksamhet. I februari 2011 startade nättidskriften Journal for Artistic Research33 (JAR) som publicerar kollegialt bedömda verk.

Ska det konstnärliga området omfattas av ett nationellt resurstilldelningssystem krävs att ett ramverk och regler skapas för offentliggörande av kollegialt granskad konstnärlig forskning. Sådana publikationer består oftast av en textdel och en icke-textdel, vilka måste kunna kopplas ihop till sk komplexa digitala objekt.

33 http://www.jar-online.net/

Konstnärlig forskning Ds 2011:

92

De nuvarande databaserna är utvecklade för textbaserade publikationer och behöver därför modifieras för att hantera icke-textbaserade publikationer bestående av fysiska objekt (målningar, textilier, installationer, kompositioner etc.) exempelvis via digitala, sekundära, versioner av dessa vanligtvis på fysiska medier som CD eller DVD-skivor. Dessa medier kan inte alltid förmedla tillräckligt hög ljud- eller bildkvalitet för att göra det konstnärliga uttrycket rättvisa. Det finns även problem med upphovsrättsfrågor främst inom musikområdet, men även andra områden kan drabbas av idéstölder, varför det kan bli nödvändigt att endast en reducerad version av publikationen görs offentlig i databasen. Vi föreslår att databasen SwePub byggs ut för att inkludera publikationer/artefakter från konstnärlig forskning och att en styrgrupp utsedd av SUHF med representanter från de lärosäten som har konstnärlig forskning ska leda arbetet i samverkan med KB och VR.

Sverige

Förslag på publikationsräkning inom det konstnärliga området har lämnats i en rapport som tagits fram i samarbete mellan Uppsala universitetsbibliotek, Bibliotekshögskolan i Lund, Kungl. Musikhögskolan i Stockholm och Konstfack i Stockholm34. I rapporten konstateras att både Digitala Vetenskapliga Arkivet (DiVA) och Borås Akademiska Digitala arkiv (BADA) kan hantera sk komplexa objekt och att SwePub:s formatspecifikation redan täcker de behov som finns för icke-textpublikationer, samt att de lokala systemen innehåller normalt mer information än den som hämtas till SwePub. I rapporten föreslås också införa begreppet konstnärligt arbete som publikationstyp i SwePub. Göteborgs universitet avser att under 2012 införa ett system för publikationsräkning på det 34 Komplexa digitala objekt i öppna arkiv inom det konstnärliga forskningsområdet. Rapport, Stefan Andersson, 20101203, Uppsala universitet, dnr 51-480-2009

Ds 2011: Konstnärlig forskning

93

konstnärliga området. Systemet har i sig byggt in referenser till såväl Uppsalaprojektet31, JAR och det arbete som att utveckla redovisningsmodeller som bedrivits av Högskolan i Borås

Ytterligare viktiga referenser finns i det arbete som idag bedrivs på europeisk nivå inom Society for Artistic Research/ Journal for Artistic Research/Artistic Research Catalog och European classification of higher education institutions35(U-map), där den senare planeras ha en indikator (artefacts) som avser att täcka in konstnärligt arbete av olika slag.

Universiteten i Lund och Göteborg har konstnärlig fakultet och vid de egeninitierade utvärderingarna valde Göteborgs universitet att också utvärdera den konstnärliga forskningen.

Norge

De fyra lärosäten som är inriktade mot konst i Norge har alla rutiner för att registrera konstnärligt utvecklingsarbete (KU). Informationen används bl.a. för tilldelning av forskningstid, extra forskningsbidrag och ibland för lokal omfördelning. Nedan följer exempel på vilka kanaler och indelningar lärosätena utnyttjar36. Arkitektur- og designhøgskolen i Oslo (Arkitektur og design) • Verk publicerade i nationella (nivå 1) eller internationella (nivå 1 eller 2) facktidskrifter. • Verk som har erhållit nationella eller internationella priser. • Verk som har premierats eller inbjudits i nationell eller internationell konkurrens. • Utställning av verk med gemensam fackutvärdering Kunsthøgskolen i Bergen (Visuell kunst og design) registrerar följande huvudkategorier, som omfattar verk och föreställningar: 35 http://www.u-map.eu/ 36 http://www.uhr.no/aktuelt_fra_uhr/vekt_pa_kunstnerisk_utviklingsarbeid


94

• Kunstnerisk/designfaglig verk/objekt, som köpts in av museum, institution, privat samling etc. eller inbjudits till och/eller premierats i konkurrens, eller har fått pris eller utmärkelse, eller utförts på uppdrag eller beställning. • Större offentliga utställningar/föreställningar. • Publicering (text och/eller visuellt i form av böcker, artiklar, CD etc). Kunsthøgskolen i Oslo (Kunstnerisk arbeid) registrerar följande huvudkategorier: • Konstverk/designprodukt/projekt/narrativ film och video, som är inköpt till museum och privata samlingar, är inviterat och/eller premierat i konkurrens, eller har fått pris eller utmärkelse, eller är utfört på beställning eller uppdrag. • Offentlig, jurybedömd utställning eller framförande. • Föreställningar och konserter. • Musikinspelning och komposition. • Artikel om konstnärligt verk eller designfacklig produktion i nationella och internationella tidskrifter och böcker. Norges musikkhøgskole (musikk) registrerar verk och föreställningar i följande huvudkategorier: • Kompositioner och arrangemang. • Konserter. • CD-inspelningar. Alla huvudkategorier som nämnts kräver flera typer av information, ofta i fri text, för att det konstnärliga arbetet ska vara identifierbart och registrerbart.

Den årliga registreringen är baserad på individuell rapportering från forskarna. Högskolan kvalitetssäkrar data. I vissa sammanhang kan kvalitetssäkring ske genom etablerade register (tidsskriftsindex, utgivelser), men för det mesta finns


95

egna rutiner för kvalitetssäkring av data. Alla lärosäten har en årlig översikt över registrerad FoU antingen på papper eller på nätet. De flesta lärosäten och fackmiljöerna som berörs av denna registrerar också FoU i FRIDA eller i ForskDok (CRISTIN).

Belgien

I Flandern pågår ett arbete för att undersöka om och hur konstnärlig forskning kan inlemmas i ett prestationsbaserat resurstilldelningssystem. Arbetet sker vid Expertisecentrum O&O Monitoring (ECOOM, kap 4), som har representanter för alla flamländska universitet. En multi-mediadatabas innehållande bl.a. fine arts, audio-visual arts, performance and dance, studio, architecture and design är under uppbyggnad. En preliminär rapport beräknas vara klar våren 2012.

Tyskland

I delstaterna Berlin och Hamburg finns indikatorer för konstnärliga uttrycksformer. De två konstnärliga lärosätena i Berlin får medel grundat på dels externa medel dels konstnärliga projekt och arrangemang. I Hamburg grundas medlen enbart på konstnärliga projekt och arrangemang.

Polen

Konstnärlig forskning bedöms, dock inte konserter och konstutställningar.


96

England

En av de 67 expertpanelerna (kap 4.2) bedömde konst och design. Där ingick bl.a. arkitektur, drama, dans, musik, kultur och media samt konsthistoria.

97

8 Samverkan och påverkan

Forskningens generiska och främsta resultat är att den ökar vår kollektiva kunskap. Vetenskapliga publikationer är verktyget. Forskningen och dess påverkan har dock fler dimensioner än den rent vetenskapliga. Ny forskning förändrar kurser, kursplaner och utbildningsprogram. Den leder till nya synteser och slutsatser att användas i utbildningen och gör studenterna till viktiga konsumenter av forskning. Innovationer, i vid mening, är forskningens verktyg för att förnya och förbättra kultur, miljö, hälsa och ekonomiskt välstånd genom nya produkter, nya tjänster, ny infrastruktur, nya policys, nya lagar och ny politik. Påverkan från forskningen via innovationer är ett resultat av samverkan mellan universitet och högskolor och aktörer i olika samhällssektorer.

Samverkan är verktyget/processen och påverkan är resultatet. Samverkan kan ske genom forsknings eller utbildnings uppdrag till universitet och högskolor. Uppdrag som har formuleras i dialog mellan användare och lärosätena. Resultatet av uppdraget är ofta av direkt betydelse för användarens verksamhet. Samverkan är också katalysatorn som transformerar forskning till innovationer och som i sin tur är grunden till ekonomisk, socio-ekonomisk och kulturell påverkan av samhället.

Verktygen eller mekanismerna för påverkan skiljer sig mellan olika vetenskapsområden; rapporter, utredningar och expertuppdrag för samhällsvetenskaperna, arbete med och för kulturinstitutioner, akademier och allmänhet i tal och skrift, i debatt och analys för humaniora. Samhällsvetenskapens och humanioras påverkan sker ofta genom sociala och kulturella


98

innovationer och som åsikts, kunskaps och livsstilsmässigt kan leda till stora vinster för samhället och även stora ekonomiska sådana. I ett globalt samhälle där enskilda människor och deras kollektiva beteende blir allt viktigare för samhällsutvecklingen så har sociala och kulturella innovationer en stor och dynamisk påverkan av samhället. Inom teknik, naturvetenskap och medicin är mekanismerna för samverkan ofta mera strukturerade och legala till sin karaktär. Det rör sig om patent, licenser eller spin-off företag baserade på forskning och innovationer som kan leda till tjänster och produkter av kommersiellt värde. En ofta glorifierad verksamhet med möjligheten att ge lärosätet nya inkomster. Vilken rektor drömmer inte om ett nytt Google eller ett nytt Genentech eller ur ett svenskt perspektiv et nytt Elekta eller Sectra. Tyvärr, är de svenska exemplen få. Dock är även inom dessa områden ”know-how” kopplad till ny kunskap som exempelvis nya behandlingsmetoder inom vården, förbättrad programvara eller nya regler för miljöarbete väl så viktiga. Forskningen genom samverkan påverkar och påverkas av samhället inom alla områden. ”Vinsten” är alltid en hybrid av allmännytta och kommersiella vinster. Något som de som i dessa dagar förordar ensidig privatisering som vägen till nya infrastrukturer, fysiska eller intellektuella sådana, bör förstå.

Indikatorer baserade på tillförlitlig statistik som mäter påverkan är svåra att hitta. Antal patent, licenser och spin-off företag eller en förnyelse av näringsliv, vård, skola och miljö eller antal debatt, analys och populärvetenskapliga artiklar med ett dokumenterat ursprung från forskning vid universitet och högskolor skulle kunna användas. Antalet händelser för varje mekanism är dock få, även för stora universitet och jämförelser årsvis mellan olika universitet blir slumpartad. En viktning av de olika indikatorernas relativa betydelse är svår. Att vikta betydelsen genom deras ekonomiska, omfattning är en möjlig väg. Det är dock inte självklart att den ekonomiska omfattningen är ett bra mått på betydelsen, då stora ekonomiska värden relaterade till allmännyttan är svåra att uppskatta. Detta resulterar lätt i att jämföra äpplen med päron.


99

En expertgranskning av samverkan som en process, dvs. hur stimuleras studenter och forskare till att försöka se forskningens potential till innovationer, hur entreprenöriella miljöer skapas, hur affärsutveckling stöds och hur nödvändigt riskkapital tillförs är självklart intressant. Innovations- och entreprenörsmiljöer är dock förvånansvärt konforma mellan olika lärosäten och det enda sättet att särskilja dem kvalitetsmässigt är att se på de resultat som produceras. En sådan expertgranskning av påverkan kan inte göras som allmänt tyckande. Den måste ske genom en bedömning av konkreta exempel, där påverkan bedöms mot kriterier som omfattning/spridning och betydelse/signifikans. Fallstudier, dvs. exempel på påverkan bedömda av experter med kunskap inom området kan hantera mångfalden av påverkan inom olika områden.

8.1 Begreppen

Regeringen framhöll i propositionen Ett lyft för forskning och innovation (prop. 2008/09:50) att forskningsresultaten behöver nyttiggöras och föreslog att samverkansuppgiften i högskolelagen (1992:1434) skulle förtydligas. Riksdagen beslöt därefter att samverkansuppgiften innebär att universitet och högskolor ska samverka med det omgivande samhället och informera om sin verksamhet samt verka för att forskningsresultat kommer till nytta. Samverkan är dock ett passivt begrepp som beskrivning av rollen för samhällsutvecklingen. I dagens debatt ses snarast universitet och högskolor och deras utbildning, forskning och förmåga till innovation som verktyget att förändra samhället. För att förtydliga, samverkan beskriver en process som kan, men inte behöver leda till ett användningsgörande av lärosätets forskning. Förmåga till innovation (i betydelsen ”ideas put to use”) har ett betydligt tydligare fokus på resultat, påverkan och användbarhet. Universitet världen över måste i framtiden väsentligen genom sin centrala roll i kunskapssamhället, vara nyckeln till att möta de

Samverkan Ds 2011:

100

problem som har sitt ursprung i tidigare och nuvarande samhällsutveckling. Miljö, klimat, resursbrist, demografi, urbanisering, säkerhetshot och brist på demokrati måste transformeras från att vara problem till att bli möjligheter för utveckling. Möjligheter som skapar högre livskvalitet för alla. Universitet och högskolors roll blir att skapa påverkan av samhällsutvecklingen. De skall skapa produktinnovationer som leder till kommersialisering och ekonomisk tillväxt. De skall genom sociala och kulturella innovationer skapa nya sätt att arbeta och förströ sig, kort sagt att leva. De skall genom medicinska innovationer skapa nya förutsättningar för bättre hälsa oavsett ålder. De skall genom nya teknologier och nya sociala mönster se till att framtidens infrastrukturer blir uthålliga. I ljuset av denna förändring och breddning av universitetens och högskolornas uppgift framstår det som omöjligt att beskriva deras påverkan av samhället med några få, enkla, statistiskt säkra och områdes övergripande indikatorer. En enkel scorecard-metodik kan möjligtvis ge enskilda lärosäten strategisk vägledning, men inte fungera som ett nationellt kvalitetssystem för samverkan/påverkan.

Vi måste börja med att särskilja begreppen samverkan och påverkan, och se dem som delar i ett förlopp; samverkan är en process, ett sätta att interagera med och organisera olika viktiga aktörer, en nödvändig men inte tillräcklig förutsättning för påverkan, dvs. för att ett resultat, ska kunna åstadkommas. Ett annat är att inse att detta är ett fält under ständig utveckling och att indikatorerna som ska beskriva och sedan bedömas därmed måste innefattas i en modell som möjliggör flexibilitet och möjligheter till förnyelse i takt med att universiteten utvecklar sina arbetssätt.

Ds 2011: Samverkan

101

8.2 Exempel på samverkan och påverkan - indikatorer

Under det senaste decenniet har ett flertal rapporter publicerats som innehåller förslag på indikatorer som i varierande grad mäter olika aspekter på samverkan (bilaga 5). Många av de föreslagna indikatorerna är användbara inom ett lärosäte. En nationell indikator kräver underlag från offentlig statistik, annars blir indikatorn vare sig transparent eller pålitlig.

Samtidigt sker en ständig utveckling på området både i Sverige och internationellt. Vi bad därför föreningen Vetenskap & Allmänhet att göra en översikt av samverkansparametrar nationellt och internationellt, samt bedöma dessas användbarhet37 (bilaga 6). Resultatet var att inget av de granskade länderna har infört någon indikator för detta i sina resurstilldelningssystem. Däremot förekommer olika slag av priser och utmärkelser, samt också ”kontrakt” där lärosäten, finansiärer och enskilda förbinder sig att verka för en bra dialog mellan akademi och omgivande samhälle.

8.3 Internationellt

Flera av våra grannländer har diskuterat och debatterat olika möjligheter att mäta och värdesätta olika aspekter på samverkan.

Danmark

Danmark införde 2009 ett nytt system för grundläggande medelstilldelning baserat på de fyra indikatorerna undervisning 45 procent, externa forskningsmedel 20 procent, antal disputerade 10 procent och en bibliometrisk forskning indikator 25 procent (kap 4). Den bibliometriska indikatorn skulle kunna

37 http://v-a.se/downloads/varapport2011_2.pdf

Samverkan Ds 2011:

102

mäta allmänhetens engagemang om den innehållit populärvetenskapliga publikationer.

Det har också diskuterats att inkludera en indikator för kunskapsöverföring ("videnspredningsindikatorer") som skulle ta hänsyn till samverkan med näringsliv, patent, nystartade företag, mediauppmärksamhet m.fl. Men denna indikator avvisades, eftersom den bedömdes vara för komplicerad.

Norge

I en rapport från 2006 föreslogs indikatorer för att mäta samarbete mellan universitet med företag och allmänheten ("formidlingsindikatorer")38. De föreslagna indikatorerna mäter tillhandahållande av externa tjänster, samarbete med industrin, publikationer, presentationer på konferenser samt kommunikation av forskningsresultat via media till en bredare allmänhet (t.ex. populärvetenskapliga artiklar, presentationer för icke-akademiska publik, presentationer på radio/ TV etc.). Även i Norge ansågs de föreslagna indikatorerna vara för komplicerade att införa och att statistiskt underlag saknades för vissa. En del av forskarna ansåg också att de förra alltför mycket uppmuntrar kommersialisering och försäljning av forskning.

USA

Organisationen The Association of University Technology Managers39 (AUTM) har sedan 1993 årligen publicerat uppgifter från universitet, sjukhus och institut om deras kunskapsöverföring. Insamlandet av data följer ett utarbetat schema med samverkansindikatorer för nyttiggörande av forskningsresultat. Schemat har en kronologi som börjar med

38 Sammen om kunnskap II (2006): Operasjonalisering av indikatorer for formidling, Instilling fra formidlingsutvalg 39 http://www.autm.net/New_Metrics/4063.htm

Ds 2011: Samverkan

103

forskningen och dess resultat, fortsätter med olika former av kunskapsöverföring, därpå kommersialisering och slutligen det ekonomiska resultatet.

Inom varje kronologisk grupp föreslås en mängd olika indikatorer som varje lärosäte kan få fram underlag till. Detta schema har inspirerat efterföljare.

England

Nästa Research Excellence Framework (REF) (kap 4) i England med start 2014 har tre bedömningsområden; vetenskaplig excellens 65 procent, påverkan 20 procent och vetenskaplig miljö 15 procent. En pilotstudie genomfördes 2010 för att testa bedömningsgrunden för samverkan REF och resultaten presenterades i dec 2010. Lärosäten uppmanades att inom fem specifika områden från humaniora till teknik att presentera fallstudier som visade hur forskningen har påverkat samhället och ombads att leda i bevis till att påverkan skett och i vilken omfattning och hur betydelsefull denna hade varit. De rapporterade fallstudierna, en för var tionde heltidsforskare, granskades sedan av expertgrupper med både akademiker och samhällsrepresentanter och bedömdes efter en fyrgradig betygsskala, om expertgruppen ansåg att påverkan skett. Det är värt att notera att bedömningsgrunderna omfattning/spridning och betydelse/signifikans medförde att fallstudierna förmedlade ett generiskt perspektiv av påverkan, dvs. att de olika områdens fallstudier kunde jämföras. Det intressanta med fallstudier och en portfolio av sådana är att istället för top-down definiera vad som menas med samverkan och påverkan, så vänder man på frågan och låter universitet och högskolor avgöra vad de menar med detta för att sedan låta detta bedömas av grupper med både akademiker och externa experter. Metodiken stimulerar, enligt oberoende utvärderingar, lärosätenas egna drivkrafter att utveckla sig åt ”rätt” håll och den resulterar i att nya former för samverkan och att nya former för påverkan i högre utsträckning

Samverkan Ds 2011:

104

kan upptäckas och den underlättar granskningsarbetet eftersom granskningarna är fokuserade och välstrukturerade.

8.4 Nationellt

Även i Sverige förs en diskussion om tänkbara indikatorer.

Klinisk forskning

I en rapport om medel för klinisk forskning (ALF-medel) har Vetenskapsrådet40 föreslagit att utöver den kliniska ska också den samhällsekonomiska betydelsen av forskningen utvärderas. Utvärderingen föreslås bli genomförd av en panel som består av nyckelpersoner med god insikt i vilken kunskap som eftersträvas i hälso- och sjukvården och som är betydelsefull för samhället.

Vi noterar att detta förslag i sig är viktigt och att den kliniska forskningen vars syfte är att nå nya behandlingsmetoder som medicinskt är bättre och också gärna ekonomiskt är billigare. Drivkraften för innovationer från klinisk forskning bör dock i första hand vara bättre behandlingsmetoder och därmed vård. Denna påverkan riskerar att underskattas om mera makroekonomiska överväganden om vårdens kostnader får dominera överväganden om betydelsen av vårdens medicinska utveckling.

Diskussionen är svår. Tre perspektiv kan sorteras ut: Kan den nya forskningen transformeras till en ny och bättre behandling? Kan den nya behandlingsmetoden integreras i vården. Vilka är konsekvenserna och kanske framförallt blir vården dyrare eller billigare? Frågan är: Vilket är bäst en ny behandling som botar några få helt eller en som botar många men inte helt?

40 En modell för uppföljning och utvärdering av klinisk forskning finansierad av ALF-medel: http://www.vr.se/download/18.5adac704126af4b4be2800023243/ALF-rapport+8+2010.pdf

Ds 2011: Samverkan

105

Samverkansprojekt med näringslivet – In kind bidrag

Flera av lärosätena har föreslagit att mäta samverkan mellan företag, kommuner, landsting och regionala huvudmän och andra och lärosätena genom att använda de s.k. in-kind bidragen i samverkan projekt. Detta mått anses spegla ett reellt samhällsengagemang eftersom den arbetstidsinsatsen sker under projektets gång. Ett företag skulle inte bidra med in kind bidrag om företaget inte bedömer att den forskning som stöds är bidrar till en positiv påverkan. Statistiken över in kind bidrag finns inte i den offentliga statistiken. Vi har fått data från KK-stiftelsen och från Vinnova. Dock krävs att tillräckligt många finansiärer kan lämna information om dessa bidrags andel i projekten för att en sådan indikator ska vara användbar. En beräkning grundad på dessa ofullständiga data ger ändå en uppfattning om hur ett sådant inslag i en samverkansindikator faller ut. Den visar att de mindre högskolorna skulle gynnas. Vi har dock inte inhämtat uppgifter från andra relevanta finansiärer som Mistra, Energimyndigheten och andra sektorers finansiärer, för att göra en mer fullständig beräkning. Därutöver måste lärosätenas egna avtal med företag inräknas. In kind bidrag saknar för närvarande tillförlitlig statistik och insamlingsunderlaget skulle behöva kvalitetssäkras om det ska användas till en indikator.

Dessutom är fokus på samverkan kopplad till de ekonomiska och personella resurser som samhället investerar i lärosätena och inte påverkans betydelse per se. Vi föreslår istället en samverkansindikator som bygger på näringslivets och samhällets investeringar i universitet och högskolor för att få forskning eller utbildning gjord för den egna verksamhetens utveckling.

Samverkan Ds 2011:

106

Expertgranskaning

En expertgranskning av samverkan kan ge en bild av de mekanismer och processer som en samverkan bör omfatta för att ge påverkan. Expertgranskningen kan bidra till att mekanismer och processer förbättras. En expertgranskning av samverkan säger lite om hur ett lärosätes samverkan resulterat i påverkan. Den kunskapen kan endast fås genom att granska de faktiska resultaten av samverkan. En granskning som oavsett hur den görs måste ha tydliga bedömningsgrunder.

Flera universitet och högskolor har samverkans- och påverkansindikatorer, som en del av egna utvärderingar och/eller sin interna resursfördelning. Exempel på dessa indikatorer är patent, föredrag, priser, gästprofessor och externfinansierade doktorander.

Gemensamma publikationer mellan akademi och näringsliv

Gemensam publicering mellan akademi och näringsliv är ett mycket tydligt mått på samverkan. Enligt Vetenskapsrådet41 står publiceringen mellan högskolor och företag för 3,6 procent av alla svenska publikationer medan de rena företagspublikationerna står för 2,9 procent. Bland universitet och högskolor står de tio största för 94 procent av sampublikationerna. På företagssidan är mönstret annorlunda. Ett företag, AstraZeneca är mycket dominerande med 29 procent av alla sampublikationer, ytterligare åtta företag bidrar vardera med 1-5 procent av företagens sampublicering. Totalt stod de tio största aktörerna för 49 procent av alla sådana publikationer. Av de ca 1 100 företag som publicerat under perioden 2000–2004 hade drygt 900 medverkat till mindre än fem publikationer. Ungefär 600 företag publicerade i samarbete med högskolor. Sifforna i sig är inte imponerande och kan tolkas

41 http://www.vr.se/download/18.aae1aa51132473084980005705/Vet+publ+samarbete.pdf

Ds 2011: Samverkan

107

som att samverkan inom forskning mellan akademien och företagen är låg. Två orsaker kan finnas. I denna del av värdekedjan från forskning till innovation så är antalet möjliga tidskrifter lågt och företagen är mera intresserade i immaterialrätt (IPR) för att skydda en kommande produktutveckling. Företagens byte och försäljning av IPR från denna del av värdekedjan är stort och syns inte som publikationer i tidskrifter. Ericsson säljer idag för mer än 1 miljard kronor patent och licenser som inte blir en del av den egna produktutvecklingen men som inte heller blir publicerad kunskap.

Patent och licenser

Patent och licenser föreslås i flera rapporter som en ”bibliometrisk” indikator för samverkan och används i Belgien och Polen. Dessvärre är enskilda patent olika både vad gäller inriktning och kvalitet och behöver inte alls bidra till samverkan som exempelvis en ökad kommersialisering av forskning vid universitet och högskolor. Patent kan också ha en inlåsande effekt.

I en rapport från Tillväxtanalys42 används data från Europeiska Patentverket (EPO) istället för från Patent och Registreringsverket (PRV). Det görs under antagandet att patent registrerade där har högre kvalitet än patent registrerade i nationella databaser. En orsak är att det är mer kostsamt, dvs. patentets syfte är tydligare. En annan är att många avstår från att registrera sina patent nationellt.

Lunds universitet har flest uppfinnare bland sina anställda med ca 20 patent årligen för 2004 – 05. Därefter kommer i tät följd Uppsala universitet, Karolinska institutet, Kungl. Tekniska

42 Ejermo, O: Svenska uppfinnare – nytt datamaterial och ny inblick i innovationsprocessen. Tillväxtanalys (2011). http://tillvaxtanalys.se/tua/export/sv/filer/publikationer/working-paper-pm/WP_PM_2011_14.pdf

Samverkan Ds 2011:

108

högskolan, Göteborgs universitet, Linköpings universitet och Chalmers tekniska högskola, alla med ett tiotal patent vardera årligen. Produktiviteten är därmed mycket ojämnt fördelad över lärosätena. Universiteten i Lund och Uppsala samt Karolinska institutet står för 50 procent av patenten och de sex mest produktiva universiteten för 80 procent. Även om antalet patent skulle ha ökat sedan dess och att data från PRV skulle användas kommer de flesta lärosäten att ha inga eller så få patent att en indikator baserad på antal patent är omöjlig.

Adjungerade och gästprofessorer

En viktig mekanism för samverkan mellan akademi och samhälle är professorer som på deltid eller under kortare perioder är verksamma vid universitet och högskolor. De tillför kulturmöten inom forskningen och ger doktorander och studenter en uppfattning om sin kommande arbetsmarknad utanför akademiens. Särskilt gästprofessorer som är mindre låsta av det akademiska regelverket kan tjäna som en förnyelse av verksamheten och också en utökad insikt från akademien i exempelvis industrins villkor i arbetet med innovationer och produktutveckling. Antalet adjungerade och gästprofessorer i dessa två kategorier är för få för att ge ett rimligt statistiskt underlag till en numerisk indikator på samverkan.

Företagsdoktorander

Doktorander som helt eller delvis finansieras av externa parter bidrar till ökad samverkan mellan akademi och omgivande samhälle. Enligt SCB fanns 2009 knappt 500 företagsdoktorander, vilket motsvarar en andel på ca 5 procent. Antalet sådana doktorander spänner mellan några tiotal till några stycken för de nya universiteten och de högskolor som hade

Ds 2011: Samverkan

109

vetenskapsområden. Så pass små tal gör att underlaget olämpligt för medeltilldelning.

Utöver nämnda lärosäten har det sedan 2010 blivit möjligt för övriga högskolor att ansöka om examenstillstånd för forskarutbildning inom smalare områden än de tidigare vetenskapsområdena. HSV har under 2010 beviljat ett flertal högskolor examenstillstånd. Emellertid kommer det att dröja innan den volymen blir sådan att den kan användas som indikator för medelstilldelning och kanske aldrig när det gäller företagsdoktorander.

Den icke-akademiska arbetsmarknaden

Akademiska forskare anställs i ökande utsträckning av andra arbetsmarknader än den akademiska. Enligt en rapport43 från Svenskt Näringsliv har doktorander som samarbetat med företag under sin utbildning nära 50 % större sannolikhet att få jobb efter disputationen. Tydligast är detta för nya doktorer inom medicin, naturvetenskap och teknik. Närmare 70 procent får arbete utanför universitet och högskolor. Dessa doktorer och andra, främst yngre, forskare som söker sig till näringslivet skapar nya möjligheter till samverkan mellan akademi och näringsliv och samhälle. En annan grupp är de som startar egna företag. Benägenheten för forskare och lärare att flytta mellan akademi och samhälle är en möjlig indikator för samverkan, givet att det statistiska underlaget är tillförlitligt.

8.5 Samverkan och påverkan

Samverkan med och påverkan av samhället är som all bilateral växelverkan endast uthållig om en ömsesidig vinn-vinn situation finns eller kan skapas. Forskning som i samverkan med 43 Fel fokus på svensk forskarutbildning (2011).

Samverkan Ds 2011:

110

näringsliv och samhälle katalyseras och transformeras till innovationer är positivt för forskaren och lärosätet som hon eller han arbetar vid. Forskaren får ofta ett nytt perspektiv på forskningen som förnyar, Lärosätet blir den motor i kunskapssamhället som politiker och allmänhet efterfrågar, vilket bidrar till det enskilda lärosätets varumärke på ett avgörande sätt. Initiativet till samverkan är reciprokt kan komma både från näringsliv och samhälle och/eller initieras av forskaren och lärosätet. Vi föreslår två bedömningsgrunder för samverkan. Den första bedömer näringslivets och samhällets angelägenhet till att utnyttja universitet och högskolors kunnande och kompetens inom forskning och utbildning. Den andra bedömer universitet och högskolors förmåga till innovation och i samverkan icke-akademiska intressenter föra dessa innovationer till förverkligande kommersiellt eller på annat sätt.

Portfolio av fallstudier

Uppdragsutbildning Uppdragsforskning

Samhälle och näringsliv

Lärosäten

Ds 2011: Samverkan

111

Universitet och högskolors uppdragsverksamhet inom forskning och utbildning

Universitet och högskolor har en unik kompetens inom forskning och utbildning. En kompetens som ständigt utvecklas och förnyas genom att ny forskning tillför kunskap, genom att forskning och utveckling förnyar utbildningen och genom att nya studenter och samverkan med näringsliv och samhället skapar en naturlig efterfrågan. Kompetensen ses främst som en resurs av utvecklingen av den vetenskapliga forskningen och den ”normala” utbildningen. Samtidigt ökar näringslivets och samhällets efterfrågan av kompetensen. Efterfrågan på forskningsresultat och kompetensutveckling som inte sker genom traditionell kommunikation av forskningsresultat och studenters utbildningar blir allt större och alltmer specifika. Många universitet och högskolor ser det som en möjlig och attraktiv verksamhetsprofil att öka denna efterfrågan och marknadsför sig aktivt, exempelvis genom exekutivutbildningar eller uppdragsforskning nära ett nationellt eller regionalt näringslivs behov. Vi föreslår att universitet och högskolors förmåga till påverkan genom att attrahera uppdrag mäts genom det ekonomiska utfallet av denna verksamhet för både forskning och utbildning.

Resultat från samverkan baserat på universitet och högskolors innovationsarbete – en pilotstudie

Det finns stora positiva värden för ett lärosäte att genom ett bra innovationssystem se till att forskning av hög vetenskaplig kvalitet ges möjlighet att utvecklas till innovationer och att dessa innovationer leder till förverkligande. Tre viktiga komponenter i innovationsarbetet är: • Forskningen är av hög vetenskaplig kvalitet • Forskningen bedrivs i kreativa och entreprenöriella miljöer • Innovationsarbetet sker nära externa partners

Samverkan Ds 2011:

112

Metodik för bedömning av påverkan

Under tidigt 2000-tal började i USA the Better World Project att rapportera framgångsexempel på hur vetenskaplig forskning av hög kvalitet genom olika mekanismer och på olika vägar resulterat i en positiv påverkan av samhällsutvecklingen och av människors livskvalitet. Formatet är väsentligen ett par sidors redogörelse av olika positiva exempel på påverkan. Tanken var att ge politiker och andra beslutsfattare och allmänheten en bild av universitetsforskningens stora betydelse för samhällsutvecklingen och konkretisera denna med portfolios av positiva exempel av påverkan från olika samhällssektorer för olika samhällssektorer.

Den engelska myndigheten The Higher Education Funding Council for England (HEFCE), med ansvar för de nationella granskningarna av forskningens kvalitet vid engelska universitet, fick 2009 det politiska uppdraget att till 2014 års REF (Research Excellence Framework) även utvärdera forskningens påverkan av näringslivs- och samhällsutvecklingen. Efter överväganden mycket lika våra beslöt HEFCE att genomföra en pilotstudie baserad på portfolios av positiva exempel på påverkan. Pilotprojektet skulle svara på två frågor:

• Är det möjligt att hitta tydliga framgångsexempel inom

samtliga vetenskapsområden? • Är det möjligt att sätta betyg på påverkans kvalitet baserat på

bedömningsgrunderna spridning och signifikans?

Svaret är Ja! Pilotprojektet hade representativa områden inom humaniora, samhällsvetenskap, medicin, naturvetenskap och teknik. Fallstudierna från samtliga områden bedömdes efter en fyrgradig skala och var jämförbara. Information erhölls också om hur fallstudierna bör struktureras för att underlätta betygssättningen. Pilotprojektet visade också på vikten av att expertgrupperna hade en blandad sammansättning mellan akademi och samhälle.

Ds 2011: Samverkan

113

Vi föreslår att ett motsvarande pilotprojekt genomförs vid svenska universitet och högskolor. Varje lärosäte lämnar in en portfolio av fallstudier av exempel, där forskning via innovationer och samverkan lett till en tydlig positiv påverkan av samhällsutvecklingen. Varje lärosäte rapporterar minst en fallstudie för var femtionde heltidsforskare. Om lärosätet har färre heltidsforskare än 50, men över 10 så ska minst en fallstudie rapporteras. Fallstudierna ska väljas så att de tillsammans är representativa för lärosätets forsning. SCB:s 12 forskningsområden används för kategorisering av fallstudierna. Pilotprojektet finansieras genom ett direkt bidrag till Vinnova för att leda pilotprojektet i samarbete med VR och SUHF. De två indikatorerna för samverkan/påverkan ges vikten 10 % under pilotförsöket. Då tilldelas 7,5 % efter uppdragsindikatorn (UU och UF) och 2,5 % efter antalet heltidsforskare. Efter pilotstudien, om resultatet blir positivt, ska 7,5 % fördelas efter uppdragsindikatorn (UU och UF) och 7,5 % efter lärosätenas framgång efter betyget på respektive lärosätes portfolio av framgångsexempel på påverkan. Ökningen med 5 % tas från andelen externa medel.

115

9 Överväganden och förslag

Våra förslag • Kollegial eller s.k. peer review bedömning av forskningens kvalitet införs inte • Viktfaktorerna för externa medel görs dynamiska och bygger på data från SCBs 12 forskningsområden • Endast bidragsintäkter vunna i vetenskaplig konkurrens räknas som externa medel • Vetenskaplig excellens belönas genom att medel från ERC och VR viktas högre än andra externa medel • En nationell databas, som utöver WoS, omfattar humaniora och samhällsvetenskap samt konstnärlig forskning byggs ut (SwePub) och formar tillsammans med WoS en integrerad forskningsdatabas för svensk forskning. Uppdraget utförs av KB i samverkan med VR och i nära dialog med lärosätena • Konstnärlig forskning kan ännu inte ingå i systemet • Publikationer från sjukhus och forskningsinstitut räknas inte in • Samverkan premieras i proportion till intäkterna från uppdragsutbildning och uppdragsforskning • Ett pilotprojekt genomförs för att mäta samverkan genom att universitet och högskolor rapporterar en portfolio av fallstudier över forskningens externa påverkan

Sammanvägning - en ny modell Ds 2011:

116

• Omfördelningen av basresurser ska vart år omfatta 10 procent av föregående års basresurs

9.1 Kollegial bedömning

De större lärosätena har genomfört kollegiala bedömningar (kap 5) av sin forskning och med nationell samordning borde lärosätenas egna kollegiala bedömningar kunna utnyttjas och därigenom dra nytta av det arbete som lagts ner på projektledning och genomförande, självvärderingar och sakkunnigletande.

Emellertid bör, till skillnad från England, all forskning bedömas om resultatet ska användas för att jämföra lärosäten och för att fördela resurser. Då uppstår svårigheter med att hitta paneler med sakkunniga som klarar att jämföra all forskning vid olika lärosäten.

Ett kvalitetsdrivande system ska helst leda till önskvärt beteende och måste genomföras tillräckligt ofta. Hela lärosätets forskning kan inte utvärderas årligen, men delar av lärosätets forskning utvärderas varje år eller också kan ett tematiskt upplägg användas. En mandatperiod i Sverige är fyra år och i båda fallen kan en fyraårscykel vara lämplig. Det innebär med en sannolikhet gränsande till visshet att olika stor del av ett lärosätes forskning kommer att utvärderas varje år. I ett system med årliga budgetpropositioner blir det besvärligt att jämföra lärosäten, när olika delar av forskningen utvärderats under året.

För att få en uppfattning om vad en nationell kollegial bedömning skulle ge för resultat har en simulering byggd på dels utvärderingarna vid universiteten i Uppsala, Lund och Göteborg, dels på data från Statistiska Centralbyrån (SCB) om forskningsinriktningar, dels på lärosätes crown indicator gjorts (bilaga 3).

Skillnaderna mellan lärosäten minskar jämfört med dagens väsentligen historiska belopp och effekterna blir mycket stora om inte någon volymkomponent införs. Även om data för

Ds 2011: Sammanvägning - en ny modell

117

enskilda lärosäten är approximativa visar simuleringen mycket tydligt att antalet betygssteg är för få för att kunna användas i ett resurstilldelningssystem. Dessutom visar nämnda utvärderingar att gränsen mellan två betygssteg är ganska oprecis, vilket ger oacceptabelt stora utslag.

Vi anser att de egeninitierade utvärderingarna är tillräckligt kvalitetsdrivande i sig och att ett nationellt system inte adderar tillräckligt mycket i relation till kostnaden. Kollegial bedömning används också redan av nationella och internationella finansiärer vid bedömningen av ansökningar om externa medel och också när tänkta publikationer granskas för publicering.

9.2 Hänsyn till olika forskningsområdens möjligheter att få extern finansiering

Viktfaktorer infördes i det nuvarande systemet för att inte missgynna lärosäten med stor andel humaniora och samhällsvetenskap. Dessa forskningsområden har av tradition svårare att erhålla externa medel. Viktfaktorerna fastlades efter en politisk rimlighetsbedömning (kap 5). Eftersom dessa faktorer mött en del kritik föreslår vi att de istället ska ersättas med dynamiska faktorer som bygger på data från SCB. SCB redovisar anslag respektive externa medel uppdelat på tolv forskningsinriktningar på s.k. tvåsiffernivå (bilaga 1).

Som vikter används det inverterade värdet av andelen externa medel. På så sätt får ett ämne med liten andel externa medel stor vikt. Denna kvot får representera forskningsämnets möjligheter att attrahera externa medel och ska precis som de nuvarande vikterna multipliceras med anslagsmedlen.

Resultaten från simuleringen visar att spridningen minskar mellan olika lärosäten, bl.a. beroende på att humaniora och samhällsvetenskap gynnas av nuvarande viktfaktorer(bilaga 1). Skillnaden mellan lärosätet med högsta viktfaktorn (Högskolan i Jönköping) och lägsta (Chalmers tekniska högskola) är 1,85.


118

Används SCB-data blir största skillnaden bara 1,4 och då mellan Gymnastik- och idrottshögskolan och Blekinge tekniska högskola. Detta innebär att spridningen mellan lärosätena minskar.

De tolv forskningsområdena kan sedan aggregeras till att likna den nuvarande indelningen eller på annat sätt. I bilaga 1 finns också simuleringar som visar vilken effekt några olika aggregeringar får.

Genom att utnyttja SCB-data blir viktningen mellan olika forskningsområden för indikatorn externa medel transparent och grundad på av lärosätena inrapporterade förhållanden. SCB- statistiken uppdaterar vartannat år. Data bör behållas på 12-ämnesnivån för att alla forskningsämnens karaktär ska återspeglas.

Analogt med intäkterna för indikatorn externa medel ska endast bidrag räknas och heller inte intäkter från stiftelser som är knutna till lärosätet.

9.3 Externa medel

I dagens resurstilldelningsmodell ingår alla externa medel utom medel från Kammarkollegiet och från stiftelser knutna till lärosätet. Dessa externa medel består av intäkter från avgifter 9 procent, bidrag 78 procent och uppdrag 13 procent.

Intäkter från avgifter och uppdrag är inte alltid erhållna i vetenskaplig konkurrens. Intäkter från uppdrag mäter snarare samverkan med omgivningen. Vi anser att endast intäkter från bidrag bör räknas. Intäkter från uppdrag föreslås istället ingå som en indikator för samverkan.

9.4 Vetenskaplig excellens

Det finns många finansiärer som stödjer excellent forskning, men även andra kriterier som t.ex. relevans vägs in. Relevansen är


119

ofta så enkel som att finansiären har forskningsansvar för ett visst vetenskapsområde eller en viss samhällssektor. För att stimulera excellent forskning föreslår vi att de externa medel som erhållits från Vetenskapsrådet (VR) och från Europeiska forskningsrådet (ERC) ska viktas upp. Detta sker genom att 5 procent av tillgängliga medlen (dvs. 10 procent av de externa medlen eftersom de utgör hälften av alla tillgängliga medel) fördelas om i proportion till den nationella andelen av medel från ERC) och från VR.

Dessa medel vinns i främsta nationell och europeisk konkurrens, vilket är eftersträvansvärt ur kvalitetssynpunkt.

9.5 Bibliometri

Vid kontakter med olika lärosäten har starka önskemål framförts om att den publicering som inte täcks av Web of Science (WoS) måste medräknas. Visserligen ökar täckningsgraden i WoS varje år, men är ännu inte tillfyllest.

Vi föreslår därför att en svensk databas byggd på SwePub byggs ut av Kungl. biblioteket (KB) i samarbete med VR och i nära dialog med lärosätena via SUHF. KB ansvarar för datainsamlingen och eliminering av dubbletter, medan VR ansvarar för att från databasen extrahera information för analys och för leverans av underlag för resurstilldelning. KB bedömer det totala resursbehovet för att genomföra denna kvalitetshöjning vara tre heltidstjänster i utbyggnadsfasen 2013-2014, samt två heltidstjänster därefter för kontinuerligt underhåll och utveckling.

Norge har ett fungerande system för att räkna in alla publikationer och Danmark och Finland är i uppbyggnadsskedet av den s.k. norska modellen (kap 4). Dessa erfarenheter kan utnyttjas både vad gäller inrapportering och databashantering. En sådan utbyggd databas, SwePub, bör också anpassas för att på sikt kunna ingå i en framtida nordisk databas tillsammans med motsvarigheterna i Norge, Danmark och Finland. Därmed


120

erhålls en motsvarighet och ett komplement till WoS, som med sin internationella prägel, ändå ger möjligheter till enskilda att utnyttja informationen efter eget önskan. En sådan databas kommer också att ge de ingående publikationerna större synlighet, vilket sannolikt bidrar till ökad kommunikation mellan forskare och mellan forskare och användare och därmed ökad kvalitet.

Open Access (OA) publicering är i stark tillväxt. EU-kommissionen och Sveriges universitets- och högskoleförbund (SUHF) driver på och flera svenska finansiärer kräver att forskningsresultaten ska publiceras i öppna arkiv. I stort är OA-tidskrifter i hög grad nystartade och det tar tid innan deras impactfaktorer har stabiliserad sig. Inom vissa klasser finns det redan mycket högt rankade OA-tidskrifter. En holländsk studie44 med data från 2009 visar att det finns 619 OA-tidskrifter med impactfaktorer i WoS. Sålunda bör uppdraget också inkludera analys av och förslag på hur open-access publikationer ska hanteras.

Den norska modellen bygger dels på antalet publikationer dels på typen av publikation Den saknar citeringar, men har kvalitetselement i form av två impactnivåer, sådana att en femtedel av publikationerna ges en högre vikt. Dessa vikter är resultatet av förhandlingar i Universitets- og høgskolerådet (UHR). En svaghet med den norska modellen är att där ingår böcker och antologier och sådana är normalt inte utsatta för kollegial bedömning som tidskrifter. De är dock oftast utsatta för andra former av kvalitetsgranskning, som exempelvis seminariegranskning av avhandlingar som är monografier. En annan potentiell fara ligger i att den grupp som avgör vilka tidskrifter som ska höra till nivå 2 agerar alltför provinsiellt.

För att i möjligaste mån bygga på bibliometriska data och inte förhandlingar erbjuder Belgien ett intressant alternativ (kap 4), där Journal Impact Factor (JIF) utnyttjas och att förhandlade viktfaktorer endast tillgrips där JIF saknas. JIF uppdateras också

44 http://openaccess.kb.se/?p=159


121

årligen av WoS, men är inte områdesneutral. Den anges som kvoten mellan antal citeringar av tidskriftens artiklar och antalet artiklar i tidskriften för en tvåårsperiod, dvs en genomsnittlig citeringsgrad. Detta mått kan förbättras om den genomsnittliga citeringsgraden för var tidskrift normaliseras med den genomsnittliga citeringsgraden för de områden tidskriften är klassificerad i, s.k. fältnormalisering. På så vis fås en områdesneutral JIF för tidskriften.

Vi anser att SUHF, såsom representant för universitet och högskolor, bör ges i uppgift att bedöma vilka publikationer som databasen ska innehålla och hur en nivåindelning kan göras. På grundval av kostnaderna i Belgien och Norge (kap 4) uppskattas SUHF:s insatser till ca 2 Mkr per år.

9.5.1 Sjukhus och forskningsinstitut

Frågan om publikationer framsprungna i samarbete med sjukhus och forskningsinstitut också ska inkluderas i en modell för tilldelning av resurser till universitet och högskolor har diskuterats. I bilaga 2 redovisas en sammanställning av publikationer även från vanliga sjukhus och forskningsinstitut. Av tabell 9.1 framgår att omfördelningen jämfört med budgetpropositionen för 2012 givetvis gynnar lärosäten som får tillgodoräkna sig publikationer från sjukhus respektive forskningsinstitut. Oavsett om publikationer från sjukhus och forskningsinstitut ingår i resurstilldelningsmodellen, bör de finnas med i SwePub. Det är viktigt att all forskning som bedrivs i Sverige synliggörs. Tabell 9.1: Skillnaden mellan BP 2012 och att i bibliometri-indikatorn inkludera publikationer från sjukhus och från sjukhus och forskningsinstitut räknat i kkr. Förändringen uttryckt i andelar av basresursen i BP 2011 anges också.

122

Lärosäte Sjukhus Sjukhus +

institut Andel av BP 2011

Uppsala universitet 1 154 -614 0,000

Lunds universitet 5 071 3 193 0,002

Göteborgs universitet 3 652 2 232 0,002

Stockholms universitet -6 362 -3 241 -0,002

Umeå universitet -318 -1 125 -0,001

Linköpings universitet 387 263 0,000

Karolinska institutet 2 771 3 532 0,003

Kungl. Tekniska högskolan -3 713 -3 119 -0,004

Chalmers tekniska högskola -2 238 -1 522 -0,003

Luleå tekniska universitet -586 -621 -0,002

Sveriges lantbruksuniversitet -3 505 -1 310 -0,002

Karlstads universitet -256 -353 -0,002

Mittuniversitetet 53 -74 0,000

Linnéuniversitet -429 -634 -0,002

Örebro universitet 3 303 3 022 0,015

Blekinge tekniska högskola -57 -86 -0,001

Högskolan i Jönköping 332 201 0,003

Malmö högskola -381 -446 -0,004

Mälardalens högskola 171 120 0,002

Gymnastik- och idrottshögskolan -40 -47 -0,003

Högskolan I Borås -17 -68 -0,001

Högskolan Dalarna 456 414 0,008

Högskolan på Gotland -28 -33 -0,002

Högskolan I Gävle -156 -201 -0,003

Högskolan I Halmstad 326 286 0,006

Högskolan Kristianstad 84 52 0,001

Högskolan I Skövde 397 347 0,009

Högskolan Väst 357 331 0,009

Södertörns högskola -428 -500 -0,013

Vi anser att frågan om publikationer från sjukhus och

forskningsinstitut ska räknas med i bibliometriindikatorn för


123

universitet och högskolors vetenskapliga publicering måste utredas ytterligare. Publikationer från sjukhusen skulle kunna tas in om författarandelarna ingår i underlaget. Det vore också önskvärt om en effektivitetsmodell kunde utformas, dvs. att alla resurser (input) som bidragit till författarandelen kunde ställas mot vetenskaplig output.

9.5.2 Tidpunkt för övergång

Det nuvarande fördelningssystemet använder sig av Waringmodellen som tar hänsyn till olika forskningsområden genom att publiceringarna är fältjusterade och citeringarna fältnormerade. Trots detta tillämpas nuvarande viktning också på den bibliometriska indikatorn. Det vore önskvärt att ta bort denna viktning, men det är olämpligt att avskaffa viktningen bara för ett enda år i väntan på ett nytt system. Det ovan föreslagna systemet baserat på SwePub kan vara operativt inför budgetåret 2014 och därför bör det nuvarande systemet med data från WoS och med Waringmodellen behållas till dess.

9.6 Konstnärlig forskning och utvecklingsarbete

Konstnärliga området är på god väg att hitta former för sin kommunikation av forskningsresultat, dvs. de olika artefakter som representerar konstnärlig forskning. Ännu återstår en hel del arbete. Inte minst med utformningen av en nationell databas som kan hantera icke text baserade artefakter. Det finns alltid en risk att indikatorer blir för och felaktigt normerande. Inom konstnärlig forskning får inte det fria uttrycket överges till förmån för medelsgivande kommunikation. Detta bör övervägas noga innan ett prestationsbaserat resurstilldelningssystem införs. Ett nationellt resurstilldelningssystem kräver att ett ramverk och att regler skapas för offentliggörande av kollegialt granskad konstnärlig forskning. Vi anser därför att det krävs ytterligare tid


124

innan det är möjligt att inordna resultaten av konstnärlig forskning i resurstilldelningssystemet. Eftersom en nationell databas för konstnärlig forskning är målet föreslår vi att en styrgrupp utsedd av SUHF med representanter från de lärosäten som har konstnärlig forskning ska leda detta arbete i samverkan med KB och VR.

9.7 Samverkan – uppdragsforskning och uppdragsutbildning

Vi föreslår att uppdragsforskning (UF) och uppdragsutbildning (UU) utgör en lämplig indikator för samverkan. Som framgår av rapporten från föreningen V&A och av andra rapporter (kap 8) finns en mängd förslag på samverkansindikatorer, men ingen nation har ännu infört sådana. UF och UU speglar omvärldens förtroende för verksamheten vid universitet och högskolor och det statistiska underlaget finns tillgängligt hos Högskoleverket. Vi anser att 7,5 procent av tillgängliga medel bör fördelas efter den nationella andelen av intäkterna från dessa uppdrag. Om uppdragsutbildning används i underlaget, bör myndighetsbeställda utbildningar borträknas.

9.8 Ett pilotprojekt för att mäta samverkan genom fallstudier genomförs

Vi föreslår ett pilotprojekt, där en expertgranskning av universitet och högskolors portfolio av exempel på framgångsrik påverkan av samhällsutvecklingen genomförs. Varje fallstudie av ett sådant exempel granskas och betygsätts. Det sammanvägda betyget för hela portfolion får representera respektive lärosätes förmåga att transformera sin forskning till resultat som ger extern påverkan. Pilotprojektet tilldelas 2,5 % efter antalet


125

heltidsforskare. Under pilotfasen sker endast en bedömning om inlämnad fallstudie varit lyckad eller ej. Blir resultatet positivt av hela pilotstudien, ökas andelen till 7,5 % och ökningen med 5 % tas från andelen externa medel. Inför en fortsättning utreds hur graderade betyg införs för respektive lärosätes portfolio av framgångsexempel på påverkan. En strukturerad expertgranskning med bedömningsgrunderna spridning och signifikans är den uppenbara vägen. Till skillnad från bedömning av vetenskaplig kvalitet finns här inte någon bibliometri att luta sig mot annat än som kvalificering av enskilda exempel.

9.9 Omfördelning av basresurser

Nuvarande modell för omfördelning av basresurser ger i de flesta fall effekter på promillenivå, vilket föga premierar lärosäten som strävar efter ökad kvalitet på sin forskning. Detta beror på att lärosätet lämnar samma belopp till omfördelning som det erhöll året före plus 10 % av nya medel. Vi föreslår att 10 % av föregående års basresurs ingår i omfördelningen. Därigenom ges lärosäten som är framgångsrika i att öka sina andelar av indikatorerna större utdelning för sina ansträngningar.

127

9.10

10 En modell för ökad kvalitet och excellens i svensk forskning

129

Nedan presenteras steg för steg utfallet av de olika förslagen jämfört med utfallet i budgetpropositionen för 2012 (BP 2012). Där omfördelas totalt 1 056 miljoner enligt den nuvarande modellen, som bygger på de två indikatorerna externa medel och publiceringar/citeringar (kap 5). Andelarna föreslås bli för externa medel 40 procent, varav excellens 5 procent, bibliometrin 50 procent och samverkan 10 procent, varav pilotprojektet 2,5 procent.

Om pilotprojektet faller ut positivt och anses ge en rättvis bedömning av forskningens påverkan av utvecklingen inom olika samhällssektorer föreslås andelarna justeras till; externa medel 35 procent, varav excellens 5 procent, bibliometri 50 procent och samverkan 15 procent, varav 7,5 procent för omfattningen av uppdragsverksamheten och 7,5 procent för kvaliteten på portfolion av fallstudier.

Medel för de strategiska forskningsområdena ingår inte. De nya medlen om 300 miljoner för 2012 ingår inte heller för att effekten av de olika förslagen på en ny omfördelning ska framgå. Det ekonomiska utfallet i sin helhet presenteras nedan i tabellerna 10.6 – 10.8. Efter tabell 10.8 ges en samlad analys av förslagen.

10.1 Externa medel

10.1.1 Endast bidragsintäkter räknas

Det innebär att intäkter från avgifter (A) och Uppdrag (U) inte inräknas i indikatorn externa medel. Utfallet av enbart intäkter från bidrag (B) baserat på medelvärdet under perioden 2008 – 2010 visas i tabell 10.1.

En modell för ökad kvalitet och excellens Ds 2011:

130

10.1.2 Viktfaktorerna beräknas på SCB-data

Det innebär att nuvarande viktfaktorer ersätts med viktfaktorer beräknade på data från SCB om de 12 forskningsområdena. Uppgifterna kommer ursprungligen från de olika lärosätena. De nuvarande vikterna grundades på fördelningen till vetenskapsområden i budgetpropositionen 2008. Vikterna är 2 för humaniora och samhällsvetenskap, 1,5 för naturvetenskap, 1,1 för övrigt och 1,0 för medicin och teknikvetenskap.

Sker viktningen istället baserat på forskningsämnen med SCB-data, minskar skillnaden mellan lärosätena. Det kommer att resultera i en omfördelning av medel från lärosäten med höga profilvärden, främst lärosäten med mycket humaniora och samhällsvetenskap till lärosäten med låga profilvärden främst lärosäten med medicin och teknikvetenskap (bilaga 1). Tabell 10.1: Utfallet av att endast bidrag räknas som intäkt respektive övergång till SCB-vikter jämfört med BP 2012, samt utfallet av båda förslagen i kkr. Anledningen till att den högra kolumnen inte blir summan av de två vänstra är att när förslagen inte beräknas var för sig, kommer SCB-vikterna att kategorisera om lärosätenas externa medel relativt nuläget. Skillnaderna blir små och störst för lärosäten, där gamla och nya profilvärden skiljer sig mycket.

Lärosäte Bidrag SCB Med bidrag och SCB

Uppsala universitet -320 -4 330 -4 620Lunds universitet 5 570 -2 590 2 810Göteborgs universitet -1 510 -2 650 -4 080Stockholms universitet 2 650 -4 170 -1 780Umeå universitet -5 200 -2 310 -7 160Linköpings universitet 940 390 1 350Karolinska institutet -4 020 11 420 6 770Kungl. Tekniska högskolan 3 280 4 040 7 710Chalmers tekniska högskola 960 5 070 6 190Luleå tekniska universitet -1 220 640 -640

Ds 2011: En modell för ökad kvalitet och excellens

131

Sveriges lantbruksuniversitet -2 440 -560 -2 960Karlstads universitet -480 -290 -740Mittuniversitetet 1 010 -1 280 -480Linnéuniversitet 330 -730 -450Örebro universitet 50 -1 030 -990Blekinge tekniska högskola -110 210 100Högskolan i Jönköping -1 010 -1 690 -2 430Malmö högskola 100 850 980Mälardalens högskola 450 550 1 070Gymnastik- och idrottshögskolan 70 130 220Högskolan I Borås 0 -310 -310Högskolan Dalarna -220 -210 -410Högskolan på Gotland 100 -110 -30Högskolan I Gävle 120 10 140Högskolan I Halmstad 120 -280 -180Högskolan Kristianstad 10 -130 -120Högskolan I Skövde 270 -60 200Högskolan Väst 350 -270 20Södertörns högskola 160 -310 -170Summa 0 0 0

10.1.3 Vetenskaplig excellens premieras genom att medel från VR och ERC räknas högre

De externa medlen i omfördelningen minskas med 10 procent för varje lärosäte, vilket motsvarar 5 procent av alla meden i omfördelningen. Sedan återförs detta belopp, men omfördelat efter andelen av de nationella medlen erhållna från Vetenskapsrådet (VR) och Europeiska forskningsrådet (ERC). Därmed premieras de lärosätena som har en stor omfattning av sådana medel. Alternativet att beräkna andelen räknat per


132

lärosäte förkastas, eftersom det kan vara frestande för lärosätet att avsäga sig övriga medel för att få en kvot nära ett.

I tabellen nedan visas utfallen när ”excellensmedel” premieras jämfört med nuläget, SCB-viktning, samt både SCB-viktning och bidrag. Tabell 10.2: Utfallet av att intäkter från ERC och VR premieras i tre olika kombinationer. Nuläget (BP och A+B+U), SCB-viktning (SCB och A+B+U), samt både SCB-viktning och bidrag (SCB och Bidrag) räknat i kkr.

Lärosäte BP A+B+U

SCB A+B+U

SCB Bidrag

Uppsala universitet 1 130 -2 770 -3 230Lunds universitet 2 520 200 8 650Göteborgs universitet1 610 -1 770 -4 010Stockholms universitet 1 000 -2 750 990Umeå universitet 130 -1 950 -9 550Linköpings universitet 470 830 2 330Karolinska institutet 450 10 730 3 440Kungl. Tekniska Högskolan 560 4 200 9 930Chalmers tekniska högskola 460 5 020 6 780Luleå tekniska universitet -1 070 -490 -2 490Sveriges lantbruksuniversitet -3 040 -3 540 -7 300Karlstads universitet -310 -570 -1 280Mittuniversitetet -540 -1 690 -440Linnéuniversitetet -220 -880 -440Örebro universitet -320 -1 240 -1 180Blekinge tekniska högskola -170 20 -170Högskolan i Jönköping -520 -2 040 -3 200Malmö högskola -30 730 940Mälardalens högskola -300 200 1 010Gymnastik- och idrottshögskolan -20 90 240Högskolan i Borås -100 -380 -390Högskolan Dalarna -160 -350 -650Högskolan på Gotland -40 -140 -10


133

Högskolan i Gävle -70 -60 140Högskolan i Halmstad -110 -360 -200Högskolan Kristianstad -10 -130 -120Högskolan i Skövde -130 -180 220Högskolan Väst -130 -380 80Södertörns högskola -40 -320 -100Summa 0 0 0

10.2 Samverkan

10.2.1 Samverkan premieras genom uppdragsutbildning och uppdragsforskning

För att premiera samverkan omfördelas 10 procent av totalbeloppet efter nationella andelar av (oviktade) summan av intäkter från uppdragsutbildning (UU) och uppdragsforskning (UF). Utrymmet för denna samverkan tas i likhet med excellensen från externa medel.

Mätt som andelar av totalbeloppet ges externa medel 35 procent, excellens 5 procent, bibliometri 50 procent och samverkan 10 procent. Således omfördelas ca 100 miljoner kronor enligt dessa indikatorer för samverkan.

135

Tabell 10.3: Utfallet av att uppdragsutbildning (UU) och uppdragsforskning (UF) premieras, när indikatorn samverkan tilldelas 10 procent. Enhet kkr.

Forskning Forskning + utbildning

Lärosäte Visavi BP12

Med bidrag och SCB

Visavi BP12

Med bidrag och SCB

Uppsala universitet -1 260 -4 650 -1 890 -5 280Lunds universitet -5 940 -1 170 -4 290 480Göteborgs universitet -330 -3 930 -440 -4 040Stockholms universitet -1 930 -1 940 -370 -380Umeå universitet 2 420 -5 110 2 870 -4 660Linköpings universitet 10 1 460 -730 710Karolinska institutet 12 890 15 220 5 650 7 980Kungl. Tekniska högskolan -980 6 310 -2 090 5 210Chalmers tekniska högskola 2 010 6 930 590 5 510Luleå tekniska universitet 2 290 1 180 630 -470Sveriges lantbruksuniversitet -4 680 -8 000 -6 150 -9 460Karlstads universitet 660 -90 830 80Mittuniversitetet -1 090 -1 010 -1 090 -1 010Linnéuniversitet -660 -830 4 290 4 120Örebro universitet -720 -1 390 -820 -1 490Blekinge tekniska högskola -20 -10 380 390Högskolan i Jönköping -320 -2 410 -100 -2 190Malmö högskola 270 1 020 2 280 3 030Mälardalens högskola -370 650 -110 910Gymnastik- och idrottshögskolan -80 130 -30 180Högskolan I Borås -340 -560 230 10Högskolan Dalarna -420 -810 350 -30Högskolan på Gotland -150 -130 -130 -110Högskolan I Gävle -170 -10 70 240Högskolan I Halmstad -90 -160 90 20Högskolan Kristianstad 10 -70 380 300Högskolan I Skövde -390 -110 -110 160Högskolan Väst -370 -200 -110 60Södertörns högskola -250 -300 -220 -270Summa 0 0 0 0


136

När andelen för samverkan ökar, minskar andelen för indikatorn externa medel. Det kan finnas intresse för att bokföra bidragsintäkter som uppdrag när andelen samverkan ökar. Vi har därför provat att för två lärosäten flytta 5 miljoner kronor från bidrag till uppdrag. Diagrammet visar att andelen samverkan inte bör överstiga 15 procent. Diagram 10.1: Utfall av att flytta 5 Mkr från bidrag till uppdrag när indikatorn för samverkan ges ökande andel

Bidrag - Uppdrag

-350

-300

-250

-200

-150

-100

-50

0

50

100

150

5 10 15 20

Andel samverkan (%)

Vins

t (kk

r)

Lund

Halmstad


137

10.2.2 Ett pilotprojekt för att mäta samverkan genom fallstudier

Lärosätenas samverkan med det omgivande samhället är, som konstaterats tidigare, svår att fånga med indikatorer. Vi föreslår därför ett pilotprojekt som begränsar sig till att bedöma nyttiggörandet av forskningsresultat. Likt pilotprojekten inom REF och AUTM (kap 8), rapporteras fallstudien av en bestämd påverkan efter ett schema. Schemat har en kronologi som börjar med den forskning som lett till innovationen och hur innovationen har förverkligats samt dess påverkan, i form av ett ekonomiskt eller socio-ekonomiskt resultat.

Varje fallstudies påverkan granskas efter bedömningsgrunderna, omfattning/spridning och betydelse/signifikans. Experter från akademi och samhälle sätter betyg på fallstudiens påverkan.

Större lärosäten har fler forskningsresultat som kan komma i fråga och medlen för pilotprojektet tilldelas därför lärosätena i proportion till antal FoU-årsverken.

I tabell 10.4 finns som jämförelse resultatkolumnen från tabell 10.3 som jämförelse. Därefter visas tre alternativa förslag på andelar för samverkan med uppdrag och pilotprojekt.

138

UppdragSCB

VR+ERC UF+UU 5 (1,5%) 10 (2,5 %) 15 (7,5 %)

Uppsala universitet -5 280 -4 020 -4 890 -5 120Lunds universitet 480 5 150 1 460 -670Göteborgs universitet -4 040 -3 820 -3 700 -3 020Stockholms universitet -380 660 220 730Umeå universitet -4 660 -7 420 -5 190 -3 800Linköpings universitet 710 1 770 1 130 1 150Karolinska inst itutet 7 980 4 720 6 330 5 300Kungl. Tekniska högskolan 5 210 7 980 5 900 4 920Chalmers tekniska högskola 5 510 5 970 5 220 4 010Luleå tekniska universitet -470 -1 780 -970 -970Sveriges lantbruksuniversitet -9 460 -7 940 -8 720 -8 320Karls tads universitet 80 -720 -120 150Mittuniversitetet -1 010 -630 -850 -840Linnéunivers itet 4 120 1 280 3 190 3 610Örebro universitet -1 490 -1 220 -1 300 -1 070Blekinge tekniska högskola 390 70 320 450Högskolan i Jönköping -2 190 -2 780 -2 330 -2 100Malmö högskola 3 030 1 740 2 620 2 830Mälardalens högskola 910 970 930 930Gymnastik- och idrottshögskolan 180 220 200 200Högskolan i Borås 10 -220 -40 60Högskolan Dalarna -30 -410 -140 -60Högskolan på Gotland -110 -50 -90 -100Högskolan i Gävle 240 240 320 530Högskolan i Halmstad 20 -90 20 130Högskolan Krist ianstad 300 80 280 450Högskolan i Skövde 160 220 210 280Högskolan Väst 60 80 80 110Södertörns högskola -270 -70 -70 240Summa 0 0 0 0

Uppdrag + pilot

Tabell 10.4: I tabellen jämförs enbart uppdrag först med att totalt 5 procent av totala medlen avsatts till samverkan, varav 1,5 % till pilotprojektet. Därefter visas ytterligare två alternativ, samverkan 10 procent, varav 2,5 procent pilotprojekt och 15 procent samverkan, varav 7,5 procent pilotprojekt. Fördelningen sker efter andelen FoU-årsverken. Värdena räknas i kkr.


139

10.3 Sammantaget utfall av de olika förslagen

Att förutsäga utfallet av fallstudierna i ett fullskaleformat är ogörligt. I fortsättningen görs därför beräkningarna enbart enligt alternativet att samverkan tilldelas 10 procent varav pilotprojektet tilldelas 2,5 procent. Medlen till det senare fördelas efter antal FoU-årsverken i SCB:s statistik.

Se nästa uppslag.

Tabell 10.5: Utfallet av de olika förslagen räknat i kkr. Indikatorerna Externa medel ges 35 procent, Excellens ges 5 procent, Bibliometri 50 procent och Samverkan 10 procent uppdelat på Uppdrag 7,5 procent och Pilotprojekt 2,5 procent.

Sammanvägning av externa medel, bibliometri och samverkan

Externa medel Excellens Bibliometri Samverkan Totalt Vikt Vikt Vikt Uppdrag Pilot Lärosäten

Före omfördelning

2012 0,350 0,050 0,500 0,075 0,025 1,00 Uppsala universitet 140 530 38 460 7 110 74 400 6 700 2 630 129 310

Lunds universitet 158 840 58 120 10 150 77 470 6 320 3 090 155 150

Göteborgs universitet 106 010 32 960 5 840 54 360 7 040 2 690 102 890

Stockholms universitet 103 540 29 360 5 200 63 450 5 270 2 350 105 620

Umeå universitet 67 140 16 600 3 580 35 520 7 220 1 880 64 790

Linköpings universitet 51 660 20 100 3 140 27 010 3 090 1 450 54 780

Karolinska institutet 125 210 52 410 7 610 54 670 14 630 3 230 132 550

Kungl. tekniska högskolan 69 380 32 240 4 120 32 380 3 360 1 810 73 920

Chalmers tekniska högskola 49 150 26 060 3 480 18 760 4 630 1 250 54 190

Luleå tekniska universitet 18 710 8 300 280 5 680 3 290 600 18 150

Sveriges lantbruksuniversitet 70 050 21 780 540 33 960 3 050 1 750 61 090

Karlstads universitet 7 950 2 660 170 3 510 1 590 320 8 260

Mittuniversitetet 10 110 4 300 70 5 690 490 320 10 860

Linnéuniversitet 13 620 3 410 290 8 970 4 150 450 17 270

Örebro universitet 14 340 3 720 310 9 200 570 380 14 170

Blekinge tekniska högskola 3 090 1 240 0 1 550 680 160 3 630

Högskolan i Jönköping 9 600 2 390 120 4 070 1 270 290 8 140

Malmö högskola 4 340 2 570 230 2 240 2 120 290 7 440

Mälardalens högskola 5 160 3 550 60 1 810 690 250 6 360

Gymnastik- och idrottshögskolan 610 400 0 350 40 30 820

Högskolan i Borås 2 980 940 60 1 470 500 120 3 080

Högskolan Dalarna 3 120 930 30 1 110 660 110 2 840

Högskolan på Gotland 1 070 420 20 260 20 20 740

Högskolan i Gävle 3 190 1 060 60 2 130 300 180 3 730

Högskolan i Halmstad 3 390 1 220 80 1 100 430 140 2 970

Högskolan Kristianstad 2 930 360 50 1 610 390 110 2 520

Högskolan i Skövde 2 750 1 190 0 1 100 210 120 2 630

Högskolan Väst 2 070 1 310 30 460 260 110 2 170

Södertörns högskola 5 700 1 620 200 3 810 220 270 6 120

Summa 1 056 210 369 670 52 810 528 110 79 220 26 410 1 056 210

Tabell 10.6: Differensen i utfallet av de olika förslagen, baserat på värdena i tabell 10.5 räknat i kkr.

Differens mot BP 2012 (kkr) Lärosäten Externa

medel Biblio-metri

Sam-verkan Summa

Uppsala universitet -14 220 0 9 330 -4 890

Lunds universitet -7 960 0 9 410 1 460

Göteborgs universitet -13 430 0 9 730 -3 700

Stockholms universitet -7 400 0 7 620 220

Umeå universitet -14 290 0 9 100 -5 190

Linköpings universitet -3 410 0 4 540 1 130

Karolinska institutet -11 530 0 17 860 6 330

Kungl. Tekniska högskolan 720 0 5 180 5 900

Chalmers tekniska högskola -660 0 5 890 5 220

Luleå tekniska universitet -4 860 0 3 890 -970

Sveriges lantbruksuniversitet -13 520 0 4 800 -8 720

Karlstads universitet -2 040 0 1 920 -120

Mittuniversitetet -1 660 0 810 -850

Linnéuniversitet -1 410 0 4 610 3 190

Örebro universitet -2 240 0 950 -1 300

Blekinge tekniska högskola -520 0 840 320

Högskolan i Jönköping -3 890 0 1 560 -2 330

Malmö högskola 210 0 2 410 2 620

Mälardalens högskola -10 0 940 930

Gymnastik- och idrottshögskolan 130 0 70 200

Högskolan i Borås -650 0 620 -40

Högskolan Dalarna -920 0 770 -140

Högskolan på Gotland -130 0 40 -90

Högskolan i Gävle -160 0 480 320

Högskolan i Halmstad -550 0 570 20

Högskolan Kristianstad -220 0 500 280

Högskolan i Skövde -120 0 330 210

Högskolan Väst -300 0 370 80

Södertörns högskola -570 0 490 -70

Summa -105 620 0 105 620 0

I tabell 10.7 visas utfallet av de olika förslagen motsvarande tabell 10.5, men räknat i andelar av basresursen för år 2011. Se nästa uppslag. Tabell 10.7: Konsekvenser uttryckt i andelar av de olika förslagen relativt basresursen i BP 2011. Utfallet redovisas för varje förslag i procent och sedan samlat för den vetenskapliga kvaliteten i fjärde kolumnen. Motsvarande för samverkan där de sista två kolumnerna bygger på Bidrag, SCB-vikter, VR + ERC från den vetenskapliga kvaliteten och UF + UU från samverkan. 8

Vetenskaplig kvalitet (90 %) Samverkan (10 %)

Lärosäte Bidrag

SCB VR+ERC Bidrag

SCB VR+ERC

UF UF+UU Bidrag SCB

VR+ERC UF+UU

Inkl pilot

(2,5 %)

Uppsala universitet -0,02 -0,27 0,07 -0,20 -0,08 -0,12 -0,33 -0,30

Lunds universitet 0,34 -0,16 0,15 0,53 -0,36 -0,26 0,03 0,09

Göteborgs universitet -0,12 -0,21 0,05 -0,31 -0,03 -0,03 -0,31 -0,29

Stockholms universitet 0,20 -0,31 0,07 0,07 -0,14 -0,03 -0,03 0,02

Umeå universitet -0,58 -0,26 0,01 -1,07 0,27 0,32 -0,52 -0,58

Linköpings universitet 0,14 0,06 0,07 0,36 0,00 -0,11 0,11 0,17

Karolinska institutet -0,36 1,03 0,04 0,31 1,17 0,51 0,72 0,57

Kungl. Tekniska högskolan 0,38 0,47 0,06 1,15 -0,11 -0,24 0,60 0,68

Chalmers tekniska högskola 0,17 0,92 0,08 1,23 0,36 0,11 1,00 0,95

Luleå tekniska universitet -0,40 0,21 -0,35 -0,81 0,74 0,21 -0,15 -0,32

Sveriges lantbruksuniversitet -0,29 -0,07 -0,36 -0,87 -0,56 -0,74 -1,13 -1,04

Karlstads universitet -0,25 -0,15 -0,17 -0,68 0,35 0,44 0,04 -0,06

Mittuniversitetet 0,53 -0,67 -0,28 -0,23 -0,57 -0,57 -0,53 -0,45

Linnéuniversitet 0,12 -0,27 -0,08 -0,17 -0,25 1,61 1,55 1,20

Örebro universitet 0,02 -0,50 -0,15 -0,57 -0,35 -0,39 -0,72 -0,63

Blekinge tekniska högskola -0,13 0,27 -0,22 -0,21 -0,02 0,48 0,48 0,40

Högskolan i Jönköping -1,27 -2,13 -0,65 -4,03 -0,41 -0,13 -2,76 -2,93

Malmö högskola 0,10 0,84 -0,03 0,93 0,26 2,25 3,00 2,59

Mälardalens högskola 0,60 0,74 -0,40 1,34 -0,49 -0,15 1,21 1,24

Gymnastik- och idrottshögskolan 0,39 0,74 -0,14 1,42 -0,45 -0,16 1,05 1,16

Högskolan I Borås -0,01 -0,60 -0,20 -0,75 -0,66 0,45 0,02 -0,07

Högskolan Dalarna -0,42 -0,40 -0,30 -1,24 -0,81 0,68 -0,06 -0,28

Högskolan på Gotland 0,50 -0,55 -0,20 -0,07 -0,77 -0,65 -0,55 -0,45

Högskolan I Gävle 0,15 0,02 -0,09 0,17 -0,21 0,09 0,29 0,40

Högskolan I Halmstad 0,23 -0,55 -0,21 -0,39 -0,16 0,18 0,04 0,04

Högskolan Kristianstad 0,02 -0,29 -0,03 -0,26 0,03 0,85 0,66 0,62

Högskolan I Skövde 0,72 -0,16 -0,34 0,59 -1,01 -0,29 0,43 0,55

Högskolan Väst 0,93 -0,72 -0,36 0,21 -0,98 -0,29 0,15 0,21

Södertörns högskola 0,42 -0,82 -0,11 -0,28 -0,66 -0,59 -0,72 -0,19


146

Bidrag

Lärosäten som har stor andel bidrag (B) relativt avgifter (A) och uppdrag (U) gynnas. Medelvärdet i riket för andelen bidrag av A+B+U är 78 procent. Umeå universitet, Karolinska institutet, Luleå tekniska univesritet, Sveriges lantbruksuniversitet, Karlstads universitet, Högskolorna i Jönköping och Dalarna ligger alla omkring 70 procent och tappar därmed. Enda förändringen över 1 procent gäller Högskolan i Jönköping.

SCB-vikter

Lärosäten med medicinsk eller teknisk profil gynnas, eftersom de har viktfaktor nära 1. De flesta förändringar räknat som andel av basanslaget i BP 2011 ligger under 1 procent. Karolinska institutet och Chalmers tekniska högskola ökar omkring 1 procent, medan Högskolan i Jönköping, tappar drygt 2 procent av sin basresurs. Detta beror på att Högskolans i Jönköping nuvarande profilvärde är det högsta i landet och det skiljer sig relativt den profil lärosätet har redovisat till SCB.

VR + ERC

Lärosäten med stora intäkter från VR + ERC, främst de stora universiteten, gynnas. Övriga tappar, men de flesta klart under 1 procent.

Vetenskaplig kvalitet

Sammantaget innebär de tre förslagen Bidrag, SCB-vikter och VR + ERC att Kungl. Tekniska högskolan, Chalmers tekniska


147

högskola, Malmö högskola, Mälardalens högskola och Gymnastik- och idrottshögskolan ökar omkring 1 procent. Umeå universitet, Luleå tekniska universitet, Sveriges lantbruksuniversitet och Högskolan Dalarna tappar omkring en procent. Högskolan i Jönköping tappar till 4 procent, mest beroende på den nuvarande höga viktfaktorn.

Uppdrag

Räknas bara uppdragsforskning (UF) gynnas framförallt Karolinska institutet och Luleå tekniska universitet, men även Umeå universitet, Karlstad universitet och Högskolan i Malmö. De flesta andra tappar, men nästan alla förändringar ligger klart under 1 procent. Räknas både UF och UU gynnas lärosäten med mycket uppdragsutbildning, t.ex. Linnéuniversitetet och Malmö högskola. Sammantaget för F och U samt med Bidrag, SCB-vikter och VR + ERC tappar Högskolan i Jönköping 3,5 procent och Sveriges lantbruksuniversitet drygt 1 procent. Linnéuniversitetet, Malmö högskola, Mälardalens högskola och Gymnastik- och idrottshögskolan ökar mer än 1 procent.

Pilotprojektet

I likhet med omfördelningen på basis av uppdragsintäkter tas pilotprojektets medel från övriga indikatorer. Stora lärosäten har mycket FoU-årsverken, men tappar också mycket på externa medel och bibliometri. Förändringarna blir därför ganska små. Sammantaget för alla förslag ligger förändringarna inom 1 procent av basanslagen för 2011, utom för Linnéuniversitetet, Malmö högskola, Mälardalens högskola och Gymnastik- och idrottshögskolan som alla ökar mer än 1 procent. Sveriges


148

lantbruksuniversitet tappar nära 1 procent, medan Högskolan i Jönköping tappar nära 3 procent. Det senare mest beroende på skillnaden mellan nuvarande viktfaktor för externa medel och till SCB inrapporterade data om fördelningen på vetenskapsområden.

Detta kan jämföras med Australien där inget lärosäte tillåts tappa mer än fem procent på ett år. I Tyskland finns motsvarande gräns både uppåt och nedåt, med fem procent i Berlin och mellan 1–2 procent i några andra delstater.

149

Bilaga 1. Viktfaktorer - externa medel

Beräkning av viktfaktorer baserat på SCB-statistik över intäkter för forskning och forskarutbildning. Den nationella förteckningen över forskningsämnen45 har använts i den officiella statistiken vid statistikredovisningar för att bl.a. intäkter över forskning och utveckling. Den fastställdes av Statistiska centralbyrån (SCB) 1996 och reviderades 2002. Data finns redovisade på tvåsiffernivå, uppdelade på anslag respektive externa medel. Till skillnad mot vad SCB normalt publicerar har dessa data inte reducerats för avskrivningar och utbildningsmomentet i forskarutbildningen. Fr.o.m. 2012 ersätts förteckningen av Standard för svensk indelning av forskningsämnen 2011 med tillhörande översättningsnyckel46.

I uppställningen nedan har kvoten mellan den nationella andelen av externa medel i form av de tre intäktsslagen avgifter, bidrag och uppdrag och forskningsämnets andel av anslag plus externa medel beräknats. Beräkningen grundar sig på SCB-data för 2009. I ett skarpt läge bör endast bidragsintäkter ingå. Beräknade värdena ska därför uppfattas som approximativa och den givna precisionen alltför hög.

45 http://www.hsv.se/statistik/statistikomhogskolan/amneslistor.4.2f235a02115fac09ef180001316.html 46 http://www.hsv.se/download/18.1c1147dd12f43e606a58000599/oversattningsnyckel201104.pdf

Bilaga 1. Viktfaktorer - externa medel Ds 2011:

150

Tabell 1: Andel externa medel och forskningsämnets nationella andel av anslag och externa forskningsmedel.

Forskningsämne

Andel externa medel

Nationell andel av fo-

medel 11 Humaniora och religionsvetenskap 0,395 0,065 12 Rättsvetenskap/Juridik 0,381 0,007 13 Samhällsvetenskap 0,545 0,127 14 Matematik 0,401 0,015 15 Naturvetenskap 0,536 0,176 16 Teknikvetenskap 0,641 0,229 17 Skogs- och jordbruksvetenskap 0,562 0,033 18 Medicin 0,588 0,302 19 Odontologi 0,441 0,010 21 Farmaci 0,458 0,005 22 Veterinärmedicin 0,319 0,008 23 Övrigt 0,434 0,023 Summa ------ 1,000

Som vikter används inverterade värdet av andelen externa medel. Denna kvot får representera forskningsämnets förmåga att attrahera externa medel och ska precis som de nuvarande vikterna multiplicera anslagsmedlen. För att så väl det går kunna jämföra med nuvarande modell har dessa ämnen aggregerats till vetenskapsområden enligt:

• Hum-sam (11,12 och 13) • Medicin (18,19,21 och 22, samt 233 Hälso- och sjukvård i samhället och 237 Vårdvetenskap) • Naturvetenskap (15 och 17) • Teknikvetenskap (16) • Övrigt (23, där 233 och 237 förts till Medicin) • Matematik har fördelats på 15 och 16 i proportion till storleken på respektive anslag och externa medel.

Ds 2011: Bilaga 1. Viktfaktorer - externa medel

151

Inom varje vetenskapsområde beräknas först andelen externa medel sammantaget för alla lärosäten. Dessa nationella värden blir HS = 0,49, N = 0,53, M = 0,57, T = 0,64 och Ö = 0,45 och motsvarande viktfaktorer blir HS = 2,0, N = 1,9, M = 1,8, T = 1,6 och Ö = 2,2.

Därefter multipliceras anslagen med dessa viktfaktorer och produkterna summeras för varje lärosäte, varur varje lärosätes andel kan beräknas.

Dessa andelar får ersätta nuvarande andelar för indikatorn externa medel i beräkningsalgoritmen för basmedlen.

Till skillnad från de tidigare viktfaktorerna som är fixa, speglar de nya faktorerna verkligheten bättre eftersom de bygger på uppgifter från lärosätena och uppdatering sker vartannat år. Alternativa aggregeringar kan också göras och nedan presenteras några varianter vilket ger en uppfattning om hur känsligt resultatet är för olika aggregeringar. I tabellen på nästa sida jämförs således:

Alternativ 1: Alla forskningsämnen utnyttjas Alternativ 2: Efterlikna nuvarande indelning i vetenskaps-

områden (exemplet ovan) Alternativ 3: Matematik förs till HS, dvs. ”torra” ämnen slås

samman Alternativ 4: N och M anses vara likställt och slås samman

152

Andel externa medel

Forskningsämne Alt 1 Alt 2 Alt 3 Alt 411 Humaniora och religionsvetenskap 0,396 12 Rättsvetenskap/Juridik 0,381 13 Samhällsvetenskap 0,546 0,491 14 Matematik 0,401 0,485 0,48516 Teknikvetenskap 0,642 0,635 0,642 0,64215 Naturvetenskap 0,537 17 Skogs- och jordbruksvetenskap 0,563 0,534 0,541 18 Medicin 0,588 19 Odontologi 0,442 21 Farmaci 0,459 22 Veterinärmedicin 0,319 0,570 0,570 0,56223 Övrigt 0,435 0,452 0,452 0,452

Viktfaktorer externa medel Forskningsämne Alt 1 Alt 2 Alt 3 Alt 4

11 Humaniora och religionsvetenskap 2,526 12 Rättsvetenskap/Juridik 2,624 13 Samhällsvetenskap 1,833 2,036 14 Matematik 2,493 2,062 2,06216 Teknikvetenskap 1,559 1,575 1,559 1,55915 Naturvetenskap 1,863 17 Skogs- och jordbruksvetenskap 1,776 1,871 1,849 18 Medicin 1,701 19 Odontologi 2,263 21 Farmaci 2,181 22 Veterinärmedicin 3,133 1,753 1,753 1,78023 Övrigt 2,299 2,214 2,214 2,214 Givet dessa fyra varianter på aggregeringar kan utfallet jämföras med BP 2012 vid omfördelningen av externa medel. Skillnaden mellan de fyra alternativen är ganska liten för de flesta lärosäten. Beroende på avrundningar blir inte slutsummorna riktigt lika.

Ds 2011: Bilaga 1. Viktfaktorer - externa medel

153

Tabell 2: Utfallet för de fyra alternativen jämfört med externa medlen i BP 2012 i kkr.

Omfördelning externa medel BP2012 Alt 1 Fo-ämnen separat

Alt 2 nuvarande VO:n

Alt 3 Ma till HS

Alt 4 N och M ihop

Uppsala universitet 59 800 55 500 54 200 53 400 54 100

Lunds universitet 76 200 73 600 73 400 75 800 73 200

Göteborgs universitet 52 200 49 600 49 100 51 800 49 300

Stockholms universitet 42 000 37 800 37 200 35 800 36 700

Umeå universitet 34 500 32 200 32 200 30 900 32 200

Linköpings universitet 26 600 27 000 27 500 27 500 27 700

Karolinska institutet 71 500 83 000 86 900 80 600 88 100

Kungl. Tekniska högskolan 35 600 39 700 39 700 40 400 39 800

Chalmers tekniska högskola 30 200 35 300 35 200 36 600 35 200

Luleå tekniska universitet 13 400 14 100 14 200 15 600 14 200

Sveriges lantbruksuniversitet 35 800 35 300 32 600 33 500 31 500

Karlstads universitet 4 900 4 600 4 600 4 600 4 600

Mittuniversitetet 6 000 4 700 4 800 5 000 4 900

Linnéuniversitet 5 100 4 400 4 300 4 600 4 400

Örebro universitet 6 300 5 200 5 400 5 000 5 400

Blekinge tekniska högskola 1 800 2 000 2 000 2 500 2 000

Högskolan i Jönköping 6 400 4 700 4 900 4 600 5 000

Malmö högskola 2 600 3 400 3 200 3 300 3 300

Mälardalens högskola 3 600 4 200 4 600 4 500 4 600

Gymnastik- och idrottshögskolan 300 400 400 300 400

Högskolan I Borås 1 600 1 300 1 400 1 400 1 400

Högskolan Dalarna 1 900 1 700 1 600 1 600 1 600

Högskolan på Gotland 600 500 400 400 400

Högskolan I Gävle 1 300 1 300 1 300 1 300 1 300

Högskolan I Halmstad 1 800 1 600 1 600 1 700 1 600

Högskolan Kristianstad 600 500 500 500 500

Högskolan I Skövde 1 300 1 300 1 300 1 300 1 300

Högskolan Väst 1 600 1 400 1 400 1 600 1 400

Södertörns högskola 2 400 2 100 2 100 2 000 2 100

Summa 527 900 528 400 528 000 528 100 528 200

Bilaga 1. Viktfaktorer - externa medel Ds 2011:

154

En lärosätesprofil kan beräknas utgående från medelstilldelningen i BP 2008, dvs. det senaste året den var uppdelad på vetenskapsområden och de nuvarande vikterna. De olika vetenskapsområdenas anslag för ett lärosäte, multipliceras med respektive viktfaktor och summeras. Kvoten mellan denna summa och summan av de oviktade anslagen ger lärosätesprofilen. Denna profil spänner mellan 1,85 för Högskolan i Jönköping och 1,0 för Chalmers tekniska högskola.

Med SCB-viktfaktorerna minskar skillnaden mellan lärosätena. I alternativ 1, som är det mest rättvisande, får Gymnastik- och idrottshögskolan högst faktor med 2,30 och Blekinge tekniska högskola lägst med 1,64. Normeras de nya vikterna m.a.p. Blekinge tekniska högskola, som har den lägsta faktorn, erhålls tabellen på nästa sida.

155

Lärosäten Nuvarande vikter SCB-vikter

Uppsala universitet 1,47 1,19

Lunds universitet 1,36 1,14

Göteborgs universitet 1,42 1,17

Stockholms universitet 1,57 1,23

Umeå universitet 1,43 1,16

Linköpings universitet 1,23 1,08

Karolinska institutet 1,04 1,05

Kungl. Tekniska Högskolan 1,04 1,00

Chalmers tekniska högskola 1,00 1,02

Luleå tekniska universitet 1,14 1,04

Sveriges lantbruksuniversitet 1,46 1,25

Karlstads universitet 1,42 1,16

Mittuniversitetet 1,66 1,14

Linnéuniversitetet 1,58 1,18

Örebro universitet 1,63 1,19

Blekinge tekniska högskola 1,03 1,00

Högskolan i Jönköping 1,85 1,18

Malmö högskola 1,05 1,21

Mälardalens högskola 1,04 1,04

Gymnastik- och idrottshögskolan 1,10 1,40

Högskolan i Borås 1,58 1,12

Högskolan Dalarna 1,53 1,18

Högskolan på Gotland 1,73 1,21

Högskolan i Gävle 1,27 1,12

Högskolan i Halmstad 1,49 1,10

Högskolan Kristianstad 1,73 1,19

Högskolan i Skövde 1,28 1,06

Högskolan Väst 1,49 1,08

Södertörns högskola 1,61 1,22

157

Bilaga 2. Sjukhus och forskningsinstitut

Beräkning av publikationer och citeringar för sjukhus och forskningsinstitut

Sjukhus

I den nuvarande modellen ingår inte publikationer från universitetssjukhus, men har både lärosätet och sjukhuset angivits som adress medräknas publikationen. I Sverige har andelen publikationer47 från universitetssjukhusen sjunkit under det senaste decenniet. Under perioden 2001 – 2007 var andelen ca 30 procent för Lund, Göteborg och KI, medan andelen för Uppsala, Umeå och Linköping var ca 20 procent. Perioden 2008 – 2010 hade andelen sjunkit till omkring 20 procent för den första gruppen och omkring 15 procent för den senare.

Denna andel kan påverkas av förflyttning av forskningsaktivitet beroende på olika omkostnadstillägg, lokala beslut från institutionsledning var en publikation ska ha sin hemvist pga av lokal policy och effekt på lokal resurstilldelning, men även av förändrade publikationsbeteenden beroende på det nationella systemet för resurstilldelning. Forskarna finns i en 47 Räknat som antal fraktionerade artiklar.

Bilaga 2. Sjukhus och forskningsinstitut Ds 2011:

158

blandad miljö där utrustning och lokaler samutnyttjas oavsett varifrån finansieringen kommer inte minst pga kombinationstjänsterna. Enligt ALF-avtalet bidrar staten med ca 1,5 Mkr till forskning varje år, men även landstingen bidrar med ungefär lika mycket. Huruvida en publikation finansierats av stat eller landsting är ibland svårt att avgöra. Det nationella resurstilldelningssystemet gör att universiteten gärna vill att forskarna publicerar i universitets namn. Samtidigt önskar landstingen att respektive sjukhus anges som adress.

Den nuvarande modellen för fördelning av lärosätenas basresurser syftar enbart till att omfördela befintliga medel och fördela nytillskott mellan lärosätena. ALF-medel ingår därför inte i indikatorn för externa medel.

Genom att i fördelningsmodellen för lärosätena, som hittills, räkna de publikationer där någon författare uppgivit lärosätesaffiliering, bör landstingen å sin sida kunna göra likadant för sjukhusaffiliering. Därmed kan både stat och landsting klara sin aktivitetsbaserade resurstilldelning, utan att behöva driva på för någon bestämd affiliering annat än i marknadsföringssyfte.

Forskningsinstitut

Den nuvarande modellen inkluderar inte heller publikationer från industriforskningsinstitut. Dessa uppgår till ca 25 procent av sjukhuspublikationerna som i sin tur utgör ca 15 procent av lärosätespublikationerna. Skillnaden mellan att inkludera publikationer från forskningsinstitut eller inte är därför mindre jämfört med sjukhuspublikationerna.

Vi har uppdragit åt prof Ulf Sandström att i den s.k. Waringmodellen inkludera publikationer från sjukhus och forskningsinstitut för att kunna se vilken skillnad detta gör mot tidigare. I första tabellen har sjukhus och forskningsinstitut fördelats på lärosätena dels efter geografisk närhet och dels efter samförfattarskap. I flera fall är det svårt att avgöra till vilket

Ds 2011: Bilaga 2. Sjukhus och forskningsinstitut

159

lärosäte sjukhuset eller institutet ska föras. Exempelvis har FOI, IRF, SMHI, VTI, IVL och ACREO m.fl. utelämnats, svarande mot ca en tredjedel av publikationerna från instituten.

Avsikten här är att på ett ungefär belysa hur stor skillnaden blir mellan att inkludera publikationer från sjukhus och institut. Skulle däremot underlaget användas för medelsfördelning krävs en större omsorg vid fördelningen av sjukhus och institut på lärosäten. Istället för att enbart följa närhetsprincipen bör i första hand graden av samförfattarskap fastläggas. Det kan innebära att delar av publikationsvolymen tillförs olika lärosäten för att göra en så rättvis fördelning som möjligt.

I andra tabellen visas hur omfördelningen i BP2012 blir om publikationer från sjukhus respektive sjukhus och institut inkluderas. Som väntat gynnas mest de lärosäten som kopplats ihop med sjukhus, medan de lärosäten som kopplats ihop med institut gynnas i mindre utsträckning. Om de utelämnade instituten hade inkluderats skulle de tekniska lärosätena ha gynnats något mer. Skillnaden mellan de tre grupperna av lärosäten är dock ganska liten.

161

Lärosäten FAP Sjukhus FAP Institut FAP LärosäteLärosäte +

sjukhus

Lärosäte + sjukhus +

institut

UPPSALA UNIV 4 899 UPPSALA UNIV HOSP 759 4 899 5 657 5 657

LUND U NIV 5 382 HELSINGBORG HOSP 27

LUN D UNIV HOSP 1 121 5 382 6 530 6 530

GOTHENBURG UNIV 3 893 NORD SCH PUBL HLTH 70

GOTHENBURG UNIV HOSP 746 3 893 4 709 4 709

STOCKHOLM UNIV 3 218 KVA 49

NRM 250 3 218 3 218 3 517

UMEA U NIV 2 366 UMEA UNIV HOSP 288

SKELLEFTEA HOSP 12 2 366 2 666 2 666

LINKOPING UN IV 2 222 LINKOPING UNIV HOSP 329 SKL 49

VRINNEVI HOSP 11 2 222 2 562 2 611

KAROLINSKA I NSITUTET 5 857 KAROLINSKA UNIV HOSP 1 087 SMI 247

ERSTA HOSP 9 5 857 6 953 7 201

ROYAL IN ST TECHNOL 2 845 YKI 24

INNVENTIA 65

SWEREA KIMAB 32

SICS 11 2 845 2 845 2 977

CHALMERS 1 781 IMEGO 5

SP 76

SIK 32

SWEREA IVF 9 1 781 1 781 1 903

LULEA U NIV TECHNOL 593 LULEA HOSP 25 SWEREA SICOMP 11

TRATEK 0 593 618 629

SWEDISH UNIV AGR SCI 1 910 SVA 131

LIVS 40

SKOGFORSK 37

JTI 6 1 910 1 910 2 124

KARLSTAD UNIV 299 KARLSTAD HOSP 21 299 321 321

MID SWEDEN U NIV 316 SUNDSVALL HOSP 37

OSTERSUND HOSP 10 316 362 362

LINNE UNIV 565 VAXJO HOSP 19

KALMAR HOSP 29 565 613 613

OREBRO UNIV 518 OREBRO UN IV HOSP 292 518 810 810

BLEKINGE INST TECHNOL 122 BLEKINGE HOSP 11 122 133 133

JONKOPING UNIV 276 JONKOPING HOSP 11

RYHOV HOSP 47 276 334 334

MALMO UNIV 290 290 290 290

MALARDALEN UNIV 187 VASTERAS HOSP 33

MALAR HOSP 11 187 231 231

SWEDISH SCH SPORT & HLTH SCI 29 29 29 29

BORAS UNI V 134 BORAS HOSP 17 134 151 151

DALARNA UNIV 85 FALUN HOSP 44 85 129 129

GOTLAND UNIV 13 13 13 13

GAVLE UNIV 159 GAVLE HOSP 8 159 168 168

HALMSTAD UNIV 90 HALMSTAD HOSP 28

SPENSHULT HOSP 8 90 126 126

KRISTIANSTAD UN IV 73 KRISTIANSTAD HOSP 15 73 88 88

SKOVDE UNIV 132 SKOVDE HOSP 52 132 184 184

WEST UNIV 48 TROLLHATTAN H OSP 21

UDDEVALLA HOSP 12 48 81 81

SODERTORN UNIV 212 212 212 212

Summa 38 514 5 211 1 074 38 514 43 725 44 798

Tabell 1: Waringvärden (FAP) för perioden 2008–2010 för lärosäten, sjukhus och forskningsinstitut

Tabell 2: Skillnaden mellan utfallet i BP 2012 och sjukhus respektive sjukhus + institut uttryckt i kkr och i andelar av basresursen för år 2011.

Lärosäte Sjukhus Sjukhus +

institut Andel av BP 2011

Uppsala universitet 1 154 -614 0,000

Lunds universitet 5 071 3 193 0,002

Göteborgs universitet 3 652 2 232 0,002

Stockholms universitet -6 362 -3 241 -0,002

Umeå universitet -318 -1 125 -0,001

Linköpings universitet 387 263 0,000

Karolinska institutet 2 771 3 532 0,003

Kungl. Tekniska högskolan -3 713 -3 119 -0,004

Chalmers tekniska högskola -2 238 -1 522 -0,003

Luleå tekniska universitet -586 -621 -0,002

Sveriges lantbruksuniversitet -3 505 -1 310 -0,002

Karlstads universitet -256 -353 -0,002

Mittuniversitetet 53 -74 0,000

Linnéuniversitet -429 -634 -0,002

Örebro universitet 3 303 3 022 0,015

Blekinge tekniska högskola -57 -86 -0,001

Högskolan i Jönköping 332 201 0,003

Malmö högskola -381 -446 -0,004

Mälardalens högskola 171 120 0,002

Gymnastik- och idrottshögskolan -40 -47 -0,003

Högskolan I Borås -17 -68 -0,001

Högskolan Dalarna 456 414 0,008

Högskolan på Gotland -28 -33 -0,002

Högskolan I Gävle -156 -201 -0,003

Högskolan I Halmstad 326 286 0,006

Högskolan Kristianstad 84 52 0,001

Högskolan I Skövde 397 347 0,009

Högskolan Väst 357 331 0,009

Södertörns högskola -428 -500 -0,013

00

163

Bilaga 3: Nationell modell för kollegial granskning

Simulering av en nationell kollegial bedömning

För att få en uppfattning om hur en nationell kollegial bedömning kan gestalta sig utnyttjades några av de egeninitierade utvärderingar som genomförts (kap 3). Bland dessa valdes de från Uppsala universitet (UU), Lunds universitet (LU) och Göteborgs universitet(GU) för att dessa lärosäten har flera fakulteter och därmed speglar en bredd som är önskvärd.

De avgivna omdömena skiljer sig både till antal och till benämning. För LU och GU som använt sex betygssteg har en aggregering gjorts till UU:s fyra. De förra lärosätena önskade egentligen fem steg och införde därför ett sjätte omdöme ”poor”, i vetskap om att ingen bedömare vill sätta det lägsta betyget och fick på så sätt spridning över fem omdömen.

Varje lärosäte har indelat sin forskning i bedömningsenheter, vilket ofta men inte alltid är synonymt med en institution. Vid UU avgav 24 paneler 74 omdömen, vid LU avgav 17 paneler 75 omdömen och vid GU avgav 18 paneler 71 omdömen. Bedömningsenheterna grupperades till fem forskningsområden nämligen humaniora och samhällsvetenskap, medicin, naturvetenskap, teknik och övrigt, en indelning som kan sägas beskriva lärosätets forskningsprofil och som överensstämmer väl med den förutvarande klassificeringen i vetenskapsområden.

Bilaga 3: Nationell modell för kollegiegranskning Ds 2011:

164

För övriga lärosäten har på grundval av SCB:s data om anslag och externa medel, uppdelade på vetenskapsområden först, antal bedömningar beräknats utifrån forskningsmedlen storlek och därefter fördelningen på de fem vetenskapsområdena.

Vidare har, inom varje område, betygen fördelats så att medelbetyget (=betygspoängen dividerad med antal bedömargrupper) för varje lärosäte harmonierar med VR:s crown indicator.

Slutligen har omdömena, good, very good, excellent and outstanding åsatts värden dels efter en linjär skala från 2 till 5 (diagram 1) dels efter HEFCE:s olinjära skala 0, 1, 3, 9 (diagram 2). Diagram 1: Simulering av fördelning av basresurser. Diagrammet visar antal omdömen som fått ett visst betyg och motsvarande poäng i linjär skala.

Simulerad fördelning av kollegial bedömning

0

200

400

600

800

1000

1200

1400

2 3 4 5

Betyg

Ant

al o

mdö

men

Bet yg

Poäng

Ds 2011: Bilaga 3: Nationell modell för kollegiegranskning

165

Diagram 2: Simulering av fördelning av basresurser. Diagrammet visar antal omdömen som fått ett visst betyg och motsvarande poäng i HEFCE:s skala

Simulerad fördelning av kollegial bedömning

0

200

400

600

800

1000

1200

1400

2 3 4 5

Betyg/poäng

Ant

al o

mdö

men

Bet yg

Poäng

Av diagrammen 1 och 2 framgår att det värde som åsätts olika betyg styr medelstilldelning och i HEFCE:s fall mot de högsta omdömena. Jämförs en fördelning grundad på kollegiala bedömningar (diagram 1) med den nuvarande fördelningen (diagram 3) syns stora skillnader. Detta beror på att en kollegial bedömning inte innehåller någon volymkomponent, som återspeglar att ett lärosäte med stora resurser också bedriver mycket forskning. Skillnaden mellan två lärosäten blir liten när antal betygsteg är så pass få, vilket gör metoden olämplig för nationell medelstilldelning.

Bilaga 3: Nationell modell för kollegiegranskning Ds 2011:

166

Diagram 3: Nuvarande fördelning av basresurser. Diagrammet visar antal lärosäten som har en viss andel av de nationella basresurserna.

En känslighetsanalys har utförts genom att sänka ett betygsteg för ett stort lärosäte som Uppsala universitet och för ett mindre lärosäte som Högskolan i Halmstad. För att kunna jämföra med utfallet i BP 2012 har en volymkomponent lagts in i form av antal fraktionerade artiklar per lärosäte. Denna komponent härrör från Vetenskapsrådets årliga redovisning av underlaget till indikatorn för bibliometri.

Analysen visar att inverkan på ett lärosäte med få bedömningsgrupper blir större och i fallet med HEFCE:s skala, får det också betydelse var på skalan betyget ändras. För Uppsala universitet blir förändringen ca tre promille, men för Högskolan i Halmstad ca tre procent. Metoden med kollegial bedömning har uppenbarligen alltför låg precision för att användas vid tilldelning av basresurser.


0

2

4

6

8

10

12

14

16

1 2 3 4 5 6 7 8 9 10 11 12 13

Andel basresurs (%)

Ant

al lä

rosä

ten

Ds 2011: Bilaga 3: Nationell modell för kollegiegranskning

167

Uppsala universitet 22 250 22 180 -0,003 22 250 0,000Lunds universitet 24 060 24 070 0,001 24 060 0,000Göteborgs universitet 15 210 15 220 0,001 15 210 0,000Stockholms universitet 15 720 15 730 0,001 15 720 0,000Umeå universitet 9 590 9 600 0,001 9 600 0,000Linköpings universitet 7 190 7 190 0,001 7 190 0,000Karolinska inst itutet 17 690 17 700 0,001 17 690 0,000Kungl. Tekniska högskolan 9 750 9 750 0,001 9 750 0,000Chalmers tekniska högskola 6 110 6 120 0,001 6 120 0,000Luleå tekniska universitet 1 910 1 910 0,001 1 910 0,000Sveriges lantbruksuniversitet 9 470 9 470 0,001 9 470 0,000Karls tads universitet 920 920 0,001 920 0,000Mittuniversitetet 1 150 1 150 0,001 1 150 0,000Linné/Växjö universitet 1 820 1 820 0,001 1 820 0,000Örebro universitet 1 810 1 810 0,001 1 810 0,000Blekinge tekniska högskola 300 300 0,001 300 0,000Högskolan i Jönköping 1 040 1 040 0,001 1 040 0,000Malmö högskola 600 600 0,001 600 0,000Mälardalens högskola 310 310 0,001 310 0,000Gymnastik- och idrottshögskolan 80 80 0,001 80 0,000Högskolan i Borås 440 440 0,001 440 0,000Högskolan Dalarna 290 290 0,001 290 0,000Högskolan på Gotland 50 50 0,001 50 0,000Högskolan i Gävle 340 340 0,001 340 0,000Högskolan i Halmstad 310 310 0,001 300 -0,038Högskolan Krist ianstad 280 280 0,001 280 0,000Högskolan i Skövde 360 370 0,001 360 0,000Högskolan Väst 130 130 0,001 130 0,000Södertörns högskola 510 510 0,001 510 0,000Summa 149 690 149 690 149 700

Differens Halmstad

Kollegial bedömning

Sänkning Halmstad

Sänkning Uppsala

DifferensUppsalaLärosäte

Tabell 1: Tilldelning av bibliometridelen för de nya medlen om 300 Mkr i BP 2012. I differenskolumnerna visas hur stor andel sänkningen av ett betygsteg utgör av den kollegiala bedömningen.

Grade-ring Antal Poäng Antal Poäng Antal Poäng Antal Poäng Antal Poäng

Summa antal

omdömenoutstanding (5) 5 4 20 3 15 3 15 2 10 0 12

excellent (4) 4 18 72 8 32 7 28 7 28 0 40 very good (3) 3 11 33 3 9 2 6 3 9 0 19

good (2) 2 2 4 1 2 0 0 0 0 0 3Summa 35 129 15 58 12 49 12 47 0 0 74Andel betygMedelbetyg 3,69 3,87 4,08 3,92 3,82


Summa antal

omdömenoutstanding (5) 5 11 55 1 5 5 25 5 25 0 22


good (2) 2 2 4 0 0 0 1 2 0 3Summa 38 152 7 27 13 55 14 57 0 0 72AndelMedelbetyg 4,00 3,86 4,23 4,07 4,04


Summa antal

omdömenoutstanding (5) 5 4 20 6 30 5 25 0 0 15

excellent (4) 4 9 36 12 48 3 12 0 0 24 very good (3) 3 12 36 7 21 1 3 0 0 20

good (2) 2 2 4 0 0 0 0 2Summa 27 96 25 99 9 40 0 0 0 61AndelMedelbetyg 3,56 3,96 4,44 3,85

Simulering av nationell peer review

HS M N T Ö

ÖHS M N

Ö

Uppsala

Lund

GöteborgHS M N T

T

169


Summa antal

omdömenoutstanding (5) 5 8 40 0 9 45 0 0 17

excellent (4) 4 8 32 0 10 40 0 0 18 very good (3) 3 6 18 0 4 12 0 0 10

good (2) 2 0 0 0 0 0 0Summa 22 90 0 0 23 97 0 0 0 45AndelMedelbetyg 4,09 4,22 4,16


Summa antal


excellent (4) 4 6 24 5 20 5 20 1 4 2 8 19 very good (3) 3 3 9 3 9 3 9 1 3 2 6 12

good (2) 2 1 2 2 4 2 4 0 0 5Summa 13 50 11 38 11 38 2 7 4 14 41AndelMedelbetyg 3,85 3,45 3,45 3,50 3,50 3,59


Summa antal


excellent (4) 4 1 4 2 8 0 5 20 0 8 very good (3) 3 4 12 4 12 2 6 5 15 1 3 16


LinköpingHS M N

T Ö

T Ö

T Ö

UmeåHS M N

StockholmHS M N

170


Summa antal

omdömenoutstanding (5) 5 0 29 145 0 0 0 29

excellent (4) 4 0 43 172 0 0 0 43 very good (3) 3 0 15 45 0 0 0 15

good (2) 2 0 5 10 0 0 0 5Summa 0 0 92 372 0 0 0 0 0 0 92AndelMedelbetyg 4,04 4,04


Summa antal


excellent (4) 4 0 0 0 18 72 0 18 very good (3) 3 0 0 0 17 51 0 17

good (2) 2 0 0 0 3 6 0 3Summa 0 0 0 0 0 0 43 154 0 0 43AndelMedelbetyg 3,58 3,58


Summa antal


excellent (4) 4 0 0 0 18 72 0 18

very good (3) 3 0 0 0 16 48 0 16 good (2) 2 0 0 0 1 2 0 1

Summa 0 0 0 0 0 0 41 152 0 0 41AndelMedelbetyg 3,71 3,71

T Ö

T ÖCTH

HS M N

KTHHS M N

T ÖKarolinska

HS M N

171


Summa antal


excellent (4) 4 1 4 0 0 7 28 2 8 10 very good (3) 3 2 6 1 3 0 11 33 2 6 16

good (2) 2 0 0 0 3 6 1 2 4Summa 3 10 1 3 0 0 22 72 5 16 31AndelMedelbetyg 3,33 3,00 3,27 3,20 3,26


Summa antal


excellent (4) 4 1 4 3 12 11 44 1 4 0 16 very good (3) 3 2 6 2 6 6 18 0 0 10



Summa antal


excellent (4) 4 1 4 0 0 0 0 1 very good (3) 3 15 45 2 6 3 9 3 9 1 3 24


T ÖM N

T Ö

LuleåHS

SLUHS

M N T Ö

KarlstadHS M N

172


Summa antal

omdömenoutstanding (5) 5 0 0 0 0 0 0

excellent (4) 4 1 4 0 0 0 0 1 very good (3) 3 10 30 3 9 4 12 9 27 0 26

good (2) 2 2 4 1 2 2 4 0 0 5Summa 13 38 4 11 6 16 9 27 0 0 32AndelMedelbetyg 2,92 2,75 2,67 3,00 2,88


Summa antal


excellent (4) 4 4 16 0 2 8 0 0 6 very good (3) 3 12 36 2 6 6 18 3 9 0 23

good (2) 2 2 4 1 2 2 4 1 2 0 6Summa 18 56 3 8 10 30 4 11 0 0 35AndelMedelbetyg 3,11 2,67 3,00 2,75 3,00


Summa antal


excellent (4) 4 6 24 3 12 1 4 3 12 0 13

very good (3) 3 13 39 2 6 2 6 1 3 0 18 good (2) 2 1 2 1 2 0 0 0 2

Summa 22 75 6 20 3 10 4 15 0 0 35AndelMedelbetyg 3,41 3,33 3,33 3,75 3,43

M N

MittunivHS M N T Ö

T Ö

T Ö

LinnéunivHS

Örebro univHS M N

173


Summa antal


excellent (4) 4 1 4 0 0 3 12 0 4 very good (3) 3 1 3 2 6 0 9 27 0 12

good (2) 2 1 2 0 0 1 2 0 2Summa 3 9 2 6 0 0 13 41 0 0 18AndelMedelbetyg 3,00 3,00 3,15 3,11


Summa antal





Summa antal


excellent (4) 4 1 4 2 8 0 0 0 3 very good (3) 3 7 21 3 9 1 3 1 3 1 3 13


BlekingeHS M N

T Ö

JönköpingHS M N

T Ö

T Ö

MalmöHS M N


Summa antal


excellent (4) 4 0 0 0 0 0 0 very good (3) 3 4 12 2 6 1 3 0 1 3 8

good (2) 2 2 4 1 2 0 1 2 1 2 5Summa 6 16 3 8 1 3 1 2 2 5 13AndelMedelbetyg 2,67 2,67 3,00 2,00 2,50 2,62


Summa antal


excellent (4) 4 0 1 4 0 0 0 1 very good (3) 3 0 2 6 0 1 3 0 3

good (2) 2 0 1 2 0 0 0 1Summa 0 0 4 12 0 0 1 3 0 0 5AndelMedelbetyg 3,00 3,00 3,00


Summa antal


excellent (4) 4 2 8 0 0 0 0 2 very good (3) 3 3 9 1 3 0 2 6 0 6

good (2) 2 1 2 1 2 0 1 2 0 3Summa 6 19 2 5 0 0 3 8 0 0 11AndelMedelbetyg 3,17 2,50 2,67 2,91

T Ö

BoråsHS M N T Ö

GIHHS M N

T ÖMälardalen

HS M N

175


Summa antal





Summa antal


excellent (4) 4 0 0 0 0 0 0 very good (3) 3 2 6 0 0 0 2 6 4

good (2) 2 2 4 0 0 0 0 2Summa 4 10 0 0 0 0 0 0 2 6 6AndelMedelbetyg 2,50 3,00 2,67


Summa antal


excellent (4) 4 0 0 0 1 4 0 1

very good (3) 3 2 6 2 6 0 2 6 0 6 good (2) 2 1 2 1 2 0 1 2 0 3

Summa 3 8 3 8 0 0 4 12 0 0 10AndelMedelbetyg 2,67 2,67 3,00 2,80

GävleHS M N

T Ö

T Ö

T Ö

GotlandHS M N

DalarnaHS M N

176


Summa antal


excellent (4) 4 0 0 0 0 0 0 0 very good (3) 3 2 6 0 1 3 4 12 0 7



Summa antal



good (2) 2 1 2 0 0 0 0 1Summa 6 18 2 6 1 4 1 3 0 0 10AndelMedelbetyg 3,00 3,00 4,00 3,00 3,10


Summa antal


excellent (4) 4 1 4 0 0 2 8 0 3

very good (3) 3 1 3 0 0 4 12 0 5 good (2) 2 1 2 0 0 1 2 0 2

Summa 3 9 0 0 0 0 7 22 0 0 10AndelMedelbetyg 3,00 3,14 3,10

T Ö

T ÖSkövde

HS M N

KristianstadHS M N

T ÖHalmstad

HS M N

177


Summa antal


excellent (4) 4 1 4 0 0 1 4 0 2 very good (3) 3 1 3 1 3 0 1 3 0 3



Summa antal


excellent (4) 4 3 12 0 2 8 0 0 5 very good (3) 3 9 27 0 4 12 0 0 13

good (2) 2 3 6 0 2 4 0 0 5Summa 16 50 0 0 9 29 0 0 0 0 25AndelMedelbetyg 3,13 3,22 3,16


Summa antal

omdömenoutstanding (5) 5 37 185 42 210 34 170 21 105 0 0 134

excellent (4) 4 93 372 85 340 48 192 77 308 6 24 309 very good (3) 3 136 408 64 192 42 126 99 297 11 33 352

good (2) 2 37 74 18 36 10 20 23 46 3 6 91Summa 303 1039 209 778 134 508 220 756 20 63 886AndelMedelbetyg 3,43 3,72 3,79 3,44 3,15 3,55

T ÖTotal

HS M N

T Ö

VästHS

SödertörnHS M N

M N T Ö

178

Bilaga 4: Indikatorer - översikt

Klassificering och bedömning av indikatorer enligt en rapport från OECD48 OECD har delat in ett antal indikatorer för prestationsbaserad resurstilldelning i tre kategorier och bedömt deras för- och nackdelar. Indelningen bygger främst på publikationer av Cave m.fl49, Hansen och Jörgensen50, Dolan51 Hansen52 och EU-kommissionen53.

Kategori 1

Dessa indikatorer kan delas in i fem grupper • Input • Process • Struktur • Resultat, som i sin tur delas in i output och effekt

48 Performance-based Funding for Public Research in Tertiary Education Institutions. Workshop Proceedings OECD (2010). 49 Cave, M, S. Hanney and M. Kogang: The Use of Performance Indicators in Higher Education, London: Higher EducationPolicy Series 3, 1991. 50 Hansen, H.F. and B.H. Jørgensen: Kan forskningsindikatorer användas? Samfundslitteratur, Copenhagen 1995. 51 Dolan, C: The Evaluation and Benchmarking of Humanities Research in Europe, HERA D4.2.1, Arts and Humanities Research Council, UK, 2007. 52 Hansen, H.F.: Research Evaluation; Methods, Practice and Experience, Danish Agency for Science, Technology and Innovation, Copenhagen, 2009. 53 Assessing Europé’s University-Based Research, Brussels 2010.

Ds 2011: Bilaga 4: Indikatorer - översikt

179

Input-indikatorer

1.1 Externfinansiering

Fördelar: Graden av externfinansiering mäter förmågan att attrahera externt kapital och givet att detta skett efter kollegiegranskaning mäter denna indikator också någon sorts kvalitet.

Detta mått brukar anges som summan men bör/kan istället/också uttryckas i förhållande till antal heltidsforskare. Vidare kan en delmängd som uppfyller vissa villkor väljas t.ex. endast kollegiegranskade bidrag. Vidare kan kvoten nationella/internationella källor eller kvoten mellan offentliga (råd, myndigheter, SKL…) och privata (industri, stiftelser…) källor beräknas. Nackdelar: Konkurrens är inte ekvivalent med kvalitet, utan rykte, nätverk etc påverkar också. Vidare har vissa vetenskapsområden, som humaniora, viss samhällsvetenskap och konstnärlig forskning betydligt svårare än t.ex. medicin att attrahera externa medel.

1.2 Rekrytering av forskarstuderande och personal

Sådana indikatorer mäter förmågan att attrahera humankapital och konkurrenskraften på arbetsmarknaden. Vidare hur sökande bedömer attraktionskraften hos forskningsmiljön t.ex. valda inriktningar. Man kan mäta antalet eller andelen högkvalificerade sökanden och/eller internationella kandidater. Fördelar: Lätt att inom lärosätet samla sådan statistik.

Bilaga 4: Indikatorer - översikt Ds 2011:

180

Nackdelar: Detta mått påverkas av andra faktorer som boendemiljö, sociala skyddsnät, rykte etc. Vidare konkurrerar inte institutioner enbart med varandra, utan även med alternativa karriärvägar.

2 Processindikatorer(yttre och inre)

2.1 Seminarier och konferenser

Deltagande i eller arrangerandet av konferenser och seminarier kan spegla forskningsintensiteten. Fördelar: Lätt att samla sådan statistik på institutionsnivå. Nackdelar: Kan vara svårt att få in samlad statistik för lärosätet. Det kan också spegla forskningsturism.

2.2 Inbjuden talare

Antalet inbjudningar till nationella eller internationella konferenser kan spegla statusen i forskarsamhället. Fördelar: Lätt att samla sådan statistik på institutionsnivå. Nackdelar: Det kan också spegla nätverk snarare än kvalitet. Dessutom svårt att jämföra mellan discipliner och mellan konferenser.


181

2.3 Utländska gästforskare

Antalet gästforskare kan spegla institutionens status i forskarsamhället eller tillgång på resurser. Fördelar: Lätt att samla sådan statistik på ett lärosäte Nackdelar: Det kan också spegla nätverk snarare än kvalitet. Dessutom svårt att jämföra mellan discipliner och mellan konferenser.

3 Strukturindikatorer

3.1 Antal aktiva forskare

Mäter forskningskapaciteten och kan förfinas med heltidsekvivalenter och olika nivåer. Fördelar: Ger ett enkelt mått på kapaciteten per forskare Nackdelar: Kan vara svårt att veta vilka personer som ska medräknas.

3.2 Antal forskarstuderande

Mäter också forskningskapacitet och kan t.ex. anges som antal per heltidsforskare. Fördelar: Bra miljöer lockar duktiga studenter.


182

Nackdelar: Olika discipliner prioriterar forskarstuderande olika och det kan vara svårt att jämföra olika ämnen, om kraven på att medverka vid institutionens undervisning varierar.

Handledningstiden kan också variera och därmed möjligheten att ta emot forskarstuderande.

3.3 Samarbeten

Kan mäta forskningsaktivitet och engagemang nationellt, internationellt och interdisciplinärt t.ex. genom antal sampublicerade artiklar. Fördelar: Lätt tillgänglig statistik på t.ex. WoS. Nackdelar: Publiceringskulturen beroende på disciplin och samarbetet kan både vara inom akademin och mellan akademi och industri.

3.4 Rykte och uppskattning

Editor, redaktörsråd anses vara meriterande i forskarsamhället. Fördelar: Kan vara svårt med tillförlitlig statistik Nackdelar: Svårt jämföra discipliner och kan spegla nätverk.

3.5 Infrastruktur

Fördelar: Mätas kan laboratorier, bibliotek, datorkapacitet, stödpersonal, arbetsförhållanden etc.


183

Nackdelar: Svårt jämföra ”äpplen och päron”

4 Output-indikatorer

4.1 Publikationer

Mäter aktiviteten och produktiviteten och kan väljas bland högt rankade tidskrifter samt per heltidsekvivalent. Fördelar: För naturvetenskap och medicin finns bra täckning i olika databaser. Nackdelar: Inom humaniora och samhällsvetenskap kan i de flesta länder enbart andelen internationella publikationer mätas. Olika publiceringskulturer tidskrifter, böcker, konferensrapporter svåra att värdera och väga samman. Synen på högt rankad kan variera. Konstnärlig forskning kräver egen databas.

4.2 Andra uttrycksformer

Konstnärlig forskning kräver andra uttrycksformer, som konstverk, musikstycken, framträdanden etc Fördelar: Synliggör forskning som annars inte uppmärksammas. Nackdelar: Mycket svårmätt, men databaser och nättidskrifter är på gång


184

4.3 Forskarexamina

Fördelar: Mäter aktiviteten och effektiviteten om antalet examina och andelen som är färdiga i tid mäts. Nackdelar: Beror också på ambitionen för rekrytering, arbetsmarknaden och disciplinen.

4.4 Utåtriktade aktiviteter Fördelar: Mediala kontakter, tredje uppgiften mm speglar synlighet. Nackdelar: Svårt att mäta kopplingen till forskningskvalitet. Beror även på områdets samhällsintresse, vilket kan variera över tid.

5 Effektindikatorer

5.1 Citeringar

Fördelar: Lätt mätbar och speglar synligheten i vetenskapssamhället. Nackdelar: Inte ekvivalent med kvalitet, utan speglar snarare kommunikationssätt och nätverk. Samhällsvetenskap och humaniora samt konstnärlig forskning täcks dåligt.


185

5.2 Medaljer och priser

Fördelar: Mäter kvalitet och synlighet/uppskattning. Nackdelar: Svårt att jämföra priser både inom och mellan discipliner.

5.3 Anställningsbarhet för disputerade

Fördelar: Indikerar kvalitet på forskarutbildningen via omvärldens intresse för att anställa och belåtenhet med att ha anställt de som disputerat. Nackdelar: Beror på disciplin, region och konjunktur. HSV redovisar etableringen på arbetsmarknaden enbart inom Sverige.

5.4 Kunskapsöverföring och kommersialisering av forskningsgenererad IPR

Fördelar: Inkomster från patent, licenser, start-ups etc indikerar förmågan att nyttiggöra forskningen. Nackdelar: Antalet patent speglar inte nödvändigtvis kommersialiserbarhet och varierar mellan länder och discipliner. Svårt knyta patent till lärosätet när lärarundantag finns.

5.5 Uppskattning från slutanvändare

Fördelar: Beställda rapporter, konsultverksamhet och externa forskningskontrakt visar på omvärldens intresse. Externa medel både som absolutmått och relativmått indikerar förväntning om innovation.


186

Nackdelar: Vissa forskningsområden har svårt att få extern uppmärksamhet, både vad avser resultat och finansiering.

Kategori 2

Citeringsanalys är omständlig, vilket gör det lockande att utifrån databaserna finna enklare mått. Enkelheten har nackdelar och dessa indikatorer måste användas med försiktighet och förstånd.

1. Journal Impact Factor (JIF) anger medelvärdet av de citeringar som en artikel erhållit under en given tidsperiod. En tidskrift med hög JIF anses vara högt rankad.

Fördelar: Finns att hämta i de internationella databaserna och uppdateras varje år. Den speglar också synligheten bättre än citeringar första åren efter publicering. Nackdelar: Det finns artiklar i vissa tidskrifter med få citeringar, varför slutsatser om en forskare eller forskargrupp grundade på JIF kan leda fel.

2. En forskares h-index är n om vederbörande har skrivit minst n verk som vardera har citerats minst n gånger.

Fördelar: Enkelt, man kan själv lätt räkna ut det, robust, dvs inte särskilt känsligt för "slumpvariationer", felräkningar etc och tar hänsyn både till kvantitet (antal verk) och kvalitet (antal citeringar). Nackdelar: Är starkt ämnesberoende. Det kan inte användas för att jämföra forskare inom olika områden. Bäst fungerar det inom medicin, biovetenskap, fysik och kemi. Kräver lång tidsperiod gärna mer än 10 år.


187

Kategori 3

Kollegial bedömning (peer review) kan indelas i tre typer; klassisk, modifierad och informerad.

1. Klassisk kollegial bedömning innebär att områdesexperter granskar och värderar artiklar, böcker och avhandlingar, samt den forskande personalens kvalifikationer. Den används också av forskningsråd.

Fördelar: Högt anseende och kan användas både för enskild forskare och för en forskargrupp. Nackdelar: Olika bedömare har olika åsikter och man talar om ”luck of the reviewer draw”(kap 3). Risk finns också för Matteuseffekten, men också att vissa grupper kan missgynnas, eftersom bedömare tenderar att värdera upp sitt eget område (kap 3).

2. Modifierad kollegial bedömning har fokus på utvärdering av forskningens kvalitet hos en större forskargrupp eller forskningsorganisation. Den använder paneler som sammantaget besitter den nödvändiga expertisen. Underlaget kan omfatta utvalda artiklar, artikellista, statistik, årsrapporter och självutvärdering.

3. Informerad kollegial bedömning kallas det när modifierad kollegial bedömning kompletteras med indikatorer från övriga kategorier.

189

Bilaga 5: Samverkan - rapporter

Nationella rapporter

1. SISTER presenterade 2001 rapporten Kan samverkan mätas? Om indikatorer för bedömning av KK-stiftelsens satsningar. 2. I Resursutredningen RUT2 (SOU 2007:81) finns ett förslag från Vetenskap & Allmänhet (V&A) på samverkansindikatorer och parametrar kombinerade med viktfaktorer. Förslaget innebär att på lärosätesnivå införa fyra indikatorer, • samverkan med samhälle/allmänheten, • Samverkan med näringsliv/avnämare • Samverkan med skolan • Intäkter Var och en består av några olika parametrar. Skälet till att dela upp indikatorerna är att åstadkomma ett system där en mångfald i samverkansaktiviteter belönas, och undvika styrning mot ensidig koncentration på till exempel kommersialisering. Tanken är att varje parameter ger poäng, viktad enligt tydliga principer. Sedan adderas poängen till en sammanlagd poäng för var och en av de fyra indikatorerna. Inom var och en av de fyra indikatorerna får således lärosätet en poängsumma.

Bilaga 5: Samverkan - rapporter Ds 2011:

190

3. Högskoleverket har presenterat flera rapporter: Högskolan samverkar (Högskoleverkets rapportserie 2004:38 R), Högskolan samverkar vidare - Utvecklingen 2004–07. (Högskoleverkets rapportserie 2008:10 R) samt Samverkan mätt med kvantitativa mått – en kartläggning (2010).

Samverkansarbetet beskrivs med tre komponenter • Samverkan för demokratiutveckling, dvs. lärosätenas arbete med forskningskommunikation för folkbildning. • Samverkan för kunskapsutveckling och tillväxt, dvs. lärosätenas medverkan i kunskaps- och innovationssystemet. • Samverkan för bättre utbildning, dvs. lärosätenas dialog med det omgivande samhället kring utbildningarnas innehåll och dimensionering samt studenternas omvärldskontakter i utbildningen. 4. Clas Wahlbin och Caroline Wigren (2007), presenterade Samverkan i det akademiska vardagslivet. En undersökning av svenska forskare och lärares deltagande i och inställning till samverkan med det omgivande samhället. Nuteks rapportserie. 5. År 2007 publicerade Närings- och teknikutvecklingsverket (nuvarande Tillväxtverket) en undersökning om lärares och forskares deltagande i och inställning till samverkan. Fyra grupper särskiljdes • Värde för lärosätet och personligt engagemang; • stöd till och karriärvärde för individen; • möjligheter till samverkan i omgivningen; • möjligheterna för individen att kommunicera sin forskning och kunskap. Utgående från undersökningens resultat diskuterades ett antal möjligheter att utveckla samverkan.

Ds 2011: Bilaga 5: Samverkan - rapporter

191

6. Vinnova presenterade 2011 Metoder och uppföljningverktyg för kunskapstriangeln54 som svar på ett regeringsuppdrag och framhåller där att universitet och högskolor behöver kunna avdela egna basresurser för sådan samverkan. 7. SUHF förordar i Triangelns olika sidor55 enkelhet och ser inte ett omedelbart behov av fler nationella indikatorer än de som redan används vid tilldelning av resurser. Istället ger resultatuppföljning genom utvärdering (peer-review) helt andra incitament till utveckling än när arbetet styrs under gång.

Internationella rapporter

8. Högskoleverket presenterade 2008 också rapporten Uppföljning av samverkansuppgiften i andra länder. (Internationell utblick nr 2008/02). 9. Inom den Europeiska unionen (EU) pågår ett arbete med att samordna och förbättra samstämmigheten mellan olika uppföljningar. Dessa avser kunskapsöverföring mellan offentliga forskningsorganisationer, t.ex. universitet och högskolor, och det omgivande samhället. Som ett led i detta har en expertgrupp gått igenom undersökningar som görs i Europa och USA bl.a. av AUTM och har utifrån denna genomgång tagit fram de sju vanligast förekommande måtten. Dessa kallas för kärnindikatorer. • Tre input-indikatorer för tänkbar kommersialisering av forskningen, nämligen själva upptäckten/uppfinningen, patentansökningar och patent

54 http://www.vinnova.se/sv/misc/menyer-och-funktioner/Sok-vinnova/?q=kunskapstriangeln&defst=True&defl=5&defff=0&defa=0&uaid=C5D2AF615E41D8B89C7AD5183D72181E:36322E39352E36392E323231:5246136157845202904 55 http://www.suhf.se/web/K3slutrapport.aspx

Bilaga 5: Samverkan - rapporter Ds 2011:

192

• Tre output-indikatorer för om upptäckten/uppfinningen kommit till användning, nämligen licenser, spin-off:s och licensintäkter. • En indikator för antal forskningskontrakt mellan universitet och organisationer och företag. Här räknas inte traditionella forskningsfinansiärer, eftersom de inte använder sig av resultaten. 10. I rapporten ERA Indicators and Monitoring56 (EUR 24171 EN) publicerades indikatorer och styrparametrar för Europeiska forskningsområdet (European Research Area, ERA). En del av ERA utgörs av den så kallade kunskapstriangeln, dvs. samverkan mellan forskning, innovation och utbildning. Några av dessa är tillämpliga på lärosätesnivå. • Andelen disputerade inom matematik, fysik och life science (ej hälsa och sjukvård), som återfinns inom privata sektorn • Andelen innovativa företag som samarbetar med offentliga forskningsutförare, typ lärosäten, institut, sjukhus. • Andelen vetenskapliga artiklar som har referenser till europeiska patentverket (EPO). 11. I Norge finns två rapporter Forskningsbarometeret 201157 och Et åpnere forskningssystem58 som båda innehåller indikatorer som beskriver olika typer av samverkan. Ingen av dessa utnyttjas för medelstilldelning, men har troligen en pådrivande effekt. 12. Den engelska forskningsfinansiären The Higher Education Funding Council for England (HEFCE) har sedan 2001 varje år publicerat en översikt av universitetens inkomster och utåtriktad verksamhet the Higher Education Business and Community Interaction Survey. Data hänför sig till de två 56 http://ec.europa.eu/research/era/pdf/era_indicators&monitoring.pdf 57 http://www.regjeringen.no/nb/dep/kd/kampanjer/forskningsbarometeret.html 58 http://www.regjeringen.no/nb/dep/kd/dok/nouer/2011/nou-2011-6.html?id=641690

Ds 2011: Bilaga 5: Samverkan - rapporter

193

föregående åren. Den nionde översikten avser 2008-09 och publicerades 2010. (Libraryhouse (2009), Metrics for the Evaluation of Knowledge Transfer Activities at Universities)

195

Bilaga 6: Rapport - Vetenskap & Allmänhet

SAMVERKAN

Internationell översikt, analys och förslag till samverkansindikatorer

Public engagement International review, analysis and proposals on indicators for measuring public engagement Rapport från Vetenskap & Allmänhet till Anders Flodströms utredningsuppdrag ”Utvärdering av forskningskvalitet som en grund för tilldelning av resurser till universitet och högskolor” This paper is submitted as a contribution to Anders Flodström’s commissioned report about “ The assessment of research quality as a basis for allocation of governmental resources to universities and university colleges”

Bilaga 6: Rapport - Vetenskap & Allmänhet Ds 2011:

196

Sammanfattning

Högskolelagens 2§ är tydlig: ”I högskolornas uppgift ska ingå att samverka med det omgivande samhället och informera om sin verksamhet samt verka för att forskningsresultat tillkomna vid högskolan kommer till nytta.” Likväl har samverkan med det omgivande samhället fortfarande låg prioritet och integreras inte tillräckligt i högskolornas kärnverksamheter utbildning och forskning. En orsak är att samverkan ofta ses som frivillig och något som är bra att göra om det finns tid över. Forskare behöver incitament och erkännande för att engagera sig i samverkansuppgiften. En viktig åtgärd vore att inkludera indikatorer för samverkan i systemet för resursfördelning till universitet och högskolor. Genom internationella litteraturstudier och expertintervjuer har vi utarbetat en uppsättning indikatorer för samverkan som skulle kunna användas som grund för resurstilldelning till lärosäten och även för dessas interna resursfördelning. Vi föreslår tre indikatorer: aktiviteter, resurser och intäkter. Resurser och intäkter ger ett övergripande mått på omfattningen av lärosätets engagemang i samverkan. Aktivitetsindikatorn är uppbyggd av aktiviteter på två nivåer. Den lägsta nivån omfattar aktiviteter av informationskaraktär, där forskarna är den mest aktiva parten medan feedback från allmänheten eller specifika samhällsgrupper är begränsad. Nivå 2-aktiviteter handlar om tvåvägskommunikation, kunskapsutbyte och samarbete mellan akademi och samhälle som mer jämbördiga parter. Nivå 2-aktiviteter bör ges en högre vikt än de på nivå 1. Även om budgetförändringar, såväl tillskott som nedskärningar, kan vara ett sätt att stimulera samverkan innebär det en top-down-ansats. Att använda indikatorer medför inte nödvändigtvis att

Ds 2011: Bilaga 6: Rapport - Vetenskap & Allmänhet

197

lärare, forskare och förvaltningar är övertygade om vikten av samverkan. Drivkrafterna för att engagera sig i samverkan kan förbli svaga om en grundläggande positiv kultur och attityd saknas. För att åstadkomma en kulturförändring i riktning mot att samverkan naturligt integreras i forskning och utbildning rekommenderar vi också stimulerande åtgärder av annan karaktär: en gemensam avsiktsförklaring av centrala forskningsaktörer som t ex forskningsfinansiärer och lärosäten, en satsning på lärosäten som är starka förebilder inom samverkansarbetet samt ett samverkanspris.


198

Executive Summary

The Swedish government has clearly stated that it is the duty of a university to collaborate with the surrounding society, to inform people about its research results and to work to ensure that its research is also of use to society. “I högskolornas uppgift ska ingå att samverka med det omgivande samhället och informera om sin verksamhet samt verka för att forskningsresultat tillkomna vid högskolan kommer till nytta.” However, SAMVERKAN with society on scientific issues is given a low priority and is not sufficiently integrated into education and research. One reason for this is that SAMVERKAN is often seen as optional, voluntary, and as something good to do if researchers have time. Researchers need incentives and recognition to be motivated to take part. One important and effective method could be to include indicators on SAMVERKAN for the resource allocation to universities. Based on country studies, expert interviews and a literature review we developed several SAMVERKAN indicators that could be used for resource allocation to universities or within universities. Although rewarding SAMVERKAN activities by budget enlargement or constraints is one way to promote SAMVERKAN it is a rather top-down approach. Applying the indicators does not necessarily mean that the researchers and university administrations are intrinsically convinced of the importance of SAMVERKAN. The incentive for researchers to engage in SAMVERKAN may remain low because a fundamental cultural change is lacking. Therefore bottom-up approaches for promoting public engagement of universities and triggering a cultural standard toward SAMVERKAN are also recommended.


199

1. The need for SAMVERKAN

For many years the scientific community remained an autonomous, self-contained system separate from the rest of society. This situation has changed over recent decades. Dialogue between science and society has become increasingly important for research institutions across Europe and beyond. The European Commission has reinforced the societal dimension of research within its “Science in Society” programme for a number of years. In Sweden the need for science-society interaction has been formalised in University statutes. It is the task of the university to interact with society, to inform society about its research results and so ensure that the work of the university is also of use to society. “I högskolornas uppgift ska ingå att samverka med det omgivande samhället och informera om sin verksamhet samt verka för att forskningsresultat tillkomna vid högskolan kommer till nytta.”59 This change towards more openness within the scientific system is happening because major developments are going on within society.60 On the one hand, modern societies are demanding democratic participation in science as scientific advances increasingly affect people’s lives. New technologies, discoveries and innovations are having a major impact on people’s health, welfare and security but they also give cause for concern in many areas. Citizens take a stance on numerous issues and need knowledge to make informed decisions. Other societal groups including policy makers or industry are also demanding for more 59 Högskolelagen (1992: 1434). 60 European Commission (2009): Challenging Futures of Science in Society, Emerging trends and cutting-edge issues, Report of the MASIS Expert Group.


200

access to scientific results for everyday work or decision-making processes. There is also democratic value in people knowing what their tax money is being spent on and being given the opportunity to express opinion about it. On the other hand, science is looking more and more towards society. The economic value of research is becoming increasingly dependent on the knowledge of societal actors. Involving societal groups in shaping new technologies and products can ensure sustainable innovation and growth. The needs and concerns of the users must be taken into consideration when developing new technologies. Identifying public interest and public concerns is increasingly important in order to detect the boundaries for science. VA studies61 have shown that different societal groups such as businesspeople, politicians, journalists and teachers are interested in research and want to have more contact with researchers. They believe that including research results are essential for their work. For instance, more than two thirds of business managers think that research findings are important for their enterprise and can increase its competiveness. However, VA studies also reveal that research findings are very often not included in everyday work or in decision-making processes. Only a minority of surveyed politicians think that political proposals are often or very often based on research results from different sciences. The majority of the politicians state that they only use research results occasionally. Moreover, the latest VA studies reveal that people’s trust and confidence in researchers has been declining over the last years.62 61 VA Report (2004): Lärares syn på Vetenskap, Vetenskap & Allmänhet, VA-rapport 2004:4, VA Report (2005): Journalisters syn på Vetenskap, Vetenskap & Allmänhet, VA-rapport 2005:6, VA Report (2006): Politikers syn på Vetenskap, Vetenskap & Allmänhet, VA-rapport 2006:2, VA Report (2008): Kunskapssynen i Näringslivet, Vetenskap & Allmänhet, VA-rapport 2008:4. 62 VA Report (2010): VA-Barometer 2010/2011, Vetenskap & Allmänhet, VA-rapport


201

People think that researchers communicate too little with society. They still perceive a gap between the scientific world and society at large. In summary, although these studies show a demand for more participation in sciences, research often does not find its way out into society. On the researcher’s side, VA studies also show that scientists believe in the importance of dialogue between science and society. Since the changes to the University statutes, there have been many discussions about why and how universities should interact with the surrounding society. “Samverkan”, the interaction of universities and the public, is visible at many Swedish universities. Many universities have integrated the “samverkansuppgift” into their strategy or mission statement and see it as a key task alongside education and research. In particular, much attention has been focused on university – industry interactions and its potential value to the university. The importance and necessity of interacting with society has been recognized by both universities and researchers. But many researchers still feel that SAMVERKAN takes too much time and for little credit.63 While excellence in research is included in university rating systems and the awarding of funding and promotions, public engagement activities are regarded as something which is “nice to have”, but the activities are not rewarded and are not considered a merit for researchers. There is therefore a long process ahead to create a new culture in the scientific community in which SAMVERKAN is sufficiently 2010:6. 63 VA Report (2004): Forskares syn på samtal med Allmänheten – en fokusgruppsstudie, Vetenskap & Allmänhet; VA-rapport 2004:5, VA Report (2009): ODE-OmvärldsDialog och Engagemang, Vetenskap & Allmänhet, VA-rapport 2009:4; Crettaz von Roten, F. (2008): Levels and patterns of engagement of scientists among different university faculties, University Lausanne; Varvayanis, S. (2008): How university scientists view science communication to the public, Cornell University.


202

recognized and integrated into research and teaching. One approach to foster this change is to reward universities and researchers for their engagement with society. Adequate rewarding systems with indicators have to be developed in order to provide an incentive for universities and researchers to engage with the society.64 However, this top-down approach is only one aspect in creating this cultural change. Bottom-up incentives must also be implemented. Universities and researchers need to discover the intrinsic value of SAMVERKAN. Experiences from other countries provide examples. The following paper begins with an overview of different aspects of SAMVERKAN (chapter 2). Chapter 3 reviews activities and methods other countries are using to foster SAMVERKAN, and a description of initiatives in Sweden follows in chapter 4. These findings are used to propose indicators for measuring SAMVERKAN activities in universities in chapter 5. We conclude with recommendations (chapter 6) for initiating a cultural change that includes SAMVERKAN indicators as well as other approaches.

64 See Vetenskap & Allmänhet (2007): Att mäta samverkan – förslag till indikatorer vid resurstilldelning och akademisk meritvärdering, http://v-a.se/2007/11/att-mata-samverkan-%e2%80%93-forslag-till-indikatorer-vid-resurstilldelning-och-akademisk-meritvardering/. Several SAMVERKAN indicators are proposed in this paper.


203

2. Different aspects of SAMVERKAN

“Samverkan med det omgivande samhället”65 can be translated as “Interaction with the surrounding society”, but can encompass different interpretations depending on what is meant by “samverkan” and “samhället”. SAMVERKAN can be literally translated as collaboration or cooperation, indicating a two-way dialogue between science and the society. But sometimes the term SAMVERKAN is also used for one-way communication from researchers to society. For instance University statute states that one of the university’s tasks is to inform society about their work and activities (“informera om sin verksamhet”). “Samhället”, the society or public, consists of many different actors, including the universities themselves. Schools, government, parliament, private companies, third sector institutions, media or museums are all examples of different groups within society science can interact with. The Swedish National Agency for Higher Education (Högskoleverket) derived three potential outcomes of university-society engagement based on a survey of universities:66 more democracy (demokratiutveckling), innovation and economic growth (kunskapsutveckling och tillväxt), and a better educational system (bättre utbildning). SAMVERKAN can therefore be seen as a comprehensive term, including the collaboration of science with the general public in order to improve democratic participation, and 65 Högskolelagen (1992: 1434). 66 Swedish National Agency for Higher Education (2004): Högskolan samverkar, Högskoleverket rapport 2004:38 R.


204

also collaboration with individual actors such as private companies or schools to improve economic growth and the educational system. There are similar terms to SAMVERKAN in use in other countries which vary according to the degree of interaction and scope of society. For instance, public engagement is a term used in the UK which mainly focuses on the interaction between higher education institutions and the general public.67 Public engagement activities of researchers include participating in festivals, creating opportunities for the public to learn about current research, public lectures and workshops in schools as well as contributing to new media enabled discussion forums. Public engagement is however not only meant to inform the public about research results but also to discuss and to collaborate face-to-face with the public in specific projects.68 Public dialogue is defined as one form of public engagement bringing together members of the public, policy-makers and scientists. Public dialogue is targeted at the public sector and its science and technology policy-making processes. It should be a two-way conversation between researchers, laymen, politicians and policy-makers. The aim is to find out what the general public, and scientists, think about potential new areas of science and technology “upstream” before policy decisions are made. In this way, it is hoped better and more robust decisions will be made with increased legitimacy.69 SAMVERKAN is also often referred to as science communication while talking about the societal engagement of research 67 Wikipedia, http://en.wikipedia.org/wiki/Public_engagement, 31.1.2011. 68 Research Councils UK (2010): Concordat for engaging the public with research, http://www.rcuk.ac.uk/per/Pages/Concordat.aspx, January 31, 2011. 69 See http://www.sciencewise-erc.org.uk/cms/why-do-dialogue/, January 27, 2011.


205

institutions. Science communication is targeted predominantly at laypeople via different forms of media (print, electronic, social) or to science journalists. Its approach is a one-way communication from science to the public.70 Knowledge transfer is typically used to describe diverse interactions between the private sector and research institutions.71 The idea is to transfer science output to industry in order to gain a return on the public investment in research by, for example, translating research into new products, processes or services. Examples of industry-research interactions are consultancy projects, contract research, licensing, patenting, student placement, spin-outs and so on.

70 Wikipedia (2011), http://en.wikipedia.org/wiki/Science_communication, January 31, 2011. 71 Holi, M., Wickramasinghe, R. (2008): Metrics for the Evaluation of Knowledge Transfer Activities at Universities, http://ec.europa.eu/invest-in-research/pdf/download_en/library_house_2008_unico.pdf, January 31, 2011; European Communities, DG Research (2009): http://ec.europa.eu/invest-in-research/pdf/download_en/knowledge_transfer_web.pdf; Geuna, A., Muscio, A. (2008): The governance of University knowledge transfer, SPRU Electronic working paper series, University of Sussex.


206

In this report we use the term SAMVERKAN while referring to science in society activities. We define SAMVERKAN as follows: SAMVERKAN describe diverse forms of interaction between science and society ranging from directly informing the public and creating dialogue with the public to collaborative longer-term projects between science and the public in general (allmänhet) and with specific actors within society.


207

3. How do other countries SAMVERKAN

Ways to trigger and foster SAMVERKAN activities of research organisations have been recently discussed in many countries. The following chapter gives an overview of different initiatives in selected countries. The focus is on activities at the national level rather than activities at individual universities and research institutes. Based on the following questions, current indicator initiatives and further measures to support public engagement of universities are presented: - Institution: Is there an institution that support, coordinates and organises SAMVERKAN activities? Is this institution independent or “attached” to state authorities? When was it founded? What kind of activities do they do? - Mission statement: Is there a mission or official statement relating to SAMVERKAN launched by major research organisations, state authorities or funding organisations? If yes, how many stakeholders have signed this mission? - Rewards: Is there any kind of reward or prize relating to SAMVERKAN or science communication? How much reward money is it? Who is donating it? - Indicator: Is there an indicator measuring the SAMVERKAN of universities or researchers that is applied to resource allocation? How is it composed? 3.1. UNITED KINGDOM The UK has made strong efforts to foster science-public interactions. One of the main actors of the public engagement


208

debate is RCUK (Research Councils UK), which has been promoting this subject for many years. RCUK is the corporate unit of the seven individual UK research councils which are the major research funding bodies in the UK. In December 2010 a “Concordat for Engaging the Public with Research” was launched by the RCUK.72 The Concordat aims to increase the focus on public engagement and to embed it within UK universities and research institutes. It was signed by UK’s seven Research Councils as well as by eight other major funding bodies, and is supported by numerous scientific and influential bodies. This Concordat provides a joint statement of expectations and responsibilities across these funding bodies, and encompasses four main principles: 1. UK research organisations have a strategic commitment to public engagement; 2. Researchers are recognized and valued for their involvement with public engagement activities; 3. Researchers are enabled to participate in public engagement activities through appropriate training, support and opportunities; 4. The signatories and supporters of this Concordat will undertake regular reviews of their and the wider research sector’s progress in fostering public engagement across the UK. At the same time the National Coordinating Centre for Public Engagement (NCCPE) has launched the Manifesto for Public Engagement which universities and research institutes are encouraged to sign up to and thereby express their strategic commitment to engaging with the public.73 The NCCPE was established in 2008 as a part of the “Beacons for Public Engagement” (BPE) initiative. This initiative was launched and funded by RCUK, the UK higher education funding councils (HEFCE) and the Wellcome Trust with eight million British pounds. Six universities were selected as role models with respect 72 http://www.publicengagement.ac.uk/why-does-it-matter/concordat. 73 https://www.publicengagement.ac.uk/sites/default/files/Manifesto for Public Engagement Final January 2010.pdf.


209

to public engagement. NCCPE works with all six beacons to promote best practice in public engagement and to provide a single point of contact for all higher education bodies. The aims of the BPE are to create a culture within higher education institutions where public engagement is recognized as a valued activity, to build capacities for public engagement within higher education institutions and to create networks and partnerships for encouraging institutes to embed public engagement in their work and to share best practice.74 An independent review of the Beacons project was published recently stating that so far the project has been successful in attaining the Beacon goals.75 It also stated however that although the Beacons universities have made progress towards the desired change in public engagement culture, they have not been fully successful. The reviewers therefore recommend continuing to work with the planned public engagement activities and to set up the cultural standard as the key success indicator of the project. The British Science Association is also an important institution which supports and fosters the collaboration between science and society. Established already in 1831, it organises major public engagement activities across the UK such as the British Science Festival, the National Science and Engineering Week, and several other regional and local events. The Royal Society awards researchers for excellence in science communication and public engagement with two prizes.76 The 74 http://www.publicengagement.ac.uk/about/our-vision. 75 http://www.rcuk.ac.uk/documents/scisoc/BeaconsEvaluationReviewFinalReport.pdf. 76 http://royalsociety.org/Michael-Faraday-Prize; http://royalsociety.org/Kohn-Award/.


210

Michael Faraday Prize which was established in 1986 for best science communication and the Kohn award for excellence in engaging the public with science established 2005. The awards consist of a gift of 2.500 British pounds (25.000 Swe-dish crowns). The Higher Education Funding Council for England (HEFCE) has issued a new Research Excellence Framework (REF) evaluating research excellence in three parts: research outputs, environment and impact. The Impact section aims to identify and reward the contribution that high quality research has made to the economy and society.77 Public Engagement is recognized within this. A pilot exercise took place in 2010 to test out the REF. A presentation on the pilot exercise findings was given at the National Coordinating Centre for Public Engagement’s (NCCPE) conference in December 2010.78 In the pilot schemes, impact was measured using case studies. Universities that wished to claim impact from public engagement activities were asked to show what distinctive contribution their research made to the public engagement activity and to make a case for the benefits arising from the public engagement activity. The final assessment criteria and detailed guidance are expected to be published late 2011. It is expected that universities will make submissions in 2012-2013 with assessments due in 2014.79 UK’S SAMVERKAN ACTIVITIES

Institution Research Councils UK (RCUK), NCCPE, HEFCE, Beacons for Public Engagement Initiative (BPE), British Science Association Mission Statement Concordat for Engaging the Public with Research launched by the RCUK, Manifesto for public engagement, the Engaged 77 http://www.hefce.ac.uk/research/ref/impact/. 78 http://www.publicengagement.ac.uk/workshops#Day 1. 79 Information is obtained from Chloe Sheppard, RCUK, March 9, 2011.


211

UK’S SAMVERKAN ACTIVITIES University launched by the NCCPE Rewards Michael Faraday Prize for best science communication; Kohn award for excellence in engaging the public with science (both of Royal Society) Indicator Research Excellence Framework (REF), new approach to evaluate the impact of research on economy and society issued by HEFCE, public engagement is recognized in the framework, work in progress 3.2. DENMARK The Danish Science Communication (Dansk Naturvidenskabsformidling, DNF) is one organisation in Denmark that fosters public understanding of science and technology by different initiatives in science communication. DNF was founded in 2001 and has 16 full-time employees. It is an independent non-profit organisation partly financed by the Danish Government (15% of DNF’s operating expenses) and partly by acquired external funds.80 DNF’s major activities are focused on working with children and young people. Their main project is the Danish Science Week which began in 1998 and takes place every September in different places across Denmark. The idea is to stimulate interest and curiosity in science and technology among school children in primary and secondary schools and to inspire teachers to teach science in an exciting way. Approximately one third of primary school children and two thirds of secondary school children in Denmark participate in this event – a total of 80 http://www.formidling.dk/sw15156.asp, March 7, 2011.


212

100.000 children and young people.81 The Danish Board of Technology (Technologirådet) is an independent body which is funded by the Danish Parliament with around ten million Danish crowns (12 million Swedish crowns). It evaluates new technologies and sciences in order to advise the Danish government and other governmental bodies. It analyses the effects of technologies and new sciences on society, people and environment. One core aspect of their technology assessment is to involve the public in the assessment process through different participatory methods. Consensus conferences or citizens’ summits and hearings are methods where randomly selected Danish citizens are invited to participate in a dialogue about a new technology. It is emphasized that the citizens must be representative in terms of age, gender, employment and geographical location so that all concerns and expectations in the population are heard in the different conferences, panels and hearings. The Danish Board of Technology compared to other technology assessment organisations is very strong, effective and innovative in terms of involving the public in technology evaluation.82 There is a Danish science communication prize (forskningskommunikationsprisen) introduced in 2004.83 It rewards scientists who make extraordinary efforts in communicating their research to a broader public with 100.000 81 Information from interview with Mikkel Bohm, director of Dansk Naturvidenskabsformidling, DNF, March 4, 2011. 82 http://www.sciencewise-erc.org.uk/cms/assets/Uploads/Publications/International-Comparison-of-Public- Dialogue.pdf. 83 http://www.fi.dk/viden-og-politik/forskningsformidling/forskningskommunikationsprisen.


213

Danish crowns (120.000 Swedish crowns). The prize is donated by the Ministry of Science. Scientists are rewarded for their outstanding activities in media interaction at the University of Aalborg. Twenty-five researchers from the University of Aalborg who have been cited most often in the media are rewarded with 30.000 to 80.000 Danish crowns every year by the University president. This amount is for private use and considered as a plus to the salary.84 In 2009, Denmark introduced a new system of basic funds allocation based on four indicators (educational resources 45%, external research funding 20%, number of PhD 10% and a bibliometric research indicator 25%). The bibliometric research indicator might have been a method through which public engagement could have been rewarded by including popular science publications. However, publications considered in this indicator are all addressed to the scientific audience such as peer reviewed journals.85 There had also been a debate about whether to include a knowledge transfer indicator (“videnspredningsindikatorer”) which would take into account collaboration with industry, patents, start-up companies, media attention and others. However this indicator was rejected because it was thought to be too complicated.86 Therefore in the current system of resource allocation to the eight Danish universities, public engagement is not considered. 84 Interview with Alice Bonde, communication department of the University of Aalborg, March 23, 2011. 85 http://www.fi.dk/viden-og-politik/tal-og-analyser/den-bibliometriske-forskningsindikator/styregruppens- beslutning-om-publikationsformer, March 7, 2011. 86 Interview with Nikolaj Borg Burmeister from Danske Universiteter, March 2, 2011.


214

DENMARK’S SAMVERKAN ACTIVITIES

Institution Danish Science Communication (Dansk Naturvidenskabsformidling), Danish Board of Technology (Technologirådet) Mission Statement - Rewards Science Communication Prize (Forskningskommunikationsprisen) by Ministry of Science; 25 best science communicators reward at the University of Aalborg Indicator Discussion about knowledge transfer indicator (“videnspredningsindikatorer”) but rejected 3.3. NORWAY There is no specific institution for public engagement in Norway. However, the Norwegian Research Council is taking on this role and has introduced a communication department with 40 employees working in the field of science communication and public engagement.87 The Research Council also awards researchers for outstanding and creative communication of their research to the general public with the ”Forskingsrådets formidlingspris“. This prize is 200.000 Norwegian crowns (230.000 Swedish crowns) and can be used for communication of current or completed research projects.88 In 2006 there was a discussion in Norway about the introduction of indicators to measure the cooperation of universities with 87 Interview with Elisabeth Gulbrandsen, Norwegian Research Council, March 10, 2011. 88 http://www.forskningsradet.no.


215

companies and the general public (“formidlingsindikatorer”). The proposed indicators included measuring the provision of external services, cooperation with industry, publications, presentations at conferences as well as communication of research results via media to a broader public (e.g. popular science articles, presentations to non-academic audiences, presentations on radio/TV etc.).89 The indicators were rejected, however, because it was believed to be too complex to introduce. Data was only available for some parts and it was not clear how to delimit the indicator approach.90 There has also been criticism from several researchers from Oslo University who state that the proposed indicators have several shortcomings. The researchers believe there is too much focus on the commercialization and selling of research, which they do not think is appropriate particularly with the current focus on open access to research. In addition, the proposed indicators measure one-way communication instead of two-way dialogue between science and society, and there is no reference to collecting data on science communication via the internet.91 NORWAY’S SAMVERKAN ACTIVITIES

Institution No specific institution, communication department in the Norwegian Research Council Mission Statement - Rewards Formidlingspris by the Norwegian Research Council Indicator No indicator, introduction of ”formidling” indicators were 89 Sammen om kunnskap II (2006): Operasjonalisering av indikatorer for formidling, Instilling fra formidlingsutvalg II til KD. 90 Interview with Gunnar Sivertsen, Nordic Institute for Studies in Innovation, Research and Education (NIFU), March 31, 2011. 91 http://www.aftenposten.no/meninger/debatt/article1501944.ece.


216

NORWAY’S SAMVERKAN ACTIVITIES discussed in 2006, but rejected. 3.4. GERMANY Germany’s formal engagement in public dialogue started in 1999 with the PUSH Memorandum which was launched by the major German research organisations.92 Through this the research councils committed themselves to fostering the dialogue between research and society through diverse activities. These activities include that universities develop rewards for researchers engaging in science communication, that public engagement should be a criterion for academic excellence, and that universities should establish infrastructure and training for public engagement. In the same year (1999) the organisation “Wissenschaft im Dialog”93 (Science in Dialogue) was founded by the major research organisations and the Federal Ministry of Research and Education. Wissenschaft im Dialog organises many different science communication events such as exhibitions, science fairs and symposia (e.g. “Forum Wissenschaftskommunikation”94). Through this it encourages public science dialogue and provides a platform for exchanging 92 http://www.wissenschaft-im-dialog.de/fileadmin/redakteure/dokumente/push_memorandum_1999.pdf, February 21, 2011. 93 http://www.wissenschaft-im-dialog.de/. 94 http://www.wissenschaft-im-dialog.de/de/wissenschaftskommunikation/forum.html, February 21, 2011.


217

best practices in science communication. Recently a short paper was by published by Wissenschaft im Dialog evaluating science communication in Germany over the last ten years.95 A second German institution engaging in science communication is the Wissenschaftsladen Bonn (Bonn Science Shop).96 Science shops were originally founded in the Netherlands and interface and mediate between researchers and society by organizing events, exhibitions and other activities. Science shops also consult citizens about research questions in order to better understand and exploit research results according to their demands. The Bonn Science Shop not only transfers knowledge from science to the public but also acts as a scientific advisor for citizens. If, for instance, citizens want to organise a protest against a mobile phone mast because they fear it could cause health problems, the Bonn Science Shop will support this group by providing them with scientific material and expertise.97 As science shops interact closely with society and to different citizen groups, they have a good knowledge of their current and future demands and concerns about science. “A science shop provides independent, participatory research support in response to concerns experienced by civil society.”98 Two major research funding bodies99 have awarded the 95 http://www.wissenschaft-im-dialog.de/fileadmin/redakteure/dokumente/091711PerspektivenPapier.pdf, February 21, 2011. 96 http://www.wilabonn.de/. 97 http://www.wilabonn.de/WILAinform_61_web.pdf, p. 3. 98 http://www.scienceshops.org/new%20web-content/framesets/fs-about.html. 99 German research foundation (“Deutsche Forschungsgesellschaft”, DFG) and the Donors’ Association for the Promotion of Sciences and Humanities in Germany (“Stifterverband fuer die Deutsche Wissenschaft).


218

“Communicator Prize”100 since 2000. This 50.000 Euro (450.000 Swedish crowns) prize recognizes scientists who are highly successful, creative and diverse in communicating their research findings to a wider public. Award winners are selected by a jury consisting of science journalists as well as communication and public relations specialists. This prize is the highest award for science communication in Germany. It has a very high reputation among researchers and strongly promotes science communication as an important task for researchers.101 Research and education is administered at the county (“Länder”) level and therefore sixteen different performance-based indicator systems exist throughout Germany. Most of the “Länder” apply indicators such as third party funding (contract research) and number of completed PhD’s. However, there is no indicator that includes public engagement activities of either universities or researchers.102 GERMANY’S SAMVERKAN ACTIVITIES

Institution Wissenschaft im Dialog (engl. “Science in dialogue”), Bonn Science Shop Mission Statement PUSH-Memorandum signed by major research and research funding organisations in 1999 100 http://www.dfg.de/en/funded_projects/prizewinners/communicator_award/index.html. 101 Interview with Herbert Münder, director of ”Wissenschaft im Dialog”, December 21, 2010. 102 OECD (2010): Performance-based funding for public research in tertiary education institutions, Web annex: additional country detail, http://www.oecd.org/dataoecd/22/46/46756874.pdf.


219

GERMANY’S SAMVERKAN ACTIVITIES

Rewards Communicator Award by two major research funding bodies (DFG and Stifter-verband fuer die Deutsche Wissenschaft) Indicator - 3.5. SWITZERLAND Science et Cité, founded in 1998, organises different activities in the field of public engagement in Switzerland, such as science festivals, science debates, science cafés and school projects. It is partly financed by state authorities but the main budget is acquired by external funds. However, the federal government has recently decided that Science et Cité will no longer be financed by the Federal Ministry of Finances. From 2012 Science et Cité will be financed by the Swiss Academies of Arts and Science with a reduced budget. This decision provoked strong reactions from scientists which led to the writing of a “Manifest”. This manifest argues for a new science culture in Switzerland with a stronger focus on science-society dialogue. This dialogue should be supported by the government through clear objectives and funding. The Manifest has been signed by several Swiss scientists that participate in the French speaking section of Science et Cité.103 Besides Science et Cité, the Zentrum für Technikfolgenabschätzung, TA Swiss, founded in 1992, also engages in dialogue with the public.104 TA Swiss consults policy 103 http://www.science-et-cite.ch/images/stories/downloads/Broschueren/manifest_DE.pdf. 104 www.ta-swiss.ch.


220

makers and assesses new sciences and technologies by taking expert advice and public opinion into account. A recently published report comparing the degree of public dialogue in science and technology policy ranked the TA Swiss second in terms of public participation.105 SWITZERLAND’S SAMVERKAN ACTIVITIES Institution Science et Cité, TA Swiss Mission Statement The manifest launched by leading researchers in Switzerland Rewards - Indicator - 3.6. SUMMARY OF COUNTRY STUDIES The above studies reveal that none of the countries selected have so far introduced indicators to measure the SAMVERKAN activities of universities and researchers. The UK, however, is currently working on a new approach to measure excellence in research and public engagement will be a part of the assessment. In Denmark and Norway there have been intensive discussions about including SAMVERKAN activities as an indicator for resource allocation to universities. For different reasons the proposed indicators have been rejected in both countries. Despite the limited discussions about SAMVERKAN indicators, there are many activities across all the selected countries aimed at fostering the interaction between science and society. Almost all 105 http://www.sciencewise-erc.org.uk/cms/assets/Uploads/Publications/International-Comparison-of-Public- Dialogue.pdf.


221

investigated countries have one or more professional institutions that support collaborations between science and society. There are also independent organisations, research funding organisations, technology assessment organisations and science-shops that organise events, inform the public or involve societal groups in the debate on technological developments. Several countries have also published a mission statement in order to try to commit researchers and research institutions to SAMVERKAN. These mission statements are launched and signed by funding organisations, research institutions or individual researchers. By officially committing to the concept of public engagement, the idea and value of public engagement is spread across the scientific community. Almost all the surveyed countries award a prize to scientists for excellent work in engaging with the public. The awards are launched by major research funding bodies or by the national Ministry of science. Prizes have a financial value of between 25.000 and 450.000 Swedish crowns.


222

4. SAMVERKAN in Sweden

The following chapter describes SAMVERKAN activities in Sweden. In addition to activities on a national level this chapter also exemplifies several public engagement activities at university level. Vetenskap & Allmänhet (VA, Public and Science) supports, organises and surveys activities and interactions between science and the public. For example, VA organises activities such as science cafés and an annual Researchers’ Night event (Forskarfredag). It carries out studies into the Swedish public’s attitude to science and research as well as into SAMVERKAN indicators106, and analyses the extent to which research is accessible to different parts of the society such as policy-makers, schools and industry. VA is an independent member organisation founded in 2002. Members include universities, research funding organisations, political parties and companies. The Swedish National Agency for Higher Education (Högskoleverket) also works in the field of SAMVERKAN between universities and society. In 2004, Sweden’s universities and university colleges were surveyed about the status of their SAMVERKAN activities. Based on these results the agency contributed to a clearer understanding of what SAMVERKAN is. In 2007 the SAMVERKAN survey was revised to include questions about how to measure SAMVERKAN within universities. The most commonly proposed indicators for measuring SAMVERKAN 106 Vetenskap & Allmänhet (2007): Att mäta samverkan – förslag till indikatorer vid resurstilldelning och akademisk meritvärdering, http://v-a.se/2007/11/att-mata-samverkan-%e2%80%93-forslag-till-indikatorer-vid- resurstilldelning-och-akademisk-meritvardering/.


223

included the number of popular science articles, public events, commissioned research and education, internships, master and PhD theses and research projects in cooperation with industry or other societal groups, patents and licenses.107 The Swedish Research Council (Vetenskapsrådet), Sweden’s major research funding organisation, is also engaged in science communication. In addition to research funding activities the Swedish Research Council is responsible for coordinating the communication of research results: ”Övergripande ansvara för samordning av kommunikation om forskning och forskningsresultat.”108 There are also a number of Swedish research funding bodies that initiate and stimulate SAMVERKAN projects by applying different criteria for their research funding, such as for instance Vinnova and the Knowledge Foundation109. In this report, however, we are not describing these in further detail. So far there is no national prize in Sweden to award scientists for their outstanding contribution to public engagement with society. However, in 2010 the University of Gothenburg introduced a prize to reward students or faculty members for outstanding engagement with society, with prize money of 200.000 Swedish crowns.110 The Royal Swedish Academy of Sciences (KVA) awards 107 National Agency for Higher Education (2008): Högskolan samverkar vidare, utvecklingen 2004-2007, Högskole-verket rapport 2008:10 R, p. 104. 108 Förordning (2009:975) med instruktion för Vetenskapsrådet, see § 1: 11. 109 http://www.vinnova.se, http://www.kks.se. 110 http://www.gu.se/samverkan/samverkanspriset/.


224

scientists for excellent popular science publications in natural sciences with a prize of 300.000 Swedish crowns.111 This prize is restricted to excellent books in the natural sciences. The Knowledge Awards (Kunskapspriset) from the National Encyclopedia (Nationalencyklopedin) awards individuals and organisations who try to encourage and stimulate the general public to be more curious for knowledge in a different and innovative way. This prize does not reward scientists in particular, but all people who try to explain research in an easy and appealing way. Umeå University awards companies or people with outstanding SAMVERKAN engagement with three different prizes: The “samverkanspriset” which is administrated by the University campus in Örnsköldsvik without financial donation, the ”Baltics samverkanspris med entreprenöriell inriktning” (focusing on entrepreneurial skills) and the ”Baltics samverkanspris med populärvetenskaplig inriktning” (focusing on popular science), both are awarded every second year with 100.000 Swedish crowns.112 There has been no joint mission statement about SAMVERKAN – similar to the Concordat in the UK – from the major Swedish universities and research funding organisations. However ever since the 1990s, the university statute has included SAMVERKAN as the third task alongside education and research. In 2009 the Swedish government made it very clear that the duty of a university is to collaborate with the surrounding society, to inform people about its research results and so ensure that the work of the university is also of use to society. 111 http://kva.episerverhotell.net/sv/Priser/Pi-priset/. 112 http://www.ovik.umu.se/samverkan/, http://www.umu.se/om-universitetet/pressinformation/pressmeddelanden/nyhetsvisning//tor-ny-tilldelas-baltics-samverkanspris-med-entreprenorskapsinriktning.cid76998, http://www.teknat.umu.se/om-fakulteten/aktuellt/nyhetsvisning/patrik-norqvist-far-baltics-samverkanspris.cid158153.


225

“I högskolornas uppgift ska ingå att samverka med det omgivande samhället och informera om sin verksamhet samt verka för att forskningsresultat tillkomna vid högskolan kommer till nytta.”113 Several universities have included this SAMVERKAN policy (“samverkansuppgift”) in the university’s strategy, mission or its policy to increase university’s quality in research and education.114 They emphasize the fact that both universities and the society will gain from interacting and cooperating with each other. On the homepage of many universities the word “samverkan” appears immediately on the first page alongside education and research.115 Studies show that many activities have been launched since the university constitution was passed.116 At a national level there is no SAMVERKAN indicator applied to the allocation of government resources to the universities. However several universities have been proactive in monitoring and measuring their SAMVERKAN activities.117 113 Högskolelagen (1992: 1434). 114 For example at Uppsala University, Malmö University, KTH, University of Gothenburg. 115 For example University of Gothenburg, Uppsala University, Umeå University, Stockholm University. 116 See study of IVA about number of publications published at University’s webpages (IVA-aktuellt 1/2010) and the National Agency for Higher Education’s surveys that monitor SAMVERKAN activities at universities and university colleges: National Agency for Higher Education (2004): Högskolan Samverkar, Högskoleverket Rapport 2004: 38R, National Agency for Higher Education (2008): Högskolan samverkar vidare, utvecklingen 2004-07, Högskoleverket Rapport 2008: 10 R. 117 The following paragraph is not based on a representative survey of Swedish universities and university colleges. Some universities or university colleges might not be mentioned even though they are active in measuring SAMVERKAN.


226

For example, Malmö University (Malmö Högskola) founded a “Forum för Samverkan” two years ago consisting of members from different faculties.118 This forum aims at defining SAMVERKAN, at surveying SAMVERKAN activities and at developing a model for measuring SAMVERKAN. The forum also developed a master list of different SAMVERKAN activities with possible indicators. In this case it is highlighted that the term SAMVERKAN embraces only those activities where the university collaborates with external partners. Science communication and one-way initiatives from scientist to public is explicitly not considered as SAMVERKAN. Commissioned research and education from outside partners, several innovation indicators such as patents and licenses and as well alumni network are all examples of indicators Malmö University has knowledge and numbers of. In the case of some other indicators on the master list, the forum tries to develop approaches for monitoring them. The next step is to agree on an indicator set which will be the basis for a rewarding system for researchers. The Royal Institute of Technology (KTH) is currently developing a new model for measuring quality.119 It is proposed that a number of different SAMVERKAN indicators are included such as income from commissioned research and education, the number of patents based on ideas of KTH researchers or students, number of license agreements based on ideas of KTH researchers and students, number of start-up companies based on ideas of KTH researchers and students, and the number of industrial PhD students graduating. The indicators are still under discussion and it remains to be seen if and when the indicator system will be in place. 118 Interview with Anna-Karin Alm at Malmö University, April 13, 2011. 119 Information is obtained from Sara Karlsson, quality coordinator, KTH, April 20, 2011.


227

The Swedish University of Agricultural Sciences (SLU) is aiming to become one of the leading European universities with respect to SAMVERKAN within the next ten years. Within their vision for 2020 they formulated several SAMVERKAN goals to achieve in the upcoming years.120 They also appointed a number of persons with responsibility for SLU’s SAMVERKAN activities, with the notable example of selecting the assistant vice-chancellor to be in charge of SAMVERKAN. In this way SAMVERKAN is firmly attached to people at the top of university’s hierarchy, showing clearly that collaborative activities have a high priority at the SLU. Recently there have been 18 senior lecturers appointed who will spend half of their working time on SAMVERKAN activities. Employed professors and lecturers will also be evaluated in terms of their SAMVERKAN activities. SAMVERKAN capabilities of professors and lecturers are taken into consideration within recruitment processes. Examples of indicators under discussion for measuring SAMVERKAN skills are long-term research collaborations with industry, PhD students and researchers placed in industry, number of licensed patents, involvement in different popular science activities, participating in public debates, number of invited external lecturers, etc. Umeå University is currently running a project about indicators for SAMVERKAN activities. SAMVERKAN indicators that could be useful to measure collaboration activities with the surrounding society are collected from different faculties. The indicators being considered are for example the number of company visits by researchers, the number of research projects with companies, the number of guest lecturers, commissioned education, etc. The plan 120 ”Styrdokument- Styrdokument – Samverkan och Samverkansanställningar vid SLU”, see https://internt.slu.se/Documents/internwebben/jep-personal/Styrdokument Samverkan Svensk slutversion .pdf.


228

is for an agreement on several different indicators which will be used to measure SAMVERKAN throughout the university.121 Uppsala University has employed a coordinator for public engagement activities (“samverkanskoordinator”). In order to monitor engagement activities with society, Uppsala University measures the volume of commissioned research and education, adjunct professors and innovations.122 SWEDEN’S LEVEL OF SAMVERKAN

Institution Vetenskap & Allmänhet (VA), the Swedish National Agency for Higher Education (Högskoleverket), Swedish Research Council (Vetenskapsrådet) Mission Statement

No joint mission statement from research funding organisation, universities or ministry, but: - University statute about samverkan since late 1970s - Several universities have included samverkan in their mission and strategy Rewards No national samverkan prize, but: - single initiatives by University of Gothenburg, Royal Swedish Academy of Sciences (KVA), Nationalencyklopedin, Umeå University Indicator No indicator for resource allocation, but: approaches to measure samverkan for example at Malmö University, Uppsala University, KTH, SLU, Umeå University, etc. 121 Information is based on interview with Anna Mannelqvist, Umeå University, May 3, 2011. 122 Interview with Maria Orvehed, samverkanskoordinator of Uppsala University, April 12, 2011.


229

5. Towards indicators for SAMVERKAN 5.1. Proposed indicator set for samverkan Based on a review of the literature, experiences from other countries and expert interviews, a set of indicators for measuring SAMVERKAN is proposed and presented in table 1.123 The proposal is to measure the degree of SAMVERKAN activity at university level with three distinct indicators: activities, resources and income. These indicators for SAMVERKAN activities will record the time spent on activities and therefore they reflect the value of SAMVERKAN from a researcher’s perspective. Measurements of resources and income will show the university’s engagement for SAMVERKAN. SAMVERKAN activities will be divided into two groups based on 123 The proposed indicator set is based on the following sources: Neresini and Bucchi (2011): Which indicators for the new public engagement activities? An exploratory study of European research institutions, in: Public Understanding of Science 20(1): 64-79; Molas-Gallert et al (2002): Measuring Third Stream Activities, Final Report to the Russell Group of Universities, Science and Technology Policy Research (SPRU), April 2002; Swedish National Agency for Higher Education (2010): Samverkan mätt med kvantitativa mått - en kartläggning, Högskoleverket rapport 2010/8, Vetenskap & Allmänhet (2007): Att mäta samverkan – förslag till indikatorer vid resurstilldelning och akademisk meritvärdering, http://v-a.se/2007/11/att-mata-samverkan-%e2%80%93-forslag-till-indikatorer-vid-resurstilldelning-och-akademisk-meritvardering/; interview with Massimiano Bucchi, Observa, March 31, 2011.


230

the nature of the interaction.124 The first group (activity level 1) will include activities focusing predominantly on one-way communication from scientist to public with limited feedback from audience to scientist. The main actor is the scientist and the question how the public learns about research. - Number of popular science publications: Popular science books, book chapters, articles or newspaper articles are examples of publications addressed to non-academics. This information is easy to measure and is already gathered by many universities through the press office and by the faculties. This measure however says little about the quality of the publication. Media ranking might be one way to include the quality aspect. The universities could rank different media in the order of those that have the highest value for them.125 - Number of lectures to the public: Lectures to the public either at the university or at a host location are knowledge exchange activities from researchers to the public. It is a good measure of the researcher’s openness to the public. It is easy to measure although the quality of the lecture and the size of the audience is neglected in a blunt numerical measure. 124 This division is inspired by Auweraert (2005): The science communication escalator, in Steinhaus, N. (ed.) Advancing Science and Society Interactions. Conference proceedings Living Knowledge conference Seville, Spain, 3-5 February, pp. 237-241. Bonn: Issnet. 125 Publications and participation in social media such as blogs or chat forums has also been considered as an indicator for SAMVERKAN. It is though very hard to measure and neglects quality and effort. Counting the number of researchers having a blog and engaging in chat forums says little about the quality of the contributions and how often they contribute. We therefore propose not to use the participation in social media as an indicator.


231

- Number of participations in TV/radio: These activities are a measure of widespread knowledge transfer to the public and again easy to measure. However the quality, length and audience size of the broadcast contribution are not included in the measure. Weightings could be included to differentiate between brief comments in a news broadcast and a lengthy appearance on a science programme, with each requiring different amounts of effort by the scientist. There is also the possibility of weighing contributions in some media higher than others to give a measure of quality. - Number of open houses at universities: This parameter identifies the openness of universities towards the public with an easy measure. Open house activities however tend to attract those people already interested in science. - Number of active participations in science cafés, science festivals, researchers’ night events, school visits: This measure identifies two-way communication activities between researchers and the public and provides a good measure of SAMVERKAN between the universities and society. However it again says little about the quality of the contributions and the amount of effort a researcher contributed to the event. The second group (activity level 2) of SAMVERKAN activities includes projects in which scientists collaborate with societal groups or individuals. These parameters identify longer-term collaborations between researchers and the public, where both parties are on the same level with the aim of learning from each other. Collaborative projects such as these in fact reach fewer people than activities at level 1 such as lectures to the public, but the knowledge exchange is much higher. Therefore the proposal is to weight collaborative projects with the public (indicators at activity level 2) higher than straightforward communication to the


232

public (indicators at activity level 1). - Number of visits to external organisations: This measure identifies the amount of contact with representatives of external organisations, such as companies, schools or public authorities. It is easy to measure but neglects the quality and size of the visits. Small ad-hoc visits and larger more involved visits are equally valued. - Number of invited guest lecturers from external organisations: This parameter also identifies contacts with external organisations and indicates the knowledge flow from external organisations to universities. It is easy to measure but again says little about the quality of the activity or the nature of the audience reached. - Number and value of applied research projects collaborating with external organisations: Preparing research proposals with external organisations such as companies or non-profit organisations is time consuming. Appropriate partners have to be searched for, selected and convinced. Parts of the research proposals that have been written by the external partner may have to be adopted and streamlined. This indicator rewards attempts to set up research projects with external partners, whether it is successful or not.126 - Number and value of research projects collaborating with external organisations: This measure identifies longer-term projects with societal organisations such as hospitals, schools, public authorities, companies and museums. The parameter says little about the quality and success of the

126 This indicator is included into the indicator set of the Malmö University, information is based on an interview with Anna-Karin Alm at Malmö University, April 13, 2011.


233

projects and information is probably not readily available. Research funding organisations in Sweden and Europe have information about the number and financial value of funded projects with external organisations (e.g. Vinnova, Swedish Research Council, DG Research, etc.). One might take the obtained funds from the funding organisations to every university into consideration. However this method excludes internally funded research projects. This information will have to be surveyed from the universities themselves. University administration could obtain these data in the frame of the annual reporting where several facts and figures from the faculties have to be collected. - Number of PhD and master theses collaborating with external organisations: This also identifies longer-term projects between science and public with stronger focus on quality. Accomplished theses are an indicator of successful projects. There may be overlap with the previous parameter as most theses are written within the frame of a research project. This could lead to double-counts, which could be cancelled. It is suggested however that including this parameter will indicate successful collaborations between science and external organisations. - Number of faculty members holding a temporary position at external organisations: This indicator will again measure longer-term projects between scientists and societal groups. Having a researcher at a work place indicates that the collaboration is stable, long term and in some way successful. It is therefore a good complementary indicator to the previous ones. There could be double-counts here too, as temporary positions sometimes are created within project frames. However not excluding double counts in this instance is recommended as this parameter particularly includes the quality and long-term aspect of collaborations.


234

- Number of externals holding a temporary position at the university (adjunct professors): This is the contrary direction of exchange to the parameter before. Having an external holding a temporary position at the university again indicates a stable longer-term collaboration between the external organisation the professor is affiliated with and the university. Again there could be double-counts when the professorship is created within project frame. - Number of publications authored with external parties: This is an easy-to-measure parameter identifying longer-term collaborations with people working outside universities. However it says little about the quality of the publication. In order to measure the university’s engagement in SAMVERKAN this paper proposes including the amount of resources spent on SAMVERKAN activities. Specifically, including the budget and amount of human resources explicitly dedicated to SAMVERKAN activities. This recommendation implies not only the budget and number of employees working for the communication department or press office of a university. It should also comprise the human and financial resources dedicated to SAMVERKAN activities at the faculty or inter-faculty level. The latter numbers are of course harder to obtain and might be “hidden”. Appropriate monitoring systems have to be established within the university in order to survey these numbers. The indicator provides a very good understanding of the value of SAMVERKAN within a university. The income from commissioned research (“uppdragsforskning”) or education (“uppdragsutbildning”) indicates moreover the degree of collaboration between the university and non-academic organisations. This includes chargeable teaching for companies or other societal organisations as well as research commissioned by a non-academic institution. There might however be a bias towards those universities where strong external relationships are intrinsic to their activities, such as business or technical schools.


235

Patents and licences were not included in the indicator set. Patents and licences measure the innovative capacity of a university. Patents however say little about whether an innovation is good or bad or whether the patent is used at all. Patents measure protected ideas, not collaboration with society. The use of a patent however could indicate collaboration between university and society. Therefore licenses would be better indicators. But licensing as well as patenting is heavily focused on chemical, pharmaceutical and medical technologies.127 Patents are not intrinsic to other fields of research and license agreements would strongly favour technology faculties over humanities or social sciences. Recording a high number of licence agreements does not necessarily indicate high-performing collaborative activities with companies. It rather indicates that research results in these fields have a high practical applicability and potential economic value. Furthermore as the number of patents and licences from universities is rather low in Sweden,128 these indicators are of limited use in measuring SAMVERKAN. In order to calculate a compound indicator, universities have to classify every indicator into four groups: One group where there is complete absence of activity/resources coded with 0; a second group in which there is low activity/resources coded with 1; a third group with medium level of activity/resources coded with 2 and a fourth group with a high level of activity /resources coded with 3. This categorisation will allow an average to be taken across 127 Molas-Gallart et al. (2002): Measuring Third Stream activities, Science and Technology Policy Research (SPRU), p. 30. 128 Tillväxtanalys (2011): Svenska uppfinnare– nytt datamaterial och ny inblick i innovationsprocessen, Working Paper/PM, 2011:14, http://tillvaxtanalys.se/tua/export/sv/filer/publikationer/working-paper-pm/WP_PM_2011_14.pdf.


236

all indicators and will lead to a compound SAMVERKAN assessment of a university. Indicator Scale Strengths Weaknesses

1. SAMVERKAN ACTIVITIES

ACTIVITY LEVEL 1 (sciencepublic communication) No. of popular science publications (books, book chapters, articles in newspapers/ magazines)

0-3* Identifies publications particularly addressed to public, easy to measure Says less about quality of publication, could be compensated by media ranking No. of lectures to the public (open lecture at universities, guest lectures by researchers)

0-3 Identifies knowledge transfer to public, shows openness to public, easy to measure Says less about quality of lecture and audience reached

No. of participations in TV/radio 0-3 Widespread knowledge transfer to public, easy to measure

Says less about quality and effort of contribution No. of open houses 0-3 Shows openness to public, easy to measure

Tends to reach the science-interested public No. of active participations in science cafés, science festivals, researchers’ nights

0-3 Identifies communication between researchers and public, easy to measure Says less about quality of event and audience reached

ACTIVITY LEVEL 2 (sciencepublic collaboration projects) No. of visits to external organisations*** 0-3 (w)** Identifies contacts with external Says less about quality and size of visit


237

Indicator Scale Strengths Weaknesses organisations, easy to measure No. of invited guest lecturers from external organisations 0-3 (w) Measures external contacts and knowledge flow from external organisations to university Says less about quality of lecture and audience reached

No. and value of applied research projects collaborating with external organisations

0-3 (w) Measures and rewards the time spent in preparing a collaborative project Data may not be available, needs to be surveyed

No. and value of research projects collaborating with external organisations

0-3 (w) Identifies longer term collaboration between researchers and societal groups Data may not be available as contracts may be managed by individual researchers, needs to be surveyed, says little about quality of project No. of PhD and master theses collaborating with external organisations (e.g. industrial PhD)

0-3 (w) Identifies longer term collaboration between researchers and societal groups, focus on high performing projects

Double counting with previous parameter

No. of faculty members having a temporary position at external organisation

0-3 (w) Identifies longer term collaboration between researchers and societal groups, focus on stable relationships Double counting with previous parameter

No. of externals holding a temporary position at the university (adjunct professors)

0-3 (w) Identifies longer term collaboration between externals and university, easy to measure Double counting with previous parameter


238

Indicator Scale Strengths Weaknesses No. of publications authored with externals**** 0-3 (w) Identifies collaboration with externals, easy to measure Says less about quality of publication

2. RESOURCES FOR SAMVERKAN - budget - human resources

0-3 Identifies the importance and value of SAMVERKAN at university level Hard to collect data besides the budget and people in the communication department, press/PR office

3. INCOME FROM SAMVERKAN - Commissioned research (“uppdragsforskning”) for external organisations - Commissioned education (“uppdragsutbildning”) for external organisations

0-3 Identifies the income from collaboration with external organisations for education or research Bias to those universities whose intrinsic focus is external relationships (e.g. Business or engineering schools)

Table 1: Proposed indicators for samverkan with strengths and weaknesses. * Universities are to be classified into four groups ranging from 0 = complete absence of activity/resources, 1=low activity/resources, 2=medium activity/resources, 3=high activity/resources. Numbers should be taken in relation to university size. ** Measures are to be weighted. *** By external organisations we mean all organisations that are outside of the university, for example companies, public authorities, museums, hospitals, schools, etc. **** By externals we mean persons who do not belong to a university, a university college or research institute. Examples are individuals that are affiliated to companies, public authorities, museums,


239

hospitals, schools, etc. 5.2. Weighting of indicator set Weightings may be used when comparing across universities. There are on the one hand universities which have a very broad approach covering many different faculties (e.g. Uppsala University, Stockholm University, University of Gothenburg, etc.). On the other hand there are universities which concentrate on particular subjects or research areas (e.g. Royal Institute of Technology, Karolinska Institutet, Swedish University of Agricultural Sciences, etc.). There are also private and public universities, universities focusing on basic research versus applied research, universities embedded in a rural area and urban universities. Faculties, research fields and universities differ significantly for instance in the number of publications, number of research projects with external partners or number of public lectures. This is because some research is more fascinating to the public than others, in some research fields it is more common to publish than in others, and some faculties are more attractive for companies to work with. For example, medical research results are more appealing to the public than theoretical physics; engineering or business schools are more interesting for companies to collaborate with than language schools. Therefore it is important to take these differences between universities into consideration when drawing comparisons. Biases might be balanced by comparing similar universities or with appropriate weightings. One or several SAMVERKAN indicators could also be weighted more heavily than others. It was proposed earlier that science-public collaboration projects (activity level 2) should be weighted higher than science communication to society. Another possibility is to only consider collaborative activities between science and society and therefore neglect all science communication activities. The method of taking averages across the indicators can of course also include a


240

weighting of certain indicators. By averaging all 17 proposed indicators in table 1, SAMVERKAN activities would naturally be given a higher weight as they are numerous. Another approach is to take averages per group (activities, resources, income), thus weighting all three groups similarly. 5.3. Shortcomings of indicator set Opting for a system of indicators always implies a focus on quantity rather than on quality. The number of popular science articles published does not say much about their quality. Con-sidering the resources spent by the communication department does not evaluate the quality of their interaction with media. The parameters proposed for SAMVERKAN activities at activity level 2 attempt to compensate for this weakness by measuring science-public collaboration projects. The existence of longer-term collaboration projects implies a certain level of quality. Bad performance means in most cases that the project dies. Furthermore indicators measure only what has been asked for and what is measurable. One can therefore only get a partial picture of the university’s SAMVERKAN activities. The introduction of indicators could also distort the behaviour of researchers and faculties as people strive to gain good evaluations. It is difficult to estimate if there has been a cultural change towards SAMVERKAN based on indicators. However indicators should give a hint of how embedded SAMVERKAN is in an organisation’s culture. Higher numbers of SAMVERKAN activities demonstrate that a university values SAMVERKAN and that it has a part in its culture. Swedish universities already monitor some of the proposed indicators. For some other organisations adequate monitoring systems have to be established to gather the information needed. The proposed indicators do not measure the impact of SAMVERKAN activities on society and the economy. Impact studies play an increasingly important role in evaluating research projects


241

at both EU and national level. As well as measuring the excellence of research with output measures such as publications, citations or contract research, high quality research projects can also be identified by their distinct social and economic impact. SAMVERKAN activities might also be evaluated by their impact on the university and society. The UK is currently discussing ways of how to evaluate the impact of public engagement activities within the Research Excellence Framework (REF).129 For instance, generic outcomes of public engagement on a societal level are increased trust and mutual understanding between science and society, informed public debate, informed health and wellbeing or evidence-based public policy. Impacts at the university level are innovative research results inspired by collaborative projects with the public, discussed under the heading of open innovation. More concrete outcomes could include the number of faculty members taking up placements at a non-academic organisation and vice versa as a result of joint projects. Impact studies are not easy to run. Possible impacts may occur long after the end of a project, and the correlation between stimulus and effect is often unclear. These are only two of many potential issues regarding impact studies. The UK discussions should be followed closely in order to get more insights into how to measure the impacts of SAMVERKAN activities.

129 Information is based on an interview with Sophie Duncan, NCCPE, March 28, 2011.


242

6. Recommendations for fostering SAMVERKAN

6.1. Recommendation for an indicator set to measure SAMVERKAN Engagement with society on scientific issues is generally given a low priority and is not sufficiently integrated into education and research. One reason for this is that engagement is often seen as optional, voluntary, and as something good to do if researchers have time. Researchers need incentives and recognition to be motivated to take part. One important measure is to include indicators on SAMVERKAN for the resource allocation to universities. Those universities and researchers doing a good SAMVERKAN job get more money than others. We therefore recommend including SAMVERKAN indicators for resource allocation to universities and university colleges. We recommend including the following

SAMVERKAN indicators as a basis for university resource allocation. (1) NUMBER OF SAMVERKAN ACTIVITIES

Activity level 1 (science-public communication) - No. of popular science publications - No. of lectures to the public - No. of participations in TV/radio - No. of open houses


243

- No. of active participations in science cafés, science festivals, researchers’ nights Activity level 2 (science-public collaboration projects) - No. of visits to external organisations130 - No. of invited guest lecturers from external organisations - No. and value of applied research projects collaborating with external organisations - No. and value of research projects collaborating with external organisations - No. of PhD and master theses collaborating with external organisations (e.g. industrial PhD) - No. of faculty members having a temporary position at external organisation - No. of externals131 having a temporary position at university (adjunct professor) - No. of publications authored with externals

(2) DEDICATED RESOURCES FOR SAMVERKAN - Budget - Human resources (3) OBTAINED INCOME FROM SAMVERKAN - Commissioned research for external organisations (uppdragsforskning) - Commissioned education for external organisations

130 By external organisations we mean all organisations that are outside of the university. For example companies, public authorities, museums, hospitals, schools, etc. 131 By externals we mean persons who do not belong to a university, a university college or research institute. Examples are individuals that are affiliated to companies, public authorities, museums, hospitals, schools, etc.


244

(uppdragsutbildning) For cross-university comparisons, a blunt comparison of indicators could give biased and inaccurate results. To counter this there are two possibilities: either similar universities could be compared or appropriate weightings should be included. Universities and university colleges can differ significantly: diversified vs. specialised, private vs. public, basic vs. applied research, rural vs. urban. It is important to define comparing groups and/or to develop appropriate weightings. Weightings can of course also be applied across the indicator set. It is proposed to weight SAMVERKAN activities at activity level 2 higher than at activity level 1. Collaborative projects imply a higher level of knowledge exchange between science and society than purely science communication activities. The way of averaging across the indicators implies also a weighting. For example, taking the average of all 17 indicators implies that SAMVERKAN activities are higher weighted than the other indicators. It is proposed to average per group (activities, resources, income) and giving the three groups the same weight. 6.2. Further recommendations for triggering a

cultural change Rewarding SAMVERKAN activities by budget constraints or enlargements is one way to promote public engagement. This is a very top-down approach. The authorities take the decision that universities have to work together with society and enforce this by punishing those doing a bad job and rewarding those doing a good job. Applying the indicators does not necessarily mean that the researchers and university administrations are intrinsically convinced of the importance of public engagement. People tend to adopt their behaviour towards what is measured. It is also very likely that the SAMVERKAN indicator, if introduced, would be just


245

one (probably small) part of an indicator set measuring the quality of research. Therefore, the incentive for researchers to engage in science-public interactions may remain low because a fundamental cultural change is lacking. Bottom-up approaches for promoting public engagement and triggering a cultural standard towards SAMVERKAN are therefore essential. RECOMMENDATION 2: MEMORANDUM Leading authorities and organisations in the Swedish higher education system should launch a joint memorandum for SAMVERKAN. The memorandum will emphasise the value and importance of public engagement for both society and the universities. Universities will sign the memorandum and commit to fostering and supporting SAMVERKAN with specific activities that have to be agreed on.132 RECOMMENDATION 3: ROLE MODELS A research funding programme should be developed in which some universities get extra funds for SAMVERKAN

132 UK’s Concordat and Manifesto might be consulted. For example, within the Manifesto for public engagement it is written: “We believe that universities and research institutes have a major responsibility to contribute to society through their public engagement, and that they have much to gain in return. We are committed to sharing our knowledge, resources and skills with the public, and to listening to and learning from the expertise and insight of the different communities with which they engage. We are committed to developing our approach to managing, supporting and delivering public engagement for the benefit of staff, students and the public, and to sharing what we learn about effective practice.”(NCCPE, Beacons for Public Engagement, 2010). Universities and research institutes are invited to sign up to this manifesto.


246

activities. Universities that are doing outstanding SAMVERKAN activities will be selected and will serve as a role model for other universities. This will strengthen the importance and awareness of samverkan.133 RECOMMENDATION 4: PRIZE A national prize awarded for excellent SAMVERKAN activities at researcher level should be established. Researchers who have excelled in communication and collaboration with society will be rewarded by a “samverkanspris”. Rewards are a very effective way to raise the profile of a topic and to make people aware of a certain matter. A samverkanspris would foster a cultural change by spreading the idea of public engage-ment. The donator could be one of the Swedish research funding organisations or the Ministry of Education and Research (utbildningsdepartementet).

133 UK’s Beacons for Public Engagement provide useful ideas for this recommendation.

247

Bilaga 7: Uppdraget

PM-uppdraget

Utbildningsdepartementet Promemoria Bilaga till protokoll

2010-07-xx § 132 2010-06-30 Utvärdering av forskningskvalitet som en grund för tilldelning av resurser till universitet och högskolor Bakgrund Statlig finansiering av forskning vid universitet och högskolor sker dels genom direkta anslag i statsbudgeten, dels genom forskningsfinansierande myndigheter. De direkta anslagen syftar till att ge universitet och högskolor förutsättningar för en stabil verksamhet och långsiktig planering, vilket är grunden för en högkvalitativ verksamhet. Före 2009 fanns ingen koppling mellan

Bilaga 7: Uppdraget Ds 2011:

248

fördelningen av direkta anslag för forskning och utbildning på forskarnivå och lärosätenas prestationer med avseende på vetenskaplig kvalitet och produktion. Mot bl.a. denna bakgrund gav regeringen 2006 en särskild utredare i uppdrag att se över systemet för resurstilldelning för forskning och utbildning på forskarnivå till universitet och högskolor. I betänkandet Resurser för kvalitet (SOU 2007:81) föreslogs att hälften av universitetens totala forskningsmedel inom en fyraårsperiod borde konkurrensutsättas genom indikatorer och kvalitetsutvärderingar. I propositionen Ett lyft för forskning och innovation (prop. 2008/09:50), som behandlade förslagen i betänkandet, bedömde regeringen att en ny modell borde införas för resurstilldelning för forskning och utbildning på forskarnivå. Modellen, som tillämpades första gången 2009, bygger på kvalitetsindikatorer i form av externa medel och vetenskaplig produktion i form av publiceringar och citeringar samt antalet helårsstudenter. Behovet av en utredning Det är angeläget att det finns starka incitament för att öka kvaliteten på svensk forskning. I förlängningen leder detta till att dess internationella konkurrenskraft ökar. I dag fördelas medel efter direkt kvalitetsbedömning främst från externa finansiärer som forskningsråden, Verket för innovationssystem och vissa stiftelser. Sedan 2007 har ett antal lärosäten, däribland Lunds universitet, Kungl. Tekniska högskolan, Uppsala universitet och Sveriges lantbruksuniversitet genomfört utvärderingar av kvaliteten på den egna forskningen. I vissa fall har resultaten av dessa

Ds 2011: Bilaga 7: Uppdraget

249

utvärderingar också fått påverka lärosätets interna fördelning av de direkta anslagen. . Det är även angeläget att det finns tydliga kvalitetsincitament för fördelningen av de direkta anslagen för forskning. En ny modell för tilldelning av anslagsmedel till universitet och högskolor för forskning och utbildning på forskarnivå med indikatorerna externa medel samt vetenskaplig produktion och citeringar infördes 2009. I propositionen Ett lyft för forskning och innovation (prop. 2008/09:50) angavs att regeringen har för avsikt att noga följa och utvärdera effekterna av det nya systemet. Regeringen gjorde också i propositionen bedömningen att det skulle vara önskvärt att förfördelningen av direkta anslag på sikt även bygger på utvärderingar av kvaliteten inom olika forskningsområden. Regeringen aviserade i propositionen avsikten att ge en särskild utredare i uppdrag att utreda förutsättningarna för att utveckla en sådan modell. I uppdraget skulle ingå att utreda hur bedömningar av lärosätenas samverkan med omvärlden skulle kunna ingå i resurstilldelningssystemet. I vissa andra länder finns system med inslag av kvalitativa eller kvantitativa mått vid tilldelning av direkta anslag för forskning till universitet och högskolor. I syfte att utveckla regeringens beslutsunderlag vid resurstilldelning för forskning och utbildning på forskarnivå till universitet och högskolor, finns det skäl att kartlägga erfarenheter från andra länder av sådana rutiner eller system. Uppdraget Utredaren ska, utgående från det nuvarande resurstilldelningssystemet för direkta anslag till universitet


250

och högskolor för forskning och utbildning på forskarnivå, utreda och lämna förslag så att utvärderingar av kvaliteten i forskningen kan ingå som ett viktigt komplement till indikatorerna publiceringar och citeringar samt externa medel i systemet för resurstilldelning. I uppdraget ingår att det vid utvärderingar av kvaliteten i forskningen överväga hur hänsyn ska kunna tas till olika forskningsområdens förutsättningar. Utredaren ska också utreda hur en bedömning av lärosätenas kvalitet i samverkan med omvärlden och nyttiggörande av forskningsresultat kan bli en del i resurstilldelningssystemet. Utredaren ska inhämta erfarenheter från de kvalitetsutvärderingar som vissa lärosäten har genomfört. Utredaren ska göra en internationell jämförelse av utvärderingar av kvalitet i forskning som har legat till grund för fördelning av direkta anslag till universitet och högskolor. I uppdraget ingår även att bedöma med vilken periodicitet utvärderingar bör göras för att de ska kunna användas som underlag i ett kvalitetsdrivande resurstilldelningssystem. Utredaren ska föreslå vilken eller vilka myndigheter som ska ansvara för bedömningar och utvärderingar. Utredaren ska ta ställning till om ansvaret för utvärdering av vetenskaplig kvalitet bör ingå i Vetenskapsrådets uppgifter, samt om bedömning av samverkansuppgiften bör ingå i Verket för innovationssystems uppgifter. Utredaren ska föreslå hur resultaten från utvärderingar och bedömningar ska kvantifieras och lämna förslag på hur indikatorer, utvärderingar och bedömningar ska kunna

Ds 2011: Bilaga 7: Uppdraget

251

kombineras för att utgöra en grund för fördelning av direkta anslag till universitet och högskolor. Uppdraget omfattar även att utreda om utvärdering av kvalitet i konstnärlig forskning och konstnärligt utvecklingsarbete kan integreras i en modell för utvärdering av kvalitet i forskningen och därmed om de konstnärliga högskolorna bör omfattas av ett system för kvalitetsbaserad fördelning av de direkta anslagen. Uppdraget ska resultera i ett förslag till en modell för fördelning av befintliga medel. De ekonomiska konsekvenserna av utredarens förslag ska redovisas. I de fall förslagen medför kostnadsökningar ska förslag till finansiering lämnas. Utredaren ska i förekommande fall lämna nödvändiga författningsförslag. Uppdraget omfattar inte fördelning av anslagsmedel till Försvarshögskolan. Utredaren ska genomföra uppdraget i nära kontakt med företrädare för universitet och högskolor och andra berörda myndigheter inom högskolesektorn, speciellt Vetenskapsrådet när det gäller indikatorn för vetenskaplig produktion och citeringar och Verket för innovationssystem när det gäller samverkansuppgiften. Utredaren ska redovisa sitt uppdrag senast den 19 september 2011.

253

Bilaga 8: Akronymer

ALF Avtal om läkarutbildning och forskning ANVUR Agenzia di Valutazione del Sistema Universitario e della Ricerca AUTM Association of Technology Managers (USA) BOF Bijzonder Onderzoeksfondsen (Flandern) BNP Bruttonationalprodukten BP Budgetproposition CRISTIN Current Research Information System in Norway CTWS Centre for Science and Technology Studies, Leiden, Holland DiVA Digitalt Vetenskapligt Arkiv ECOOM Expertisecentrum O&O Monitoring (Flandern) EPO Europeiska patentverket ERC Europeiska forskningsrådet FAS Forskningsrådet för arbetsliv och socialvetenskap FORMAS Forskningsrådet miljö, areella näringar och samhällsbyggande FoU Forskning och utveckling HEFCE Higher Education Funding Council for England ICT Information and Communication Technology IOF Industriele Onderzoeksfondsen (Flandern) IPR Intellectual property rights ISBN International Standard Book Number ISSN International Standard Serial Number JAR Journal for Artistic Research


254

Mistra Stiftelsen för miljöstrategisk forskning NIFU-STEP Norsk institutt for studier av innovasjon, forskning og utdanning OA Open Access PRV Patent och registreringsverket RAE Research Assessment Exercise (Förenade Kungariket) REF Research Excellence Framework (Förenade Kungariket) RQF Research Quality Framework, Australien RUT 2 Resurser för kvalitet (SOU 2007:81) SCB Statistiska Centralbyrån SFS Sveriges förenade studentkårer SKL Sveriges Kommuner och Landsting SRA Slovenian Research Agency SUHF Sveriges universitets- och högskoleförbund SwePub Söktjänst för artiklar, konferensbidrag, avhandlingar m.m. som publicerats vid svenska lärosäten Tekes Utvecklingscentralen för teknologi och innovationer, Finland UHR Universitets- og Høgskolerådet, Norge UoA Units of Assessment Vinnova Verket för innovationssystem VR Vetenskapsrådet V&A Vetenskap och Allmänhet WoS Web of Science