Tillväxtanalys anser att ytterligare förtydliganden av målen med en reform behövs.

Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) har ombetts lämna synpunkter på utredningen ”Prestationsbaserad resurstilldelning för universitet och högskolor”.

Tillväxtanalys har inte haft möjlighet att i detalj studera det omfattande materialet och begränsar därför sitt utlåtande till nedanstående. Myndigheten vill också påpeka att Tillväxtanalys, på uppdrag av Utbildningsdepartementet, nyligen beskrivit delar av resursfördelningssystemet till lärosäten i flera länder (Storbritannien, Nederländerna, USA, Kanada, Japan, Sydkorea och Kina) vilket relaterar till frågeställningarna i utredningen.

Sammanfattning 

Tillväxtanalys anser att utredningen är av stort värde för vidareutvecklingen av ett kvalitetsdrivet fördelningssystem av basresurser till svenska universitet och högskolor (UoH) i en alltmer hårdnande internationell konkurrens om studenter, resurser och samverkan med företag. Utredningen tillför god kunskap till diskussionen om ett rättvisande utvärderingssystem. Samtidigt anser Tillväxtanalys att ytterligare förtydliganden av målen med en reform behövs och att det krävs kompletterande analyser av de förväntade resultaten av de förslag som görs i utredningen. Ytterligare inhämtning av internationella erfarenheter, då många länder har gjort eller på väg att organisera om sina finansieringssystem, vore av stort värde. Tillväxtanalys anser även att indikatorer och utvärderingsmetoder behöver utvecklas ytterligare innan en implementering av förändringar av det svenska finansieringssystemet för UoH kan bli aktuell. Myndigheten anser därför att utredningens förslag i dagsläget inte bör genomföras utan att ytterligare analys krävs. Utredningen utgör i det sammanhanget ett värdefullt grundmaterial.

Tillväxtanalys ställningstagande är baserat på nedanstående diskussion och observationer.

Tidsaspekter vad gäller utvecklingen av ett nytt prestationsbaserat resurs-tilldelningssystem 

Utvecklingen av ett utvärderingsbaserat resursfördelningssystem till UoH är komplicerad och måste därför sannolikt ske iterativt. Storbritannien införde redan 1986 system för utvärdering och finansiering av lärosäten vilket sedan utvecklats stegvis under många år. Dessa utvärderingar har inte varit årligen återkommande. Exempelvis utfördes den senaste 2008 (Research Assessment Exercise, RAE) och den dessförinnan 2001. Storbritannien kommer efter vidareutveckling av systemet och efter en process som innehållit en mängd förseningar att i ny form utföra nästa utvärdering 2014 (Research Excellence Framework, REF). Motivet bakom de förändringar som nu sker i Storbritannien är till stor del att minska arbetsbördan för forskarna. Utvecklingen av det nya brittiska systemet har försenats bland annat till följd av att man velat säkerställa att utvärderingsmetoderna och indikatorerna är relevanta och då man anser det mycket viktigt att systemet får en stark legitimitet bland UoH och andra aktörer. Under utvecklingen av det nya systemet har därför ett antal ”dry runs”, d.v.s. testutvärderingar med ett begränsat antal lärosäten och ämnen, utförts vilket medfört justeringar av det föreslagna systemet. Flera remissomgångar har utförts.

Tillväxtanalys anser att ovanstående illustrerar behovet av ett betydande analysunderlag och tester för att säkra att utvärderingarna mäter de avsedda effekterna samt för att skapa en stark legitimitet och stöd för systemet.

Tillväxtanalys vill också påpeka att en noggrannare analys av förhållandena i andra länder sannolikt behövs innan ett svenskt system implementeras fullt ut. Även om flera länder infört utvärderingsberoende resurstilldelningssystem till UoH så finns också exempel där sådana avskaffats. Detta har exempelvis skett i vissa amerikanska delstater.
Då UoH:s verksamhet till största del är långsiktig så anser Tillväxtanalys att utvärderingarnas påverkan på resursfördelningen måste ske gradvis över ett antal utvärderingar och år. Det är inte heller självklart att prestationer behöver eller ens bör mätas årligen.

Indikatorer och/eller ”peer review” bedömningar

Tillväxtanalys anser det tveksamt om kollegiala bedömningar helt kan undvikas även om myndigheten samtidigt håller med om stora delar av utredningens kritik mot sådana. Vad gäller bedömningar av de fallstudier som föreslås illustrera samhällelig påverkan och nyttiggörande torde s.k. ”peer review-processer” vara nödvändiga. Sådana bedömningar är sannolikt också viktiga för kompletterande bedömningar av den vetenskapliga produktionens kvalitet. Detta då ett system med enbart indikatorer riskerar blir alltför trubbigt och missvisande, i synnerhet för nyskapande och nydanande forskning, mindre forskningsområden, viss humaniora och samhällsvetenskap samt för yngre forskare i de flesta discipliner. Detta kan måhända till viss del motverkas med utbyggnaden av större publicerings- och forskningsdatabaser. Detta behöver dock först påvisas att det låter sig göras på ett legitimt och rättvist sätt. En av ambitionerna för att göra om det brittiska systemet var att minska bördan på de akademiska forskarna och lärosätena. Vid utvecklingen av det nya systemet var därför en uttalad ambition att basera kommande utvärderingar enbart på indikatorer. Detta har dock visat sig mycket svårt och det nya REF-systemet kommer således även fortsättningsvis innehålla kollegiala bedömningar, s.k. ”peer review”. Det finns goda skäl för Sverige att lära av de brittiska erfarenheterna.
Tillväxtanalys anser dock att om kollegiala bedömningar skall användas så bör ske med internationella experter inte minst till följd av den starka internationaliseringen inom UoH samt lärosätenas internationella konkurrens-utsättning. Tillväxtanalys är tveksamt till att använda lärosätenas egna utvärderingar som bedömningsgrund för offentlig resurstilldelning även om dessa kan ha ett mycket stort värde för lärosätenas egna prioriteringar för utbildning, forskning och samverkan. Om ett system vilket inkluderar kollegiala bedömningar införs i Sverige anser dock Tillväxtanalys det tveksamt om sådana utvärderingar behöver utföras årligen. Med tanke på att lärosätenas arbete till stor del är långsiktigt är det också tveksamt om årliga utvärderingar är nödvändiga. Ett alternativ kunde vara att heltäckande utvärderingar utförs med ett antal års mellanrum och, om nödvändigt, kompletteras med årliga indikatorbaserade uppdateringar. Ett ytterligare alternativ kan vara att utvärderingar av olika vetenskapsområden utförs olika år.

Banbrytande forskning, unga forskare och forskarutbildning

För att Sverige och svenska UoH skall vara internationellt konkurrenskraftiga krävs nyskapande forskning som ibland är banbrytande och kan gå emot förhärskande metoder och normer. Ibland kan sådan forskning, trots hög kvalitet, vara svår att få publicerad i högt rankade (i termer av ”impact factors”) vetenskapliga publikationer. Samma resonemang gäller ofta för mindre eller nya vetenskapsområden. Således kan det i ovanstående fall bli nödvändigt att bedöma forskning med andra metoder vilka sannolikt inkluderar ”peer review”. Det är av stor vikt för UoH att säkra rekryteringen av unga nyskapande forskare och lärare samt ge dessa möjligheter att utföra sin verksamhet långsiktigt. Samtidigt har forskare i början av karriären ofta svårare att attrahera medel jämfört med sina äldre mer etablerade kollegor. Sådana unga forskare har också ofta en längre tidsmässig ”uppkörssträcka” till publicering av vetenskapliga resultat. Tillväxtanalys anser det vara mycket viktigt att dessa forskares situation ges speciell uppmärksamhet i utvärderingssystemet och att tydliga kriterier definieras. Även här finns goda erfarenheter att hämta i andra länder. Forskarutbildningen vid Sveriges UoH är central för kompetensförsörjningen till högkvalificerade yrken såväl inom som utom lärosätena. Det är därför betydelsefullt att utveckla indikatorer för att mäta såväl kvalitet som volym inom denna.

Tillväxtanalys anser det vara av stor vikt att tydliggöra hur ovanstående områden kommer att mätas och bedömas i det kommande systemet.

Vetenskaplig excellens 

Tillväxtanalys anser det vara viktigt att den vetenskapliga kvalitén mäts på ett rättvisande sätt. UoH befinner sig alltmer i en internationellt konkurrensutsatt situation vilket kräver högsta möjliga internationella kvalitet för att vara attraktiv för studenter, forskare och företag samt samarbetspartner med andra lärosäten i världen. Utredningen föreslår att projektmedel från Vetenskapsrådet (VR) och det Europeiska forskningsrådet (ERC) skall viktas högre än externa forskningsmedel från andra källor. Detta till följd av att ”medel från dessa [VR, ERC, utredningens kommentar] erhålls i högsta nationella respektive europeiska konkurrens”. Medel från VR och ERC är synnerligen meriterande men Tillväxtanalys anser det tveksamt om medel från enskilda utpekade källor kan särbedömas. Några exempel då problem kan uppkomma med förslaget i utredningen är exempelvis vid anslag från amerikanska National Institutes of Health (NIH), stora internationella forskningsfonder eller från andra organisationer i Sverige eller utlandet. Detta skulle även inkludera forskningsfinansierande myndigheter i länder som svenska forskare och lärosäten samarbetar med. Enligt det föreslagna systemet skulle projektmedel från dessa organisationer bedömas som mindre meriterande än anslag från VR eller ERC. Grunden för detta är oklar för Tillväxtanalys och riskerar att inte heller stimulera till ökat internationellt samarbete eller utbyte. Vidare riskerar det att förstärka synen att grundforskning är ”finare” än annan forskning vilket i sig är tveksamt. Vetenskaplig kvalitet mäts enligt förslaget med bibliometriska indikatorer och med andelen externa medel. Tillväxtanalys anser att dessa indikatorer inte fullt ut är tillräckliga för att mäta kvalitet inom samtliga vetenskapsområden och för forskning med alla syften. Exempelvis för mer behovsorienterad forskning krävs sannolikt ytterligare indikatorer och/eller vissa kollegiala granskningar med aktörer från olika områden och sektorer.

Nyttiggörande och samhällelig påverkan

UoH har centrala roller i samhället vad gäller forskning, innovation och utbildning. Eftersom Sverige i ett internationellt perspektiv har en förhållandevis liten institutssektor ökar betydelsen av att mäta lärosätenas roller och påverkan i samhället. Utredningen föreslår att påverkan skall mätas genom att UoH skall rapportera fallstudier över forskningsresultatens externa användning och effekter. Detta system liknar det föreslagna brittiska systemet som skall implementeras 2014. Av vikt i sammanhanget är under vilka tidsperioder som effekterna skall mätas. Då mycket forskning av hög kvalitet är långsiktig så kan eventuella effekter ske mycket lång tid efter att forskningen publicerades (ofta 10-20 år och mer). Dessutom är det inte självklart att de eventuella effekterna, i synnerhet från grundforskningen, sker i Sverige och är lätt påvisbara. För viktig långsiktig forskning kan det bli svårt att mäta de direkta effekterna vilket hänsyn måste tas till. I Storbritannien diskuteras att inkludera effekter till och med på 15-20 års sikt. Viss hänsyn bör också tas till den regionala betydelsen av olika lärosäten inklusive påverkan på det lokala näringslivet, arbetsmarknad samt utbildningstillgänglighet.

Samverkan

Lärosätenas samverkan med det övriga samhället är av största betydelse.

Utredningen föreslår att samverkan mäts efter intäkter från uppdragsutbildning och uppdragsforskning. Dessa båda faktorers användbarhet är dock begränsad då de enbart är av monetär art och där, exempelvis olika forskningsuppdrag, i sig inte nödvändigtvis behöver inkludera en stark och kontinuerlig samverkan.

Tillväxtanalys anser därför att mätning av samverkan behöver vidgas till att bland annat omfatta forskning, utbildning och innovation inkluderande aktörer från olika sektorer. Dessutom krävs att internationella erfarenheter inhämtas som belyser och analyserar effekterna av olika instrument för att öka samverkan. Även företagens, myndigheternas och organisationernas utnyttjande och samarbete av forskare och lärares expertis för andra uppdrag (något som senare år forskning visat är av mycket stor betydelse) bör inkluderas liksom forskares och lärares rörlighet mellan samhällets olika sektorer. Om staten vill öka UoH samverkan med näringslivet måste de föreslagna indikatorerna dessutom ställas mot alternativa åtgärder, exempelvis hur samverkan premieras vid tjänstetillsättningar och forskares löneutveckling

Beslut i detta ärende har fattats av undertecknad. Föredragande har varit avdelningschef Enrico Deiaco och analytiker Martin Wikström.

Dan Hjalmarsson
Generaldirektör