I denna rapport granskas fyra av Vinnovas effektstudier. Hur säker är evidensen på effekter av stödet till sektorerna fordonsforskning, tillverkningsindustri, medicinsk teknik och innovativa livsmedel samt förnyelsebara råvaror? Vilka lärdomar kan dras för kommande studier?

En lärande innovationspolitik förutsätter att det finns rutiner för utvärderingar och processer, och hur dessa påverkar politikens inriktning och innehåll. På uppdrag av Tillväxtanalys har Sweco Eurofutures genomfört en metaanalys av några effektutvärderingar av olika forskningsprogram som inriktats mot sektorer och branscher. För detta syfte valdes ett antal specifika effektutvärderingar över sektorsinriktade program som Vinnova och dess föregångare har haft. Sektorprogrammen fokuserade på tillverkningsindustrin i allmänhet, program riktade till fordonsbranschen specifikt, program för medicinsk teknik och livsmedel i syfte att generera hälso­ekonomiska effekter samt program som stimulerat utvecklingen av förnyelsebara råvaror. Utvärderingarna genomfördes under perioden 2008 till 2010.

Metaanalysen diskuterar utvärderingarnas resultat utifrån tre perspektiv. Det första handlar om hur begreppet effekt är behandlat i utvärderingarna. Det andra ger en redovisning av den information och data som har använts i effektutvärderingarna. I det tredje perspektivet ges en beskrivning av Vinnovas syn på effekter, deras arbete med effektanalyser genom åren, och lärdomar som dragits av dessa: Vad har man lärt sig av effektanalyserna? Har de förändrats över tiden och hur arbetar man idag för att försäkra sig om att få tillgång till rätt information för att kunna genomföra utvärderingar och uppföljningar?

En viktig utgångspunkt i den moderna utvärderingslitteraturen är att en effekt bör ses som ett resultat av en insats och som jämförs mot en norm som identifieras som relevant i sammanhanget. Jämförelsen kan ske med andra alternativa insatser, eller att ingen insats har genomförts. En effekt som en offentlig aktör åstadkommer är ett resultat som utan aktörens åtgärd inte skulle kunna realiseras. Detta innebär ett behov av en kontrafaktisk metodansats som ofta är förknippad med metodologiska utmaningar och stora krav på datakvalitet.

De granskade effektutvärderingarna är omfattande och ambitiösa i sin ansats, medan operationaliseringen av genomförandet generellt håller lägre nivå för valen av empiriska metoder och krav på informationens tillförlitlighet och reliabilitet. Systemperspektiven som inneburit att flera program och insatser analyserats samlat, tillsammans med långa tidsspann mellan insats och den effekt som man försöker mäta, försvårar möjligheterna att skapa trovärdiga kausala samband mellan insatser och effekter. Bedömningen är också att flera av effektanalyserna, trots detta, ändå ofta drar långtgående slutsatser av effekter från programmen. De studerade effektanalyserna får därför snarare en karaktär av ett sökande efter positiva effekter, istället för att vara neutralt granskande. Som effektanalyserna presenteras framstår de studerade programmen därför mer som ”goda exempel” på resultat från genomförda program.

Det är därför en brist att normen ofta är för svagt definierad för att kunna tala om effekter i strikt kontrafaktisk mening, vilket medfört att det är svårt att empiriskt uppskatta de direkta och indirekta effekterna. Detta beror delvis på att de program som utvärderats har varit mycket komplexa och omfattande samt löpt över en lång tidsperiod. Dessa förhållanden försvårar beskrivningen av ett tydligt samband mellan insats, resultat och effekter, vilket inte är ovanligt i FoI-program. Under senare år har Vinnovas perspektiv delvis förändrats då det vuxit fram en ökad medvetenhet om innebörden av effektbegreppet. Vinnova har samtidigt arbetat med att redan från start utveckla och säkra programteori och insatslogiken i nya program med större krav på påverkbara effektmål, vilket gör det enklare att spåra förväntade effekter i senare skeden. Vinnova har också arbetat med att förbättra informationshanteringen i programmen genom ett mer utbyggt system för projektredovisning och uppföljning, bland annat genom enkäter till de aktörer som deltar i ett projekt. Förändringarna avser att underlätta för framtida studier. Utifrån Vinnovas egna erfarenheter av de svårigheter och brister de funnit, har senare effektanalyser i högre utsträckning inriktats mot mer begränsade program med kortare tidsspann mellan avslut och effektanalyser. Dessa fokuserar också mer på de effekter som programmen har reella förutsättningar att påverka.

Även om det har skett en ökad medvetenhet om hur effektut­värderingar bör genomföras hos myndigheterna behövs en bred diskussion om lämpliga insatser, både gällande metoder och vilken information som ska inhämtas för att kunna förse regeringen och myndighet­erna med lärande effektutvärderingar. Kunskapen om att effekter kräver ett kontrafaktiskt tillstånd bedöms fortfarande som relativt svag, inte bara inom departement och myndig­heter utan även bland många utvärderare. Genomförandet av effektutvärderingar baserade på en medveten kontrafaktisk ansats kommer därför att ställa högre krav på utformningen av programteorier, användningen av olika metoder och på empiriskt underlag än tidigare.