Syftet med rapporten är att fördjupa oss i tillväxtpolitiken och vad vi vet i om tillväxtpolitiska insatsers påverkan på näringslivet. Rapporten är ett försök att systematisera våra kunskaper kring tillväxtpolitiska insatser med specifikt fokus på att analysera vilka tillväxtpolitiska insatser som är lämpliga att effektutvärdera.

Rapporten är skriven på uppdrag av Tillväxtanalys av Martin Andersson, professor i Industriell ekonomi vid Blekinge Tekniska Högskola, professor vid CIRCLE vid Lunds universitet samt forskare på Entreprenörskapsforum i Stockholm samt Jonas Månsson, professor i Industriell ekonomi vid Blekinge Tekniska Högskola. Författarna står själva för rapportens innehåll.

Sammanfattning

I rapporten diskuterar vi olika val och motiv för utvärderingar och ger en övergripande beskrivning av kunskapsläget kring metodval, selektionsproblematik och effekter som rör relevanta tillväxtpolitiska insatser och problematiserar dessa i en tillväxtnäringspolitisk kontext. Rapporten kan fungera som ett informations- och diskussionsstöd för regering, departement och myndigheter i arbetet med att utvärdera och lära sig av tillväxtpolitiska insatser. Studien har även som mål att diskutera alternativ till att förbättra kunskapsläget kring tillväxtpolitiska insatser genom vägledning och förslag på strategier på utvärderingsinsatser.

Rapporten bygger på en kombination av genomgång av rapporter och forskningslitteratur på området och tillika intervjuer av representanter för olika myndigheter, anställda på näringsdepartementet och internationella forskare (inkl. forskarutbildade på organisationer som OECD) aktiva inom utvärdering av tillväxtpolitik.

Kortfattat om slutsatser, rekommendationer och utmaningar

En central del i rapporten fokuserar på statens möjligheter att påverka tillväxtprocesser genom olika policyinsatser. Vi har bland annat berört följande två näraliggande frågeställningar:

• Kan och bör alla policyinsatser inom det tillväxtpolitiska området utvärderas?
• Vilka utvärderingsutmaningar står vi inför, och i vilken utsträckning är vi i behov av att använda oss av flera olika ansatser vid genomförande av effektutvärderingar?

Det finns en tydlig avgränsningsproblematik i samband med att man ska utvärdera och systematisera kunskaperna inom det tillväxtpolitiska området. Tillväxtpolitiken är bred och omfattande och lever under en utmanande styr- och samordningssituation. Ur en praktisk synvinkel kan breddningen inom tillväxtpolitiken ses som en naturlig följd av att staten fått en mer proaktiv roll i genomförandet av tillväxtpolitiken. Det innebär dock att tillväxtpolitiken berör många olika myndigheter och sakområden. En mera statligt aktiv tillväxtpolitik genererar i sin tur ett ökat behov av evidensbaserade utvärderingar av tillväxtpolitiska insatser. Därav behöver man hitta ett sätt att prioritera och avgränsa vilka tillväxtpolitiska insatser som ska utvärderas Vår slutsats är att:

Det behövs en pragmatisk avgränsning av tillväxtpolitik

Tillväxt- och näringspolitik har stora beröringar med andra politikområden, men det skulle vara omöjligt att hantera detta inom en och samma myndighet, även om vi uppmuntrar samarbeten runt dessa frågor med andra myndigheter. En lämplig pragmatisk avgränsning är att i första hand rikta effektutvärderingarna mot de tillväxt- och näringspolitiska insatser som är finansierade inom ramen för utgiftsområde 19 och 24 och utifrån de utgiftsområdena bygga upp systematiska kunskaper om hur väl olika insatser fungerar generellt och i skilda kontexter. Vad gäller utvärderingar som ligger utanför detta tillväxtpolitiska område skulle fler gemensamma samarbeten med andra analysmyndigheter vara önskvärda.

I rapporten har vi kategoriserat tillväxtpolitiska insatser i två huvudgrupper, det vill säga i horisontella och vertikala insatser och utifrån det diskuterat var det är mest lämpligt att genomföra evidensbaserade utvärderingar. Med horisontella insatser avses ramvillkoren för företagen, exempelvis skattesubventioner, lagar och andra regelverk och är således verksamma i den del av ekonomin som förändras i långa cykler. Med vertikala insatser avses selektiva åtgärder riktade mot specifika branscher, teknologier eller företag. Här återfinns stora delar av den aktiva näringspolitiken. Denna del av tillväxtpolitiska insatser ligger ”nära företagen” och är således verksam i den del av ekonomin som förändras i korta cykler. Vår slutsats är att:

• Horisontella insatser är i regel svårare att effektutvärdera. Det är problematiskt att utvärdera kontrafaktiskt på grund av att det är svårt att konstruera lämpliga kontrollgrupper. Här behöver man fundera en extra gång kring hur en effektutvärdering ska genomföras eller om det krävs andra utvärderingsmetoder. Ett sätt att hantera behovet av utvärderingar är att jobba med pilotstudier, exempelvis genom att genomföra förändringar i geografiskt eller branschmässigt avgränsade områden. Så kallade ”regulatory sandboxes” är ett exempel på arbete i denna riktning.[1]

• Vertikala insatser är enklare att utvärdera kontrafaktiskt med hjälp av effektutvärderingar. I den här typen av utvärderingar finns det ett stort behov av att bygga in förutsättningar för anpassningsbarhet och lärande, och utvärderingar är ett väsentligt instrument för policylärande och anpassning av olika tillväxtpolitiska insatser över tid. Förutsättningarna för effektutvärderingar är också relativt goda då genomförandemyndigheter har stor rådighet över olika insatsers utformning, inriktning och implementering.

Huvudslutsatsen utifrån denna genomgång är att det finns ett stort behov av att anpassa metodval och prioritera vilka tillväxtpolitiska insatser som ska och kan effektutvärderas. Det är viktigt för att skapa rätt ”grogrund” för evidensbaserad och systematisk kunskapsuppbyggnad och lärande kring centrala tillväxtpolitiska insatser. En genomläsning av forskningslitteratur och resultat från Tillväxtanalys genomförda effektutvärderingar visar att staten kan påverka tillväxt genom tillväxtpolitiska insatser, horisontella såväl som vertikala.

Det finns exempelvis stark evidens för att horisontella åtgärder (t.ex. regelförenklingar, ROT- och RUT-avdrag och momssänkningar som påverkar grundläggande förutsättningar för hela branscher) ger positiva effekter. Mycket talar för att goda ramvillkor också är en väsentlig förutsättning för att vertikala insatser ska ha effekt.

Evidensen för att vertikala och mer selektiva åtgärder ger resultat är omtvistad och den empiriska evidensen är inte entydig. Samtidigt finns ett växande antal empiriska studier som pekar på positiva effekter av industripolitiska insatser. Dock finns det betydande svårigheter med att ”pricka rätt” vad gäller såväl inriktning som implementering eftersom det ofta saknas kunskap om vad som fungerar och det finns betydande osäkerheter med att inrikta insatser mot specifika teknologier eller företag. Det finns också en inneboende osäkerhet i innovationsprocesser och entreprenörskap.

Förutsättningarna för kontinuerligt policylärande och kunskapsuppbyggnad idag kan utvecklas och det finns ett behov av att ta fram och dokumentera interventionsteorier, arbeta med löpande utvärderingar och säkerställa tillgång till data, inte minst vad gäller vertikala tillväxtpolitiska insatser.

Hur ska effekter bedömas och bör fokus alltid vara på effekter - vad styr denna potentiella avvägning?

Oavsett om vi ska effektutvärdera horisontella eller vertikala insatser uppstår det metodologiska problem, men problemen kan se olika ut. Selektiva tillväxtpolitiska insatser är i stort lättare att effektutvärdera på grund av att det pågår under ett kortare tidsintervall och ofta finns mera preciserade målgrupper att konstruera lämpliga kontrollgrupper utifrån. Men även inom denna grupp av tillväxtpolitiska insatser finns det metodologiska problem som bidrar till att försvåra bedömningar av effekter. Vår slutsats är ändå att:

Olika typer av insatser ligger närmare eller längre från företagens direkta verksamhet och har olika behov av anpassningsbarhet. Det innebär att det ibland kan vara svårt att säkerställa ett kausalt samband mellan insats och effekt om insatsen ligger längre från företagens direkta verksamhet.

Med fokus på bedömningar av effekter vill vi framför allt lyfta följande:

Att hitta positiva effekter är inte samma sak som att en åtgärd är bra

Ett välkänt, men ofta ignorerat problem med effektutvärderingar är att de i egentlig mening inte har någon normativ tolkning. Det är först när kostnaderna för att driva ett projekt ställs mot de potentiella intäkterna som det går att avgöra om projektet ur en samhällsekonomisk mening är effektivt. Ofta görs dock antagandet att kostnaderna för deltagande företag är samma som för icke deltagande, alternativt att kostnaderna är förhållandevis små. Om så är fallet går det att göra en normativ tolkning av positiva effekter. I de fall där kostnaderna för att driva projekten/stöden är höga krävs inte bara positiva effekter, utan stora sådana till ett högt värde för att projektet ska ge en samhällsekonomisk vinst.

Ett utvecklingsområde för utvärderingsmyndigheter är att inkludera effektivitetsutvärderingar och en början på en sådan utveckling är att åtminstone inkludera information om kostnader för det stöd/projekt som effektutvärderas.

Ett annat problem som kan vara värt att tänka på i samband med att man tar fram och bedömer effekter är att:

Vissa typer av stöd inom närings- och tillväxtpolitiken låter sig inte effektutvärderas med genomsnittliga effekter

Det vanligaste effektmåttet som används är den genomsnittliga behandlingseffekten på dem som fått behandling (Average treatment effect on the treated, ATET). Inom näringspolitiken finns det dock stöd och insatser som tar sikte på att vara lite mera risktagande, exempelvis inom innovationsstöd. I den litteratur vi refererar till framgår att det är vid sådana satsningar som få företag som får stöd lyckas, medan det stora flertalet misslyckas. Inte för att den genomsnittliga behandlingseffekten blir missvisande på något sätt, men det vore mer intressant att mäta effekterna med något annat mått än genomsnittet. Det pågår forskning som tar sikte på att mäta effekter som inte använder medelvärden utan andra mått (se ex. Callaway & Tong, 2019). Vår bedömning är att detta är en utveckling som utvärderingsmyndigheter bör ta till sig och försöka att genomföra, exempelvis, en utvärdering av kommersiella framgångar av innovationsstöd baserad på de metoder som nu håller på att tas fram.

Som konstaterats i rapporten, och som också är skälet till att MISS-databasen skapades 2012, finns det flera aktörer som erbjuder samma eller liknande stöd eller flera stöd av samma stödgivare. Innan MISS-databasen skapades kunde detta innebära att i genomförandet av en utvärdering kunde kontrollgruppen bestå av företag som fått samma eller mycket liknande stöd, vilket innebar att den uppmätta effekten, av naturliga skäl, ofta var noll eller försumbar. De utvärderingar som gjorts i närtid har uteslutande hanterat problemet med multipla stöd, genom att eliminera dessa företag från effektberäkningen. På senare år har dock metoder utvecklats för att hantera både multipla stöd men även multipla sekventiella stöd. Tillväxtanalys jobbar idag med att studera dessa metoder,[2] och vår rekommendation är att även dessa metoder ska tillhöra Tillväxtanalys metodarsenal eftersom det finns ett stort antal aktörer inom tillväxt- och näringspolitiken.

Vi kan även konstatera att om handläggarna gjort ett bra jobb med att pricka rätt målgrupp av företag som har en god potential att växa så har det uppstått ett selektionsproblem som utvärderaren behöver hantera i sin effektbedömning.

När en utvärderare tar fram resultat så består det i regel av tre delar: Resultat = effekt av åtgärd + selektionseffekt + omvärldsfaktorers påverkan på resultatet. Vad utvärderaren vill göra vid en effektmätning är att försöka eliminera både selektion och omvärldsfaktorer. Att hantera omvärldsfaktorernas påverkan görs ofta genom att använda en kontrollgrupp. Selektionen utgörs bl.a. av det urval av företag, som handläggare vid genomförandemyndigheter gör, för att säkerhetsställa att exempelvis ett företag har vilja och förmåga att växa. Detta jobb är det som i effektutvärderingssammanhang benämns selektionsproblem. En iakttagelse är att det troligen är just skillnaden mellan resultat och effekter som historiskt skapat spänningar mellan genomförandemyndigheter och utvärderingsmyndigheter/utvärderare.

Genomförandemyndigheten observerar resultatet medan utvärderare fokuserar på effekter, därför bör det mesta av arbetet som görs av handläggarna i termer av att välja ut ”rätt” företag/individer, i största mån elimineras. Detta är problematiskt eftersom det framgår i många genomförandemyndigheters instruktioner att de ska göra just detta urval. Ofta handlar det om idéer som de bedömer som framgångsrika och med sökanden som är motiverade etc. Vår slutsats och utmaning för utvärderingsmyndigheter är att:

Vi måste försöka kvantifiera selektionseffektens storlek av resultatet av deltagande/stöd.[3]

Detta är viktigt utifrån bedömningar av insatser och effekter som genomförandemyndigheten genomför. Det vill säga om genomförandemyndigheten blir bättre på att välja ut företag/individer som med större sannolikhet lyckas uppfylla målen så ska detta inte ses som ett problem. Men vi har till dags dato inte sett några studier som tar sikte på att kvantifiera hur stor del av resultatet som de facto kommer från selektion. Det finns dock forskning/utredningar som ändå närmar sig området (se exempelvis Cederlöf et.al. 2021).

Vårt huvudsakliga budskap är att det vore nyttigt att ha en mer nyanserad diskussion om handläggarens roll (administrativ selektion) för det totala resultatet (måluppfyllelsen) snarare är enbart fokusera på effekter. Helst skulle vi vilja se att utvärderingsmyndigheter försöker att kvantifiera selektionseffekter – hur det ska göras har vi dock idag inget bra förslag på.

[1] Det kan även vara värt att undersöka om ett naturligt experiment kan genomföras Sådana slumpmässiga situationer uppstår regelbundet och bidrar till att man kan konstruera lämpliga kontroll- och behandlingsgrupper.

[2] Tillväxtanalys kommer under år 2023 genomföra en studie med fokus på att effektutvärdera specifikt multipla stödinsatser.

[3] Det kan vara värt att notera att tilldelningsbeslut kan riggas på ett sådant sätt att selektionseffekten minimeras., men ett sådant förfarande kanske inte är det bästa alternativet utifrån genomförande myndighetens målsättningar med programmet.