Utvärderingsguide
Den här utvärderingsguiden är ett stöd till handläggare i planeringen av nya tillväxtpolitiska insatser. Besvara de sju frågorna som ställs och dokumentera svaren i en projektplan, så finns goda förutsättningar för en effektiv utvärdering av insatsen i ett senare skede.
I mindre insatser kan det vara svårt att lägga tid och kraft på att planera för en utvärdering. Syftet med guiden är att ge verktyg för att redan i planeringen lägga en bra grund för att kunna utvärdera insatsen i ett senare skede.
1. Vad är problemet som insatsen förväntas lösa?
Att ha ett tydligt syfte med insatsen underlättar för ett strukturerat lärande och en effektiv utvärdering. Avsikten med insatsen är att lösa ett problem och detta problem bör beskrivas noggrant. Det specificerade problemet hjälper till att avgöra om problemet är tillräckligt stort för att det ska vara värt att sätta igång insatsen (tex ante-utvärdering) och blir vägledande när man sedan vill veta om insatsens utfall verkar kunna minska problemet.
2. Vilken är målgruppen?
Vid varje insats är det viktigt att identifiera målgrupp, till exempel specifika branscher, företag eller individer, som insatsen riktar sig mot. Målgruppen har antingen det problem som ska lösas genom insatsen eller har en särskild möjlighet att lösa problemet. Om målgruppen är specificerad är det lättare att både planera insatsen och avgöra om den har träffat rätt. Det blir också lättare att förstå om insatsen har nått alla i den potentiella målgruppen.
3. Vad är framgång för insatsen?
Beskriv hur insatsen kan bli en framgång. Sätt gärna siffror på vad som ska uppnås för att nå denna framgång. Till exempel kan en framgångsrik insats innebära att problemet förbättras. Det blir enklare att följa upp och utvärdera om det finns tydliga och realistiska mål och att eventuella målkonflikter diskuterats och dokumenterats. Om det finns en hierarki eller viktning av olika mål så leder öppenhet kring detta till en mer rättvis utvärdering. Om insatsen är en del av flera koordinerade insatser kan det vara av vikt att förklara hur insatsernas mål relaterar till varandra.
4. Hur kan insatsen bidra till att framgång nås?
Det blir enklare att följa upp och utvärdera insatsen om den har en väl beskriven logikkedja som visar insatsens förväntade effekter i olika steg. En logikkedja hjälper även till i arbetet med processutvärderingar då den beskriver vilka aktiviteter som görs och hur dessa förväntas påverka målgruppen. Om insatsen exempelvis förväntas leda till nya beteenden i målgruppen bör detta beskrivas så att det går att observera i utvärdering om så sker. Om det dessutom går att identifiera och mäta de olika stegen på vägen till slutmålet så kan man tidigare avgöra om insatsen verkar vara på väg i rätt riktning.
5. Hur ska lämplig data hämtas in?
Det blir enklare att följa upp och utvärdera en insats om man lyckas samla in lämpliga eller relevanta data. Data ska helst samlas in för både dem som påverkas av insatsen och en jämförbar grupp som inte har tagit del av insatsen. Den jämförbara gruppen kan vara en del av målgruppen man inte nådde eller de som sökte och inte fick stöd. Datainsamling bör planeras innan insatsen påbörjas.
6. Hur kommer lärande in i processen på ett strukturerat sätt?
Även om en insats strukturerats upp mot målet går det att undervägs förändra insatsen och förbättra effekterna. Struktur kan vara att man sätter upp en bestämd tidsperiod där utfallsdata samlas in och sedan analyseras. Beskriv därför hur de utfall som mäts kan föras in i verksamhetsutvecklingen av insatsen vid en bestämd tidpunkt. För att förenkla för utvärdering så bör man dokumentera lärandet, dvs de erfarenheter och ändringar som görs undervägs i insatsen. En utvärdering som har tillgång till hur programmet har utvecklats under tiden blir mer rättvisande.
7. Val av insats
Vid nya insatser rekommenderas att fundera på vilken typ av insats som är bäst för att nå målet. Det finns ofta många sätt att försöka nå ett givet mål eller lösa ett problem. Att fördelar och nackdelar vägs mot varandra hjälper den framtida utvärderingen och stärker argumenten för den valda insatsformen. Jämför därför gärna olika insatser och förklara varför en viss insatsform valdes, med hjälp av forskningsevidens och erfarenhet. Beskriv gärna tidigare insatser som lyckats eller misslyckats och vad man har lärt av det.