Utvärderingsguide

Den här listan är ett stöd till handläggare i planeringsstadiet inför nya tillväxtpolitiska insatser. Många insatser är mindre och det går inte att lägga för mycket tid och kraft på att planera för utvärdering. Besvara de sju frågor som ställs, och dokumentera svaren i en projektplan, så finns goda förutsättningar för en effektiv utvärdering av insatsen. Detta arbete ska även leda till goda, konkreta idéer och reflektioner om hur insatsen kan genomföras och hur man kan planera för lärande.

Utvärderingar kan delas upp i effektutvärderingar, där syftet är att mäta effekterna av insatsen, och processutvärderingar, där syftet är att förstå hur insatsen påverkar målgruppen. Dessa olika målsättningar med en utvärdering är kompletterande, det vill säga att för att förbättra effekterna bör man ha en god kännedom om hur insatsen och dess process fungerar. Denna guide syftar främst till att ge verktyg för att kunna förenkla utvärdering av effekterna av en insats.

Vad är problemet som insatsen förväntas lösa eller reducera?

Att ha ett tydligt syfte med insatsen underlättar för ett strukturerat lärande och en effektiv utvärdering. Avsikten med insatsen är att lösa ett problem och detta problem bör beskrivas, specificeras noggrant. Det specificerade problemet hjälper till att avgöra om problemet är tillräckligt stort för att det ska vara värt att sätta igång insatsen (ex ante utvärdering) och blir vägledande när man sedan vill veta om insatsens utfall verkar kunna minska problemet.

Fördjupning: Vad är problemet som insatsen förväntas lösa eller reducera?

Vilken är målgruppen?

Vid varje insats så är det viktigt att ha tydlig målgrupp, till exempel vissa företag eller individer, som insatsen riktar sig mot. Målgruppen har antingen det problem som ska lösas eller har en särskild möjlighet att lösa problemet. Om man specificerar målgruppen så är det mycket lättare att både planera insatsen och avgöra om den har träffat rätt. Det blir också lättare att förstå om insatsen har nått alla i den potentiella målgruppen.

Fördjupning: Vilken är målgruppen>

Vad är framgång för insatsen?

Beskriv hur insatsen kan bli en framgång. Sätt gärna siffror på vad som behövs uppnås för att nå denna framgång. Till exempel kan en framgångsrik insats innebära att problemet (som beskrivs i stycket ovan om Vad är problemet som insatsen förväntas lösa eller reducera) förbättras. Det blir enklare att följa upp och utvärdera om man sätter tydliga och realistiska mål och om eventuella målkonflikter diskuterats och dokumenterats. Om det finns en hierarki eller viktning av olika mål så leder öppenhet kring detta till en mer rättvis utvärdering. Om insatsen är en del av flera koordinerade insatser så kan det vara av vikt att förklara hur insatsernas mål relaterar till varandra.

Fördjupning: Vad är framgång för insatsen?>

Hur skulle insatsen kunna bidra till att framgång nås?

Det blir enklare att följa upp och utvärdera insatsen om den har en väl beskriven logikkedja som visar insatsens förväntade effekter i olika steg. En logikkedja hjälper även till att göra processutvärderingar då den beskriver vilka aktiviteter som görs och hur dessa förväntas påverka målgruppen. Om insatsen exempelvis förväntas leda till nya beteenden i målgruppen så bör detta beskrivas så att man i en utvärdering kan observera om så sker. Om dessutom de olika stegen på vägen till slutmålet går att identifiera och mäta så kan man tidigare avgöra om insatsen verkar vara på väg i rätt riktning.

Fördjupning: Hur skulle insatsen kunna bidra till att framgång nås?>

Hur ska man fånga in lämpliga data?

Det blir enklare att följa upp och utvärdera en insats om man lyckas samla in lämpliga eller relevanta data. Data ska helst samlas in för både dem som påverkas av insatsen och en jämförbar grupp som inte har tagit del av insatsen. Den jämförbara gruppen kan vara en del av målgruppen man inte nådde eller de som sökte och inte fick stöd. Datainsamling bör planeras innan insatsen påbörjas.

Fördjupning: Hur ska man fånga in lämpliga data?>

Hur kommer lärande in i processen på ett strukturerat sätt?

Om en insats strukturerat upp mot målet så går det att undervägs förändra insatsen och förbättra effekterna. Struktur kan vara att man sätter upp en bestämd tidsperiod där utfallsdata samlas in och sedan analyseras. Beskriv därför hur de utfall som mäts kan föras in verksamhetsutvecklingen av insatsen vid en bestämd tidpunkt. För att förenkla för utvärdering så bör lärande, de erfarenheter och de ändringar som görs undervägs i insatsen dokumenteras. En utvärdering som har tillgång till hur programmet har utvecklats under tiden blir mer rättvisande.

Fördjupning: Hur kommer lärande in i processen på ett strukturerat sätt?>

Val av insats

Vid nya insatser så rekommenderas att fundera på vilken typ av insats som är bäst för att nå målet. Det finns ofta många sätt att försöka nå ett givet mål eller lösa ett problem. Att fördelar och nackdelar vägs mot varandra hjälper den framtida utvärderingen och stärker argumenten för den valda insatsformen. Jämför därför gärna olika insatser och förklara varför en viss insatsform valdes, med hjälp av forskningsevidens och erfarenhet. Beskriv gärna tidigare insatser som lyckats eller misslyckats och vad man har lärt av det.

Fördjupning: Val av insats>