Hur ska man fånga in lämpliga data?
Denna guide är främst framtagen för att förbättra förutsättningarna för en effektutvärdering och inte en processutvärdering. Relevanta data är själva nyckeln till att en insats ska bli utvärderingsbar. Att utforma särskilda mätinstrument är därför vanligt för de flesta insatser. Det kräver omsorg och erfarenhet. Genom att tidigt fundera över vilken data som behövs och starta datafångsten redan från start underlättas nästkommande steg i utvärderingsprocessen betydligt. Nedan listas några områden som är särskilt viktiga att kartlägga/mäta.
- Vilka utgör målgruppen? Hur stor är denna? Hur många av målgruppen har tagit del av insatsen? Vilket är lämplig identifikation av medlemmar i målgruppen (t.ex. organisationsnummer).
- Om insatsen har urvalsprocesser:
- Hur ser urvalsprocessen för utlysningar av medel ut?
- Hur rankandes samtliga sökande (identifieras med organisationsnummer) när ansökningarna bedömdes?
- Vad ska ha inträffat efter att insatsen har nått sina mottagare? Vi kallar detta i allmänhet för utfall. Hur kan förekomsten av utfallet mätas?
- När förväntas utfallet uppstå efter insatsen?
- Om själva insatsen:
- Beskriv insatsens genomförande
- Tidpunkt
- Resurser som en enskild mottagare tagit emot i samband med insatsen
- Enskilda resurser som en enskild mottagare av insatsen använt för att ta del av insatsen
- Kan, och i så fall har, mottagare i målgruppen tagit del av liknande insatser från andra aktörer eller källor?
En insats som inte kan ange ovanstående i mätbara former har svårt att mäta utfallet och effekterna av insatsen. Om insatsen är av föränderlig karaktär så rekommenderas en ”developmental evaluation”, se nedan.
Läs mer:
Bamberger, Michael; Rao, Vijayendra; Woolcock, Michael. 2010. Using Mixed Methods in Monitoring and Evaluation: Experiences from International Development. Policy Research working paper; no. WPS 5245. World Bank.
Bloch, C., Sørensen, M. P., Graversen, E. K., Schneider, J. W., Schmidt, E. K., Aagaard, K., & Mejlgaard, N. (2014). Developing a methodology to assess the impact of research grant funding: A mixed methods approach. Evaluation and Program Planning, 43(0), 105-117.