Meten
We onderscheiden grofweg twee belangrijke redenen om impact te meten:
- Leren en sturen – een impactmeting geeft informatie om te zien welke effecten wel en niet bereikt zijn, en geeft daarmee waardevolle informatie om te leren en activiteiten/aanpak bij te sturen. Met deze informatie kun je verbeteringen doorvoeren, zodat nog meer impact gerealiseerd kan worden.
- Verantwoorden en communiceren - de maatschappelijke waarde van het werk zichtbaar maken. Om te achterhalen welke impact je daadwerkelijk realiseert, is het belangrijk om periodiek impactmetingen uit te voeren. Daarmee krijg je zicht op de impact die je maakt, zodat je dit intern en extern kunt verantwoorden. Tegelijk is het mooi om hierover te kunnen communiceren.
Welke stappen kun je zetten?
Stel vast waar je met je impactmeting op wil focussen, bijvoorbeeld door 2-3 effecten uit de Theory of Change (ToC) te kiezen. Ga hiervoor na welke leervragen je eigenlijk hebt voor je impactmeting. Wat wil je graag te weten komen? Het is belangrijk om hierin keuzes te maken en prioriteiten te stellen. Alles in één keer meten vergt namelijk erg veel tijd. Meer lezen over hoe je zo goed mogelijk kunt kiezen? Lees het volgende artikel: Impact meten: vijf perspectieven om scherp te kiezen | Grant Thornton.
Ga na wat er al bekend is: dit kan informatie zijn die binnen je organisatie al beschikbaar is, of kennis en inzichten vanuit de literatuur.
Vervolgens is het goed om te bedenken hoe je deze effecten wil meten, dus met welke meetinstrumenten (bijv. interviews of vragenlijsten) je de impactmeting wil uitvoeren en bij wie. Past het instrument bij de doelgroep die je wilt onderzoeken? Hierbij is het van belang om te overwegen of je vooral op zoekt bent naar kwantitatieve data (tellen) of meer kwalitatieve data (vertellen).
Als de meetinstrumenten klaar zijn, ga je aan de slag met dataverzameling. Doe je dit zelf of laat je dat door een externe partij doen? Door de data zelf te verzamelen, kan de data minder objectief worden. Stel vast hoeveel reacties je moet verzamelen door middel van een steekproefcalculator. Als je een vragenlijst uitzet, wil je graag meer reacties verzamelen dan bij interviews. Over het algemeen geldt bij vragenlijsten: hoe meer reacties, hoe beter. Meer reacties betekent namelijk dat je een stabielere basis hebt om je conclusies op te baseren. Bij interviews heb je minder respondenten nodig. Dan wil je vooral veel diverse inzichten krijgen in je vraagstuk, en treedt na verloop van tijd verzadiging op.
De laatste stap binnen het meten van de impact is data-analyse. Deze data-analyse kun je het beste doen door alle data in één (Excel) document te verzamelen. Daarmee is het makkelijk om overeenkomsten in de data te zien en patronen te herkennen. Sommige vragenlijstaanbieders, zoals SurveyMonkey, draaien ook al automatisch analyses voor je en tegenwoordig kan AI je ook snel verder helpen met een analyse. Het werkt het beste om deze data-analyse met meerdere personen uit te voeren, zodat je meerdere perspectieven hebt over de data. Stel ook vragen bij de data-analyse: wat vinden jullie opvallend? Wat hadden jullie al verwacht? Kunnen redenen uit de data bepaalde resultaten verklaren?
Welke tools kun je hiervoor gebruiken?
- Eén van de tools die je kan helpen bij impactmeten is een meetplan. Een meetplan dient als prioritering en concretisering van welke veranderingen, afgeleid van de ToC, zullen worden gemonitord. Het geeft overzichtelijk weer wat er gemeten moet worden (outputs, effecten, aannames), welke indicatoren daarbij horen, welke meetinstrumenten worden gebruikt om deze gegevens te verzamelen, waar data te vinden is, wie er verantwoordelijk is en wanneer er gemeten wordt.
- De meest gebruikte meetinstrumenten zijn vragenlijsten en interviews, maar er zijn ook andere instrumenten die gebruikt kunnen worden. Hierbij valt te denken aan Most Significant Change, Rich Picture of het formuleren van stellingen waarvoor je bijvoorbeeld stembussen kunt gebruiken. Dit zijn creatieve manieren om impact te meten bij doelgroepen die een andere aanpak behoeven, zoals kinderen of mensen die de taal minder machtig zijn. Daarnaast zijn er nog diverse frameworks die je kaders kunnen geven bij het uitvoeren van een impactmeting, zoals de Impact Norms van Impact Frontiers of het B4SI Framework voor portfolio organisaties. Deze frameworks zijn vooral geschikt voor organisaties met een groot aantal projecten, waarbij het niet altijd mogelijk is om alle impact daarvan te meten. De frameworks geven handvatten om je portfolio te analyseren en vorm te geven op basis van vaak wat meer beknopte impactdata.
Tips
Houd bij het ontwerpen van je meetinstrumenten, dus bijvoorbeeld bij het opstellen van een interviewleidraad, goed rekening met de effecten die je wil uitvragen. Soms ga je zo op in deze meetinstrumenten dat je afdwaalt van de eigenlijke effecten die je wil toetsen. Check dus geregeld: passen deze vragen nog bij het effect wat ik wil onderzoeken?
Verschillende doelgroepen vereisen verschillen meetmethodieken. Kijk verder dan de traditionele meetinstrumenten zoals een vragenlijst of interviewleidraad. Het kan heel waardevol zijn om bijvoorbeeld te werken met meer creatieve meetinstrumenten, zoals ‘rich picture’ of een ‘trotsboom’. Lees hier hoe we impact hebben gemeten bij kinderen, in opdracht van de Elja Foundation: Impact meten bij kinderen | Grant Thornton
Voor organisaties die met partnerorganisaties samenwerken, is het niet altijd goed mogelijk om te meten bij de einddoelgroep. Dan kan het juist ook heel zinvol zijn om te meten wat het effect is op die partnerorganisaties. Denk aan de effecten van kennisdeling en professionalisering.
Lees meer over impact meten in de kunst en cultuursector:
Voorbeeld: WOMEN Inc. is penvoerder van twee meerjarige allianties. Alliantie Gezondheidszorg op Maat (AGOM2) en Financieel Sterk Door Werk (FSDW), gericht op het terugdringen van ongelijkheid op het snijvlak van gender en gezondheid en werk. Deze allianties streven verandering op meerdere niveaus tegelijk aan; van individuele gedragsverandering tot beleidsbeïnvloeding en systemische verschuivingen in sectoren als de gezondheidszorg of arbeidsmarkt. Als je zulke grote veranderingen teweeg wil brengen, waar begin je dan met meten? Met die vraag ondersteunde Impact House WOMEN Inc. en de andere alliantiepartners over meerdere jaren: van het operationaliseren van de meetplannen tot en met de begeleiding van de monitoring en de tussen- en eindevaluatie. Concreet betekende dat: het aanscherpen van meetprioriteiten samen met de alliantieleden; het ontwikkelen van praktische tools en formats voor dataverzameling; en het begeleiden van interviews, documentanalyses en surveyprocessen. Eén van de methodieken die we inzetten is outcome harvesting, een aanpak die juist geschikt is voor het in kaart brengen van veranderingen die moeilijk rechtstreeks te meten zijn, zoals verschuivingen in politieke agendering of gedragsverandering bij zorginstellingen. Bij outcome harvesting reflecteren alliantieleden zelf op de veranderingen die zij hebben waargenomen, en koppelen die aan hun eigen werk. Dat vraagt begeleiding, maar levert betekenisvolle inzichten op die met standaard surveys niet te vangen zijn. Tegelijkertijd zorgden we ervoor dat het monitoringssysteem behapbaar bleef. Door scherpe keuzes te maken in wat wél en niet gemeten wordt, en door formats en tools te ontwikkelen die aansluiten bij de werkpraktijk van de partners, wordt meten iets wat teams echt doen en niet iets wat blijft liggen.