De meest invloedrijke stroming in de literatuur (Provan, K.G., & Milward, H.B. (2001). Do Networks Really Work? A Framework for Evaluating Public-Sector Organizational Networks. Public Administration Review, 61(4), 414-423) over samenwerkingsverbanden maakt het al direct ingewikkeld. Die stelt namelijk dat de effectiviteit van een samenwerkingsverband zich op drie verschillende niveaus kan ontvouwen: op het niveau van de samenleving (waarop je bijvoorbeeld meet of de gezondheid van een populatie in een regio zich verbetert), het niveau van het samenwerkingsverband zelf (waar het dan veelal gaat over het samenwerken sec, dus bijvoorbeeld of men elkaar vertrouwt en of er goed leiderschap aanwezig is), en op het niveau van deelnemende organisaties (dan gaat het bijvoorbeeld over de kosten die een organisatie heeft aan het leveren van zorg) en cliënten/patiënten (bijvoorbeeld de kwaliteit als ervaren door de patiënt). Helaas betekent winst op een van deze niveaus niet automatisch winst op een ander niveau. Als de zorg kwalitatief bijvoorbeeld veel beter wordt, kan dat zomaar gepaard gaan met hogere totale kosten. En als organisaties vinden dat het leiderschap in een samenwerkingsverband goed is, betekent dat niet automatisch dat patiënten en cliënten de zorg van de organisaties in dat samenwerkingsverband ook meer gaan waarderen.
Procesmaten en uitkomsten
Naast de drie niveaus van effectiviteit kunnen we ook onderscheid maken tussen effectiviteit als procesmaten en uitkomsten. De procesmaten zitten veelal op het niveau van het samenwerkingsverband zelf en gaan over ‘zachte’ aspecten, zoals vertrouwen. De uitkomsten worden gezien als de ‘hardere’ maten, waarin bijvoorbeeld een daling van de kosten of verlaging van wachtlijsten kan worden gemeten. Maar, met de conceptualisatie van samenwerkingsverbanden die we in blog 3 bespraken, lijkt het evident de effectiviteit van een samenwerkingsverband te beoordelen aan de hand van het doel dat het zich heeft gesteld. Ze worden immers in het leven geroepen om de complexe problemen in de zorg op te pakken, dus dan moeten ze daar wellicht ook gewoon aan bijdragen. Dan zouden dus alleen de hardere uitkomstmaten tellen.
Moeilijk aan te tonen
Helaas ligt dat iets genuanceerder. Het is namelijk behoorlijk ingewikkeld om dergelijke uitkomstmaten op een goede, valide manier te meten. Zo is het bijzonder moeilijk aan te tonen dat enige verandering daadwerkelijk door dit samenwerkingsverband komt en niet door één van de zoveel andere samenwerkingsverbanden of veranderingen die in de context gebeuren. Een klassieke RCT, toch nog altijd de gouden standaard in medisch-wetenschappelijk onderzoek, is voor dit soort vraagstukken volstrekt onhaalbaar. Bovendien zijn de problemen waar samenwerkingsverbanden zich op richten vaak dusdanig complex dat het jaren kan duren voordat er überhaupt meetbare verbeteringen optreden. Denk ook hier weer aan hoelang het duurt voordat een gehele populatie zich gemiddeld genomen gezonder voelt.
Een institutional myth
In ons eigen onderzoek zagen we dat, door de complexiteit van het meten van uitkomsten, er vaak enkel wordt vertrouwd op het ‘gevoel van goed samenwerken’. Maar hier zitten wat haken en ogen aan. Zo wijst andere literatuur bijvoorbeeld uit dat gepercipieerde effectiviteit vaak lager is dan daadwerkelijke effectiviteit. En ook in onze studie zagen we problemen. Want zelfs als men samenwerkingsverbanden als niet effectief bestempelde, bleek het moeilijk om met samenwerkingsverbanden te stoppen. Dat kwam door zogeheten ‘institutionele druk’, ofwel, een bepaalde druk die mensen ervaren vanuit het systeem. Bijvoorbeeld, men ervaart dat er een sociale verwachting is om deel te nemen in samenwerkingsverbanden omdat het wordt gezien als de nieuwe norm, men is bang de boot te missen mocht het samenwerkingsverbanden toch wel effectief worden (en dan mis je als organisatie de legitimiteit die dat met zich meebrengt), en men had het idee dat dit wel eens negatieve gevolgen kon hebben voor onderhandelingen met de zorgverzekeraar. Maar dan komen we eigenlijk in een vicieuze cirkel die leidt tot een enorme toename van samenwerkingsverbanden: zelfs als we een samenwerkingsverbanden niet effectief vinden blijven we eraan deelnemen en hiervoor middelen gebruiken, we blijven ook nieuwe samenwerkingsverbanden opzetten want de problemen blijven, het aantal samenwerkingsverbanden waarin we deelnemen explodeert, en zo blijven we schaarse middelen gebruiken terwijl we niet weten of het wel zo nuttig is wat we doen. Een institutional myth noemen we dit ook wel.
Andere maten
Uiteraard zijn er wel alternatieven. Zo kunnen we wel degelijk gebruikmaken van betekenisvolle proxymaten die een indicatie geven in welke mate ‘de juiste beweging’ op gang is gebracht. In sommige gevallen kan dat met secundaire data van bijvoorbeeld verzekeraars, het RIVM, de GGD, het CBS, patiëntenorganisaties, zorgaanbieders zelf of andere instanties. Andere maten kunnen we via gevalideerde instrumenten uitvragen. Denk aan metingen van werkplezier of de ervaren werkdruk onder zorgprofessionals bijvoorbeeld. En zelfs voor een boel van de procesmaten binnen het samenwerkingsverband zelf bestaan gevalideerde meetinstrumenten. Al die manieren helpen om enigszins grip te krijgen op de vraag in hoeverre het samenwerkingsverband bijdraagt aan de goede dingen. Ze zijn zeker niet perfect maar een stuk beter dan enkel het (vaak onuitgesproken) gevoel van individuele deelnemers in een samenwerkingsverband, waar het in de praktijk veelal bij blijft.
Mate van effectiviteit
Als we dan eenmaal enigszins zicht hebben op de mate van effectiviteit van het samenwerkingsverband, is het wel zo prettig om daar op een betekenisvolle manier gebruik van te maken. Dat zouden we op een spectrum kunnen zetten. Aan het ene uiteinde nemen we dergelijke uitkomsten ter kennisgeving aan, maar doen we er verder niets mee. Ergens in het midden van het spectrum gebruikt het samenwerkingsverband de indicatoren van effectiviteit om te leren en verbeteren. Waarom hebben we bepaalde uitkomsten bijvoorbeeld wel of niet behaald? Hoe komt dat? En wat kunnen we de komende periode beter doen? Wat ons betreft is dit de beste manier om de mate van effectiviteit te gebruiken. Slaat het door naar de andere kant van het spectrum, dan gaat het over in belonen of straffen van het wel of niet behalen van effectiviteit. En hoewel belonen een positieve associatie heeft en straffen een negatieve associatie, komt het eigenlijk op hetzelfde neer.