BLOG

AD Ziekenhuizen Top 100: Wat moeten we ermee?

AD Ziekenhuizen Top 100: Wat moeten we ermee?

Het AD presenteerde onlangs weer haar top 100 van Nederlandse ziekenhuizen, met het Albert Schweitzer ziekenhuis in Dordrecht als “beste ziekenhuis van Nederland”. Is het dat? Hoe valide, betrouwbaar en bruikbaar is het onderzoek?

Is het onderzoek valide ? (meet het wat het zegt te meten?). De AD ziekenhuis Top 100 zegt te meten welk ziekenhuis het beste ziekenhuis van Nederland is. Doet het dat? Het AD onderzoek gebruikt 37 indicatoren. Ziekenhuizen gebruiken zelf (soms) meer dan 1300 indicatoren. Als het AD onderzoek er 3% van neemt, kun je dan op basis daarvan het beste ziekenhuis van Nederland kiezen?

Natuurlijk niet. Dat is alsof je het beste Chinese restaurant van Nederland kiest nadat je overal alleen maar een halve loempia geproefd hebt. Het is alsof je alleen op basis van het hoogspringen de beste tienkamper kiest. Op basis van het AD-onderzoek mag je heus wat zeggen over de verschillen in kwaliteit voor wat betreft de onderzochte indicatoren (de interne validiteit). Maar als je op basis van 37 (vrij willekeurig gekozen) indicatoren pretendeert het beste ziekenhuis van Nederland te kunnen kiezen, dan ga je te ver. Veel te ver. Dan pretendeer je dat die 37 indicatoren representatief zijn voor pakweg 1300 indicatoren (is externe validiteit). En dat is onzin.

Betrouwbaar

Is het onderzoek betrouwbaar? (leveren herhaalde metingen vergelijkbare resultaten op?). Als u elk jaar het IQ van uw kind laat testen en er komt elk jaar de score 130 uit, dan trekt u terecht de conclusie dat uw kind slim is. Als de scores van opeenvolgende jaren in willekeurige volgorde variëren tussen de 80 en 130, dan trekt u (terecht) de conclusie dat u geen idee heeft hoe slim uw kind is (en dat de metingen onbetrouwbaar zijn).

Hoe zit dat met de ziekenhuizen in de AD top 100? Gemiddeld (over zes jaar) verschuift elk ziekenhuis in de top 100 elk jaar 25 plaatsen (naar boven of naar beneden). Sommige ziekenhuizen verschuiven veel meer, bijvoorbeeld van plaats 2 in 2010 naar plaats 91 in 2011. Van de ziekenhuizen die in een willekeurig jaar in de top 10 staan, staan er het jaar erop nog maar 2 a 3 in de top 10. De correlatie tussen de ranglijst van een bepaald jaar en de ranglijst van het jaar erop is 0,26 (zwak). Anders gezegd: de score van een ziekenhuis in een bepaald jaar zegt vrijwel niets over de score in het daarop volgende jaar. De betrouwbaarheid is laag. Erg laag. Te laag. De scores lijken meer door toeval tot stand te komen. Of door de verandering van onderzochte indicatoren, hetgeen de vergelijkbaarheid verstoort. Op basis van de score van een enkel jaar kun je in elk geval vrijwel niets met zekerheid zeggen over de kwaliteit van een ziekenhuis het jaar erop.

Gemiddelde score

Je zou wellicht beter kunnen kijken naar de best scorende ziekenhuizen over een periode van bijvoorbeeld zes jaar. Want die leveren betrouwbare kwaliteit. Welke zijn dat? Meander Medisch Centrum, Amersfoort (Baarn, Soest); Sint Franciscus Gasthuis, Rotterdam; Ziekenhuis Rijnstate (Alysis), Arnhem (Velp); Ikazia, Rotterdam; ZorgSaam Ziekenhuis, Terneuzen (Oostbrug, Hulst); Orbis Medisch Centrum, Sittard; St. Antonius Ziekenhuis, Nieuwegein/ Utrecht; Maasstad Ziekenhuis, Rotterdam; Elkerliek Ziekenhuis, Helmond (Deurne); St. Anna Ziekenhuis, Geldrop. Van deze top 10 over zes jaar, staan er maar 2 in de top 10 van 2014. Als u een ziekenhuis moet kiezen voor een door het AD onderzochte behandeling (!), zou u dan een ziekenhuis kiezen dat toevallig een keer in de top 10 staat, of voor een ziekenhuis dat al jaren bovenin prijkt? Als u wilt beleggen in aandelen, kiest u dan voor aandelen die (toevallig?) dit jaar een hoog rendement opleveren, of voor aandelen die al jarenlang een hoog rendement leveren?

Bruikbaar

Is het onderzoek bruikbaar (hebben ziekenhuizen en patiënten en het AD er iets aan?). Ziekenhuizen kunnen zien hoe goed ze scoren ten opzichte van andere ziekenhuizen voor wat betreft de onderzochte indicatoren. Niet meer en niet minder. Slecht scorende ziekenhuizen kunnen hun praktijk verbeteren. Dat is nuttig. Ziekenhuizen zouden zich niet moeten laten tooien en fêteren met het predicaat “beste ziekenhuis van Nederland”. Dat is potsierlijk en hovaardig. Ze kunnen beter melden dat ze –net als andere ziekenhuizen- hun stinkende best doen en dat dat –voor wat betreft de onderzochte indicatoren- succesvol is geweest.

Te veel hoogmoed komt hier zeker voor de val, want (nogmaals): het jaar erop staat elk ziekenhuis gemiddeld 25 plaatsen hoger of lager, en hoe leg je dat laatste dan uit? Voor patiënten is de lijst (vrijwel) zinloos. Het AD bekijkt slechts enkele indicatoren, die wel of niet van belang kunnen zijn voor een individuele patiënt. Bovendien is de lijst (zeer) onbetrouwbaar, dus het ziekenhuis dat in 2014 goed scoorde, doet dat (waarschijnlijk) in 2015 niet meer. Je zou even goed een (slechter) scorend ziekenhuis kunnen kiezen, want dat is wellicht zeer gemotiveerd om het beter te doen (en stijgt het jaar erop 25 plaatsen), terwijl het goed scorende ziekenhuis op de lauweren rust (en daalt).

Oliebollen

Tenslotte is het maar zeer de vraag of Nederlandse patiënten nu massaal naar Dordrecht afreizen om daar behandeld te worden. Het AD scoort qua publiciteit met de top 100, en dat mag. Maar op dit moment scoort de ziekenhuis top 100 qua validiteit, betrouwbaarheid en bruikbaarheid nog onder de oliebollen top 100, en dat is schandelijk voor een aangelegenheid die vele malen belangrijker is. Advies aan AD: gebruik meer indicatoren, gebruik dezelfde indicatoren en maak een lijst met ziekenhuizen die consequent (over meerdere jaren) boven of onder het gemiddelde scoren (zonder rangorde). Vermijd het predicaat “beste ziekenhuis van Nederland”; dat kan het onderzoek niet waarmaken (en het ziekenhuis ook niet).

Herm Joosten 
Universitair Docent bij het Institute for Management Research van de Radboud Universiteit Nijmegen.

7 Reacties

om een reactie achter te laten

tjark reininga

17 oktober 2014

terecht stelt de heer Joosten vragen bij het absolute oordeel dat het AD aan zijn Ziekenhuis Top 100 verbindt. maar de gekozen indicaties geven, omdat zij voor alle ziekenhuizen dezelfde zijn, wel een indicatie over het niveau van het zorgaanbod en - misschien wel belangrijker - over de manier waarop het ziekenhuis daarmee omgaat.
en doordat het AD over alle gebruikte indicatoren rapporteert, geeft het de potentiële patiënt wel enig houvast als die een behandellocatie moet (kan!) kiezen.

ik heb mij wat verbaasd over de opmerking van Joosten, dat ziekenhuizen nogal op en neer schuiven door de Top 100. dat lijkt me tamelijk onvermijdelijk, wanneer ziekenhuizen proberen hun zorgaanbod te verbeteren. een ziekenhuis dat daarin slaagt, zal stijgen. en dat betekent automatisch, dat de ziekenhuizen die het daarbij passeert zakken. dat zich dat verschijnsel door de hele top voordoet, lijkt me vanzelfsprekend. de aanbeveling om niet alleen naar de meest recente Top 100 positie te kijken, maar ook de positie door de jaren heen bij de keuze te betrekken.

en natuurlijk doen patiënten er goed aan als zij een ziekenhuis voor een behandeling kiezen, niet alleen en zelfs niet voornamelijk naar de plaats in deze Top 100 te kijken, maar vooral het betreffende specialisme te vergelijken.

Mauk van Heemstra ZorgSteedsBeter

17 oktober 2014

Waar je geheel aan voorbij gaat Herm, is dat er "evidence" is dat ziekenhuizen aanzienlijk sneller verbeteren als dit soort indicatoren publiek worden. Zelfs als de kwaliteit van die indicatoren twijfelachtig is.

Deze trigger op verbeteren is veel sterker dan de gebruikelijke, intrinsieke triggers, die al of niet gevalideerd zijn.

Dus doorgaan met die top 100!

Armand Girbes

17 oktober 2014

Uitstekende analyse en uitleg. Wat ik nog mis is het gebrek aan statistische toetsing in het AD. Het is heel goed mogelijk dat ziekenhuis op plaats 20 even "goed" is als ziekenhuis op plaats 1 door de betrouwbaarheidsintervallen van de gemeten parameters. Anders gezegd, er is geen verschil (voor de aangegeven parameters) tussen ziekenhuis op plaats 1 en ziekenhuis op plaats 20. Het zou goed zijn als kranten hun artikelen betreffende "onderzoek" voor publicatie zouden onderwerpen aan "peer review". Dan wel graag "peers-deskundigen" op dat gebied.

Het "onderzoek" van AD is goed voor twee dingen: de eigen oplage en voor het geluk van de medewerkers van "het beste ziekenhuis".
Ik stel voor dat het AD met oudjaar die medewerkers de beste oliebollen bezorgt.

Armand Girbes

17 oktober 2014

Uitstekende analyse en uitleg. Wat ik nog mis is het gebrek aan statistische toetsing in het AD. Het is heel goed mogelijk dat ziekenhuis op plaats 20 even "goed" is als ziekenhuis op plaats 1 door de betrouwbaarheidsintervallen van de gemeten parameters. Anders gezegd, er is geen verschil (voor de aangegeven parameters) tussen ziekenhuis op plaats 1 en ziekenhuis op plaats 20. Het zou goed zijn als kranten hun artikelen betreffende "onderzoek" voor publicatie zouden onderwerpen aan "peer review". Dan wel graag "peers-deskundigen" op dat gebied.

Het "onderzoek" van AD is goed voor twee dingen: de eigen oplage en voor het geluk van de medewerkers van "het beste ziekenhuis".
Ik stel voor dat het AD met oudjaar die medewerkers de beste oliebollen bezorgt.

herm joosten

17 oktober 2014

dank voor de reacties.
@tjark reininga:
Dat ziekenhuizen stijgen of dalen is inderdaad logisch en onvermijdelijk. Maar dan zou je verwachten dat er nog een trend in te ontdekken valt. Bv een ziekenhuis dat zich inspant stijgt op de lijst, een ziekenhuis dat de zaak laat versloffen daalt. Maar in plaats daarvan zijn het overwegend dit soort rijtjes van plaats op de ranglijst:
41 63 3 25 10 49
92 44 83 46 2 72
Als een onderzoek naar kwaliteit van ziekenhuizen dit soort schommelingen laat zien van jaar tot jaar, moet je je afvragen wat je aan het meten bent.

@maukvanheemstra
Mee eens. Lijstjes kunnen zeker stimulerend werken op prestatie en innovatie. Maar ze kunnen ook een perverse prikkel worden: ziekenhuizen die niet zozeer de kwaliteit van de zorg willen verbeteren, maar hoog willen scoren op de lijstjes (en daar zit verschil tussen).

@armandgirbes
Helemaal mee eens. Het zijn rangscores, we weten niet of de verschillen tussen plaats 1 en pakweg 30 statistisch significant zijn of relevant of merkbaar of zichtbaar voor ziekenhuis en patient. Het kan zijn dat alle ziekenhuizen op de lijst ruimschoots voldoen aan de Olympische limiet, maar sommige er wat ruimer onder zitten dan andere. De plaats op de ranglijst zegt niks over de hoogte van het verschil in kwaliteit.

Roland Bal

19 oktober 2014

We weten inmiddels al jaren dat de ranglijsten voor ziekenhuizen onbetrouwbaar en niet valide zijn. Hetzelfde geldt voor lijsten van verpleeghuizen of universiteiten. Wat interessant is dat die lijsten er toch blijven komen en zelfs alsmaar in populariteit winnen. Kennelijk vervullen ze een behoefte--een droom van maakbaarheid vermoed ik.
Interessant is verder dat ziekenhuizen (en verpleeghuizen en universiteiten) die lijsten zelf ook heel erg gebruiken om hun zorg, maar vooral ook hun administratie van de zorg te veranderen. zie onze studie van vorig jaar over wat ziekenhuizen doen met de lijsten:http://www.bmg.eur.nl/fileadmin/ASSETS/bmg/Onderzoek/Onderzoeksrapporten___Working_Papers/2013/IBMG_Working_Paper_2013.02_roland_bal.pdf.
Of dit goed is voor de zorg kan niemand zeggen (er is geen evidentie voor). Het is zeker wel goed voor lijstenmakers.

Mauk van Heemstra ZorgSteedsBeter

5 november 2014

Nou Roland, tijdens het Achmea kwaliteitscongres 2013, was er een overtuigend verhaal van een hoogleraar/adviseur (meen ik) die aangaf dat het wel degelijk evidence based was.

Namelijk hoe snel ziekenhuizen hun zorg gingen verbeteren op grond van die lijstjes.

En dat daarmee hun zorgkwaliteitsverbetering in schril positief contrast stonden met de kwaliteitsverbetering die een verbeterd medicijn als resultaat heeft qua doorlooptijd en kwaliteit!

Top