BLOG

Een betrouwbaarder lijst dan de AD Ziekenhuis Top100

De geldigheid en de betrouwbaarheid van de AD ziekenhuis Top100 laten te wensen over. Met de gebruikte indicatoren wordt de kwaliteit van zorg niet representatief gemeten. Bovendien kan op basis van de uitkomsten van een bepaald jaar géén goede voorspelling gedaan worden over de resultaten in een volgend jaar. En als de geldigheid en betrouwbaarheid van onderzoek gering is, is ook de waarde voor patiënten of ziekenhuizen gering, is mijn stelling.

Het AD-onderzoek 2017 kijkt onder meer naar het percentage patiënten dat een pijnmeting heeft gehad (hoe hoger, hoe beter). Daar zijn allerlei kanttekeningen bij te maken. Als eerste: een pijnmeting zegt op zichzelf nog niet dat (eventuele) pijn ook (adequaat) bestreden is (en dat is toch wat je zou willen). Verder kan een (herhaalde) pijnmeting ook als lastig en overbodig gezien worden door patiënten die geen of nauwelijks pijn ervaren. Dus waarom is dit dan betere zorg? Misschien is betere zorg wel dat je dat je bij sommige patiënten (met een hoog risico op pijn) vaker (tijdig) de pijn meet en (succesvol) bestrijdt, maar bij anderen juist niet. Ook: hoe betrouwbaar wordt dit door verschillende ziekenhuizen geregistreerd?

In 2016 gebruikte het AD-onderzoek ook nog een tweede indicator: het percentage patiënten met ernstige pijn (hoe lager, hoe beter). Het percentage patiënten met ernstige pijn lijkt mij allereerst het gevolg van het type en aard van de aandoening of ingreep. Met andere woorden: de patiëntpopulaties verschillen van ziekenhuis tot ziekenhuis. Doe je de ziekenhuizen recht wanneer je ze dan vergelijkt op deze indicator? Maar misschien nog belangrijker: In 2016 en 2017 gebruikt het AD dus verschillende indicatoren om ziekenhuizen te scoren op 'pijn'. Zou het niet beter zijn om als indicator te nemen of de pijnstilling tijdig en effectief was? En die te blijven gebruiken?

Grote sprongen

Gemiddeld schuift elk ziekenhuis in elk nieuw AD-onderzoek 20 plaatsen omhoog of omlaag. Maar sommige ziekenhuizen maken nog veel grotere sprongen. Nij Smellinghe in Drachten stijgt van plaats 71 in 2016 naar plaats 4 in 2017, St Anna in Geldrop/Eindhoven stijgt van plaats 75 naar 9, en BovenIJ in Amsterdam gaat van plaats 66 naar plaats 10. Hoe aannemelijk is dat?

Als je nog verder teruggaat in de tijd wordt het soms nog gekker. Nij Smellinghe gaat van plaats 32 in 2014 naar plaats 3 in 2015, en vervolgens naar plaats 71 in 2016 om in 2017 te eindigen op plaats 4. Van middenmoter naar toppositie naar hekkensluiter naar opnieuw toppositie. Telkens binnen een jaar. Wie gelooft echt dat de kwaliteit van Nij Smellinghe zo wild heen en weer gaat? Bij de dalers zie je een soortgelijk -en eigenlijk onverklaarbaar- patroon.

Betrouwbare kwaliteit

Ik heb daarom ook dit jaar een lijst gemaakt met de beste ziekenhuizen, maar dan niet over één jaar, maar over de laatste 9 jaar (2009-2017). Patiënten en ziekenhuizen hebben niks aan een onbetrouwbare lijst. Patiënten en ziekenhuizen willen betrouwbare kwaliteit, dat wil zeggen ziekenhuizen die jarenlang goed scoren, hoe en wanneer de kwaliteit ook gemeten wordt.

In zekere zin bevestigde het winnende ziekenhuis van dit jaar -het Rivas Beatrix Ziekenhuis in Gorinchem- dit principe bij monde van directeur ziekenhuiszorg Anja Blonk: "Eén keer winnen was al mooi, maar de tweede keer is nog mooier". Inderdaad.

Mijn lijst van 'beste' ziekenhuizen over de afgelopen 8 of 9 jaar varieert niet of nauwelijks. De beste 10 ziekenhuizen uit de periode 2009-2016 zijn dezelfde als uit de lijst 2009-2017. Enkele hebben van plaats gewisseld, maar ze staan allemaal nog in de top 10. Ter vergelijking heb ik ook de plaats op de ranglijst van 2017 als kolom toegevoegd.

Top10

De lijst met 'slechtste' ziekenhuizen uit de periode 2009-2017 is eveneens vrijwel ongewijzigd. Positief en opvallend is het St. Jans Gasthuis in Weert. Jaren geleden hekkensluiter, verkeert het nu al jaren bovenin de lijst. Ook dat mag gezegd worden!

Herm Joosten

Lector bij NCOI University en universitair docent bij Radboud Universiteit Nijmegen

Herm Joosten_311

6 Reacties

om een reactie achter te laten

Anne

7 november 2017

Hoewel de kern van de boodschap naar mijn mening wel klopt (de lijst is gebaseerd op indicatoren die niet voldoende relevant zijn om een eerlijk oordeel te geven over wat nou goede zorg is) spreekt u zichzelf wel tegen door vervolgens een "betrouwbare" lijst te maken. Deze lijst is gebaseerd op exact dezelfde onderzoeksindicatoren die u even daarvoor als niet relevant/eerlijk hebt bestempeld. Maak dan ook geen nieuwe lijst, want dat is de echte boodschap van het verhaal. Deze lijst zou überhaupt niet moeten bestaan, omdat de lijst gebaseerd wordt op indicatoren die niet aangeven of de geleverde zorg daadwerkelijk goed is.

herm joosten

7 november 2017

@Anne
Ik bedoel het volgende: de AD lijst is niet goed omdat niet het goede gemeten wordt (=geldigheid: dwz het aantal indicatoren is te beperkt en deels niet goed) EN omdat niet goed gemeten wordt (=betrouwbaarheid: de scores gaan op onverklaarbare wijze wild heen en weer, misschien wel omdat er telkens andere indicatoren worden gebruikt). Mijn lijstje heeft –zoals je terecht zegt- dezelfde problemen vwb de geldigheid (want het is gebaseerd op dezelfde indicatoren als het AD-onderzoek). Maar het heeft niet dezelfde problemen vwb de betrouwbaarheid. Daarom zeg ik ook alleen dat mijn lijst betrouwbaarder is.

Je zou het zo kunnen zien: stel dat ik verschillende keren het IQ van mijn kind laat meten. Soms wordt een geldige test gebruikt, soms een minder geldige. Als ik het gemiddelde neem van al die tests, heb ik waarschijnlijk een beter beeld van het IQ van mijn kind als dat ik afga op slechts één test (helemaal als ik dan toevallig een minder geldige test kies).

Als je absoluut ongeldige indicatoren zou gebruiken, dan zou overigens ook het nemen van het gemiddelde niets opleveren. Stel dat ik met 10 verschillende meetlinten het gewicht (!) van mijn kind zou meten en uitkom op een gemiddeld gewicht van 145 cm, dan is dat natuurlijk onzin. Maar dat is bij het AD-onderzoek denk ik niet aan de hand. Ze meten heus wel iets dat te maken heeft met de kwaliteit van zorg, maar ze meten die kwaliteit niet volledig en niet helemaal goed.

Anders gezegd: mijn lijstje probeert een probleem van de AD-lijst te verhelpen (de betrouwbaarheid), maar aan het andere probleem (de geldigheid) kan alleen het AD wat doen.

Gijs van Loef

7 november 2017

Beste Herm, ik kom ook met de update van een lijstje als OECD Health at a Glance 2017 verschijnt. Reacties zijn altijd welkom! https://gijsvanloef.nl/2016/12/09/kwaliteit-medische-zorg-gedaald-tov-europees-gemiddelde-van-20072016/ Het borduurt voort op skipr-blogs van een jaar geleden en een publicatie in ESB: https://gijsvanloef.files.wordpress.com/2017/01/vanloef-leijten-esb4745-026-029.pdf Met vriendelijke groet, Gijs van Loef

Martijn

8 november 2017

Alhoewel ik de argumenten voor onbetrouwbaarheid niet erg krachtig vind, is het een heel goed idee om de kwaliteit meer in de tijd te toetsen in plaats van de momentopname.

Mij is niet helemaal duidelijk hoe het is gedaan: heb je de AD rankings van de afgelopen 8 jaar gemiddeld?

herm joosten

8 november 2017

@Martijn
Ja, mijn ranglijst is op basis van het gemiddelde van de rang van een ziekenhuis in de afgelopen 9 jaar. Je zou natuurlijk ook gewicht kunnen toekennen en daarbij de recente jaren zwaarder meetellen. Je zou ook een spreidingsmaat kunnen toevoegen om te zien hoezeer die rang varieert. En je zou een trend kunnen aangeven om te zien of een ziekenhuis in de loop van de tijd langzaam of snel beter of slechter scoort. Ik heb er voor gekozen om me te beperken tot het gemiddelde.
De kwaliteit wordt elk jaar op een andere manier gemeten (met andere indicatoren) en de resultaten gaan wild heen en weer. Gemiddeld (!) schuiven ziekenhuizen elk jaar 20 plaatsen omhoog of omlaag. Ik kan me voorstellen dat enkele ziekenhuizen van het ene op het andere jaar zichzelf sterk verbeteren door nieuw beleid, nieuw personeel, nieuwe procedures, beter registratie enz. Of juist slechter scoren daardoor. Maar als alle ziekenhuizen gemiddeld 20 plaatsen veranderen (per jaar, al 9 jaar lang), dan vind ik het onaannemelijk dat dat de realiteit correct weergeeft. Dan zegt ook de score in een jaar niks over de score in een volgend jaar. En dan is mijn conclusie dat dat komt omdat de metingen en daarmee het onderzoek onbetrouwbaar zijn (dwz niet goed, niet consistent meten). Tenzij iemand een betere verklaring heeft voor ziekenhuis x dat van plaats 3 naar plaats 71 naar plaats 4 gaat.

herm joosten

13 november 2017

Ook Ionica Smeets schrijft in De Volkskrant over de gebrekkige betrouwbaarheid van de AD top 100:
https://www.volkskrant.nl/opinie/als-je-wilt-weten-hoe-een-ziekenhuis-dit-jaar-zal-scoren-dan-heb-je-vrijwel-niets-aan-de-score-van-vorig-jaar~a4535855/

Top