Tool Monitoring van richtlijnen

1. Inleiding

Elk jaar worden er tientallen richtlijnen in Nederland ontwikkeld of herzien. Van zorgprofessionals wordt verwacht dat zij op de hoogte zijn van de richtlijnen in hun vakgebied en werken volgens de richtlijnen, als onderdeel van de professionele standaard. Het is belangrijk om daar zicht op te hebben door continue monitoring. Er zijn verschillende manieren om de navolging van richtlijnen te monitoren1. De gekozen methode hangt af van het doel van de monitoring. Er is niet één methode van meten die geschikt is voor alle doelen. Dit betekent dat degene die besluit een richtlijn te gaan monitoren een aantal keuzes moet maken ten aanzien van doel, gewenste maat, methode, analyse en rapportage van de monitoring. Dit kan worden beschreven in een monitoringsplan.

1 Onder monitoren wordt verstaan het meten en/of evalueren (kwantitatief en/of kwalitatief) en volgen (in de tijd) van het gebruik.

2. Doel van deze tool

Deze tool is een checklist die helpt om een plan van monitoring op te stellen dat past bij het beoogde doel van de monitoring.

3. Stappenplan opstellen monitoringsplan

3.1. Bepaal het doel van de monitoring

De volgende mogelijke doelen kunnen worden onderscheiden:

  • Evaluatie van de inhoudelijke kennis en acceptatie van de richtlijn onder de doelgroep/eindgebruiker. Soms vindt dit al plaats in de commentaarronde, waarbij de conceptrichtlijn wordt voorgelegd aan de doelgroep.
  • Evaluatie van de haalbaarheid en uitvoerbaarheid van de richtlijn in de praktijk in de vorm van een proefimplementatie of praktijktest.
  • Evaluatie van het effect van de richtlijn op structuren en zorgprocessen (handelen van professionals). Hierbij kunnen ook de kosten van de invoering van de richtlijn worden meegenomen.
  • Meten van de navolging van de richtlijn ten behoeve van kwaliteitsverbetering als onderdeel van een kwaliteitsverbeteringscyclus. Ook de redenen waarom al dan niet wordt afgeweken van de richtlijn kunnen worden nagegaan.
  • Meten van de zorgprestaties ten behoeve van toezicht, financiering, contractering, accreditering/certificering, of benchmarking (nationaal of internationaal).
  • Meten van het effect van de richtlijn op de cliënten-/patiëntenpopulatie. Bijvoorbeeld: leidt gebruik van de richtlijn tot een betere opsporing van ziekten, een betere kwaliteit van leven of minder gezondheidsschade?
  • Nagaan van problemen bij het gebruik van de richtlijn in de praktijk als onderdeel van de knelpuntenanalyse bij herziening van de richtlijn.
  • Evaluatie van de inbedding van de richtlijn in regionale transmurale afspraken en samenwerkingsprocessen.

Het doel wordt beschreven mede aan de hand van beschrijving van de context en de gehanteerde uitgangspunten.

3.2. Stel het niveau vast waarop de monitoring zal plaatsvinden

Hierbij zijn er de volgende mogelijkheden:

  • Landelijk. Hierbij kan het gaan om het meten van het landelijke kwaliteitsbeleid van de wetenschappelijke verenigingen (bijvoorbeeld LINH), het inkoopbeleid van zorgverzekeraars, toezicht door de Inspectie voor de Gezondheidszorg, of ten behoeve van keuze-informatie voor patiënten/cliënten.
  • Regionaal. Dit kan gekoppeld zijn aan een regionale infrastructuur zoals een ketenzorgnetwerk, integraal kankercentrum of medisch coördinerend centrum.
  • Lokaal. Interne kwaliteitsverbetering vindt meestal op lokaal niveau in een gezondheidszorginstelling of praktijk plaats.

3.3. Stel vast wat er geëvalueerd of gemeten moet worden

De richtlijn kan als geheel worden geëvalueerd door middel van kwalitatieve methoden die de ‘awareness’, kennis van de richtlijn en attitude ten opzichte van de richtlijn meten. Ook kan de perceptie van de richtlijngebruikers gemeten worden over de toepassing en toepasbaarheid van de richtlijn in de praktijk. Hierbij moet rekening worden gehouden met een optimistische bias: richtlijngebruikers denken dat ze de richtlijn vaak toepassen terwijl dat in werkelijkheid niet zo is.

De kennis, acceptatie en naleving van specifieke aanbevelingen uit de richtlijn kunnen worden gemeten met behulp van indicatoren, waarbij onderscheid wordt gemaakt in structuur-, proces- en uitkomstindicatoren. Hiervoor wordt verwezen naar de Handleiding indicatorontwikkeling van het CBO (http://www.cbo.nl/thema/Indicatoren/). Kort samengevat worden de volgende stappen doorlopen:

  • Vaststellen, selecteren en prioriteren van kernaanbevelingen (meestal niet meer dan tien per richtlijn). Soms hebben de auteurs van de richtlijn dit al gedaan.
  • Vertalen van kernaanbevelingen in indicatoren. Hierbij moet rekening worden gehouden met de meetbaarheid en haalbaarheid, die bij voorkeur te onttrekken zijn uit de beschikbare (elektronische) registratiesystemen. Tevens wordt rekening gehouden met welke indicatoren al beschikbaar zijn en of indicatoren op de korte termijn of langere termijn haalbaar zijn.
  • (facultatief) Opstellen van een minimale norm en/of streefnorm, waarop verbeteracties kunnen volgen. Dit hangt samen met de inschatting in hoeverre verantwoord afwijken van de richtlijn gewenst is.

3.4. Bepaal de meetmethode(n)

Het gebruik van de richtlijn kan kwalitatief of kwantitatief gemeten worden.

  • Kwalitatieve methoden zijn focusgroepen, semi-gestructureerde interviews, vragenlijst- onderzoek, observaties en video-opnamen. Hiermee kunnen aspecten worden gemeten zoals attitude, inventarisatie van barrières bij de implementatie, navolging van adviezen met betrekking tot voorlichting, educatie, communicatie, consultvoering of samenwerking.
  • Kwantitatieve methoden zoals gegevensverzameling via het elektronisch cliënten/patiëntendossier, zelfregistratielijsten, specifieke kwaliteitsregistraties zoals Neonatale Intensive Care Evaluatie of de Perinatale Registratie Nederland, specifieke registratiesysteem zoals de Landelijke Medische Registratie, het DBC Informatie Systeem of het digitaal dossier JGZ. In de bijlage wordt een voorbeeld gegeven van een elektronische dataverzameling waarmee de navolging van richtlijnen kan worden gemeten.

Betrek hierbij personen met voldoende registratie-expertise.

3.5. Ga de benodigde en beschikbare middelen na

Denk hierbij aan de volgende aspecten:

  • Mensen die gegevens moeten verzamelen en registreren (zorgprofessionals en ondersteunende staf) met voldoende kennis en expertise
  • Benodigde en beschikbare tijd voor het registreren, aggregeren en verzenden van de data
  • Gebruik van bestaande registraties
  • Beschikbare ruimte en middelen: computers, adequate software, registratieformulieren, communicatiemiddelen
  • Financiering. Deze betreft de materiële zaken en de personele kosten in de vorm van vacatiegelden voor de deelnemers.

Indien de benodigde en beschikbare middelen ontoereikend zijn, heroverweeg dan de meetmethode(n).

3.6. Bepaal hoe de gegevens worden geaggregeerd en geanalyseerd

De zorgprofessionals registreren de cliënt/patiëntgerelateerde gegevens. Indien deze voor monitoring worden gebruikt, zouden – idealiter – de betrouwbaarheid en validiteit van de gegevens steekproefsgewijs moeten worden gecontroleerd. Bij monitoring voor externe doeleinden (bijvoorbeeld publieke rapportage) worden hogere eisen gesteld aan de validiteit van de gegevens dan voor interne doeleinden (bijvoorbeeld audit en feedback). Voor de aggregatie en analyse is vaak de ondersteuning van andere partijen nodig. Op landelijk niveau kan dat bijvoorbeeld een wetenschappelijke vereniging, zorgverzekeraar of kennisinstituut zijn. Op lokaal niveau kunnen dit de kwaliteits- of registratiemedewerkers van de zorgaanbieders, ondersteunende organisaties zoals de medische coördinerende centra of het huisartsenlaboratorium in de eerste lijn zijn. Voor de analyse van de gegevens moet een plan worden gemaakt, dat sterk afhangt van het doel (zie 3.1). Er is een aantal manieren om de uitkomst van de monitoring te analyseren:

  • vergelijking met een voorafgestelde absolute norm bijvoorbeeld met betrekking tot veiligheid of volume;
  • vergelijking van de organisatie en/of zorgprofessional met anderen (‘benchmark’) of
  • vergelijking van de organisatie en/of zorgprofessional met zichzelf, door na te gaan of het werken volgens een richtlijn verandert in de loop van de tijd.

3.7. Beschrijf hoe de monitoring daadwerkelijk wordt ingevoerd

Getracht wordt zoveel mogelijk aan te sluiten bij bestaande systemen en procedures, bijvoorbeeld de kwaliteitsvisitaties bij medisch-specialisten en de feedback modules in huisartsinformatiesystemen. Indien deze niet voorhanden zijn of tekort schieten, kan gekozen worden voor een praktijktest op kleine schaal, waarbij vooral naar de haalbaarheid van de dataverzameling wordt gekeken. Tegelijkertijd kan naar factoren worden gekeken die de uitvoering van de richtlijn in positieve of negatieve zin beïnvloeden, zoals bij de proefimplementatietrajecten van de JGZ-richtlijnen (Fleuren 2010) (Tool Implementatie van richtlijnen). Meer informatie is te vinden in de tool Implementatie waar tips te vinden zijn over het realiseren van voldoende draagvlak en medewerking aan de monitoring. Daarna volgt eventuele bijstelling van de richtlijn en het monitoringplan.

3.8. Bepaal hoe de gegevens worden teruggekoppeld en aan wie

Bij benchmarking kan gekozen worden voor vergelijking met collega’s of andere instellingen. Zowel een gemiddelde als wenselijke norm kan worden gegeven. Bij meerdere metingen in de tijd kan een trend worden gemeten van zowel de prestaties van een groep als van een individuele zorgverlener. De betekenis van de terugkoppeling hangt af van de eerder opgestelde doelen. Aan wie wordt teruggekoppeld is mede afhankelijk van wie met de uitkomsten van de indicatoren gaat sturen.

4. Literatuur

  • Beersen N, Kallewaard M, Van Croonenborg JJ, Van Everdingen JJE, Van Barneveld TA. Handleiding indicatorontwikkeling. Utrecht: Kwaliteitsinstituut voor de Gezondheidszorg CBO, 2007.
  • Fleuren MAH. Essentiële activiteiten en infrastructuur voor de landelijke invoering en monitoring van het gebruik van de JGZ-richtlijnen. Leiden: TNO Kwaliteit van Leven, 2010.