Groeiend AI-gebruik in de zorg is tikkende tijdbom: 'we overzien de risico's niet'

Bij bijna de helft van de Nederlandse huisartsenpraktijken is inmiddels een vorm van kunstmatige intelligentie in gebruik, tegenover ongeveer een op de vijf een jaar eerder. Meestal gaat het om een taalmodel dat meeluistert in de spreekkamer en van het gesprek een notitie maakt voor het patiëntendossier. Hoeveel fouten er in die notities terechtkomen, weet op dit moment niemand precies. Het vangnet is dat de zorgverlener het nakijkt, en juist dat vangnet blijkt niet waterdicht.

In deze aflevering van BNR Beter bespreekt Nina van den Dungen hoe wordt bepaald of een AI-toepassing veilig genoeg is om het in de zorg te gebruiken. Te gast zijn Jessica Workum, internist-intensivist in het Elisabeth-TweeSteden Ziekenhuis en daar verantwoordelijk voor de AI-strategie en de implementatie, en André Krom, ethicus bij de sectie Ethiek en Recht van de Gezondheidszorg van het LUMC en verbonden aan het CAIRELab. Beiden zijn betrokken bij het RIGH:T-consortium, dat met een subsidie van ZonMw werkt aan een validatieraamwerk voor generatieve AI in de Nederlandse zorg.

Workum legt uit waarom huisartsen voorlopen: praktijken zijn klein en komen laagdrempeliger met dit soort tools in aanraking, terwijl een ziekenhuis te maken heeft met tientallen afdelingen en heel verschillende settings. Validatie is volgens haar de reden dat opschaling stokt. Ze illustreert automation bias met haar eigen intensive care: een ontslagbrief nakijken na een nachtdienst gaat anders dan op een woensdagmiddag. Waar dat eerder om een enkele vermoeide dokter ging, gaat het bij een landelijk uitgerold taalmodel om een fout op schaal. Het raamwerk waar RIGH:T aan werkt kent drie domeinen: de kwaliteit van de output, de maatschappelijke waarden en de invloed op de relatie tussen zorgverlener en patiënt.

Krom onderzocht met zorgprofessionals uit de huisartsenpraktijk, de ggz, de verpleeg- en thuiszorg, de psychiatrie en de intensive care wat zij van de technologie verwachten en vrezen. Tijdwinst staat bovenaan, maar de twijfel of die er ook komt staat er direct naast. Zorgverleners vrezen dat ze vaardigheden verliezen als ze niet meer zelf samenvatten, en dat een systeem dat alleen geluid opneemt de non-verbale communicatie mist, net als intonatie en sarcasme. Krom waarschuwt voor de schijntegenstelling tussen afwachten en onverantwoord experimenteren, en voor de halleluja-verhalen over modellen die protocollen beter volgen dan artsen.

Ook interessant om terug te luisteren

Geen 'wondermiddel', wél hu