”ChatGPT achtige technieken kunnen ons helpen om sneller up-to-date te zijn”
Gaan pratende robots en artificial intelligence de ggz overnemen? Met de komst van technieken als ChatGPT gaan de ontwikkelingen razendsnel. Psychiaters hebben de controversiële chatbot getest op medische kennis. ChatGPT slaagde ruimschoots voor het ‘psychiatrie-examen’. Maar volgens Christiaan Vinkers, psychiater en als professor Stress and Resilience in Psychiatry verbonden aan Amsterdam UMC, is AI vooral een hulpmiddel. Er zijn interessantere toepassingen dan robots examen laten doen. Vinkers – die al tien jaar onderzoek doet naar kwaliteit van trials – begon een start-up om met kunstmatige intelligentie de 35 miljoen wetenschappelijke artikelen van PubMed beter beschikbaar te maken én te verbinden aan andere bronnen. De functie www.evidencehunt.com werd onlangs beschikbaar – voor behandelaars én patiënten.
Christiaan Vinkers was met psychiater Jurjen Luykx van Maastricht University en GGNet verantwoordelijk voor de spraakmakende proef met ChatGPT. “We legden de robot veertig vragen voor waarvan wij het goede antwoord al wisten, bijvoorbeeld over medicatie tijdens zwangerschap, DSM-classificaties of psychotherapie bij depressie. Niet al te moeilijke onderwerpen, maar ook niet triviaal. Die vragen wist ChatGPT eigenlijk best goed te beantwoorden”, legt Vinkers uit. Qua inhoudelijke correctheid scoorde ChatGPT het rapportcijfer 8,5 en qua compleetheid en nuance bijna een 8. “Dat is beter dan ik dacht”, concludeert Vinkers.
In een volgende test nam de kunstmatige intelligentie het op tegen vijftig psychiaters in opleiding, die hun antwoorden konden opzoeken met Google of in handboeken. Daaruit bleek dat de robot vooral een stuk sneller is: twintig procent sneller dan de vijftig mensen om precies te zijn. Maar er zijn ook minpunten. ChatGPT kan net zo goed klinkklare onzin produceren – zoals bleek bij de vragen over schadelijke medicijnen voor vrouwen met een bipolaire stoornis die zwanger willen worden. Iets soortgelijks ontdekten ook professor Keymanthri Moodley van Stellenbosch University en professor Stuart Rennie van de University of North-Carolina in hun studie naar de inzet van ChatGPT bij klinische trials. De chatbot fabriceert zelf referenties. Het tast de integriteit van evidence based onderzoek aan, zo stellen Moodley en Rennie, en dat maakt gebruik in de praktijk discutabel. Christiaan Vinkers ziet dat ook: “Soms komt een chatbot met dingen die niet kloppen. Maar dan geeft ‘ie heel overtuigd de verkeerde antwoorden. Je moet er zeker niet blind op vertrouwen.”
Verzinnen
ChatGPT weet vermoedelijk meer dan de gemiddelde psychiater, stelde Jurjen Luykx onlangsin dagblad Trouw. “Alleen weet de gemiddelde behandelaar ook wat hij níet weet. En dat is belangrijk als je patiënten behandelt.” Christiaan Vinkers onderschrijft dat: “Technologie is niet gemaakt om psychiaters te vervangen”, zo vindt hij. “Die menselijke expertise moeten we behouden. Chatbots en ChatGPT-achtige aanpakken kunnen het leven van elke dokter qua kennis wel een stuk makkelijker maken.”
Vinkers werkt al jaren aan een AI-toepassing die – in tegenstelling tot ChatGPT – niet zomaar dingen gaat verzinnen. De kunstmatige intelligentie achter EvidenceHunt baseert zich op de modellen die de wetenschappers de applicatie ‘voeren’. Zo ontstaat een steeds meer ‘sophisticated’ technologie om grote databases te doorzoeken, in dit geval de meer dan 35 miljoen wetenschappelijke artikelen in PubMed.
Kwaliteit
Christiaan Vinkers: “Samen met Wim Otte (klinisch epidemioloog bij het UMC Utrecht Brain Center – LD) ben ik al in 2015 begonnen met onderzoek naar kwaliteit van trials, op basis van dit soort AI-technieken. We publiceerden daarover in wetenschappelijke tijdschriften, maar we kwamen tot de conclusie dat we daarmee de wereld niet gaan veranderen. Om écht verder te komen, wilden we iets ontwikkelen waar artsen, instanties en patiënten echt iets aan hebben, maar wel wetenschappelijk onderbouwd en transparant. Zo startte EvidenceHunt.” Onlangs kwam de website van EvidenceHunt gereed. Die is nu ongeveer een maand in de lucht, en voor iedereen te gebruiken. Gebruikers uit allerlei specialismen, waaronder de psychiatrie, reageren enthousiast, zegt Vinkers. Dat is ook niet zo gek. “PubMed bestaat uit meer dan 35 miljoen artikelen”, legt Vinkers uit. “Die zijn slecht te doorzoeken, omdat de zoekfilters verouderd zijn. Dus onderwerpen zijn nauwelijks te vinden. Zoek maar eens op ‘depression’ in de PubMed-database, dan komen er honderdduizenden items naar boven die je allemaal handmatig door zou moeten ploegen. Artsen gaan dan maar Googlen, maar de informatie die ze dan vinden is lang niet altijd betrouwbaar. Of ze zoeken in een richtlijn. Maar richtlijnen zijn vaak niet zo flexibel. Ik zit nu bijvoorbeeld in de richtlijncommissie van Depressie. De laatste versie stamt al uit 2013. Het is echt niet zo dat er sindsdien geen onderzoek naar depressies is gedaan. Wat dat betreft kunnen ChatGPT achtige technieken om wetenschappelijke en klinische literatuur te vinden ons echt helpen sneller up-to-date te zijn”
Samenbrengen
Met behulp van de kunstmatige intelligentie van EvidenceHunt is PubMed binnen de gehele geneeskunst te doorzoeken op bijvoorbeeld interventies, aandoeningen of medicijnen. “De gevonden reviews, meta-analyses of trials kun je met samenvatting exporteren naar je eigen computer. Je kunt ook aangeven dat je geïnteresseerd bent in een onderwerp. Dan krijg je via de mail updates met nieuwe relevante onderzoeken op het gebied van – bijvoorbeeld – psychotherapie, antidepressiva of delier.” Omdat EvidenceHunt een lerend systeem is, wordt het steeds beter en gedetailleerder. Zo kan informatie over de kwaliteit van trials (hoeveel patiënten doen er mee? wat zijn de uitkomsten?) beter worden weergegeven, zodat je niet hoeft door te klikken om het hele artikel door te lezen. Christiaan Vinkers en collega’s zijn nu ook bezig om de zoekresultaten te spiegelen aan de ‘Gouden Standaard’ op PubMed: de Cochrane reviews. Dat lijkt goed te lukken. “De eerste resultaten laten zien dat EvidenceHunt snel een zeer groot deel van de artikelen vindt.”
Maar de kunstmatige intelligentie hoeft zich niet te beperken tot de PubMed-database van wetenschappelijke artikelen, legt de psychiater uit. “We kunnen aan EvidenceHunt ook ggz-standaarden hangen, richtlijnen, teksten van geneesmiddelen (SPC’s) of geregistreerde trials die er aan gaan komen in databases zoals Eudract of Clinicaltrials.gov. Je kunt heel veel kanten op. Dat samenbrengen gaat echt toegevoegde waarde bieden.” Zo is het bedrijf inmiddels een samenwerking met Bijwerkingencentrum Lareb gestart, vertelt Vinkers, waardoor databases ook beter op bijwerkingen te onderzoeken zijn. En EvidenceHunt is niet alleen bedoeld voor professionals, zegt de psychiater. Ook patiënten, cliënten of burgers kunnen er gebruik van maken. “Het is voor de emancipatie van patiënten juist heel goed dat zij makkelijk toegang hebben tot de laatste wetenschappelijke informatie. Die kunnen ze nu opzoeken, volgen en vervolgens met hun behandelaar bespreken.”
Koploper
Het psychiatrie-examen met ChatGPT en EvidenceHunt staan los van elkaar, zo benadrukt Christiaan Vinkers, maar de ontwikkelingen hebben wel met elkaar te maken. “Het gaat allebei om het gebruik van nieuwe technologie om mensen te helpen. Misschien is het wel verrassend dat psychiaters koplopers zijn om dit soort innovaties in te zetten. Hoe dat komt? Ik denk dat het te maken heeft met het enthousiasme van de nieuwe generatie psychiaters om hier mee aan de gang te gaan”, zegt de professor die tien jaar geleden aan de wieg stond van De jonge psychiater https://dejongepsychiater.nl/. “Ze zijn trots op hun vak, hebben interesse in de wetenschap en niet zo’n angst voor techniek. Dat vertaalt zich in dit soort innovatieve toepassingen.” Het grootste nadeel hierbij zijn de verwachtingen van mensen. Kunstmatige intelligentie is niet de alles-in-één-oplossing of de ‘red pill’ voor de ggz. Christiaan Vinkers: “Mensen denken misschien dat de machine al het werk gaat overnemen en ze zelf niet meer na hoeven denken. Zo werkt dat niet. Je moet geen onrealistische verwachtingen hebben van wat AI kan doen. De inzet kan enorm veel werk schelen, maar je moet zelf blijven nadenken en kritische vragen stellen. Daar heb je dan als het goed is ook veel meer tijd voor.”
Lees ook andere artikelen over artificiële intelligentie in de ggz
