Hvorfor medisinske eksamener ikke er nok for å vurdere kunstig intelligens i helsevesenet
Bruken av store språkmodeller (LLMs) i medisinsk praksis har skapt både håp og debatt. Men hvordan vi evaluerer disse modellene, kan stå i veien for deres faktiske potensial. En lederartikkel i NEJM AI argumenterer for at medisinske lisensieringseksamener, som USMLE, er utilstrekkelige som målestokk for å vurdere kunstig intelligens i klinisk sammenheng. Slike tester måler teoretisk kunnskap under kontrollerte forhold, men de speiler ikke kompleksiteten og usikkerheten som preger det virkelige helsevesenet.
Eksamen er ikke det samme som klinisk virkelighet
Lisensieringseksamener tester hukommelse og evnen til å løse klart definerte caseoppgaver, ofte med “riktige” svar basert på idealiserte scenarioer. De er laget for å vurdere en students teoretiske kunnskap, ikke deres evne til å navigere i ufullstendige eller tvetydige situasjoner – noe som er kjernen i klinisk beslutningstaking.
Store språkmodeller som GPT-4 er blitt evaluert på slike eksamener, og sterke resultater har blitt brukt som argument for å implementere dem i kliniske systemer. Men denne tilnærmingen er problematisk. Modellenes suksess på eksamener reflekterer ofte bare evnen til å håndtere strukturerte, “textbook”-aktige caser de allerede har sett under trening, ikke deres evne til å takle uvanlige eller komplekse pasientscenarier.
I tillegg brukes LLM-er i praksis til oppgaver som er svært forskjellige fra eksamensformatet. Eksempler inkluderer oppsummering av pasientjournaler, utarbeidelse av kliniske notater og besvarelse av pasientspørsmål. Slike oppgaver involverer ofte ustrukturert data, som pasientnotater og laboratorieresultater, noe eksamensoppgaver ikke tar høyde for.
Behovet for virkelighetsnære vurderingskriterier
En av de mest slående innsiktene i artikkelen er at kun 5 % av evalueringene av LLM-er i medisinsk sammenheng benytter ekte pasientdata. Det store flertallet av tester bruker syntetiske datasett eller eksamensspørsmål, som ofte ikke reflekterer virkelighetens utfordringer.
For å evaluere hvor godt en LLM fungerer i praksis, må vi utvikle nye vurderingskriterier som er bedre tilpasset kliniske behov. Dette kan innebære:
- Evaluering i klinisk praksis: Samarbeid med sykehus som allerede tester LLM-er, kan gi verdifulle data om hvordan modellene presterer i virkelige arbeidsflyter.
- Fokus på svakheter: Feil som oppstår i pilotprosjekter, kan brukes til å lage målrettede tester som evaluerer kritiske svakheter i modellene.
- Bruk av syntetiske data: Nøye designede syntetiske datasett kan simulere komplekse kliniske scenarier uten å kompromittere personvern.
Fremtiden krever bedre verktøy
Dagens bruk av eksamener som målestokk for LLM-er er utilstrekkelig og potensielt misvisende. For å sikre at disse teknologiene faktisk forbedrer pasientsikkerheten og effektiviteten i helsevesenet, trenger vi vurderingskriterier som speiler kliniske realiteter. Dette betyr å gå bort fra idealiserte eksamensoppgaver og heller fokusere på hvordan modellene presterer i virkelige, komplekse og til tider kaotiske omgivelser.
Ved å skape mer virkelighetsnære og oppgave-spesifikke kriterier, kan vi sikre at kunstig intelligens utvikles og brukes på en måte som virkelig gagner både helsepersonell og pasienter.