AI i klinikken: Supermenneskelig diagnose eller statistisk støy?
Av Damoun Nassehi
En ny preprint-artikkel med tittelen “Superhuman performance of a large language model on the reasoning tasks of a physician” gjør oppsiktsvekkende påstander: en stor språkmodell (LLM) fra OpenAI – den såkalte GPT-o1 preview – skal ha overgått erfarne leger i flere diagnostiske oppgaver, inkludert reelle sykehusinnleggelser ved en akuttavdeling i Boston.
Du finner artikkelen her på arXiv.org.
Hva studien faktisk viser
Artikkelen skiller seg ut ved å kombinere standardiserte medisinske testsett (som NEJM CPC og NEJM Healer) med reelle journaldata fra akuttmottak. De sammenlignet GPT-o1s vurderinger med leger på tre nivåer:
- Triage i akuttmottak
- Legevurdering ved innkomst
- Innleggelse på sengepost eller intensiv
I alle disse leddene var modellen enten like god eller bedre enn to board-sertifiserte indremedisinere. Faktisk var ytelsen best i de mest krevende situasjonene: når informasjonen var minst tilgjengelig, altså ved første triage.
Resultatene bygger på et stort volum: over 900 differensialdiagnoser ble vurdert av blinde eksperter. Ved triage traff modellen (Bond Score 4–5) i 65.8 % av tilfellene, sammenlignet med 54.4 % og 48.1 % for de to legene.
Mangler og metodiske svakheter
Til tross for det imponerende oppsettet, er det verdt å merke seg flere svakheter:
- Preprint-status: Studien er ikke fagfellevurdert og bør derfor tolkes med varsomhet.
- Manglende konfidensintervaller: For flere av nøkkelfunnene (inkludert akuttmottak-studien) oppgis ikke 95 % konfidensintervaller eller p-verdier i hovedfigurer. Dette gjør det vanskelig å vurdere om forskjellene er statistisk signifikante eller ikke.
- Versjonsproblematikk: Modellen som er testet, GPT-o1 preview, er allerede utdatert. Den ble sluppet i september 2024 – og GPT-4o, som nå er i bruk, ble lansert kort tid etter. Dette understreker hvor rask utviklingen i LLM-verdenen faktisk er.
Marginale forbedringer – mettet benchmark?
Et annet tankevekkende funn er at forbedringen fra GPT-4 til GPT-o1 er relativt marginal. I NEJM Healer-oppgaver fikk GPT-4 perfekt score i 47/80 tilfeller, mens o1 fikk 78/80. I klinisk praksis er ikke nødvendigvis dette en game-changer, særlig når forskjellen i “kan ikke gå glipp av”-diagnoser ikke er signifikant.
Vi står kanskje ved et metningspunkt: modellene blir større, dyrere og mer komplekse – men forbedringene blir mindre og vanskeligere å dokumentere som klinisk relevante.
Hvorfor denne studien likevel er viktig
Likevel er artikkelen verdifull av flere grunner:
- Den tester AI-modeller mot ekte pasientdata, ikke bare simulerte vignetter.
- Den inkluderer lege-baserte kontrollgrupper, noe mange tidligere studier ikke har gjort.
- Den utforsker AI som en andre mening, ikke som en erstatning – et mer realistisk og etisk forsvarlig bruksområde.
Dette er spesielt viktig i et klima hvor mange roper på raske AI-integrasjoner i klinikken – ofte uten tilstrekkelig dokumentasjon.
Avslutning: Trenger vi bedre modeller – eller bedre studier?
Den pågående diskusjonen handler ikke lenger bare om hvorvidt LLM-er kan være “bedre enn mennesker” på visse oppgaver. Det handler om hvordan vi evaluerer, hvor vi implementerer, og hvorfor vi bruker dem i utgangspunktet.
Vi trenger nå ikke nødvendigvis bedre modeller, men bedre studier:
- Prospektive, randomiserte forsøk i klinisk praksis.
- Evaluering av samspill mellom klinikere og LLM.
- Studier av nytteverdi snarere enn ren ytelse.
Og viktigst av alt: vi trenger å moderere forventningene. Forhåpninger om superintelligens må balanseres med nøktern vitenskapelig metodikk og kritisk vurdering.
Lenke til artikkelen: https://arxiv.org/abs/2412.10849