Kritisk blikk på Goh et al-studiet – Hva må vi ta med oss om KI i medisin?
Ny forskning om kunstig intelligens (KI) i medisin er ofte spennende, men det krever også et kritisk blikk. Goh et al.-studiet, publisert i JAMA Network Open, har vakt stor oppmerksomhet, særlig på grunn av sitt forsøk på å vurdere KI-modeller i kliniske sammenhenger. Men som med alt som lover en revolusjon, er det viktig å grave dypere og utfordre både metoder og konklusjoner.
En kommentar av Dr. Ranji, også publisert i JAMA Network Open, gir en utmerket analyse av studiet. Jeg anbefaler denne sterkt, spesielt for leger med interesse for KI. Dr. Ranji løfter frem flere viktige poenger om både styrkene og svakhetene ved Goh et al.-studiet, og bidrar til en mer nyansert forståelse av resultatene.
Bias i det sekundære endepunktet
En av de viktigste tingene vi må merke oss, og som jeg mener er grovt misforstått både i pressen og blant kolleger, er metodologien knyttet til studiets sekundære endepunkt. Dette handler om bruken av en såkalt “0-shot prompt”.
Forfatterne av studiet utviklet denne prompten «iterativt», en prosess som i praksis innebærer at de kunne justere og finjustere teksten helt til den ga et ønsket resultat. Fordi forskerne allerede satt på fasiten – altså de riktige svarene – hadde de en fordel som vanlige brukere av KI-systemet ikke vil ha. Dette introduserer en betydelig risiko for bias. Resultatet sier derfor lite om hvordan KI faktisk vil prestere i en klinisk situasjon der denne typen iterativ tilpasning ikke er mulig.
Det er kritisk å forstå at denne typen metodologiske utfordringer kan overdrive KI-modellenes evner. Det sekundære resultatet i Goh et al.-studiet er altså ikke et objektivt mål på KI-modellenes «0-shot» prestasjon, men snarere et resultat av menneskelig finjustering.
Hvorfor dette er viktig
Denne typen bias er ikke bare en metodologisk detalj – den har konsekvenser for hvordan vi tolker KI i kliniske sammenhenger. Hvis vi lar oss rive med av overoptimistiske tolkninger, risikerer vi å innføre KI-systemer som ikke er robuste nok for praksis. Dette kan skade både pasientenes tillit og kvaliteten på helsehjelpen.
Kritisk refleksjon rundt KI i medisin
Studier som dette minner oss på hvorfor kritisk tenkning er så viktig i møte med nye teknologier. KI har potensial til å transformere medisin, men bare dersom vi evaluerer den med realistiske målestokker og unngår overforenkling.
Jeg oppfordrer kolleger til å lese både Goh et al.-studiet og kommentaren av Dr. Ranji. Sammen gir de verdifulle innsikter, men også en viktig advarsel: Vi må alltid stille spørsmål ved hvordan resultater fremstilles, og hvilke implikasjoner de har for praksis.
KI kan bli et kraftfullt verktøy, men bare dersom vi bruker det med kritisk blikk og en forpliktelse til evidensbasert medisin.
Lenker til relevante artikler: