Når KI ikke lærer: Hvorfor fine-tuning av språkmodeller svikter i medisinen
“None of the models exhibited robust generalizability of the knowledge presented during fine-tuning.”
Kunstig intelligens lover mye – og språkmodeller som GPT-4o og Gemini representerer teknologiske milepæler. Men hva skjer når disse modellene møter kravet om oppdatert medisinsk kunnskap? En ny studie fra Stanford University undersøker nettopp dette – og konklusjonen er både nyansert og urovekkende.
Fine-tuning er ingen magisk oppdatering
Artikkelen fra NEJM AI setter søkelys på en utfordring som ofte overses i den kliniske KI-debatten: Når guidelines og legemiddelinformasjon endres, hvordan oppdaterer vi språkmodeller som har et innebygd “cutoff” for kunnskap?
Forskerne testet seks frontier-modeller – blant annet GPT-4o, Gemini 1.5 og LLaMA – og fine-tunet dem via kommersielle API-er med ny kunnskap fra FDA, MIMIC-IV og NEJM Journal Watch. Resultatene var tydelige:
- Modellene memoriserer treningsdata, men generaliserer dårlig til nye kliniske scenarier.
- GPT-4o mini gjorde det best – men klarte kun 51 % korrekt på nye legemidler og 33 % på pasientdata.
- Gemini- og LLaMA-modellene bommet totalt i flere tester, med 0 % treff i enkelte tilfeller.
Dette er ikke små detaljer. Det handler om modellens evne til å forstå og anvende ny kunnskap i kontekst – for eksempel å anbefale riktig blodtrykksmål i lys av nye retningslinjer. Og der svikter fine-tuning i dag.
Liten modell, bedre læring?
Et av de mest interessante funnene er at små modeller (som GPT-4o mini) lærer bedre via fine-tuning enn større søsken som GPT-4o. Dette utfordrer en vanlig antakelse om at “større er bedre” i KI-verdenen.
Forklaringen? Antagelig handler det om arkitektur, parameterjustering og kapasitet for endring. Jo større modellen er, desto vanskeligere er det å lære noe nytt uten å glemme det gamle – et kjent problem innen catastrophic forgetting.
Men dette reiser også et praktisk spørsmål: Bør klinisk rettet KI i større grad baseres på mindre, mer spesialiserte modeller? Hvis målet er lokal tilpasning og hyppig oppdatering, kan det være en fruktbar vei.
Fine-tuning svekker annen kunnskap
Det kanskje mest urovekkende funnet er at fine-tuning ikke bare har begrenset effekt – det kan også svekke modellens evne til å besvare mer generelle medisinske spørsmål. GPT-4o mini falt fra 71,4 % til 66,4 % i nøyaktighet på MedQA etter fine-tuning.
Altså: Ved å lære noe nytt, glemmer modellen noe annet. Dette gjør at commercial fine-tuning ikke bare er ineffektiv – den kan være direkte risikabel i klinisk kontekst.
Hva betyr dette for norsk helsetjeneste?
I Norge er det stadig større interesse for å bruke kommersielle språkmodeller i kliniske verktøy – særlig til oppsummering, journalføring og beslutningsstøtte. Men funnene i denne artikkelen bør dempe forventningene.
- Fine-tuning fungerer ikke godt nok for oppdatert kunnskap.
- Generaliseringssvikt kan gi falsk trygghet i klinisk bruk.
- Transparens i modellens oppdateringsmekanismer er helt avgjørende.
Det er verdt å merke seg at Retrieval-Augmented Generation (RAG) fortsatt ser ut til å være den tryggeste metoden for kunnskapsoppdatering. Selv om den har sine svakheter – som hallucinasjon og kontekstsvikt – er RAG i det minste reversibel og kontrollerbar.
Hva bør vi gjøre?
- Regulatorer bør stille tydelige krav til hvordan oppdatering av KI skjer – og kreve dokumentasjon på at nye guidelines faktisk er inkorporert.
- Utviklere må teste sine modeller med mer enn bare memorisering – generaliseringsevne er klinisk kritisk.
- Klinikere bør være svært forsiktige med å stole på at fine-tunede modeller er oppdatert – og bør etterspørre transparens og evaluering.
Referanse:
Wu, E., Wu, K., & Zou, J. (2025). Limitations of Learning New and Updated Medical Knowledge with Commercial Fine-Tuning Large Language Models. NEJM AI, 2(8). https://doi.org/10.1056/AIcs2401155