Automation bias: når trening ikke er nok

Et nytt enkelt-blindet randomisert studie bidrar med interessant ny viten. Leger som hadde gjennomgått 20 timers KI-opplæring – inkludert prompt engineering og kritisk vurdering av KI-generert output – viste seg likevel å være sårbare for automation bias når de brukte store språkmodeller som beslutningsstøtte [1].

44 leger ble randomisert i et enkelt-blindet design til å diagnostisere seks kliniske vignetter. Kontrollgruppen mottok umodifiserte anbefalinger fra ChatGPT-4o, mens intervensjonsgruppen fikk anbefalinger der feil bevisst var lagt inn i tre av seks caser. Deltakerne var blindet for studiens spesifikke formål.

Leger som ble eksponert for feilaktige anbefalinger, oppnådde en gjennomsnittlig diagnostisk nøyaktighet på 73 prosent, sammenlignet med 85 prosent i kontrollgruppen – en justert forskjell på 14 prosentpoeng.

Hyppige KI-brukere – de som brukte KI ukentlig eller mer – viste størst prestasjonsnedgang. Dette antyder at vanebruk av KI kan fostre kognitiv avhengighet som svekker kritisk vurdering av maskinens anbefalinger.

Automation bias kan forsterkes av kognitiv avlasting – der klinikere ubevisst reduserer sin egen kognitive innsats når de får en ferdig løsning fra maskinen.

Hva betyr dette i praksis? Det betyr at vi ikke kan slå oss til ro med at KI-opplæring er et tilstrekkelig sikkerhetstiltak. Trening øker ikke nødvendigvis motstandsdyktigheten mot bias – den kan til og med gi en falsk trygghet. Det minner oss om at problemet ikke bare er hos brukeren, men i møtet mellom menneskelig kognisjon og et overbevisende system.

Utviklere av LLM-løsninger i helsevesenet argumenterer gjerne for at “human-in-the-loop” er tilstrekkelig sikkerhet. Men når mennesker konsekvent følger maskinens vei med minst kognitiv motstand, holder ikke dette argumentet.

Dette stiller høye krav til oss som leger, men enda høyere krav til dem som utvikler og godkjenner beslutningsstøtteverktøy. CE-merking, klinisk validering og transparens om feilrater er nødvendige forutsetninger for trygg implementering.

Referanse

Automation Bias in Large Language Model Assisted Diagnostic Reasoning Among AI-Trained Physicians. NEJM AI. https://ai.nejm.org/doi/full/10.1056/AIoa2501001

Vi betaler for å trene andres algoritmer

Etter å ha lest om Silja Vases forskning på talegjenkjenning ved danske sykehus, var det særlig ett sitat som stoppet meg:

«En læges tid er enormt dyr, og det har de private udbydere fået helt gratis. Sygehuset betaler ovenikøbet licens for at få adgang til talegenkendelsen.»

Dette er noe jeg ikke selv har tenkt tilstrekkelig over. Hver gang vi retter opp en feil transkripsjon, reformulerer en setning eller godkjenner et journalutkast, trener vi en modell vi ikke eier. Vi gir fra oss klinisk ekspertise, gratis, til selskaper som selger den tilbake til oss.

Norske fastleger og sykehus bør stille tydeligere krav når de inngår avtaler med leverandørene: Hvem eier dataene? Hvem eier modellen som forbedres av vår bruk? Og hvem sitter igjen med verdien?

Det er spørsmål som bør inn i kalkylen før vi signerer kontrakten.

Les artikkelen: Læger bruger dyrebar tid på at træne en privatejet algoritme – Uniavisen