Automatiseringsskjevhet vs. Algoritmisk Verdsettelse: Fallgruver ved AI i Medisinsk Praksis

I en kronikk publisert i NEJM AI av Ohde et al. i januar 2024, “The Burden of Reviewing LLM-Generated Content” (NEJM AI), diskuteres utfordringene knyttet til vurdering og validering av innhold generert av store språkmodeller (LLMs) i medisinsk kontekst. Dette temaet berører to sentrale fenomener: automatiseringsskjevhet (automation bias) og algoritmisk verdsettelse (algorithmic appreciation), som begge kan ha betydelig innvirkning på medisinsk praksis.

Automatiseringsskjevhet: Når AI tas for gitt

Automatiseringsskjevhet refererer til tendensen til å stole blindt på anbefalinger fra automatiserte systemer, selv når de er feilaktige. I allmennpraksis kan dette arte seg ved at leger aksepterer AI-genererte diagnoser, behandlingsplaner eller journalnotater uten tilstrekkelig kritisk vurdering. Et eksempel kan være en AI-drevet beslutningsstøtte som foreslår en vanlig diagnose basert på mønsteranalyse, men overser sjeldne differensialdiagnoser som en erfaren lege ville vurdert. Slike feil kan forsterkes dersom klinikere ikke tar seg tid til å gjennomgå AI-forslagene grundig.

Algoritmisk verdsettelse: Når AI får for mye tillit

Algoritmisk verdsettelse innebærer en overdreven tro på at AI-systemer alltid genererer overlegne eller presise resultater, selv i tilfeller der de mangler kritisk kontekst. Dette kan være spesielt problematisk i kliniske beslutninger hvor nyanser som pasientens sosiale forhold eller subtile kliniske tegn ikke fanges opp av AI. I allmennpraksis kan en lege feilaktig anta at en AI-generert behandlingsanbefaling er optimal, selv når den ikke er tilpasset pasientens unike situasjon.

Fallgruver ved bruk av LLMs til journalnotater

Bruken av store språkmodeller til å skrive journalnotater introduserer flere utfordringer. LLMs har en tendens til å produsere tekst som virker plausibel, men som kan inneholde feil eller “hallusinasjoner” – altså informasjon som ikke er basert på faktiske data. Dette kan resultere i misvisende eller feilaktige journalnotater, noe som kan få konsekvenser for videre pasientbehandling. I tillegg kan LLMs forsterke eksisterende skjevheter i dataene de er trent på, noe som igjen kan påvirke diagnostikk og behandlingsvalg.

Klinikeres bevissthet om disse skjevhetene

Etter å ha intervjuet flere leger om bruk av KI-drevne transkripsjonstjenester, er mitt inntrykk at de fleste er bevisste på automatiseringsskjevhet. Derimot har noen av dem en mer intuitiv, men mindre artikulert, bekymring knyttet til algoritmisk verdsettelse. Dette tyder på at klinikere som skal bruke KI gjennom hele pasientforløpet, må være ekstra bevisste på begge disse skjevhetene for å unngå feilvurderinger.

Kritisk vurdering og systematisk kvalitetssikring

For å håndtere disse utfordringene må helsepersonell få grundig opplæring i både styrkene og svakhetene ved KI-verktøy. Det er avgjørende at leger opprettholder en kritisk holdning og vurderer AI-genererte forslag i lys av klinisk erfaring og pasientens spesifikke kontekst. Videre bør det etableres systemer for kvalitetssikring og kontinuerlig evaluering av AI-verktøyene i klinisk praksis.