Når KI blir en venn: hvorfor regulering av emosjonelle chatbot-tjenester haster

Jeg deltar for tiden i Teknologirådets ekspertgruppe om KI-baserte vennetjenester – digitale systemer som er designet for å fungere som samtalepartnere, støttespillere eller til og med “venner”.

Temaet er nylig omtalt i en kommentar i Dagens Næringsliv:

ChatGPT er blitt en grådig god venn.

Der pekes det på et blindpunkt i regjeringens foreløpige vurdering:

Den norske regjeringen vurderer for tiden 15-årsgrense på sosiale medier, men det gjelder ikke for KI-baserte vennetjenester. Andre myndigheter går hardere til verks. I California kreves pausepåminnelser og tydelige advarsler for mindreårige, mens Kina vil innføre nødmekanismer der mennesker tar over samtalen ved tegn til selvmordstanker, og en egen mindreårig-modus med tidsgrenser og varsler.

Når følelsesmessig tilknytning blir selve forretningsmodellen, må reguleringen holde tritt med utviklingen. Og når empatiske KI-chatboter inntar barn og unges følelsesliv, kan vi ikke overlate ansvaret til markedet alene. Alternativet er at vi – igjen – lar en hel generasjon bli forsøkskaniner i et globalt teknologieksperiment.

Dette sitatet treffer etter min mening kjernen i utfordringen.

Google AMIE i klinikken: Et viktig steg fremover — men ikke helt klar for eliteserien

Det er gode nyheter at vi endelig får et prospektivt, reelt klinisk studie av en diagnostisk KI-chatbot i primærhelsetjenesten. Etter flere år med simulerte benchmark-studier er dette et viktig skifte: fra laboratoriet til faktisk klinisk arbeidsflyt.

Studien (A prospective clinical feasibility study of a conversational diagnostic AI in an ambulatory primary care clinic) rapporterer blant annet:

• ingen safety-stopp under de 100 pasientinteraksjonene
• diagnostisk kvalitet på nivå med leger i flere vurderinger
• høy pasienttilfredshet og økt tillit til KI etter bruk
• nytte for legen i forberedelse før konsultasjon

Alt dette er lovende.

Men: “zero safety stops” betyr ikke “zero risiko”

Et helt sentralt forbehold er at null safety-intervensjoner ikke betyr at det ikke var klinisk risiko. Det betyr kun at forhåndsdefinerte terskler for avbrudd ikke ble utløst.

Viktig seleksjon i pasientgrunnlaget

Dette var en tydelig selektert gruppe:

• voksne pasienter
• ikke-akutte problemstillinger
• psykiske problemstillinger ekskludert
• setting med tett overvåking

Med andre ord: mange av de mest krevende kliniske situasjonene er ikke med i datagrunnlaget.

Praktikalitet og kostnad: leger fortsatt sterkest

Et interessant funn er at leger scoret bedre enn AMIE på praktikalitet og kostnadseffektivitet. I en norsk kontekst, med sterkere fokus på bærekraft og ressursbruk enn i store deler av amerikansk helsevesen, er dette spesielt relevant.

Preprint + industridrevet forskning krever nøkternhet

Studien er foreløpig en preprint, altså ikke fagfellevurdert enda. I tillegg er den gjennomført av aktøren som utvikler teknologien. Det diskvalifiserer ikke funnene, men krever kritisk lesning. Vi kjenner fra annen medisinsk forskning at positive funn lettere finner veien til publisering enn negative.

Min vurdering

Dette er et godt og viktig steg i riktig retning.

Særlig virker pre-visit anamnese med KI som et realistisk og nyttig bruksområde: pasienten møter bedre forberedt, og legen kan bruke mer tid på klinisk vurdering og felles beslutningstaking.

Men vi er ikke klare for ukritisk bred implementering. Vi trenger flere, større og uavhengige studier før dette bør innføres som standard i klinisk praksis.

Kort sagt: lovende, men foreløpig — og absolutt verdt å følge tett.