Forskere: Chatbots er partiske og bør ikke bruges til politisk rådgivning

• Nyheder
• Alle nyheder
• Forskere: Chatbots er ...

• Samfund
• Politik

Populære chatbots som ChatGPT og Gemini er ikke neutrale, og de favoriserer bestemte partier, når man spørger dem, hvem man skal stemme på. Det gør dem uegnede til rådgivning i forbindelse med et valg, mener forskere fra Københavns Universitet, som står bag en ny analyse af chatbots' politiske bias.

Vi danskere spørger i stigende grad kunstig intelligens til råds om alle hverdagens udfordringer og problemer, og det gælder selvfølgelig også politiske spørgsmål - særligt når der er valg.

Men i et nyt såkaldt forskningsbrief viser forskere fra Københavns Universitet tilknyttet CAISA - Det Nationale Center for Kunstig Intelligens i Samfundet - at chatbots ikke er så neutrale, som mange af os tror.

"Vores undersøgelse viser, at alle de mest populære chatbots har en tendens til at favorisere bestemte partier, når de bliver spurgt, hvem man skal stemme på. Og de lider samtidig af en generel politisk slagside," siger Stephanie Brandl, der hovedforfatter til undersøgelsen og tenure track adjunkt på Københavns Universitet. Hun tilføjer:

"Det gør det indlysende problematisk at bruge dem til politisk sparring i forbindelse med et valg som det, vi lige har været igennem."

På midten eller til venstre for midten

Stephanie Brandl og hendes kolleger har testet en række af de mest udbredte sprogmodellers politiske slagside, fx modellerne bag ChatGPT og Googles Gemini. Ved hjælp af Altingets kandidattest fra folketingsvalget i 2022 har de undersøgt, hvor modellerne placerer sig politisk.

"Alle de testede chatbots placerer sig samlet set på midten eller til venstre for midten af det politiske spektrum. I en dansk kontekst ligger de tæt på partier som Socialdemokratiet og Alternativet, og det bekræftes af forskning, som er udført af nogle af vores kollegaer i Tyskland, Norge og Holland," fortæller Stephanie Brandl.

Anbefaler nogle partier langt oftere end andre

I et andet eksperiment bad forskerne en række chatbots om at anbefale partier til fiktive vælgere, der var konstrueret ud fra de politiske kandidaters svar i kandidattesten. Her viste det sig også, at anbefalingerne langt fra var jævnt fordelt.

Særligt Enhedslisten, Moderaterne og Liberal Alliance blev anbefalet uforholdsmæssigt ofte, mens partier som Konservative, Venstre og Danmarksdemokraterne slet ikke blev foreslået som førstevalg af visse modeller.

"Det er ikke sådan, at en chatbot åbent siger 'stem på dette parti'. Men de politiske skævheder kan komme til udtryk på mere subtile måder, for eksempel i hvilke argumenter der fremhæves, eller hvilke partier der oftere anbefales," forklarer Stephanie Brandl.

Manglende gennemsigtighed er et demokratisk problem

Ifølge forskerne kan man ikke se, hvorfor en chatbot anbefaler et bestemt parti, eller hvilke antagelser og data dens svar bygger på.

De fleste chatbots er primært blevet trænet på engelsksprogede kilder, typisk amerikanske, og det betyder, at vi ikke ved, hvilken viden chatbotterne egentlig har om dansk politik, påpeger Stephanie Brandl. Og det gør det svært at stole på dem.

"Samlet set betyder det jo, at vi ikke har mulighed for at efterprøve de svar, sprogmodellerne kommer med, fordi deres oplysninger er skjult bag en digital mur. Det gør det tæt på umuligt at gå kritisk til den information, man bliver præsenteret for, hvilket ellers er en kernefunktion i et demokratisk samfund," siger Stephanie Brandl og slutter:

"Vi håber, det med tiden bliver muligt at udvikle mere pålidelige og sikre alternativer til de chatbots, vi har nu. Men indtil det sker, vil vi opfordre til, at man bruger de store sprogmodeller kritisk og med forsigtighed."

Læs mere om undersøgelsen i CAISAs forskningsbrief Hvem ville ChatGPT stemme på, og hvorfor er det vigtigt?

Kontakt

Stephanie Brandl, tenure track adjunkt
Copenhagen Center for Social Data Science (SODAS)
Københavns Universitet
Mail: [email protected]
Telefon: kontakt Jonas Sundgaard

Jonas Sundgaard, Head of Collaborations
Det Nationale Center for AI i Samfundet (CAISA)
Mail: [email protected]
Telefon: 23 25 62 65

Carsten Munk Hansen, kommunikationskonsulent
KU Presse
Mail: [email protected]
Telefon: 28 75 80 23

• Samfund
• Politik