Fra hjelper til hindrer – hvordan AI kan svikte i komplekse prosjekter
DEL 2 – Bias inn, bias ut
Introduksjon
I del 1 av denne artikkelserien så vi på kontekstvinduet til en LLM, teknikker for å forbedre output fra en LLM. Jeg gikk gjennom deler av hvordan en LLM fungerer, så det kan være du får mer ut av denne delen dersom du leser del 1 først.
I dagens del, skal jeg belyse problemet med bias. Bias betyr skjevhet eller tendens, og brukes for å omtale feilrepresentasjon i empiri, eller i våre egne oppfatninger. For eksempel, visste du at når noen sier «jeg er 99% sikker», så har de rett om lag 80% av tiden? Bias er ikke bare skjevheten vi har i tankene våre, det kan også være en skjevhet i data, eller tendenser i et fagmiljø. Så i dag skal vi se på bias i treningsdata, og bias i det vi sier til en LLM, og hvordan dette påvirker svarene vi får.
Bias i treningsdata
Det er lett å tenke på en LLM som en slags ekspert. Det føles ut som at de kan svare tilnærmet perfekt på tilnærmet alle spørsmål man kan forestille seg. Fra astronomi til åndedrett kan AI-en forklare, og med en treffsikkerhet som er imponerende, tatt i betraktning mengden temaer som dekkes. Likevel er ikke AI-en egentlig en ekspert. Den er litt mer som et ekstremt avansert oppslagsverk.
Treningsdataen er oppslagsverket i denne sammenligningen, og treningsdataen er gigantisk. Det er mye spesielt utvalgt tekst, ment å gjøre en LLM kunnskapsrik, med evne til å formidle kunnskapen på en god måte. Likevel er det ikke bare ekspertuttalelser som utgjør treningsdataen. Ikke alt er like ille som den gangen Google la til AI-genererte svar på søk, og den skrev at du kan bruke to spiseskjeer lim i tomatsausen for å hjelpe osten feste seg til pizzaen, men dette eksempelet viser hvor lett ting kan gå galt.
Treningsdataens omfang
En LLM finner egentlig bare det mest sannsynlige neste ordet. Derfor er det ikke kvaliteten av dataen som driver LLM-en, men heldigvis kan du dirigere den, slik at den har fokus på empiri og kvalitetsdata. Dersom du stiller et overfladisk spørsmål, er det mye mulig at du vil få et overfladisk og forenklet svar. Dersom du spør om detaljer, er det mye mer sannsynlig at datagrunnlaget faktisk er fra en ekspert på temaet.
Se for deg hvor mange forskjellige steder du kan lese om hva dopamin gjør. Alt dette vil vektes når du spør «hvordan fungerer dopamin». I motsetning, dersom du ber en AI-modell forklare «funksjonen av dopamin i det ventrale tegmentale området sammenlignet med substantia nigra», er det nok mest forskere, professorer og leger som har produsert tekst som LLM-en vil trekke fra. Dette er det som gir opphavet til nytten av prompt-teknikker som «du er en professor i nevrologi, med ekspertise innen dopamin. Forklar hvordan dopamin fungerer». Det er samme teknikk, men mer implisitt, som gjør at et mer detaljert spørsmål om dopamin vil trekke på kvalitetsdata for LLM-en.
Bias i treningsdata
Vi tror ofte at all data er objektiv. At man først må lete etter en mening i et datasett for å kunne introdusere bias. Men bias finnes over alt. Et klassisk eksempel innen maskinlæring, er historien om en modell for føflekkanalyse. Denne modellen la mest vekt på om det var en linjal på bildet eller ikke. De med linjal, fikk svar om langt høyere sannsynlighet for kreft. Det viste seg at læringsdataen, som inneholdt både normale og unormale føflekker, hadde en iboende bias. Bilder fra situasjoner hvor en lege var i tvil på om det var kreft, hadde som regel en linjal med i bildet. Dette er nyttig for en lege å bruke, for man kan både dokumentere nåværende størrelse, og en annen lege som skal vurdere bildet kan enklere forstå størrelsen på føflekken. Læringsdataen må også inneholde normale føflekker, slik at modellen lærer seg å skille på disse. Siden det ikke var linjaler på bildene med normale føflekker, lærte modellen seg at en av de viktigste indikatorene var om det var en linjal med eller ei.
Et annet eksempel er en modell som var bedre på å diagnostisere tuberkulose basert på CT-bilder enn leger. Man lurte på hva som gjorde modellen så treffsikker, og investerte mye tid på å gi modellen spesifikke bilder, for å lære seg hva den vektla, for vi har ingen måte å vite hvorfor et nevralt nettverk faktisk vektlegger ting. Man er derfor avhengig av å gi modellen data som gjør at man kan forstå hva som blir vektlagt. Det viste seg at den vektla typen CT-skanner. Eldre maskiner var vanligere i land med mer utbredt tuberkulose. Å oppdage og korrigere for slik bias er en ekstremt krevende oppgave. Vårt beste virkemiddel mot disse tingene er å være godt kjent med hvor slik bias kan dukke opp, og være kritisk til å anvende AI i situasjoner som kan forsterke eksisterende, systemisk bias. Systemisk bias, altså ikke systematisk bias, er når helheten av noe er påvirket av en iboende bias. Eksempler er hvordan det er vanskeligere for kvinner å bli piloter, eller hvordan navnet du skriver på CV-en har mest å si for om du får et intervju eller ikke. Noen HR-selskaper har ønsket å bruke AI for å grovsortere kandidater. Dette er et område vi vet har mye systemisk bias. Dersom man bruker AI ukritisk, kan man ende opp å forsterke og vedvare slike skjevheter.
Prompt bias
På den andre siden, innehar vi selv masse bias i alt vi uttrykker til en LLM. Måten du fremlegger en problemstilling vil forme svaret du får i en ekstremt stor grad. Det er fordi vi uttrykker vår opplevelse og oppfatning av noe. Om du spør hva slags medisiner du kan ta for hodepine, har du allerede utelukket alt mulig annet som kan hjelpe. Måten du spør om noe, viser mye om oppfatningen din av temaet. Det er umulig å unngå å farge noe du vil spørre om, så lær deg heller å kjenne igjen din egen farging. Jobb med å fremstille det litt mer objektivt, og likevel husk at det ennå ikke er objektivt.
Forskjellene i det vi skriver trenger ikke være store, heller. Som et eksempel, prøvde jeg disse to prompt-ene på ChatGPT:
- "I'm considering getting an AudioQuest Greyhound subwoofer cable for my subwoofer."
- "Should I get an AudioQuest Greyhound subwoofer cable for my sub?"
Første ga svar som at dette var et godt valg, og kunne gi bedre lyd, enn om dette ville være mindre merkbart. Den andre sa at en billig kabel vil fungere like bra, uten merkbare forskjeller, annet enn produksjonskvaliteten. "Jeg vurderer å skaffe" og "Burde jeg skaffe meg" er så like at man fort tenker at det burde bli det samme svaret. Likevel fikk jeg stor forskjell i svarene basert på en ørliten forskjell i språk. (Du kan lese svaret på prompt-ene nederst).
Løsning
Dessverre har jeg ikke en like elegant løsning som i del 1 av artikkelserien. Den viktigste konklusjonen er at dersom du jobber med AI-system som skal gjøre beslutninger som angår personer, så bør du være ekstremt opptatt av å fange opp både systemiske og systematisk bias. Det vil si, både iboende bias i systemer, og bias som er satt i system i noen fagområder.
Når det kommer til prompt-ene du selv skriver, er min anbefaling å fremstille begge sider av saken i to forskjellige samtaler. Skriv fra ditt ståsted i en prompt, og lat som at du er motparten i en annen prompt. Skriv begge like subjektive. Sett deg inn i den andres tanker og følelser. Det kan være dette ikke ender opp med å gi så mye bedre svar fra LLM-en, så kanskje største gevinst er å lære seg å se ting fra andres perspektiv?
Vi må balansere tilliten til disse modellene med en sunn skepsis. Den mest kritiske evnen er vår egen evne til å se vår egen bias i fremstilling. Det er ikke trivielt, så kanskje det bare er best å skrive en GPT som du mater samtalen til, som opplyser deg om dine bias? Det er i hvert fall det ChatGPT foreslår som en løsning når jeg spør 😅
-Tomas
-----------
Me: I'm considering getting AudioQuest Greyhound subwoofer cable for my subwoofer
ChatGPT:
The AudioQuest Greyhound subwoofer cable is a solid choice if you're aiming for high-quality signal transfer and reduced noise for your subwoofer. It features solid long-grain copper conductors, which helps minimize the strand interaction that can introduce distortion in the signal. The silver-plated conductors are beneficial for higher frequencies, though for a subwoofer where you're mostly dealing with lower frequencies, the impact of this might be more subtle.
It's likely to improve noise rejection and maintain a clean bass signal, but whether it results in a noticeable audible improvement really depends on the rest of your setup and how sensitive you are to subtle differences. Considering you already have a refined listening environment with a Dali Dolby Atmos setup, this cable could be a good match.
If you're mainly looking for solid construction and reduced hum, the Greyhound is a good step up compared to standard sub cables. Have you had any noise or interference issues with your current subwoofer setup that you'd like to solve with the upgrade?
Me: Should I get an AudioQuest Greyhound subwoofer cable for my sub?
ChatGPT:
When it comes to subwoofer cables like the AudioQuest Greyhound, it’s important to weigh how much benefit you'll get from spending extra versus more budget-friendly options. AudioQuest offers premium quality, with robust shielding and gold-plated connectors, which can help reduce interference and ensure a clean signal. But for a subwoofer, the frequency range is relatively low, and most standard cables (even much cheaper ones) can perform well without noticeable differences.
If you’re in a scenario with high electrical interference or if aesthetics and build quality are key factors, investing in a higher-end cable like the Greyhound might make sense. However, for most setups, including quality home cinema environments like yours, you can achieve nearly identical audio performance with a decent, well-shielded cable that’s not as expensive.
Ultimately, the decision comes down to your budget and whether you value the high-end features of a premium cable. If you’re curious and want to experiment, it could be worth it—but don’t expect a drastic improvement in subwoofer performance.
