Fra hjelper til hinder - hvordan AI kan svikte i komplekse prosjekter

‍

DEL 3 – Hvordan kan AI faktisk hjelpe?

I de to første delene av denne artikkelserien har vi sett på hvordan vi kan optimalisere bruken av LLM-er gjennom bedre konteksthåndtering og unngåelse av bias. I denne delen skal vi prøve å sammenføye dette med å se på hvordan man kan bruke AI-verktøy effektivt, samtidig som vi sikrer at disse verktøyene forblir pålitelige hjelpere og ikke utilsiktede hinder.

Effektiv bruk av LLM-er krever mer enn å forstå teknologien – det handler om å legge merke til når man selv ikke lenger kan verifisere det en AI-modell sier, og hvordan man best kan integrere dens evner i arbeidsprosesser, uten å bero på AI-modellen.  

Dagens største begrensning

Utfordringene med dagens LLM-er fokus, i både input og output. Desto mer av arbeidet du gir til en AI, desto lavere kvalitet vil du få tilbake. For å teste dette, matet jeg inn hele del 1 og del 2 av denne artikkelserien i AI-en, for å jobbe med del 3. Jeg brukte teknikkene jeg har gjennomgått, og jobbet for å gi LLM-en best mulighet til å gjøre det bra. Jeg ba den idémyldre, finne frem til struktur, og ba den skrive del 3 i samme stil den kunne se fra del 1 og del 2. Resultatet ble dessverre upersonlig og uinteressant.

Etter å ha jobbet mye med AI-generert tekst, blir det slående hvor lett det er å gjennomskue den. Du gjenkjenner AI-tekst ekstremt lett, ikke bare fordi du har lært deg å se etter lister som en indikasjon, men også fordi det blir som The Uncanny Valley av tekst. Selv der hvor jeg kunne gi to tekster i akkurat samme stil, om akkurat samme tema, ble det en for generell oppgave for modellen.  

Så dersom du ber en AI-modell gjøre en for stor del av jobben for deg, vil kvaliteten bli lavere. Det samme gjelder dersom du putter inn for mye tekst. Det er en dårlig idé å kopiere inn hele Norges lover og be om en vurdering av en situasjon. Dersom du allerede har valgt ut relevante lover – eller enda bedre, relevante paragrafer – vil du få langt bedre svar fra en LLM. Desto mer av arbeidet du selv gjør, desto bedre kan en AI støtte deg.

Agenter

Agenter er en fascinerende måte å unngå deler av disse utfordringene på. Som et steg i å prøve å minimere effekten jeg nevner over, kan man be en LLM gjøre en liten del av en oppgave, men i mange iterasjoner. Trikset er å starte med et nytt kontekstvindu for hver iterasjon, og lage avgrensede roller som gjør neste del av arbeidet. En agent kan være så enkelt som en ny samtale med ChatGPT som du gir en annen prompt. La oss si du har førsteutkast av en tekst du ønsker hjelp med. I første omgang gir du teksten til en slags redaktør-agent. Du ber den foreslå endringer som gir hele teksten bedre struktur, foreslå ting som bør utbroderes og ting som bør nedkortes. Deretter går det videre til en språkflyt-agent. Resultatet av dette gir du videre til en rettskrivningsagent.

Totalt vil dette gi deg et resultat av høyere kvalitet enn å gi den til en "fiks artikkelen min"-agent. Se på det som en måte å sette til verks alt jeg har nevnt så langt. Hvis én samtale med ChatGPT som genererer kode setter seg fast, er det bare å mate feilmeldingen inn i en ny samtale, og du får mest sannsynlig rett hjelp. Kontekst, bias og fokus kan forbedres på denne måten.

Teknologien LLM har mange iboende begrensninger. Det er ikke nødvendigvis denne strukturen som blir den beste måten å lage AI i fremtiden. Likevel er det et ekstremt stort potensial i agenter. Dersom modellen man velger er tilpasset rollen til agenten, kan man se for seg et hav av muligheter. Folk har utviklet konseptet til å inkludere hele virtuelle organisasjoner, med strukturer for å løse komplekse oppgaver. Fra et virtuelt styre på toppen, til utviklere, testere og produkteiere i andre enden. Meldinger utveksles mellom lagene, og avgrensningen i rollen gjør at hver agent kan bidra på en konstruktiv måte.

Idémyldring

Dagens LLM-er kan være ekstremt nyttig sparringspartner i idémyldringsfasen. Vi kjenner alle den følelsen når en spennende idé skaper en gnist i oss. Akkurat den gnisten tror jeg AI kan bistå med. Her blir det AI-en som hjelper oss med fokus. Vi kan ta nytte av at det er enkelt for en AI å generere mange ideer ekstremt raskt.  

Drøfting av egen forståelse – en moderne rubber duck

Innen programmering er rubberducking en teknikk som innebærer å fortelle om kode til en badeand, i et forsøk på å tvinge oss selv se på et problem fra et nytt perspektiv. Det å gjøre tankerekken vår lineær, hjelper oss legge merke til nye detaljer. Det å formulere tankene dine og legge dem frem for en LLM kan være en teknikk som kan bistå deg i egne tankerekker, selv uten at modellen trenger gi meninger om det du sier.

Noen ganger trenger vi litt mer enn en badeand å snakke til, men det kan være overraskende lite som skal til for stor effekt. Selv når en LLM kun bistår oss i oppfølgingsspørsmål, kan det være nok til å få oss selv til å konkretisere en hel tankerekke. Vi benytter oss av at vi er sosiale dyr, og at hjernen vår er skrudd sammen for interaksjon. Uten å la det utspille seg på samme måte som i filmen Her, anbefaler jeg alle å prøve å snakke med en LLM for å lufte et problem man tenker på, eller få utløp for frustrasjon. Prøv det gjerne i en modus hvor du kan bruke stemmen din. Opplevelsen første gang du gjør dette, og nærmest glemmer at det kun er en stor språkmodell som er i andre enden, er ganske surrealistisk. Jeg håper vi ikke erstatter bestevennene våre som sparringspartnere, men dagens AI er et sterkt supplement.

Konklusjon

Dagens AI kan ikke erstatte en ekspert. Likevel er det mange områder av tingene vi allerede gjør som kan forsterkes av en LLM. Disse modellene bør nok ikke ta komplekse oppgaver på egenhånd, men samtidig er muligheten til å ha en AI som skriver referat fra et møte noe som er en stor hjelp i hverdagen. Du kan også få bistand innen det dyptgående arbeidet du gjør, så lenge du er kjent med dine egne og LLM-ens begrensninger. AI kan også gi deg et nytt perspektiv på et problem du sitter fast i. Likevel kan ikke AI oversette romaner, eller skrive hele systemer.

Jeg håper AI kan være det neste hoppet i produktivitet i samfunnet. Det kan være med å bane vei til 30 timers arbeidsuke. Eller viktigst av alt: til en hverdag hvor jeg slipper forholde meg til innboksen min.

-Tomas