En AI som förklarar och en annan som avgör

Antag att en butikskedja vill träna sina nyanställda i att ta emot kundklagomål genom en kurs. I övningarna spelar generativ AI kunden. Kursdeltagaren möter en kund som är irriterad över en trasig jacka och skriver hur hen skulle hantera situationen.

När svaret kommer in behöver kursen göra två saker. Den ska ge kursdeltagaren återkoppling på hur det gick. Den ska också bedöma svaret och bestämma vad som händer sedan: ett nytt försök, en ledtråd, en svårare kund eller en notis till en handledare.

Återkopplingen är ett samtal. Nästa steg är ett beslut. I många lösningar i dag får samma språkmodell göra båda, och det är där problemen börjar.

När språkmodellen också får bestämma

En språkmodell, ofta kallad LLM, är den typ av AI som finns bakom ChatGPT och Claude. Den skriver text ord för ord, och det gör den bra på att spela kund och förklara vad som fungerade i ett svar. Ber man den dessutom bestämma nästa steg händer tre saker:

1. Bedömningen blir olika från gång till gång. Två kursdeltagare svarar nästan likadant. Den ena får ”bra, du bekräftade att kunden var irriterad” och går vidare. Den andra får ”du borde ha frågat efter kvittot” och ett nytt försök. Till och med exakt samma svar kan bedömas olika om man skickar in det två gånger.

2. Modellen vet inte när den är osäker. Ber man den ange hur säker den är blir även den siffran bara text den skriver, och den ligger nästan alltid högt. Kursen kan därför inte skilja de klara fallen från dem som borde gå till en handledare.

3. Modellen håller sig inte till kursens vägar. Kursutvecklaren har bestämt att svaret ska landa på ett av fyra steg. Språkmodellen hittar på ett femte, motiverar i tre stycken eller svarar 3,5. Den går att pressa till ett fast format, men den skriver sig fortfarande fram till svaret i stället för att väga alternativen mot varandra.

Dessutom tar varje bedömning några sekunder, kostar pengar och skapar en seg användarupplevelse. Följden blir ofta att bedömningen bara görs på några enstaka ställen i kursen i stället för i varje moment.

Dela upp jobbet

Lösningen är att låta språkmodellen fortsätta prata och lägga beslutet hos en modell som bara får välja bland alternativ som kursutvecklaren har bestämt i förväg. Vi kallar det ett avgränsat beslut. Frågan kan ställas på några olika sätt:

• a. Välja ett alternativ: vilket av de fem vanligaste misstagen liknar svaret mest?
• b. Placera svaret på en skala: hur väl bemötte kursdeltagaren kunden, från 1 till 4?
• c. Svara ja eller nej: följde kursdeltagaren företagets returpolicy?

Varje svar kommer med en sannolikhet. På frågan om returpolicyn kan svaret bli ”ja, 0,85”. Vad som händer sedan styrs av regler som kursutvecklaren har satt upp. Ligger värdet över 0,8 går kursdeltagaren vidare, under 0,4 får hen en ledtråd och allt däremellan går till en handledare. Modellen bestämmer alltså inte gränserna själv, och två likadana svar hamnar på samma ställe.

Samma övning, två modeller

Tillbaka till exemplet med jackan. Kunden köpte den för två veckor sedan. Dragkedjan har gått sönder och kvittot är borta, men kunden står på sig: ”Jag har knappt använt den. Det här är inte okej.”

Språkmodellen spelar kunden och blir lugnare eller mer irriterad beroende på hur kursdeltagaren bemöter hen. Samtidigt placerar beslutsmodellen svaret på kursutvecklarens skala från 1 till 4. En etta är att kursdeltagaren direkt säger ”utan kvitto kan vi inte göra något”. En fyra är att hen först visar förståelse för kundens irritation, sedan erbjuder sig att leta upp köpet via kortet kunden betalade med och till sist förklarar vad som händer med jackan.

Hamnar svaret på 1 eller 2 pausas övningen, språkmodellen förklarar vad som saknades och kursdeltagaren får försöka igen. Blir det 3 eller 4 kommer nästa kund, som vill ha pengarna tillbaka för en tröja hen har använt i tre månader. Är beslutsmodellen osäker går svaret till en handledare, med en kort sammanfattning som språkmodellen skriver. Skillnaden mot att låta språkmodellen bestämma är att alla som svarar likadant får samma väg, och att de osäkra fallen faktiskt fångas upp.

När svaret måste följa en rutin

Låt oss ta ett till exempel. I en kurs om brandsäkerhet kan kursdeltagaren ställa frågor om företagets rutin, till exempel om det går bra att springa tillbaka in och hämta jackan när larmet har gått. Språkmodellen svarar med egna ord utifrån rutinen, och det är oftast lättare att förstå än själva rutintexten.

Med bara en språkmodell finns risken att den lägger till något som inte står där, som ”om det bara tar någon minut”. Ingen märker det förrän någon gör precis så. Med två modeller får beslutsmodellen en fråga innan svaret visas: säger svaret samma sak som rutinen, utan att lägga till eller ta bort något? Är svaret ja med hög sannolikhet visas förklaringen. Annars får kursdeltagaren läsa rutinen precis som den är skriven. Det är bättre än ett svar som är lättare att förstå men fel.

En modell som bara fattar beslut

Den 15 september 2026 lanserade företaget TypeSafe en modell som heter Jev. Jev skriver ingen text. Den får in ett läge, till exempel kursdeltagarens svar, tillsammans med en eller flera frågor av den typ som beskrivs ovan. Svaren kommer direkt, vart och ett med en sannolikhet. Eftersom den räknar ut alla svar i en enda beräkning i stället för att skriva ord för ord blir den både snabb och billig.

Enligt TypeSafe svarar Jev på mellan 0,07 och 0,5 sekunder, kostar en bråkdel av vad en språkmodell kostar per fråga och är tränad så att sannolikheterna går att lita på: säger den 0,8 ska den ha rätt ungefär åtta gånger av tio. Den kan inte svara med något utanför de alternativ kursutvecklaren har bestämt, men den kan förstås välja fel bland dem.

Jev är inte det enda sättet att göra det här. Själva uppdelningen går att bygga med en språkmodell som tvingas svara med ett av de tillåtna alternativen, eller med en mindre modell som har tränats på svar som redan har bedömts. Det löser att svaret landar på en av kursens vägar. Det som är svårare att få till med en språkmodell är en sannolikhet som går att lita på, och det är den kursen behöver för att skicka rätt fall till en handledare. Inom en vecka efter lanseringen kom flera öppna alternativ till Jev, men enligt de första jämförelserna är det just sannolikheterna som är svåra att få att stämma. Lägg till att beslutet går så fort och kostar så lite att det kan fattas efter varje svar, mellan kursdeltagarens replik och kundens nästa. Tar det flera sekunder märks väntan tydligt varje gång och dialogen upplevs seg och mindre autentisk.

Det här behöver kursutvecklaren fortfarande göra

Tekniken tar inte bort det pedagogiska arbetet. Frågorna och skalorna måste vara så tydliga att en kollega skulle kunna bedöma svaren med samma mall. Gränserna behöver testas innan kursen går live, genom att modellen får bedöma svar som en människa redan har bedömt. Där bedömningen får följder, till exempel för ett intyg eller en behörighet, bör en människa granska ett urval. Kursdeltagarna ska också få veta att deras svar bedöms av en AI och hur det går till.

Vi tycker att uppdelningen mellan dialog och beslut är ett av de mer spännande områdena inom digitalt lärande just nu, och vi ser fram emot att testa den i olika utbildningar.

Länktips

• Introducing System One Models & Jev. TypeSafes egen presentation av Jev, med deras mätningar.
• JevBench. En oberoende jämförelse av Jev, vanliga språkmodeller och öppna alternativ, med träffsäkerhet, pris, svarstid och hur väl sannolikheterna stämmer.
• Jev: System One Models, Use Cases, Open Source and Benchmarks. En genomgång av de öppna alternativen och vad som skiljer dem åt, bland annat licenser.