Säg att en butikskedja vill träna sina nyanställda i att ta emot kundklagomål. I kursen finns övningar där generativ AI spelar kunden. Kursdeltagaren möter till exempel en kund som är irriterad över en trasig vara och skriver hur hen skulle hantera situationen.
När svaret kommer in behöver kursen göra två saker. Den ska ge kursdeltagaren återkoppling på hur det gick (A). Den ska också bedöma svaret och bestämma vad som händer sedan (B), till exempel ett nytt försök, en ledtråd, en svårare kund eller en notis till en handledare.
A är ett samtal, och där är generativ AI bra. B är ett beslut. I många lösningar i dag får samma AI sköta båda delarna. Låter man språkmodellen också fatta beslutet kan samma svar bedömas olika från gång till gång, och det går inte att veta när bedömningen är osäker. Om besluten i stället är bestämda i förväg blir bedömningen jämn och går att följa upp.
Två olika sorters jobb
En språkmodell, ofta kallad LLM, är den typ av AI som finns bakom ChatGPT och Claude. Den skriver text ord för ord, och därför är den bra på att förklara. Den kan spela en kund, beskriva vad som fungerade i ett svar och formulera återkoppling som kursdeltagaren förstår och kan lära sig något av.
Att välja nästa steg ställer andra krav. Kursutvecklaren har redan bestämt vilka vägar som finns i kursen, och beslutet måste alltid landa på en av dem. Två kursdeltagare som svarar på samma sätt ska hamna på samma ställe. Kursen behöver också veta hur säker bedömningen är, så att de osäkra fallen kan skickas till en människa.
En språkmodell kan instrueras att svara i ett bestämt format, men den skriver sig fortfarande fram till svaret. Ber man den ange hur säker den är blir också den siffran text, och den brukar vara för hög. Språkmodellen är helt enkelt byggd för att skriva och inte för att väga alternativ mot varandra.
Vad ett avgränsat beslut är
Med ett avgränsat beslut menar vi att kursutvecklaren formulerar frågan och de möjliga svaren i förväg, och att AI:n bara får välja bland dem. Frågan kan ställas på några olika sätt:
- Välja ett alternativ: vilket av de fem vanligaste misstagen liknar svaret mest?
- Placera svaret på en skala: hur väl bemötte kursdeltagaren kunden, från 1 till 4?
- Svara ja eller nej: följde kursdeltagaren företagets returpolicy?
Varje svar kommer med en sannolikhet. På frågan om returpolicyn kan svaret bli ”ja, 0,85”. Vad som händer sedan styrs av regler som kursutvecklaren har satt upp. Ligger värdet över 0,8 går kursdeltagaren vidare, under 0,4 får hen en ledtråd och allt däremellan går till en handledare. Modellen bestämmer alltså inte gränserna själv.
En modell som bara fattar beslut
Den 15 september 2026 lanserade företaget TypeSafe en modell som heter Jev. Jev skriver ingen text. Den får in ett läge, till exempel kursdeltagarens svar, och en eller flera frågor av den typ som beskrivs ovan. Svaren kommer tillbaka på en gång, vart och ett med en sannolikhet.
Enligt TypeSafe svarar Jev på mellan 0,07 och 0,5 sekunder och kostar en bråkdel av vad en språkmodell kostar per fråga. Företaget uppger också att modellen är tränad så att sannolikheterna går att lita på. Säger den 0,8 ska den ha rätt ungefär åtta gånger av tio. Eftersom Jev inte skriver fritt kan den inte svara med något utanför de alternativ kursutvecklaren har bestämt, men den kan förstås välja fel bland dem.
Jev är inte det enda sättet att lösa det här. Samma uppdelning går att bygga med en språkmodell som får svara i ett fast format, eller med en mindre modell som har tränats på svar som redan har bedömts. Inom en vecka efter lanseringen kom flera öppna alternativ som försöker göra samma sak, men enligt de första jämförelserna är det svårt att få deras sannolikheter att stämma. Det nya med Jev är att beslutet går så fort och kostar så lite att det kan fattas efter varje svar.
Fyra exempel
Exemplen nedan är skisser och inga färdiga lösningar. I alla fyra sköter språkmodellen dialogen med kursdeltagaren, medan beslutsmodellen avgör vad som händer härnäst.
1. Kundklagomål i en butik
Vi går tillbaka till övningen från början. En kund kommer fram till kassan med en jacka som hen köpte för två veckor sedan. Dragkedjan har gått sönder, kvittot är borta och kunden är irriterad: ”Jag har knappt använt den. Det här är inte okej.”
Språkmodellen spelar kunden och blir lugnare eller mer irriterad beroende på hur kursdeltagaren bemöter hen. Samtidigt bedömer beslutsmodellen svaret på en skala från 1 till 4 som kursutvecklaren har skrivit i förväg. En etta kan vara att kursdeltagaren direkt säger ”utan kvitto kan vi inte göra något”. En fyra kan vara att hen först visar förståelse för kundens irritation, sedan erbjuder sig att leta upp köpet via kortet kunden betalade med och till sist förklarar vad som händer med jackan.
Hamnar svaret på 1 eller 2 pausas övningen. Språkmodellen förklarar vad som saknades, till exempel att kursdeltagaren aldrig bekräftade att kunden var irriterad, och kursdeltagaren får försöka igen. Blir det 3 eller 4 går övningen vidare till en svårare kund, som vill ha pengarna tillbaka för en tröja hen har använt i tre månader.
2. Vilket misstag gjorde kursdeltagaren?
Språkmodellen beskriver ett ärende och frågar hur kursdeltagaren skulle hantera det. Beslutsmodellen avgör vilket av de fem vanligaste misstagen svaret liknar mest, eller om det inte liknar något av dem. Språkmodellen förklarar sedan just det misstaget med ett exempel från företagets egna rutiner, och nästa övning tränar det momentet.
3. När en handledare behöver titta
Här frågar kursen beslutsmodellen om en handledare behöver se svaret. Är sannolikheten för ja högre än den gräns kursutvecklaren har satt skickas svaret till en handledare, och kursen går inte vidare automatiskt. Språkmodellen skriver en kort sammanfattning, så att handledaren förstår varför svaret flaggades utan att behöva läsa hela samtalet.
4. När svaret måste följa en rutin
I en kurs om brandsäkerhet kan kursdeltagaren ställa frågor om företagets rutin. Någon frågar kanske om det går bra att springa tillbaka in och hämta jackan när larmet har gått. Språkmodellen svarar med egna ord utifrån rutinen, och det är oftast lättare att förstå än själva rutintexten.
Risken är att språkmodellen lägger till något som inte står där, till exempel ”om det bara tar någon minut”. Därför får beslutsmodellen en fråga innan svaret visas: säger svaret samma sak som rutinen, utan att lägga till eller ta bort något? Om svaret är ja med hög sannolikhet visas språkmodellens förklaring. Annars får kursdeltagaren läsa rutinen precis som den är skriven. När det gäller säkerhet är det bättre att kursdeltagaren läser rutinen ordagrant än får ett svar som är lättare att förstå men fel.
Varför hastigheten spelar roll
En bedömning som tar flera sekunder och kostar pengar varje gång gör man sällan, oftast i ett prov i slutet av kursen. Tar den en bråkdel av en sekund och kostar nästan ingenting kan den göras efter varje svar, och då kan kursen anpassa sig medan kursdeltagaren arbetar.
Hastigheten påverkar också hur övningen känns. Bedömningen görs mellan kursdeltagarens svar och kundens nästa replik. Tar den några sekunder märks väntan varje gång, samtalet blir segt och det blir svårare att leva sig in i situationen.
Namnet Jev kommer från ekonomen William Stanley Jevons, som beskrev hur användningen av något ofta ökar när det blir billigare. TypeSafe menar att samma sak gäller för beslut: när de blir tillräckligt billiga går de att använda på ställen där det tidigare inte lönade sig.
Det här behöver kursutvecklaren fortfarande göra
Tekniken tar inte bort det pedagogiska arbetet. Frågorna och skalorna måste vara så tydliga att en kollega skulle kunna bedöma svaren med samma mall. Gränserna behöver testas innan kursen går live, genom att modellen får bedöma svar som en människa redan har bedömt. Där bedömningen får följder, till exempel för ett intyg eller en behörighet, bör en människa granska ett urval. Kursdeltagarna ska också få veta att deras svar bedöms av en AI och hur det går till.
Vi tycker att uppdelningen mellan dialog och beslut är ett av de mer spännande områdena inom digitalt lärande just nu, och vi ser fram emot att testa den i olika utbildningar.
Länktips
- Introducing System One Models & Jev. TypeSafes egen presentation av Jev, med deras mätningar.
- JevBench. En oberoende jämförelse av Jev, vanliga språkmodeller och öppna alternativ, med träffsäkerhet, pris, svarstid och hur väl sannolikheterna stämmer.
- Jev: System One Models, Use Cases, Open Source and Benchmarks. En genomgång av de öppna alternativen och vad som skiljer dem åt, bland annat licenser.