Ett försäkringsbolag vill bygga en kurs där handläggarna övar på svåra kundsamtal. Deltagarna skriver fritt hur de skulle bemöta en upprörd kund, och en AI svarar som kunden och ger återkoppling efteråt. Kursen är nästan klar när IT-säkerhet ställer frågan: vart tar deltagarnas svar vägen?
Svaret är ofta en molntjänst hos ett amerikanskt bolag. Där hamnar medarbetarnas formuleringar, exempel ur verkliga ärenden och delar av det interna materialet som kursen bygger på. För många organisationer går det bra med rätt avtal. För andra, till exempel inom vård, bank, försvar eller offentlig sektor, är det ett stopp.
Alternativet är att köra språkmodellen själv. Det kallas ofta lokal AI eller egenhostad AI, och det har på ett par år gått från experiment- och testnivå till något som går att bygga riktiga utbildningar på. Det här inlägget går igenom vad det innebär, vad som fungerar bra i utbildningssammanhang, vad som fungerar sämre, och vad ni ska fråga efter när ni beställer.
Vad lokal egentligen betyder
Lokal betyder inte nödvändigtvis att modellen körs på en dator under skrivbordet. Det finns tre nivåer, och det som förenar dem är att ni bestämmer var modellen körs och vem som ser datan.
Den första nivån är den egna datorn. Med ett program som till exempel Ollama laddar man ner en modell och kör den på en vanlig laptop. Det är sättet att testa, och det räcker långt för en kursutvecklare som vill prova hur en modell svarar på kursens frågor innan något byggs.
Den andra nivån är en egen server, i det egna serverrummet eller hos en driftleverantör ni redan har avtal med. Här körs modellen för alla deltagare, och det är den nivån de flesta menar med egenhostad.
Den tredje nivån är en molnmiljö ni själva styr inom EU, till exempel en hyrd server med datorkraft hos en europeisk leverantör. Modellen är fortfarande er, datan lämnar inte den miljö ni valt, men någon annan sköter hårdvaran.
Gemensamt för alla tre är att modellen är öppen, alltså att den som tränat den släppt den så att vem som helst kan ladda ner och köra den. De kända familjerna är Llama från Meta, Mistral från det franska bolaget med samma namn och Gemma från Google, men listan växer varje månad. Öppen betyder här att modellens vikter är fria att använda, inte alltid att träningsdatan är känd eller att licensen tillåter allt. Läs licensen innan ni bygger något på den.
Varför frågan är aktuell nu
För två år sedan kunde en öppen modell inte mäta sig med de bästa kommersiella modellerna, och valet var enkelt. Det är den inte längre, åtminstone inte för avgränsade uppgifter. En öppen modell som får tillgång till hela kursinnehållet och en tydlig instruktion ger i dag återkoppling som deltagaren har nytta av. Samtidigt har hårdvaran hunnit ikapp, så att en server med ett eller två grafikkort klarar en kurs med många samtidiga deltagare.
Den andra drivkraften är juridisk. GDPR har hela tiden krävt att ni vet var personuppgifter behandlas och av vem, och överföringar till länder utanför EU är en fråga som jurister bevakar noga. EU:s AI-förordning lägger till krav på att ni förstår de AI-system ni använder, något vi skrivit om i inlägget om AI-kunnighet.
Den tredje är kostnad. En molnmodell kostar per anrop, och en kurs som ger återkoppling efter varje svar gör många anrop. Vid små volymer är molnet billigast. Vid stora volymer, eller när samma modell används i flera kurser och system, kan en egen server bli billigare över tid. Räkna på det innan ni bestämmer, och räkna med driften.
Generativ AI som körs hos er
Det kanske vanligaste behovet inom utbildning och AI är det vi började med: en AI som kursdeltagaren kan prata med. Det kan vara en AI-coach som ställer frågor om hur kursdeltagaren tänker lösa en situation, en motpart i ett rollspel, eller en handledare som svarar på frågor om kursens innehåll. Allt det går att köra med en öppen modell på egen server.
Det som avgör kvaliteten är inte i första hand modellen utan vad den får veta. En AI-coach som får kursens innehåll, kursens mål, företagets rutiner och en beskrivning av vad en bra lösning innehåller blir bra även med en medelstor öppen modell. Samma coach utan den informationen blir allmän och lite tråkig, oavsett hur stor modellen är.
Återkoppling på deltagarens svar är det användningsområde där egenhostade modeller fungerar allra bäst. Uppgiften är avgränsad: här är frågan, här är deltagarens svar, här är vad ett bra svar innehåller, skriv tre meningar om vad som var bra och vad som saknades. En öppen modell gör det väl, och det är precis den sortens svar där ni inte vill att medarbetarnas formuleringar ska lämna huset.
I inlägget En AI som förklarar och en annan som avgör beskrev vi hur språkmodellen bör sköta samtalet medan en mindre beslutsmodell avgör nästa steg i kursen. Den uppdelningen passar egenhostad drift extra bra. Beslutsmodellen är liten och snabb och kan köras på nästan vad som helst, och samtalsmodellen får den hårdvara som finns.
Själva gillar vi Ollama för utveckling. Det är så vi provar nya öppna modeller mot riktiga kursfrågor innan vi föreslår dem för en kund, och det är så vi vet vad en viss modell klarar på svenska och inte.
Annan AI som också kan köras lokalt
Språkmodellerna får mest uppmärksamhet, men flera andra uppgifter i en utbildningsproduktion går att köra egenhostat, och några av dem är enklare att börja med.
Tal till text. Öppna modeller som Whisper skriver ut vad som sägs i en utbildningsfilm och gör det bra på svenska. Det ger undertexter, sökbara filmer och underlag för sammanfattningar, utan att en intern film med chefens presentation av nästa års strategi laddas upp någonstans. Whisper är också det vi själva använder i vår produktion när vi transkriberar utbildningsfilm, på egen maskin.
Översättning. En öppen språkmodell översätter kurstext mellan svenska och engelska tillräckligt bra för ett första utkast som en människa sedan granskar. Det är ofta billigare och lika bra som en översättningstjänst, och materialet stannar hos er.
Sökning i eget material. Med en modell som gör text till siffror, en så kallad inbäddningsmodell, kan en kurs eller en lärportal svara på frågor utifrån era egna rutiner och handböcker i stället för utifrån vad modellen råkar ha lärt sig. Det är det som gör att handledaren i kursen svarar med er rutin och inte med en allmän.
Bildgenerering. Öppna bildmodeller finns och körs lokalt, men här är skillnaden mot molntjänsterna fortfarande större, och behovet av att hålla datan hemma är oftast mindre. Inom det här området använder vi nästan uteslutande API:er mot de senaste modellerna, och alltså inte lokalt.
Det som fungerar sämre, eller kräver mer än man tror
Svenskan är ojämn. De största öppna modellerna skriver bra svenska, men de mindre som får plats på billig hårdvara halkar lätt in i engelsk ordföljd eller svenska som låter översatt. Testa alltid modellen på svenska med era egna exempel innan ni bestämmer er, och testa den på de svar som är svåra, inte bara de som är enkla.
Långa, öppna samtal är svårare än korta, avgränsade. En AI-coach som ska hålla ett tjugo repliker långt samtal med nyanser och minne av vad som sagts tidigare ställer högre krav än en som ger återkoppling på ett svar. Här är de bästa molnmodellerna oftast fortfarande bättre, och det är här ni får väga kvalitet mot kontroll.
Svarstiden beror på hårdvaran. En modell som svarar snabbt på en kraftig server känns seg på en klen, och en seg AI-coach är värre än ingen. Mät svarstiderna med det antal samtidiga deltagare ni faktiskt räknar med, inte med en testare.
Driften är ett arbete. Någon ska uppdatera modellen när en bättre kommer, övervaka servern, hantera att den går ner en söndagskväll och se till att åtkomsten är begränsad. En egenhostad modell som vem som helst på nätverket kan nå, med loggar som ingen tittar på, är sämre ur dataskyddssynpunkt än en molntjänst med ett ordentligt personuppgiftsbiträdesavtal. Lokal är inte samma sak som säker.
Tre frågor som avgör
När vi resonerar med kunder om var modellen ska köras brukar det landa i tre frågor.
- 1. Vilken data lämnas till AI? Allmän kurstext om till exempel brandsäkerhet kan skickas nästan var som helst. Medarbetarnas egna svar, kundärenden och interna rutiner kan tala för att överväga att köra modellen lokalt.
- 2. Hur många anrop kommer att göras, och vad kostar de? Några hundra per månad är nästan alltid billigare i molnet. Återkoppling efter varje svar, månad efter månad, kan tala för egen drift om de totala driftskostnaderna understiger kostnaden för modellen i molnet.
- 3. Hur bra måste svaret vara? Återkoppling mot en mall, undertexter och översättningsutkast klarar en öppen modell. Ett långt, fritt coachsamtal på nyanserad svenska kan fortfarande motivera den bästa molnmodellen.
Svaren behöver inte bli samma för hela kursen.
Det går att låta återkopplingen på deltagarnas svar köras på egen server medan en allmän sammanfattning av ett publikt kapitel får gå till molnet. Det viktiga är att någon har bestämt det, och att det går att förklara för IT-säkerhet.
Vad det betyder när ni beställer
Fråga leverantören var modellen körs och vilken data som lämnar er organisation. Svaret ska gå att få i en mening. Fråga också om modellen går att byta ut. En kurs som är byggd mot en viss leverantörs tjänst är svår att flytta. En kurs där modellen ligger bakom ett eget gränssnitt kan börja i molnet och flyttas hem när volymen eller kraven ändras, eller tvärtom.
Be om ett test med svenskt tal och med era egna exempel och källor. Testa också svarstider vid högre belastning. Och be om en beskrivning av vem som sköter driften och hur successiva byten till nya modeller hanteras.
Egenhostade modeller gör inte digitalt lärande bättre i sig. Men det kan vara det som avgör om och hur mycket det går att använda AI i en utbildning eller inte. För vissa organisationer är egenhostade modeller en förutsättning för att överhuvudtaget låta kursdeltagare ha dialog med AI.
Länktips
- Ollama. Programmet som gör det enkelt att ladda ner och köra öppna språkmodeller på egen dator eller server.
- Hugging Face. Katalogen där de flesta öppna modeller publiceras, med licenser och jämförelser.
- Whisper. Den öppna modellen för tal till text, som klarar svenska.