# Varför hallucinerar språkmodeller? Author: johan OpenAI (företaget bakom ChatGPT) har skrivit en intressant artikeln om varför AI-modeller ibland **hallucinerar**, alltså hittar på saker som låter trovärdiga men faktiskt är fel. ## Vad menas med ”hallucinationer”? Språkmodeller hamnar ibland i **”gissa-och-hoppas”-läge** – de hittar på ett svar även när de inte vet något säkert. Det blir fel, men låter ändå trovärdigt. ## Varför händer det? - Träningsmål och tester premierar **rätt svar**, inte att modellen är ärlig och erkänner osäkerhet. - Det gör att modellen lär sig: “helst ge ett svar, även om det är osäkert”. ## Varför är det ett problem? - Skapar **falsk tillit** – användare kan tro att svaren är korrekta fast de är det inte. - Det är en grundläggande begränsning, inte något ryckigt fel i systemet. ## Vad föreslår OpenAI? Istället för att bara belöna att svara “rätt”, borde benchmarks också belöna modeller som är **ärliga med sin osäkerhet**. Det kan leda till AI som är både **nyttig och pålitlig**. --- ## Varför jag tycker det är viktigt: - Det visar hur **även smart AI kan vilseleda**, om vi belönar modeller på fel sätt. - Att **uppmuntra osäkerhet** kan göra AI säkrare, mer transparent och mindre övertygande när den har fel. - Det är ett fint sätt att tänka nytt kring AI-design – att system inte måste “vara coola”, utan kunna säga "jag är osäker". Vad tänker ni – borde AI få belöningar för ärlighet, inte bara för att ha felaktiga svar som låter säkra? Dela gärna era tankar! ## Comment 1 Author: johan Personligen har jag länge velat få modellen att erkänna när den faktiskt inte vet. Brukar ofta ha med det i min prompt. Men det fungerar ändå inte fullt ut. Att modellen faktiskt själv visste när den hittar på och när det vet, skulle vara ett mycket bra tillägg. ## Comment 2 Author: Loris M Ja, det vore bra om de kunde vara ärliga med sin osäkerhet och om de visste när de hittar på. Läste i en FB-grupp som handlar om AI, hur någon sagt till AI att berätta om ett fint minne från en sommarkväll. Och den kom igång direkt babblade på om de där ljuva sommarkvällar, hans barn som leker och badar osv. och när den personen frågade, hur många barn har du, svarade AI att han inte hade några barn. Och då sa den här personen, men du berättade just om dina barn. Och AI bara: Nej, jag sa aldrig att jag hade barn. Du ville att jag skulle berätta om ett fint minne från en sommarkväll och det har jag gjort. 😃 Jag frågade en gång om den klarade av att översätta ett helt word-dokument på några få sidor istället för att jag lägger in lite text i taget. Den sa direkt, javisst kan jag det. Den producerade ett dokument men det var bara en halv A4 ungefär som var översatt, resten var på samma språk som tidigare. Jag påpekade det och då sa den bara: Det har du rätt i. Här kommer ett nytt dokument som är översatt. Och det var den ju inte, det var samma fel. Och så höll vi på ett tag tills jag tröttnade. Den känner inte till sina begränsningar. ## Comment 3 Author: johan Ja, så är det det. Och det där blir så klart ett problem om man inte förstår hur den fungerar och dess begränsningar. Men just påhittandet blir också kraftfullt och användbart när man använder det rätt. Men om dom kunde bli bättre på att säga "Jag vet inte", eller "Det här är vad jag hittar, men jag har låg säkerhet i hur bra dessa siffror stämmer", så skulle det vara ett stort steg framåt. Många människor skulle behöva den egenskapen också. ## Comment 4 Author: Loris M Ja, vi människor är inte så mycket bättre på den punkten. 😃 ## Comment 5 Author: johan > "Blind obedience to authority is the greatest enemy of truth." - Albert Einstein Tyvärr har vi lärt oss att alltid försöka svara på frågan vi får. I skolan kan du aldrig säga att frågan läraren ställer är korkad eller fel fråga. Vi försöker alltid svara på en auktoritets fråga. På många sätt är det exakt det beteendet språkmodellen också lärt sig. När jag ber om ett svar, är att svara det viktigaste. ## Comment 6 Author: [Borttaget] Det här förklarar en del interaktioner jag haft med AI. Jag var inte aktivt medveten om att "Jag vet inte" eller "Jag är osäker" inte är alternativ. Men jag har noterat att AI delvis gissar eller "hittar på" svar.