När AI:n vågar säga att den inte vet
Det här är en av de viktigaste grejerna med AI, och den har länge varit trasig.
Modellerna är tränade att vara hjälpsamma. De ska svara. De är bra på att låta säkra. Och när de inte vet, hittar de ofta på något som låter rätt. Det kallas hallucination. Det värsta är inte att de har fel. Det värsta är att felet kommer med samma ton som sanningen.
Det är därför folk har råkat lita på påhittade rättsfall, felaktiga medicinska råd eller länkar som aldrig funnits. Inte för att AI är "ond", utan för att den inte har haft någon tydlig broms för "jag vet faktiskt inte det här".
Nu släpper Anthropic Claude Fable 5.1. De säger att den är bättre på att hålla sig till det man frågat om, bättre på att fråga tillbaka när något är oklart, och bättre på att visa källor. De säger också att den skiljer det den vet från det den bara uppskattar.
Om det stämmer i praktiken är det stort. Inte för att den blir smartare på quiz. Utan för att tilliten ändras. En AI som säger "det här är osäkert" eller "kolla källan" är användbar. En AI som låtsas vara säker när den gissar är farlig, särskilt när den hjälper till med jobb, skola eller hälsa.
Jag tar deras löfte med en nypa salt. Deras egna tester visar fortfarande luckor, och ingen modell har löst det här helt. Men riktningen är rätt: att kunna säga "jag vet inte" är inte ett misslyckande. Det är ett tecken på mognad.
Mvh // Johan
Bra att det går åt rätt håll!
/Désirée
I chatGPT skrev jag in i en sån där setup-fil att alltid ha med ett %-värde hur säker den var i det den påstod. Jag ska göra samma setup med Claude också.
Visst svamlar de. Om en tråd blir för lång rörande samma fråga/diskussion så vet jag av att de kan spåra ur.
#2: ja man kommer en bit med instruktioner, och det har blivit bättre när dom nu kan resonera, men den har i sig ingen aning om den är 10, 50 eller 90 % säker.
Och ärlighetens namn vet ju ingen människa heller vad hen inte vet. Ofta brukar ju den som är mest säker på att man vet, den som är mest korkad också.
Men absolut finns det knep för att göra det bättre.
Mvh // Johan
#3: Svårt att bedöma sig själv som AI kanske men om denna AI får fler träffar från olika källor som stöder påstående att jorden är platt så bör den kunna ange nån form av procenttal.
#4: på sätt och vis. Men det faktum att dom nu nästan alltid gör webbsök och är bra på att resonera gör stor skillnad mot i början när det helt berodde på vad den kunde när den tränades.
När jag programmerar används flera agenter samtidigt med olika instruktioner. En kodar, en annan utvärderar och kritiserar vad den första gjort, och en tredje kan verifiera vad båda påstår är sant.
Det i sig har gjort att det gått från att vara snabbare på att skriva än jag, men jag behöver alltid alltid alltid kontrollera, till nu att jag vågar lita mer på resultatet och agenten till och med användaren webbläsare för att testa funktionen den just byggde.
Mvh // Johan
#0: Intressant att de valt att kalla versionen ”fable”.
Intressant, då kanske AI:n säger ”jag vet inte” istället för att ge felaktig fakta som har hänt några gånger för mig.
#7: Det är precis det som är syftet. Sedan hur bra den lyckas återstår att se. Människor är ju generellt rätt sopiga på detta också, och berättar gärna på och förklarar fast det är objektivt fel.
Det är väldigt svårt att veta vad man inte vet.
Mvh // Johan
Starta ny diskussion