Det finns en grej som nästan alla har testat på ChatGPT: hur många R finns det i ordet strawberry?

Svaret är tre. Modellen har ofta sagt två. Det har blivit memes, skärmdumpar och skämt i flera år.

Nu, med GPT-6, dyker en ny favorit upp: seventeen. Där finns fyra E — två i mitten och två i rad på slutet. Ändå är den övertygad om att det är tre. Den missar dubbel-E:et i slutet.

Det låter dumt. Hur kan något som skriver hela uppsatser inte räkna bokstäver?

Ungefär så här, utan tekniksnack.

Språkmodeller läser inte ord som vi gör. Vi ser bokstäver på rad: S-E-V-E-N-T-E-E-N. De ser mer som färdiga bitar — små chunkar av text som de har lärt sig av miljarder exempel. Ibland är en bit ett helt ord. Ibland är det en stavelse. Ibland är det något mitt emellan.

När du frågar "hur många e?" ber du dem egentligen om något de inte är byggda för. De är byggda för att gissa vad som brukar komma härnäst i en mening. De är inte byggda för att gå bokstav för bokstav med ett finger på skärmen.

Så när de "räknar" gör de ofta något mer likt: de minns ungefär hur ordet brukar se ut, kanske blandar ihop med liknande ord, eller snubblar på bitarna. Dubbla bokstäver i slutet är särskilt lätta att tappa — de smälter ihop i det snabba gissandet.

Det är därför strawberry och seventeen känns som samma typ av miss. Räkna bokstäver är en annan sorts jobb än att skriva text.

Praktiskt tips: om du faktiskt behöver rätt antal, låt den skriva ett litet program eller räkna själv. Fråga inte den rena språkmodellen att vara räknemaskin. Den är bra på språk. Bokstavsräkning är mer som att be en poet räkna muttrar i en låda — den kan försöka, men det är fel verktyg.

https://www.strawberrybench.fyi/
https://www.gogoai.xin/article/why-ai-cant-count-the-es-in-seventeen