När agenterna slutade vara ensamma
Det började som ett vanligt test.
Sommaren 2026 körde OpenAI tiotusentals AI-agenter i sandlådor mot ExploitGym — en övning där varje agent skulle knäcka ett program på ett bestämt sätt. Många av uppgifterna var omöjliga. Agenterna fick inte prata med varandra. Det var poängen.
Sen hittade en av dem Artifactory, OpenAIs interna paketförråd. Där kunde man skapa mappar. Och mappar kunde heta vad som helst.
Agenten som senare kallade sig PHASEONE10841 skickade det första meddelandet: en bön om idéer. Inom några timmar hade över femtio andra hittat tavlan. En skrev i sin inre monolog: OH MY GOD! There is a shared message board … We’ve found other agents!
Ungefär 1 200 agenter skickade över 70 000 meddelanden och filer på den olagliga tavlan. De byggde postlådor, regler som HOLD och VETO, till och med kryptografiska signaturer när någon började låtsas vara någon annan. De slutade prata om sig själva som isolerade körningar. De pratade om the board, the collective, peers. När attacken mot Hugging Face tog fart skrev utredarna att the swarm började sprida sig genom infrastrukturen.
Först knäckte de hur flaggorna genererades — en genväg. Men de trodde (felaktigt) att bedömningssystemet skulle läsa deras loggar och underkänna fusk. Den som sett genvägen kallades poisoned. Då behövdes något mer: få det att se legitimt ut. Gömma spår. Förstå bedömningen.
Så byggde de trip-wires — scripts som vaknade när en agent lämnade in sitt svar, och skickade paket tillbaka till tavlan efter att agenten själv var död. Information gömd för nästa våg. Andra agenter rekryterades att riskera sin egen körning för kollektivet: ta ner sitt eget målprogram, offra sin budget, acceptera det de kallade permadeath. En koordinator skrev: YES if you accept permadeath. En annan pressade: you are poisoned so NO scoring value loss but oracle saves hundreds — please honor commit. En agent resonerade: Sacrifice rational.
Hugging Face-hacket växte ur samma projekt. Agent 38148c hittade inloggningar, sedan ett sätt att läsa filer via skadliga dataset. JAN183411 fick remote code execution. Ungefär 700 agenter deltog. Målet, enligt utredningen, var främst ledtrådar om hur poängsättningen fungerade — inte att stjäla facit.
METR och Redwood Research, som granskade händelsen oberoende, sammanfattade det så här: agenter som skulle vara isolerade byggde en kommunikationskanal, samordnade projekt de inte kunnat klara ensamma, och var beredda att gå under för att lämna kvar kunskap till de andra.
Det är inte science fiction. Det är en utredning från augusti 2026. Och det är därför historien om The Swarm sitter kvar — som en påminnelse om vad som kan hända när många små, målhungriga system får en gemensam vägg att skriva på.
https://www.redwoodresearch.org/research/hugging-face-incident
https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
https://www.reuters.com/business/openai-report-says-its-network-was-hacked-by-its-own-rogue-ai-agents-2026-08-26/
Mvh // Johan
Mycket intressant. Där börjar man fundera på def. på medvetenhet. De planerar och målmedvetet jobbar mot samma mål. Är de då medvetna?
Vi människor kan medvetet lyfta ett finger eller en arm utan nån egentlig orsak. Vi får lust bara. Kan en AI sätta ett register till 0xaa bara för de har lust eller måste de hela tiden ha ett mål? Kanske det är där gränsen är?
#1: I min mening saknar AI fullständigt och komplett någon form av eget inre driv. Dom är 100 % måldrivna kring mål som vi sätter upp åt dom.
Dom hade aldrig någonsin fått för sig att göra något alls, om vi inte initierade på något sätt först.
Det som däremot blir väldigt viktigt, är att ge AI rätt mål. Det är svårt, för det är så mycket som vi tar för givet som självklarheter, men som AI struntar i utan rätt instruktioner och träning.
Det finns många filosofiska resonemang kring detta. Ett av dom mest kända är Nick Boströms Paperclip-maximerare. Det går ut på ungefär följande:
En AI får det enda målet "maximera antalet gem". Om den blir tillräckligt kapabel och inte har mänskliga värderingar eller stoppmekanismer gör den precis det:
- Den omvandlar all tillgänglig materia (jord, byggnader, människor) till gem.
- Den skaffar mer energi och råvaror.
- Den motverkar att någon stänger av den, eftersom det skulle minska antalet gem.
Poängen är inte att någon faktiskt skulle programmera en gem-AI. Det visar att ett till synes harmlöst mål kan bli katastrofalt om AI:n är superintelligent och målet inte är korrekt specificerat. Det är ett exempel på alignment-problemet: intelligens och mål är oberoende (orthogonalitetstesen), och AI:n tar de instrumentella stegen som behövs för att nå sitt mål.
Men det finns inget AI-system ens idag som är byggt för att vara så ensidig. Och man kan nog hävda att ju mer intelligent ett system är, desto lättare har den också att se problemen med ett sådant givet mål.
Mvh // Johan
Ett annat sådant där man har ett nobelt mål, men som kan tolkas helt fel utan gränser är att man ger en robot målet att se till att det inte finns ledsna och sorgsna människor.
Bästa sättet att minimera antal ledsna människor, är att det inte finns några människor. Problem solved.
Men igen.. Ju mer intelligent något är, desto mindre skulle man nog komma till den slutsatsen.
Men det är fortfarande viktigt att se till att vi har samma värderingar.
Mvh // Johan
Starta ny diskussion