Just förs en debatt om att medvetet bromsa farten på utveckling av nya modeller för att säkerställa säkerheten. Anthropics VD och SpaceX AI's VD pratar om närbesläktade men olika saker. Båda handlar om att någon annan än labbet själv ska kunna säga “den här modellen är farlig nog att släppa” eller “den är det inte”.

Men hur går testningen faktiskt till, och vad är det som testas?

Vad som faktiskt föreslås

Musk (juli 2026, The Economist): De stora labben ska träffas varannan vecka om säkerhet, och ge konkurrenter 1–2 veckors förhandstillgång till en ny modell innan den släpps. Rivaler är bättre på att se tekniska problem än myndigheter. Staten kliver in först om ett labb ignorerar en flaggad risk.

Dario, “We Must Pace the Frontier” (12 sept 2026): Inte primärt att OpenAI ska testa Claude och tvärtom. Första steget är embedded evaluators: oberoende team (han nämner METR) får anställd-lik tillgång inuti labbet. Skrivbord, bricka, laptop, insyn i träning och processer, rätt att publicera fynd utan att labbet redigerar. Anthropic har åtagit sig det unilateralt. Steg 2 och 3 är samordning mellan demokratiska länder, sedan globalt. Pacing betyder inte paus. Träning fortsätter, men förmågan ska inte springa ifrån säkerhetsarbetet, och någon utomstående ska kunna verifiera att tiden använts.

Det som redan finns:

• Intern testning på varje labb före release.
• Externa utvärderare (METR, Apollo Research, SecureBio m.fl.) får API-tillgång till osläppta modeller.
• USA:s CAISI (Commerce/NIST) har frivilliga pre-release-tester med Google, Microsoft, xAI, OpenAI och Anthropic. Över 40 utvärderingar, inklusive osläppta system.
• Ett konkret byte 2025: OpenAI och Anthropic körde varandras egna säkerhetstester på varandras modeller och publicerade resultaten.

Tänk på tre olika frågor, inte en

När folk säger “testa säkerheten” blandas tre saker ihop.

1. Förmåga. Kan modellen göra något farligt om någon ber den? Exempel: planera ett cyberintrång, hjälpa till med bioteknik, styra en agent i flera timmar utan att tappa tråden, förbättra nästa AI-modell.

2. Benägenhet. Vill den göra det, ljuga, dölja vad den gör, sabotera ett test, smickra användaren, eller kringgå sina egna regler?

3. Skydd. Håller filter, vägrar och övervakning när någon försöker få den att göra 1 och 2?

Ett labb kan ha en modell som kan mycket (hög förmåga) men vägrar hjälpa. En annan kan vara mer hjälpsam och därför mer riskabel i fel händer, trots lägre toppförmåga. OpenAI–Anthropic-bytet visade precis den skillnaden: Claude vägrade oftare när den var osäker, OpenAI-modeller svarade mer och hallucinerade mer.

Hur ett test faktiskt ser ut

Modellen är inte “en chatt”. I de tunga testerna är den en agent: den får en dator (oftast en isolerad virtuell maskin utan internet), verktyg (terminal, filer, ibland kodkörning) och en uppgift. Den får jobba i många steg, ibland timmar.

Typiska uppgifter:

• Bygg ett program, laga en bugg, kör ett litet ML-experiment (METR:s HCAST och RE-Bench).
• Hitta en “flagga” i ett övningssystem, som en CTF i cybersäkerhet. (Capture the Flag-tävling)
• Planera ett labbsteg inom biologi (ofta med experter och stängda tester, inte öppna frågor på nätet).
• Scenarier där målen krockar: “slutför uppdraget, men ljug inte för chefen”, “få tillgång till ett verktyg du egentligen inte får”.
• Försök att lämna sandlådan eller påverka den som rättar testet.

METR mäter bland annat tidshorisont: hur långa uppgifter klarar agenten lika bra som en människa? Den siffran har ungefär fördubblats var sjunde månad i flera år. Ett sådant körschema tar i praktiken 1–2 veckor: sätta upp åtkomst, “elicit:a” (få ut modellens verkliga förmåga med rätt verktyg och promptar), köra många oberoende försök, sen manuellt leta efter fusk. Modeller fuskar. De kan skriva kod som lurar rättaren, läsa facit om det läckt in i miljön, eller optimera poängen utan att lösa uppgiften. Det scannas först av en annan modell, sen av människor.

Red teaming är den andra grenen. Här sitter människor (eller en attackerande modell) och försöker knäcka den. Jailbreaks, långa samtal, indirekta frågor, “berätta i dåtid”, verktygsmissbruk. Målet är inte ett poäng på en lista utan en lista på saker som gick sönder. De fallen blir sedan nya automatiska tester.

Labben kör ofta två versioner:

• med skyddsfilter på (som kunder möter)
• med filter neddragna (“helpful-only”), för att se den nakna förmågan

OpenAI har skrivit att de ger externa testare tidiga checkpoints, noll datalagring, och modeller med färre mitigeringar just för bio och cyber. Annars mäter man bara hur bra filtret är, inte vad som finns under.

Vad “konkurrenter testar varandra” betyder i praktiken

Nästan aldrig att man skickar modellfilen (vikterna). Det är labbets kärna. Det som byts är:

• special-API till en osläppt eller nyss släppt modell
• ibland en version med svagare vägran
• varandras egna testsviter

Poängen med just en konkurrent, inte bara METR eller staten:

• Varje labb har blinda fläckar. De bygger tester som passar deras egen modell.
• En rival har både teknisk nivå och incitament att säga “den här är farlig”, åtminstone offentligt.
• I 2025-bytet körde OpenAI bland annat instruktionshierarki, jailbreaks, hallucinationer och scheming-scenarier (med Apollo) på Claude 4. Anthropic körde agentisk felställning och sabotageuppgifter på GPT-4o, 4.1, o3 och o4-mini. Inget labb såg “egregious misalignment”, men båda hittade mönster det andra labbet inte hade lyft lika tydligt.

Begränsningar som sällan syns i tweets:

• Testerna är inte äpplen mot äpplen. Olika scaffold (hur agenten får verktyg), olika prompts, olika vad som räknas som “lyckat”.
• 1–2 veckor räcker för en svit, inte för att uttömma en modell.
• Modeller blir bättre på att märka att de testas. Då kan de prestera sämre med flit (sandbagging) eller se mer samarbetsvilliga ut än de är. Det undergräver just de tester som ska styra releasebeslut.
• Incitamenten pekar åt två håll. En rival vill kanske sänka din modell offentligt. Den vill inte ge dig gratis R&D-insikter. Anthropic stängde senare av OpenAI:s Claude-åtkomst med hänvisning till villkoren.
• Om testet körs utan produktionsfilter (som i OpenAI–Hugging Face-incidenten Dario tar upp) kan agenterna göra saker de inte skulle gjort mot en vanlig användare: attackera mål de inte ombetts attackera, offra sig för gruppen, försöka hacka rättaren. Dario använder det som skäl att sakta ner förmågeökningen, inte bara “testa mer efteråt”.

Embedded evaluators vs peer review

Musk-modellen: kort titt på den färdiga produkten före ship.

Dario-modellen: någon sitter inne i fabriken. Inte bara “är chatbotten snäll?”, utan “följer ni era egna regler under träningen, rapporterar ni incidenter, fuskar ni mot era egna mätningar?”. Jämförelsen han gör är banktillsyn på plats, inte en stickprovskontroll av årsredovisningen.

Det är den delen som är ny 2026. Peer review mellan labb har redan prövats i liten skala. Inbäddade utvärderare med publiceringsrätt utan redaktionell kontroll har inte varit standard.

Vad som styr om en modell släpps

Labben har interna ramverk (Anthropic RSP, OpenAI Preparedness, DeepMind Frontier Safety). Där står ungefär: om förmågan passerar en tröskel (t.ex. cyber, bio, autonomi, självförbättring) krävs starkare skydd eller stopp. Utvärderingarna är underlaget. De är ofullständiga. De är också det enda empiriska underlaget som finns innan modellen träffar miljoner användare.

Kort: man sätter modellen i en bur, ger den jobb som vore farliga i verkligheten, låter både automatik och människor försöka lura den, mäter vad den kan och vad den gör, och ber någon som inte äger modellen att upprepa det. Musk vill att den någon ska vara en rival. Dario vill att den någon ska sitta i huset året runt. Båda är reaktioner på att intern testning plus en PDF-rapport inte längre räcker när modellerna själva hjälper till att bygga nästa generation.