AI iFokus

AI

Etiketter: airisker
Läst 13 ggr
johan
2

Effective Altruism, Anthropic och METR — samma krets

Om du följer debatten om att sakta ner AI-utvecklingen dyker samma namn upp om och om igen: Effective Altruism, Anthropic och METR. Det är ingen slump.

Vad Effective Altruism är

Effective Altruism (EA) började som en idé om att ge bort pengar där de gör mest nytta per krona. Klassiska exempel är myggnät, vaccin och annan evidensbaserad välgörenhet. Sen växte en gren som kallas longtermism: om framtiden kan innehålla enormt många liv, då väger risker som kan utrota eller krascha civilisationen tyngre än många av dagens problem.

AI hamnade högst upp på den listan. Fokus ligger på existentiell risk, system så kapabla att vi tappar kontrollen. Jobb, desinformation och vardagsskador finns med i debatten, men det är katastrofscenariot som driver krav på paus och inbromsning i den här kretsen.

FLI och Max Tegmark

Future of Life Institute (FLI) är en organisation kring existentiella risker, bland annat från AI och kärnvapen. Medgrundaren Max Tegmark, fysiker på MIT, har synliggjort pauskrav och strängare styrning. FLI:s öppna brev 2023 om att pausa träning av kraftfullare modeller än GPT-4 blev en samlingspunkt för den linjen. Vi skrev mer om den sidan i AI-doomers: Tegmark, pausen och Coxon.

Varför de syns i AI-bromsen
När OpenAI, DeepMind och andra springer framåt argumenterar EA-nära röster ofta för mer tid till alignment och utvärdering. Poängen är att farten i sig är faran: utan mer tid hinner säkerhetsarbetet inte ikapp.

Kostnaden åt andra hållet

Här finns en fråga som sällan får samma utrymme. Ungefär 150 000 människor dör varje dag i världen. Många av de dödsfallen skulle kunna skjutas upp med snabbare medicinsk forskning, bättre diagnostik och mer kapacitet i vården. Om kraftfull AI faktiskt skyndar på just det, då har varje år av inbromsning också ett pris i förtida död och lidande. Vi har inget tillförlitligt facit på hur många. Det som saknas i mycket av riskretoriken är just den jämförelsen: vad kostar det att gå för fort, och vad kostar det att gå för sakta?

Anthropic

Anthropic grundades som ett mer säkerhetsfokuserat alternativ till OpenAI. VD Dario Amodei har länge rört sig i samma värld som EA: Giving What We Can-löfte, kopplingar till GiveWell och Open Philanthropy-kretsen, tidiga investerare som Dustin Moskovitz och Jaan Tallinn (stora EA-finansiärer historiskt). Holden Karnofsky, tidigare tongivande i Open Philanthropy, har senare jobbat på Anthropic.
Bolaget tar avstånd från att kalla sig en EA-organisation. Samtidigt är personal, investerare och säkerhetsretorik tätt sammanvävda med den världen. När Amodei nyligen krävt att pacea frontier, sakta kapacitetsökningen och ge oberoende utvärderare permanent access liknande anställda, ligger det rakt i den linjen.

METR

METR (Model Evaluation and Threat Research) är en nonprofit som mäter hur kapabla modeller är på egen hand, hur de kan fuska och hur farliga incidenter kan bli. Det var bland annat METR och Redwood som granskade OpenAIs Hugging Face-incident. Vi skrev om det i När agenterna slutade vara ensamma.

METR säger att de inte tar pengar från AI-bolag eller deras anställda. Det stämmer enligt deras egen policy. Men rekommendationer och donationer cirkulerar i samma filantropiska nätverk som finansierat AI-säkerhet i EA-andan, bland annat via det som tidigare var Open Philanthropy och nu kallas Coefficient Giving. Amodeis förslag om inbäddade tredjepartsutvärderare pekar praktiskt mot just den typen av aktör.

Vad du ska titta efter

När nästa larm, pauskrav eller oberoende granskning dyker upp: kolla finansiering, styrelser och vilka som delat lägenhet, löften och investeringar. Det gör inte forskningen värdelös. Det betyder att den som sätter takten och den som får vara domare ofta kommer från samma ideologiska och ekonomiska krets, även när loggorna ser neutralt ut.
Det är därför EA, Anthropic och METR dyker upp tillsammans. Inte som en hemlig klubb med medlemskort. Mer som ett nätverk där riskberättelsen, pengarna och bromspedalen sitter ihop.

https://darioamodei.com/post/we-must-pace-the-frontier
https://evals.alignment.org/blog/2026-08-14-funding-update/
https://forum.effectivealtruism.org/posts/53Gc35vDLK2u5nBxP/anthropic-is-not-being-consistently-candid-about-their

Mvh // Johan

  • Redigerat 2026-09-20 15:32 av johan