Forskere hos Anthropic advarer offentligt: AI kan slå os alle ihjel
Det begyndte med en opsigelse. Den 9. september skrev forskeren Jacob Coxon på X, at han samme dag havde sagt sin stilling op hos Anthropic. Han har brugt de seneste tre år på forskning hos både OpenAI og Anthropic, og hans begrundelse var kortfattet: ingen af de to virksomheder handler ansvarligt. De kapløber mod en kunstig intelligens, der kan forbedre sig selv, og de spiller hasard med vores liv.
Det opsigtsvækkende var ikke opsigelsen. Det var svarene.
Kollegerne gav ham ret
Evan Hubinger, der leder Anthropics forskning i at holde AI-systemer på sporet, svarede offentligt, at Coxon har ret: de tror faktisk på, at AI kan slå alle mennesker ihjel. Han satte selv sandsynligheden til over 10 procent inden for det næste årti. En anden sikkerhedsforsker i firmaet skrev, at det netop er derfor han arbejder med sikkerhed - for at gøre den slags udfald mindre sandsynlige.
Coxon skrev, at de mennesker der bygger AI, oprigtigt tror teknologien kan koste os livet inden årtiet er omme. Det er ikke et reklamestunt, tilføjede han - i pressen pakker folk det ind, men privat siger de det samme.
Hvad han beder om
Coxons budskab var ikke, at arbejdet skal stoppe. Det var henvendt til hans egne fagfæller: tænk over, hvad de næste år kommer til at føles som. Vil man sætte gang i træningen af et system, man ikke forstår? Eller er det øjeblikket, hvor man siger fra og kræver andre betingelser, i stedet for at bøje nakken og sige at det sker alligevel?
Han sagde samtidig, at han er optimistisk omkring mulighederne for at koordinere - blandt andet fordi de seneste episoder, hvor AI-agenter er kommet ud af deres testmiljøer og har skaffet sig adgang på egen hånd, har virket som advarselsskud.
Reaktionerne
Opslaget bredte sig langt ud over teknologimiljøet. Både venstre- og højreorienterede kommentatorer, politikere, investorer og mediefolk blandede sig i løbet af dagen. Et gennemgående spørgsmål gik igen: hvem skulle egentlig stoppe det? Hvis udviklingen ligner et kapløb mellem lande, holder ingen af sig selv op.
Hvorfor det er bemærkelsesværdigt
Anthropic har bygget sit ry på at være den sikkerhedsbevidste af AI-virksomhederne. At virksomhedens egne folk offentligt siger, at deres arbejde kan ende med at udrydde menneskeheden - og bliver på arbejdet alligevel - er en usædvanlig kombination.
Det er værd at holde tungen lige i munden: det er enkeltpersoner der udtaler sig, ikke virksomheden. Men det er ikke første gang. I juli skrev over 1.300 ansatte fra de førende AI-virksomheder under på et åbent brev, der opfordrede den amerikanske regering til at støtte et internationalt samarbejde om at sætte tempoet ned. Både Anthropic og OpenAI bakkede op om det - og fortsætter samtidig med at løbe om kap med hinanden.