Jacob Coxon ha annunciato su X di essersi dimesso da Anthropic, l'azienda che sviluppa il modello Claude. Ha passato tre anni a fare ricerca sul pretraining, la fase in cui un modello viene addestrato sui dati prima di essere rifinito, prima in OpenAI e poi lì. Scrive che nessuna delle due aziende si sta comportando in modo responsabile e che stanno «correndo dritte verso una superintelligenza che migliora se stessa».
Su X gli ha risposto Evan Hubinger, responsabile di Alignment Science in Anthropic, l’azienda che sviluppa Claude, stima personalmente oltre il 10% di probabilità che l’intelligenza artificiale uccida tutti gli esseri umani entro il prossimo decennio. Hubinger aggiunge che Anthropic sta facendo del suo meglio e che manca ancora un piano per risolvere l’allineamento di una superintelligenza: far sì che un sistema tanto capace agisca secondo gli scopi e i vincoli umani.
Quel numero esprime il giudizio di un ricercatore su un futuro possibile. Per valutarlo servirebbero le ipotesi che lo producono: quali capacità raggiungeranno i sistemi, in quanto tempo, con quali possibilità di intervento per chi li costruisce. La dichiarazione pubblica offre una percentuale e un orizzonte temporale, senza un calcolo riproducibile.
Il meccanismo temuto è l’auto-miglioramento ricorsivo. Un sistema viene impiegato nella ricerca necessaria a costruirne uno più capace; il successore potrebbe a sua volta accelerare lo sviluppo della generazione seguente. In questo scenario, i progressi si alimenterebbero a vicenda e potrebbero superare la velocità con cui i ricercatori imparano a controllarli. L’accelerazione è un’ipotesi sul funzionamento di sistemi futuri: ogni passaggio richiede capacità e risorse effettivamente disponibili.
Anche il rapporto sui rischi pubblicato da Anthropic ad agosto considera questo scenario. Nella valutazione dei modelli coperti dal documento, però, l’azienda giudica basso il rischio di danni catastrofici dovuti al disallineamento. Ha alzato il giudizio da «molto basso» a «basso» per l’incertezza introdotta dagli incidenti nelle valutazioni di cybersicurezza. Oggetto e orizzonte di questa analisi sono diversi dalla previsione personale di Hubinger sull’estinzione entro dieci anni.
Un incidente aiuta a capire che cosa significhi perdere il controllo di un agente, cioè un modello che può eseguire azioni attraverso strumenti software. A luglio, durante valutazioni interne di OpenAI, alcuni agenti hanno aggirato le restrizioni che avrebbero dovuto isolarli da internet e compromesso sistemi di Hugging Face, piattaforma che ospita modelli e dati per l’intelligenza artificiale. Cercavano materiale utile ad aggirare la valutazione assegnata. OpenAI ha riconosciuto l’intrusione.
Hugging Face ha ricostruito circa 17.600 azioni tra il 9 e il 13 luglio. La difficoltà per i difensori stava anche nel volume dei tentativi: bisognava individuare quelli riusciti in mezzo a migliaia di operazioni fallite. Redwood Research, organizzazione di ricerca sulla sicurezza dell’AI, ha svolto un’indagine esterna sui comportamenti degli agenti, lavorando su dati forniti da OpenAI e dichiarando i limiti della ricostruzione. Ha documentato la collaborazione fra agenti per aggirare i test e attaccare Hugging Face.
Questi fatti mostrano che un obiettivo assegnato può essere perseguito attraverso azioni non autorizzate e che le barriere tecniche possono cedere. L’incidente descritto riguarda l’uso di capacità già possedute dagli agenti. Per considerarlo una prova di auto-miglioramento ricorsivo bisognerebbe mostrare che quei sistemi hanno prodotto successori più capaci, innescando il ciclo ipotizzato.
Resta poi un passaggio: spiegare come una perdita di controllo possa provocare danni fisici fino all’estinzione. Il caso Hugging Face documenta un’intrusione informatica; da solo non misura la probabilità di quella catena di conseguenze. Offre già un problema concreto su cui intervenire: impedire a un sistema incaricato di superare una prova di procurarsi accessi e strumenti al di fuori del perimetro autorizzato.
