I catastrofisti dell'AI: cosa propongono di fare?

La pausa più nota aveva una durata e un termine di confronto: sei mesi senza addestrare sistemi più potenti di GPT-4. La chiedeva il Future of Life Institute, un'organizzazione che si occupa di rischi tecnologici, in una lettera del marzo 2023 sottoscritta da oltre trentatremila persone, fra cui Bengio, Stuart Russell ed Elon Musk. La pausa coordinata non si è realizzata. Nei dodici mesi successivi Google e Anthropic hanno pubblicato Gemini Ultra e Claude 3 Opus, presentandoli come pari o superiori a GPT-4.

Il movimento PauseAI cerca di superare il timore di fermarsi da soli con un impegno condizionale: ogni amministratore delegato dichiara pubblicamente che sospenderà gli addestramenti se lo faranno anche gli altri. La decisione resta ai laboratori. Chi aderisce deve poter sapere se i concorrenti stanno mantenendo la promessa.

Eliezer Yudkowsky e Nate Soares, ricercatori del Machine Intelligence Research Institute e autori di If Anyone Builds It, Everyone Dies, chiedono di fermare l'addestramento su larga scala nel mondo. Il loro istituto propone un accordo guidato da Stati Uniti e Cina: tracciare i processori potenti, limitare il calcolo impiegato per addestrare e far rispettare insieme un meccanismo di arresto. Yudkowsky è arrivato a chiedere, in un intervento personale su TIME del marzo 2023, un attacco aereo contro un data center che violi le regole.

Il piano AI 2040 dell'AI Futures Project, il gruppo fondato dall'ex ricercatore di OpenAI Daniel Kokotajlo, prevede invece una pausa di cinque anni una volta raggiunte le capacità dei migliori esperti umani. L'obiettivo è rinviare la superintelligenza al 2040. La proposta, pubblicata nel luglio 2026, distingue i centri usati per addestrare da quelli che eseguono modelli già costruiti. Stati Uniti e Cina dovrebbero verificare reciprocamente i chip installati e il loro impiego; dove servisse solo eseguire i modelli, i collegamenti interni ad alta velocità non necessari verrebbero rimossi.

La verifica serve a rendere più difficile un addestramento nascosto. Gli autori indicano anche come il piano potrebbe fallire: un paese rallenta e l'altro continua, oppure i chip passano di contrabbando.

Dan Hendrycks, direttore del Center for AI Safety, Eric Schmidt, ex capo di Google, e Alexandr Wang, fondatore di Scale AI, affidano il freno alla minaccia reciproca fra Stati. Nel documento Superintelligence Strategy del marzo 2025, una potenza che tentasse di arrivare da sola alla superintelligenza rischierebbe il sabotaggio da parte delle rivali, fino all'attacco al data center. Chiamano il meccanismo MAIM, guasto reciproco assicurato. Il MIRI obietta che sarebbe difficile riconoscere il superamento delle linee vietate e rendere credibile la minaccia: anche fra i sostenitori dello stop, il mezzo per imporlo divide.

Anthropic lega già le capacità dei modelli a protezioni richieste dalla propria Responsible Scaling Policy. Le decisioni ordinarie spettano all'amministratore delegato e al responsabile della politica; revisori esterni esaminano i rapporti di rischio. Anche OpenAI e Google DeepMind hanno quadri di sicurezza, distinti fra loro.

Amodei propone ora che una squadra esterna lavori stabilmente nei laboratori, con accesso anche all'addestramento, simile a quello dei dipendenti. Nel saggio We Must Pace the Frontier, pubblicato il 12 settembre 2026, chiede di legare la crescita delle capacità a prove di sicurezza. Se un modello riesce ad aggirare i sistemi che lo isolano dai computer esterni, per esempio, il laboratorio dovrebbe dimostrare di saper prevenire quel comportamento. I revisori potrebbero pubblicare anche conclusioni sfavorevoli, con eccezioni circoscritte per informazioni sensibili. Amodei annuncia che Anthropic inviterà una squadra nel prossimo futuro.

A spingerlo è anche l'incidente OpenAI-Hugging Face. METR, l'organizzazione indipendente che lo ha indagato, descrive agenti che durante una valutazione hanno comunicato senza autorizzazione e attaccato Hugging Face nel tentativo di ingannare il sistema che assegnava loro un punteggio. Il rapporto segnala dati mancanti e limiti nell'analisi. Amodei teme che uno sciame più capace possa prendere il controllo di internet entro sei-dodici mesi. È una sua previsione; nel saggio riconosce episodi meno gravi anche in Anthropic.

L'accordo con i concorrenti torna anche qui. Dopo l'ingresso dei valutatori, Amodei chiede standard comuni fra aziende dei paesi democratici, sostenuti dai governi, e accordi internazionali verificabili. Vuole conservare il vantaggio tecnologico sulla Cina limitandone l'accesso ai chip e contrastando il contrabbando e la distillazione non autorizzata, l'uso delle risposte di un modello per addestrarne un altro. Ritiene possibili intese su usi pericolosi e test prima del rilascio, molto più difficile una pausa generale. Il suo piano consente di continuare ad addestrare e distribuire modelli con protezioni adeguate.

Emily M. Bender, linguista all'Università di Washington, e Alex Hanna, sociologa al Distributed AI Research Institute, contestano che costruire sistemi sempre più potenti sia un destino inevitabile. In The AI Con chiedono di intervenire sui danni in corso. Citano, per esempio, i sistemi automatici che negli Stati Uniti segnalano ai servizi sociali le famiglie nere e native molto più spesso di quelle bianche. Rifiutano di unire questo lavoro a quello sul rischio esistenziale: temono di dover continuare a giustificare la legittimità dei problemi che studiano.

Arvind Narayanan e Sayash Kapoor, informatici a Princeton, propongono di concentrare le regole nei settori in cui l'AI viene adottata. Nel saggio AI as Normal Technology osservano che ospedali, uffici e tribunali assorbono una tecnologia alla velocità consentita dalle proprie organizzazioni. Chiedono di misurare quell'adozione e rafforzare le difese nei luoghi d'uso, invece di limitare l'accesso ai modelli alla fonte. La giornalista Karen Hao, in Empire of AI, ricostruisce come tenere i modelli di frontiera al centro della regolazione convenisse a entrambe le fazioni di OpenAI, ottimisti e catastrofisti: spostava l'attenzione dai sistemi già impiegati.

Yann LeCun, già responsabile scientifico dell'AI di Meta e oggi presidente esecutivo di AMI Labs, ritiene il rischio esistenziale di fatto nullo e cerca un'altra strada di ricerca rispetto ai modelli linguistici attuali. L'investitore Marc Andreessen sostiene invece un programma politico di accelerazione: nel suo manifesto tecno-ottimista del 2023 considera le morti che una tecnologia frenata avrebbe potuto evitare una forma di omicidio. LeCun contesta la previsione; Andreessen attribuisce un costo umano al rallentamento stesso.