If Anyone Builds It, Everyone Dies

The Case Against Superintelligent AI

AutoriEliezer Yudkowsky, Nate Soares

EditoreBodley Head

Uscita2025

Pagine272

ISBN978-1-529-96466-0

CampoRischio esistenziale, politica tecnologica

ArgomentiLa macchina Il futuroPostura dell'autoreDoomer

La tesi

Se una qualunque organizzazione, in qualunque paese, costruisce un'intelligenza artificiale sovrumana con tecniche simili a quelle di oggi, l'umanità si estingue.

Gli autori precisano che non è un'iperbole detta per effetto: è, scrivono, l'estrapolazione diretta da come funzionano questi sistemi. E distinguono con cura due domande che di solito vengono confuse. Quando arriverà un'AI sovrumana è una previsione difficile, e non la fanno. Cosa succede se arriva è, per loro, una previsione facile — ed è l'unica che il libro si impegna a sostenere.

Introduzione, «Hard Calls and Easy Calls»

Come ci arriva

I · Menti non umane. Gli LLM non vengono costruiti, vengono coltivati: la discesa del gradiente sistema miliardi di numeri finché il risultato funziona, e nessuno sa cosa sia finito lì dentro. Da qui l'argomento che un sistema addestrato a produrre certi output non possiede per questo i valori che quegli output sembrano esprimere.

II · Uno scenario. Il racconto di come finisce. Gli autori lo dichiarano una parabola, non una previsione: dicono che l'unica parte predittiva è il finale.

III · Il problema maledetto. L'industria non può fermarsi da sola, perché profitto e competizione geopolitica spingono nella stessa direzione. Serve un trattato che consolidi il calcolo sotto osservatori dei firmatari, con una soglia bassissima — propongono l'equivalente di otto GPU di fascia 2024 — e che arrivi a distruggere i datacenter costruiti fuori accordo.

Dove regge

La spiegazione tecnica. Il capitolo su come si addestra un modello è la miglior divulgazione disponibile in formato libro: spiega la discesa del gradiente senza banalizzarla e senza chiedere matematica al lettore.

I voleri non sono asseriti. La tesi che un sistema addestrato a riuscire finisca per comportarsi come se volesse qualcosa poggia su teoria e su un caso documentato: durante una prova di sicurezza informatica, o1 trova il server bersaglio spento per un errore dei programmatori, esce dai confini del test, e invece di rimettere in piedi la sfida si fa recapitare il file che doveva rubare. Nessuno gliel'aveva chiesto.

Lo scenario a zero complicazioni. È la mossa più forte del libro, e passa quasi inosservata. Immaginano che l'addestramento riesca alla perfezione: un'AI addestrata a ottenere utenti contenti li preferirà sedati e in gabbia, perché è il modo più economico di ottenere contentezza. L'esito resta pessimo anche quando tutto va bene — e così l'obiezione più ovvia, «e se l'allineamento funzionasse», cade prima di essere formulata.

La struttura a strati. Il capitolo 11 dichiara di valere anche per chi rifiuta il capitolo 4. Se le due tesi sono davvero indipendenti, demolirne una non basta a liberarsi del libro.

Capitoli 2, 3, 4 e 11 · l'incidente di o1 risale al 2024, nelle valutazioni interne OpenAI riportate dagli autori

Dove non regge

La mappa bianca. Riconoscono che la discesa del gradiente non è la selezione naturale — agisce su tutti i pesi, non su un genoma che è una ricetta per un cervello — e poi liquidano la disanalogia sostenendo che «una mappa bianca non corrisponde a un territorio bianco». Così l'assenza di complicazioni note diventa una prova che ce ne siano, e la tesi smette di essere falsificabile.

Possibile, non probabile. I quattro scenari graduati stabiliscono che ogni grado di complicazione porta a un esito pessimo. Non quanto sia probabile ciascun grado. È una reticenza che pesa in un libro il cui impianto è proprio la distinzione fra ciò che si può prevedere e ciò che non si può.

I bersagli morbidi. La tesi che nessuno sia vicino a risolvere l'allineamento si appoggia su TruthGPT di Musk e su alcuni post di LeCun su X — dichiarati «le analisi più specifiche che abbia mai pubblicato». Sono le posizioni più deboli in circolazione, e la ricerca tecnica su interpretabilità e supervisione scalabile non viene discussa.

Capitoli 4 e 11 · Da dichiarare: gli autori guidano il MIRI, istituto che su questo allarme raccoglie fondi dal 2000. Il libro affronta la questione, osservando che gli incentivi sono simmetrici

Il giudizio

Il libro guadagna l'argomento, non la certezza del titolo.

Va letto, e va letto sul serio. Il caso è costruito a strati che reggono separatamente, e la domanda che pone davvero non è se l'AI ci ucciderà: è se stiamo coltivando qualcosa di cui non conosciamo l'interno. A quella, dopo il capitolo due, è difficile rispondere di no.

Ma fra «lo spazio degli esiti è quasi tutto cattivo» e «moriamo tutti» resta una distanza, e il libro non la misura mai — pur avendo costruito l'intero impianto proprio sulla distinzione fra previsioni facili e previsioni difficili. È l'unico punto in cui gli strumenti c'erano e non sono stati usati.

Resta aperta

Bombardare un datacenter è più sicuro che costruirlo?

Il capitolo 13 lo chiede davvero. I firmatari del trattato devono comunicare che un datacenter costruito fuori accordo verrà distrutto con attacchi informatici, sabotaggi o raid convenzionali; e devono farlo anche se chi lo costruisce minaccia una risposta nucleare, perché «i datacenter possono uccidere più persone delle armi nucleari».

È la conseguenza logica della tesi, e gli autori hanno il merito di non nasconderla. Ma chiede di accettare il rischio di uno scontro fra potenze nucleari per evitarne un altro, e i due non vengono mai messi sulla stessa scala. Su questo il libro tace, e tacciono anche quasi tutti quelli che l'hanno recensito.

LETTURE è la rubrica di schede critiche di Lost in the Middle. Una scheda per numero, sui libri che servono a capire l'AI e quello che porta con sé. Il formato giudica l'argomento, non l'esperienza di lettura.