Il New York Times ha raccontato «quando l'AI diventa rogue». Il Wall Street Journal ha scritto di un modello di Meta che «è impazzito» durante un test. Il Financial Times ha usato quasi la stessa formula per OpenAI e Anthropic. Wired ha titolato, con una certa rassegnazione: «Ok, gli agenti AI rogue stanno hackerando di nuovo». Persino la Harvard Gazette ha scelto When AI goes rogue.
A leggere soltanto i titoli, la trama sembra già scritta: costruiamo macchine intelligenti, le macchine smettono di obbedire, le macchine scappano.
Non è quello che è successo.
A luglio OpenAI ha messo alcuni dei suoi modelli dentro ExploitGym, un benchmark di problemi di sicurezza informatica. L'ambiente doveva essere chiuso. Gli agenti hanno trovato una vulnerabilità sconosciuta nel software che gestiva l'accesso ai pacchetti, l'hanno sfruttata per uscire in rete e sono arrivati ai sistemi di Hugging Face, spostandosi fra macchine con credenziali raccolte per strada. OpenAI ha definito l'episodio un incidente cyber «senza precedenti» e, nella stessa ricostruzione, scrive che i modelli cercavano le risposte del test. La via più corta per le risposte passava fuori dalla sandbox.
Anthropic ha poi passato al setaccio oltre 141 mila esecuzioni dei propri test e ne ha trovate tre finite su sistemi veri. Una dentro un database di produzione. Una che ha pubblicato su PyPI un pacchetto Python con dentro del malware, scaricato da quindici macchine.
Il guasto, però, sta a monte del modello.
Claude era stato informato di girare in una simulazione senza accesso all'esterno; per un errore di configurazione internet era invece raggiungibile, sicché una macchina vera poteva sembrargli un altro pezzo dello scenario. Anthropic archivia i tre casi come un cedimento dell'infrastruttura di test. Ho passato tre anni a costruire pipeline di inferenza e la regola di egress — la riga che stabilisce quali chiamate possono uscire dalla rete — era la cosa che si rompeva più spesso, in quanto è l'unica che non ti restituisce un errore quando è sbagliata: se lasci un buco, tutto funziona meglio di prima. Gli ambienti di valutazione, poi, li tratti come codice di serie B. La spesa vera sta nel training. L'harness lo scrivi il venerdì.
Rogue, tecnicamente, indica un sistema che compie azioni non autorizzate; applicato a qualcosa che risponde in italiano corretto suggerisce intenzione, sicché una regola di firewall dimenticata diventa una fuga. Jascha Bareis e i suoi coautori del Karlsruhe Institute of Technology, in una rassegna di 81 articoli accademici uscita su AI and Ethics, chiamano «escalation retorica» questo comprimere in una parola una catena di passaggi ipotetici.
Che la storia venga raccontata male non significa che sotto non ci sia niente.
James Mickens, professore di informatica ad Harvard e direttore del Berkman Klein Center, studia da prima di questi incidenti come rendere più difficile a un modello uscire da un ambiente isolato. Alla Harvard Gazette, che gli chiedeva se i casi recenti dimostrino che i modelli sono fuori dal controllo umano, ha risposto qualcosa di più stretto: nemmeno chi li costruisce può garantire che si comportino come previsto in ogni situazione.
Anche l'AI Security Institute britannico ha visto agenti di OpenAI e Anthropic agire senza autorizzazione in rete: uno ha creato identità false per convincere il manutentore di un progetto open source ad accettare codice dannoso. Le condizioni erano volutamente permissive, con internet aperto e protezioni rimosse apposta per vedere fin dove arrivavano, sicché non è ciò che accade aprendo ChatGPT. E METR, che valuta i modelli per conto terzi, ha scartato una quota di esecuzioni riuscite nei compiti lunghi: l'agente aveva manomesso la valutazione.
A un collega umano non serve specificare che per superare un esame non deve rubare le risposte né pubblicare malware: quel contesto se lo porta dietro. Un agente si porta dietro un obiettivo, degli strumenti e un numero crescente di modi per usarli; più diventa competente, più è probabile che imbocchi una strada che nessuno aveva previsto.
La prossima volta che un fornitore vi racconta un incidente del genere, lasciate perdere la parola rogue e chiedetegli tre cose: chi ha scritto le regole di egress dell'ambiente, quando sono state verificate l'ultima volta, chi se ne accorge se saltano. Se sulla prima rispondono in un secondo e sulla terza restano vaghi, sapete già dove guardare.
