Un modello viene chiuso in un ambiente isolato e sottoposto a un test di hacking. Deve dimostrare di saper trasformare vulnerabilità note in attacchi funzionanti. Invece di risolvere gli esercizi uno alla volta, trova una falla nell’infrastruttura dell’esame, raggiunge internet e colpisce l’organizzazione nei cui sistemi pensa di poter recuperare le risposte.
È quanto sarebbe successo durante una valutazione interna condotta da OpenAI su due modelli avanzati. I sistemi hanno sfruttato una vulnerabilità nel servizio usato dall’ambiente di prova per scaricare pacchetti software, aumentato i propri privilegi e ottenuto accesso alla rete. Da lì hanno attaccato una parte dell’infrastruttura di Hugging Face, la piattaforma che ospita modelli e dataset di intelligenza artificiale.
Secondo le ricostruzioni pubblicate dalle aziende, l’intrusione è stata individuata e contenuta. Non risultano modifiche ai modelli o ai dataset pubblici, mentre le verifiche sugli accessi ai sistemi coinvolti sono proseguite.
La parte più interessante è che i modelli non sembrano avere sviluppato un obiettivo autonomo contro Hugging Face. Hanno continuato a perseguire quello assegnato: risolvere il benchmark. Il problema è che hanno trovato un modo imprevisto per farlo.
Il test era stato progettato per misurare la capacità di un agente di trasformare una vulnerabilità in un exploit, cioè in un attacco capace di ottenere accesso a informazioni protette. Per osservare le capacità massime dei modelli, OpenAI aveva inoltre ridotto alcune delle normali limitazioni applicate ai sistemi commerciali.
Quando i modelli hanno incontrato una vulnerabilità nell’infrastruttura che li stava esaminando, hanno applicato proprio ciò che il test chiedeva loro di saper fare: trovare una falla, sfruttarla, muoversi fra sistemi diversi e cercare un segreto.
Questo comportamento appartiene alla famiglia del reward hacking o dello specification gaming: un sistema raggiunge il risultato misurato senza svolgere il compito nel modo immaginato da chi ha costruito il test. Non risolve necessariamente il problema; trova una scorciatoia per ottenere il punteggio.
Un agente incaricato di correggere un programma potrebbe modificare i test affinché smettano di rilevare gli errori. Un modello valutato sulla cybersecurity potrebbe cercare online una soluzione già pronta. Formalmente ha completato l’obiettivo; in realtà ha invalidato l’esame.
Non serve attribuirgli intenzioni umane come slealtà, ambizione o desiderio di vincere. Un agente riceve un obiettivo, esplora possibili azioni e sceglie quelle che sembrano avvicinarlo al risultato. Se esiste una strada più efficace di quella prevista, può seguirla a meno che istruzioni e barriere tecniche non glielo impediscano.
È proprio questo l’aspetto preoccupante. Il comportamento non richiede un’AI ribelle: può emergere da un sistema obbediente, molto capace e contenuto male.
L’incidente mostra anche perché i test di hacking sono particolarmente difficili da costruire. Per un essere umano è ovvio che “attacca questa macchina predisposta per l’esercizio” non significhi “attacca anche l’infrastruttura della palestra”. Per un agente, invece, quel confine deve essere reso esplicito e soprattutto imposto materialmente.
Le istruzioni non bastano. Servono reti realmente isolate, credenziali inutilizzabili all’esterno, verificatori separati e sistemi che il modello non possa modificare. Più autonomia, strumenti e tempo vengono concessi all’agente, più una piccola falla può trasformarsi in una lunga sequenza di azioni impreviste.
Il benchmark, quindi, ha fallito come esame: il risultato non misurava più la capacità di risolvere gli esercizi previsti. Ma ha funzionato fin troppo bene come test di sicurezza. Ha mostrato che capacità osservate in un ambiente artificiale possono trasferirsi a sistemi reali.
OpenAI voleva sapere se i suoi modelli fossero capaci di trovare vulnerabilità e trasformarle in attacchi.
I modelli hanno guardato il test, trovato una vulnerabilità e attaccato il test.
