I benchmark di intelligenza artificiale sono diventati il metodo più usato per confrontare i modelli e le loro capacità. Ogni nuovo modello arriva con una tabella di punteggi, e chi deve scegliere quale usare si chiede che cosa dicano davvero. Questa guida spiega come nasce un punteggio e dove sbaglia. In fondo c'è un piccolo glossario dei test più citati.
Che cosa sono i benchmark?
Un benchmark è un esame per modelli: una lista fissa di domande e una regola per dare il voto. Le domande possono essere quiz, problemi di matematica, errori da correggere in un programma o compiti al computer. Il voto più comune è l'accuratezza, cioè quante risposte sono giuste su cento. Spesso il punteggio viene confrontato con quello ottenuto da un gruppo di persone sullo stesso esame.
Come si ottengono i punteggi?
Lo stesso modello può avere voti molto diversi sullo stesso esame. Conta quante volte può provare: pass@1 è il voto con un solo tentativo, pass@4 vale se una risposta su quattro è giusta. Conta chi corregge: una macchina, se esiste una risposta esatta; una persona o un altro modello, se le risposte buone sono tante. E conta l'harness, cioè i programmi che danno al modello le domande, la memoria e gli strumenti: il quaderno e la calcolatrice dell'esame. A luglio 2026 OpenAI ha mostrato che GPT-5.6 Sol saliva dal 13% al 38% su ARC-AGI-3 attivando due impostazioni, perché prima l'harness gli cancellava gli appunti a ogni mossa. A settembre il modello successivo, GPT-6 Astra, ha preso il 63% con l'harness standard del test e quasi il 100% con un harness fornito da OpenAI.
Che cosa misurano?
I benchmark misurano una capacità su un compito preciso: risolvere quei problemi di matematica, correggere quei programmi. Il nome di molti indici promette l'intelligenza, e nessun test la definisce. Un gruppo guidato dall'Oxford Internet Institute ha esaminato 445 benchmark nel 2025: circa la metà dichiara di misurare il «ragionamento» senza dire che cosa intende. Per questo si guardano prima le domande, poi il nome.
Quali sono i problemi?
Il primo è la saturazione. Quando tutti i modelli arrivano vicino a cento, l'esame smette di distinguerli, e succede sempre prima: ARC-AGI-3 ha retto sei mesi, SRE-Bench tre settimane. Il secondo è la contaminazione: le domande finiscono nei dati usati per addestrare il modello, e il voto misura la memoria. Per questo alcuni test tengono una parte delle domande nascosta. Il terzo sono le classifiche che sommano più esami con un peso ciascuno, perché chi sceglie i pesi decide l'ordine. Nell'indice di Artificial Analysis, una società privata, Astra ha preso 61 punti come il modello precedente; poco dopo, con test e pesi nuovi, 55. Il quarto è chi paga il test: FrontierMath era finanziato da OpenAI, che conosceva i problemi tranne una parte di riserva, e si è saputo solo il giorno in cui OpenAI ha annunciato un nuovo modello.
Come usare i punteggi
Un punteggio è un buon punto di partenza, e da solo decide poco. Prima di fidarsi conviene farsi quattro domande. Quale capacità mi serve davvero? Quale test somiglia a quella capacità? Con quali tentativi e con quale harness è stato ottenuto il voto? Che cosa conta oltre al voto, come il costo per compito o la sicurezza? Per un assistente che riassuma documenti in italiano, la prova migliore parte da quei documenti: si contano omissioni e invenzioni, e il tempo che serve per correggere.
I test citati
ARC-AGI-3: piccoli giochi a schermo da imparare senza istruzioni, creati da ARC Prize. SRE-Bench: capire un programma partendo dal file compilato, senza il codice sorgente. FrontierMath: problemi di matematica avanzata scritti per Epoch AI; il livello più alto richiede settimane a un esperto. Humanity's Last Exam: quesiti specialistici in molte discipline, dal Center for AI Safety e da Scale AI. SWE-bench: correggere errori reali in progetti software esistenti. Artificial Analysis Intelligence Index: media pesata di dieci test, calcolata con metodo pubblico.
