Ai benchmark: sono davvero affidabili? L’inchiesta che scuote il mondo dell’ai

## L’illusione della competenza: i benchmark dell’AI sotto accusa

Un recente studio condotto dall’Oxford Internet Institute, in collaborazione con oltre trenta istituzioni di ricerca, ha messo in discussione l’affidabilità dei benchmark utilizzati per valutare le capacità dei sistemi di intelligenza artificiale. L’analisi, che ha esaminato ben 445 test di riferimento, ha rivelato che i metodi di valutazione spesso sovrastimano le prestazioni dell’AI e mancano di rigore scientifico.

I benchmark sono strumenti fondamentali per sviluppatori e ricercatori, che li utilizzano per misurare le abilità dei modelli di AI in diversi ambiti, dalle capacità di ragionamento astratto alle performance nell’ingegneria del software. Tuttavia, lo studio pubblicato martedì scorso solleva dubbi sulla validità di molti risultati, suggerendo che questi test potrebbero non essere così affidabili come si crede.

Secondo la ricerca, un numero significativo di benchmark di alto livello non definisce chiaramente cosa intendono misurare, riutilizza dati e metodi di test da benchmark preesistenti e raramente utilizza metodi statistici affidabili per confrontare i risultati tra i modelli. Adam Mahdi, ricercatore senior presso l’Oxford Internet Institute e autore principale dello studio, ha sottolineato come questi benchmark possano essere fuorvianti: “Quando chiediamo ai modelli di AI di eseguire determinate attività, spesso misuriamo concetti o costrutti completamente diversi da ciò che intendiamo misurare”.

## Validità costruttiva: cosa misurano realmente i benchmark?

Un aspetto cruciale sollevato dagli autori dello studio è la “validità costruttiva” dei benchmark, ovvero la loro capacità di misurare accuratamente il fenomeno del mondo reale che intendono valutare. Ad esempio, invece di testare un modello su una serie infinita di domande per valutarne la capacità di parlare russo, un benchmark esaminato nello studio misura le prestazioni del modello su nove diverse attività, come rispondere a domande con risposta “sì” o “no” utilizzando informazioni tratte da Wikipedia in lingua russa.

Tuttavia, circa la metà dei benchmark esaminati non definisce chiaramente i concetti che pretendono di misurare, mettendo in dubbio la loro capacità di fornire informazioni utili sui modelli di AI testati. Lo studio cita come esempio il benchmark Grade School Math 8K (GSM8K), che valuta le prestazioni su una serie di problemi matematici di base. Sebbene i risultati del GSM8K siano spesso utilizzati per dimostrare le capacità di ragionamento matematico dei modelli di AI, Mahdi sostiene che risposte corrette non implicano necessariamente un reale ragionamento matematico.

## Contaminazione e memorizzazione: i rischi dei benchmark obsoleti

Un altro problema evidenziato nello studio è la “contaminazione”, che si verifica quando le domande dei benchmark finiscono nel set di dati di addestramento del modello o quando il modello inizia a “memorizzare” risposte o informazioni anziché ragionare per trovare una soluzione. Quando i ricercatori hanno testato le prestazioni dei modelli su un nuovo set di domande benchmark, hanno notato “significativi cali di performance”, suggerendo che i risultati ottenuti sui benchmark tradizionali potrebbero essere gonfiati.

Per affrontare queste problematiche, gli autori dello studio formulano otto raccomandazioni e forniscono una checklist per sistematizzare i criteri dei benchmark e migliorare la trasparenza e l’affidabilità dei risultati. I suggerimenti includono la specificazione dell’ambito dell’azione valutata, la costruzione di batterie di attività che rappresentino meglio le capacità complessive misurate e il confronto delle prestazioni dei modelli tramite analisi statistiche.

## Verso una valutazione più rigorosa: il futuro dei benchmark dell’AI

Nikola Jurkovic, membro dello staff tecnico del centro di ricerca METR AI, ha elogiato il contributo dello studio, sottolineando la necessità di maggiore rigore per interpretare i risultati dei benchmark dell’AI. La ricerca si aggiunge a studi precedenti che hanno evidenziato le lacune di molti benchmark, spingendo diversi gruppi di ricerca a proporre nuove serie di test che misurino meglio le prestazioni dei modelli nel mondo reale su attività economicamente significative.
Ad esempio, OpenAI ha rilasciato una nuova serie di test che valutano le prestazioni dell’AI su attività richieste per 44 diverse professioni, nel tentativo di ancorare le affermazioni sulle capacità dell’AI al mondo reale. Questi test misurano la capacità dell’AI di correggere incongruenze nelle fatture dei clienti in fogli di calcolo Excel per un ipotetico ruolo di analista delle vendite, o la capacità dell’AI di creare un programma di produzione completo per le riprese di un video di 60 secondi per un ipotetico produttore video.
Dan Hendrycks, direttore del Center for AI Safety, ha recentemente rilasciato un benchmark simile progettato per valutare le prestazioni dei sistemi di AI su una serie di attività necessarie per l’automazione del lavoro da remoto. “È comune che i sistemi di AI ottengano punteggi elevati in un benchmark ma non risolvano effettivamente l’obiettivo reale del benchmark”, ha affermato Hendrycks.
## La necessità di un approccio critico e consapevole

In definitiva, lo studio dell’Oxford Internet Institute ci ricorda che i benchmark dell’AI non sono infallibili e che è necessario un approccio critico e consapevole nell’interpretazione dei loro risultati. Come ha sottolineato Mahdi, “Siamo solo all’inizio della valutazione scientifica dei sistemi di AI”, e c’è ancora molto da esplorare per garantire che i benchmark misurino accuratamente le capacità dei modelli e non siano semplicemente strumenti di marketing.
## Oltre l’hype: un’analisi più profonda delle capacità dell’AI

È fondamentale comprendere che l’automazione, la scalabilità produttiva e la trasformazione digitale non dipendono unicamente dalle performance apparenti dell’AI nei benchmark. Una nozione base di automazione è che essa deve essere guidata da una chiara comprensione dei processi aziendali e degli obiettivi da raggiungere. Non basta implementare soluzioni di AI se non si ha una visione chiara di come queste si integreranno nel flusso di lavoro e quali benefici concreti apporteranno.

Un concetto avanzato di automazione, invece, riguarda la capacità di adattare dinamicamente i processi in base ai dati e ai feedback in tempo reale. Questo richiede non solo l’implementazione di sistemi di AI, ma anche la creazione di un’infrastruttura dati robusta e di meccanismi di monitoraggio e controllo efficaci.
Quindi, la prossima volta che sentite parlare di un modello di AI che ha superato un test con risultati sorprendenti, ricordatevi di prendere la notizia con le pinze. Chiedetevi: cosa misura realmente questo test? Quali sono i suoi limiti? E soprattutto, come si traduce tutto questo in un valore reale per la vostra azienda? Forse, invece di inseguire l’ultimo modello di AI, dovreste concentrarvi su una più profonda comprensione dei vostri processi e su come l’automazione può aiutarvi a migliorarli.