Le benchmark sono cruciali per valutare le capacità dei Modelli di Linguaggio di Grande Scala (LLMs) in compiti reali, ma lo sviluppo e l’aggiornamento di questi benchmark sono sia costosi che tempestivi. Questo articolo esplora un approccio innovativo utilizzando l’AI Agente, dove i LLM generano e valutano esami pratici per varie professioni, comprese quelle di Finanza e Operazioni di Business, Gestione e Informatica e Matematica.
L’approccio AI Agente consiste nel distinguere tra i materiali necessari per le attività (come testo, dati e immagini) e gli strumenti richiesti per risolverle (come chiamata di funzione o ricerca web). Concentrandosi su compiti di testo solo che non richiedono l’utilizzo di strumenti, lo studio ha trovato che solo l’1% (149 compiti) di queste professioni sono attualmente testabili utilizzando questo metodo. Questa limitazione sottolinea la necessità di ulteriori sviluppi nelle metodologie di benchmarking che possono accogliere una gamma più ampia di compiti.
Metodo di valutazione
Tredici modelli diversi, compresi varianti di GPT, Claude e Gemini, sono stati distribuiti per completare questi esami sintetici. I risultati hanno rivelato che anche in compiti base, i LLM attuali affrontano sfide significative. I modelli di punta hanno raggiunto punteggi medi che variano da 65% a 79%, con prestazioni particolarmente deboli nella manipolazione dei dati e nei calcoli finanziari. Ciò indica che mentre i LLM hanno fatto progressi, c’è ancora un notevole divario nella loro capacità di affrontare compiti complessi e realistici con precisione.
Evoluzione delle prestazioni
Lo studio ha anche notato un miglioramento rapido delle prestazioni dei LLM nel tempo. I modelli rilasciati nel 2024 hanno raggiunto una media di punteggio del 40,5%, mentre quelli rilasciati nel 2025 hanno raggiunto una media di 66%, rappresentando un guadagno di 26 punti percentuali in solo un anno. Questa rapida evoluzione suggerisce che i LLM stanno diventando più capaci a un ritmo più veloce, anche se c’è ancora molto lavoro da fare per validare questi benchmark e estenderli per includere l’utilizzo di strumenti.
Prospettive future
L’approccio AI Agente offre una soluzione promettente per creare benchmark cost-efettivi, scalabili e aggiornabili per misurare le capacità di AI nel luogo di lavoro. Estendendo il paradigma “LLM come giudice” all’assessamento delle attività professionali, questo metodo può fornire una valutazione più dinamica e adattabile delle prestazioni dei LLM in vari contesti professionali. Tuttavia, ulteriori ricerche sono necessarie per validare questi benchmark e sviluppare metodi che possano valutare compiti che richiedono l’utilizzo di strumenti, espandendo così lo scopo delle professioni testabili oltre le attuali limitazioni di testo solo.
Conclusioni
Lo sviluppo di benchmark generati dai LLM presenta un potenziale significativo per il futuro della valutazione di AI. Poiché i LLM continuano ad evolversi, la capacità di generare e valutare esami pratici in modo automatico può semplificare il processo di benchmarking, rendendolo più efficace e rispondente al rapido cambiamento del panorama delle capacità di AI.
In sintesi, l’approccio AI Agente per la valutazione delle capacità dei LLM rappresenta un importante passo avanti nel campo della valutazione di AI. L’utilizzo dei LLM per generare e valutare esami pratici offre una soluzione scalabile e cost-efettiva per valutare le prestazioni di AI in compiti reali. Sebbene ci siano ancora sfide da superare, in particolare nella validazione dei benchmark e nell’estensione di questi per includere l’utilizzo di strumenti, i benefici potenziali di questo approccio sono sostanziali. Poiché l’AI continua ad avanzare, lo sviluppo di metodologie di benchmarking più sofisticate e adattabili sarà cruciale per garantire che i sistemi di AI siano valutati con precisione e efficacia.
