Large Language Models in italiano: come valutarne l’efficacia

‍

La valutazione dei modelli di Intelligenza Artificiale, in particolare dei modelli linguistici di grandi dimensioni (LLM), è un aspetto cruciale per garantirne qualità e affidabilità in applicazioni reali. Un modello linguistico avanzato può generare testi di sorprendente complessità, ma senza misure di efficacia rischiamo di distribuirlo con gravi difetti, dalle allucinazioni alle risposte scorrette. Gli LLM producono risposte aperte e variabili, questo rende insufficiente il semplice confronto con una “soluzione esatta”. Infatti, le metriche automatiche classiche spesso non colgono aspetti qualitativi fondamentali quali la fluidità del testo, la coerenza logica o la creatività espressiva​. 

Di conseguenza, la comunità AI ha sviluppato approcci di valutazione diversificati e complementari. Questi approcci, dall’uso di LLM stessi come giudici, al feedback umano degli utenti, fino ai dataset di riferimento con metriche standard, forniscono prospettive differenti sulla performance di un modello. 

In questo articolo esploriamo in dettaglio i principali metodi di valutazione ed approfondiamo  Chatbot Arena Italia, la nostra piattaforma per confrontare i LLM in lingua italiana.

Approcci principali per valutare l’efficacia degli LLM

I metodi per valutare la qualità di un modello linguistico possono essere ricondotti a tre categorie principali. Ogni approccio offre prospettive differenti sulla qualità e sull'efficacia di un modello linguistico. 

LLM come giudici (LLM-as-a-Judge)

L’idea di impiegare un modello linguistico come giudice è un approccio recente e in rapida diffusione per valutare la qualità delle risposte generate da sistemi AI. In pratica, si fornisce a un LLM, tipicamente uno dei modelli più potenti disponibili, un prompt opportunamente progettato affinché valuti l’output di un altro modello secondo criteri prestabiliti​. Ad esempio, se vogliamo testare due assistenti virtuali, potremmo porre loro la stessa domanda e poi chiedere a un modello giudice di confrontare le due risposte e decretare quale sia migliore, fornendo una motivazione. In alternativa, il giudice LLM può assegnare un punteggio ad una singola risposta rispetto a determinati parametri di qualità (correttezza fattuale, rilevanza, stile, ecc.). Questo metodo è reference-free, non richiede necessariamente una risposta corretta predefinita, perché il giudizio deriva dall’esperienza linguistica e dal “buon senso” del modello valutatore. Si tratta quindi di un meccanismo molto flessibile per approssimare il giudizio umano usando l’AI stessa.

Vantaggi

1. La valutazione tramite giudici LLM consente una scalabilità significativa, permettendo di analizzare rapidamente migliaia di risposte, un risultato difficile da ottenere con valutazioni umane.
2. I giudici LLM garantiscono consistenza e ripetibilità nelle valutazioni, riducendo la variabilità tipica dei giudizi umani.
3. Cambiando il prompt è possibile orientare facilmente la valutazione verso aspetti diversi del linguaggio, come empatia o accuratezza tecnica.
4. Modelli avanzati come GPT-4 colgono sfumature stilistiche e semantiche, offrendo spiegazioni testuali dei loro giudizi che ne migliorano l’interpretabilità.
5. Rispetto alla valutazione manuale, l’approccio LLM-as-a-Judge è decisamente più rapido e meno costoso, facilitando iterazioni più frequenti nello sviluppo dei modelli.

Limiti

1. L’affidabilità del giudizio degli LLM dipende direttamente dal modello utilizzato, che potrebbe contenere bias o errori che influenzano la correttezza della valutazione.
2. Le valutazioni tramite LLM sono intrinsecamente probabilistiche e possono presentare instabilità a seconda della formulazione specifica del prompt.
3. Scrivere prompt di valutazione chiari è essenziale, perché l’ambiguità può portare a interpretazioni differenti dello stesso output.
4. Sebbene avanzati, gli LLM non riescono ancora a replicare completamente la precisione del giudizio umano in tutti i contesti; pertanto, è prudente integrarli con verifiche umane nei casi critici.
5. Se il modello giudice appartiene alla stessa "famiglia" del modello valutato, esiste il rischio di condividere gli stessi bias o errori di addestramento.

Feedback degli utenti e valutazioni umane

Il coinvolgimento di valutatori umani, siano essi utenti finali o annotatori specializzati, è un metodo consolidato per valutare le prestazioni dei modelli di AI generativa. Questo approccio include sia feedback spontanei, come le valutazioni a stelle o i like/dislike dati dagli utenti a un assistente virtuale, sia metodologie strutturate come il Reinforcement Learning from Human Feedback (RLHF). Nel RLHF, giudici umani confrontano risposte generate dal modello, esprimendo preferenze che vengono utilizzate per addestrare un modello di ricompensa. L'obiettivo è allineare la qualità percepita del modello con le aspettative umane, sfruttando capacità intuitive degli utenti per qualità difficili da formalizzare, come l'umorismo o la pertinenza contestuale.

Vantaggi

1. Il feedback umano rimane il riferimento principale per la valutazione qualitativa dei modelli AI, poiché solo gli utenti possono confermare se il sistema soddisfa effettivamente le loro esigenze.
2. Consente di individuare aspetti qualitativi complessi come chiarezza, appropriatezza stilistica e contestuale, che sfuggono alle metriche automatiche.
3. Allinea direttamente il modello alle esigenze reali degli utenti finali, migliorando continuamente la soddisfazione percepita e l'utilità pratica del sistema, anche nell’ambito della digitalizzazione aziendale.
4. Approcci come RLHF hanno dimostrato risultati notevoli, permettendo evoluzioni significative dei modelli come il passaggio da GPT-3 a ChatGPT.
5. Il feedback umano rivela spesso problemi non previsti o utilizzi inaspettati del modello, consentendo interventi correttivi mirati e tempestivi.

Limiti

1. Raccogliere e gestire feedback umano di qualità è costoso in termini di tempo, risorse economiche e organizzazione, risultando difficilmente scalabile.
2. Il giudizio umano è soggettivo e incoerente, con significative differenze individuali che rendono difficile ottenere un consenso chiaro e uniforme.
3. Il rischio di bias è elevato, modelli possono finire per ottimizzarsi in funzione delle opinioni più diffuse o delle valutazioni più influenti, trascurando minoranze o preferenze specifiche.
4. Possibilità di "reward hacking". Modelli ottimizzati tramite feedback umano possono imparare trucchi per massimizzare il punteggio percepito senza reale miglioramento qualitativo, mostrando fragilità in contesti nuovi.
5. L'uso intensivo di feedback umano può ridurre la diversità delle risposte, portando a un appiattimento delle soluzioni proposte e limitando originalità e creatività.
6. In ambienti aperti, feedback errati o malevoli possono influenzare negativamente il processo di addestramento, richiedendo ulteriori misure di controllo e moderazione.
7. Incorporare il feedback umano nel ciclo di sviluppo è spesso lento e può causare ritardi significativi nella correzione di problemi evidenziati dagli utenti.

Valutazione LLMs con dataset di riferimento (benchmark standard)

L’utilizzo di dataset di riferimento è un approccio consolidato per valutare i modelli AI. Questo metodo consiste nel testare i modelli su set di dati con risposte note e utilizzare metriche specifiche per misurare quanto l'output del modello si avvicini al risultato atteso. Ad esempio, modelli di question answering vengono valutati tramite accuratezza, mentre quelli di traduzione utilizzano metriche come BLEU. Con l’evoluzione degli LLM sono emersi benchmark sempre più articolati e sofisticati come SuperGLUE, MMLU, BIG-bench, HELLASWAG e TruthfulQA, che sondano competenze differenti, dalla logica alla creatività. L’approccio basato su benchmark resta cruciale perché fornisce uno standard oggettivo e ripetibile.

Vantaggi

1. I benchmark offrono metriche chiare e quantitative, rendendo semplice il confronto diretto tra modelli e l’identificazione di miglioramenti o regressioni.
2. Permettono una valutazione automatizzabile, integrabile nelle pipeline di sviluppo, garantendo efficienza e rapidità di iterazione.
3. Aspetti specifici come la correttezza fattuale o il ragionamento numerico vengono ben rappresentati da benchmark mirati, fornendo indicazioni chiare sulla qualità delle risposte che possono influenzare positivamente la customer experience.
4. I benchmark pubblici facilitano la comparabilità tra modelli diversi, stimolando competizione e innovazione nella ricerca e nello sviluppo.
5. Assicurano che i modelli rispettino requisiti minimi di performance prima dell’impiego reale, mantenendo uno standard uniforme nella valutazione.

Limiti

1. Le risposte reali spesso non hanno una soluzione unica; benchmark troppo rigidi possono penalizzare risposte corrette che differiscono leggermente dal riferimento.
2. Le metriche classiche, come BLEU o ROUGE, possono non cogliere aspetti qualitativi complessi e hanno scarsa correlazione con il giudizio umano per contenuti lunghi o articolati.
3. I modelli rischiano di "imparare" specificamente i benchmark (overfitting), mostrando alte prestazioni sui test ma scarsa generalizzazione in contesti reali.
4. I dataset standard diventano rapidamente obsoleti o insufficienti con l’evolversi delle capacità degli LLM, rendendo necessaria una continua produzione di nuovi benchmark, processo costoso e complesso.
5. La valutazione tramite benchmark non riflette l’esperienza utente end-to-end, che include capacità come il mantenimento del contesto conversazionale o la coerenza nel tempo di risposta, difficilmente catturabili in test statici.

Chatbot Arena Italia. Un benchmark cooperativo per la lingua italiana 

Oltre ai metodi generali descritti, è essenziale avere piattaforme indipendenti per confrontare apertamente i modelli su compiti realistici. A livello internazionale, un esempio è la Chatbot Arena del team LMSYS, introdotta nel 2023, dove diversi chatbot si sfidano alla cieca per stilare una classifica basata sulle preferenze degli utenti. Recentemente, anche l’Italia ha colmato questa lacuna grazie al lancio della nostra piattaforma Chatbot Arena Italia. Si tratta del primo benchmark dedicato esclusivamente all’italiano, progettato per valutare in modo trasparente e collaborativo le capacità linguistiche dei chatbot AI.

Funzionalità della piattaforma 

Chatbot Arena Italia offre funzionalità intuitive per facilitare una valutazione equa e imparziale degli LLM. Chiunque può accedere gratuitamente via web e testare i modelli in tre modalità. 

1. Arena "Battaglie" permette agli utenti di inserire un prompt che viene sottoposto simultaneamente a due modelli anonimi scelti casualmente. L’utente valuta poi le risposte senza conoscere i modelli, eliminando bias di preferenza. 
2. Arena "fianco a fianco" permette agli utenti esperti di scegliere esplicitamente due modelli da confrontare simultaneamente, visualizzando direttamente le risposte associate ai rispettivi nomi. Questa modalità è utile per test mirati e confronti specifici, come fra GPT-4 e modelli open-source italiani.
3. Chat diretta consente l’interazione singola con un modello specifico, permettendo una valutazione qualitativa approfondita e contribuendo comunque al dataset di valutazione grazie ai feedback degli utenti.

Modelli disponibili e confronto equo

Una caratteristica distintiva di Chatbot Arena Italia è la varietà dei modelli disponibili, dai grandi modelli internazionali come GPT-4 e Claude di Anthropic, a quelli specificatamente addestrati o adattati per l’italiano, inclusi Gemma2-9B, Maestrale-chat, Modello Italia 9B e LLaMAntino. Complessivamente, oltre trenta modelli competono sulla piattaforma, con nuovi ingressi continui. La presenza simultanea di modelli commerciali e open-source permette un confronto senza precedenti, evidenziando in modo trasparente le reali capacità linguistiche di ciascuno. La classifica, costruita aggregando migliaia di valutazioni anonime tramite un sistema di rating simile all’ELO, viene aggiornata in tempo reale. Questo metodo cooperativo sfrutta la “saggezza della folla”, garantendo un benchmark robusto e rappresentativo.

Importanza per la valutazione in lingua italiana

Chatbot Arena Italia rappresenta un importante benchmark nazionale, colmando il vuoto di trasparenza riguardo alle performance degli LLM in italiano. In passato, i test venivano effettuati prevalentemente in inglese, lasciando dubbi sulle effettive capacità in italiano dei modelli internazionali. Già nel 2024, test preliminari evidenziavano che Claude 3 di Anthropic poteva superare GPT-4 su determinati prompt italiani. Una piattaforma dedicata permette ora di evidenziare chiaramente i punti di forza e debolezza di ogni modello in italiano. Inoltre, Chatbot Arena Italia stimola la competizione e il miglioramento continuo nell’ecosistema locale, offrendo agli sviluppatori italiani un feedback immediato sulle prestazioni dei propri modelli rispetto ai giganti internazionali.

La piattaforma ha anche una funzione educativa e di democratizzazione, consente a chiunque, senza necessità di costosi abbonamenti, di provare modelli avanzati come quelli normalmente disponibili solo attraverso servizi a pagamento. Studenti e sviluppatori hanno così libero accesso a strumenti avanzati, riducendo le barriere d’ingresso nella ricerca e nella valutazione degli LLM.

Infine, il crowdsourced benchmarking di Chatbot Arena Italia offre un interessante esempio di valutazione ibrida, combinando il feedback umano con un'infrastruttura automatizzata per aggregare i risultati. Sebbene non sostituisca i benchmark standard, li complementa in modo significativo. I risultati possono infatti guidare la creazione di nuovi dataset focalizzati sui punti deboli dei modelli o addirittura essere usati per sviluppare giudici AI specializzati nella valutazione linguistica. In sintesi, Chatbot Arena Italia pone le basi per una comunità italiana attiva e consapevole nella valutazione dell’intelligenza artificiale, garantendo che lo sviluppo dei sistemi AI nella nostra lingua mantenga il passo con gli standard globali.

‍

In conclusione, valutare un LLM non è un evento puntuale ma un processo continuo e sfaccettato. Dall’offline all’online, dal laboratorio al crowdsourcing, ogni livello di valutazione fornisce insight preziosi. Solo combinando questi insight possiamo formare un quadro completo delle capacità di un modello e delle aree da perfezionare. Investire in un robusto ecosistema di valutazione significa investire nella qualità, sicurezza e affidabilità dell’AI, un passo indispensabile affinché le tecnologie linguistiche mantengano le loro promesse e generino fiducia negli utenti e nei settori che le adotteranno. Come bussola per gli sviluppatori e criterio di trasparenza per gli utenti, la valutazione rimane il pilastro su cui costruire la prossima generazione di sistemi di Intelligenza Artificiale realmente efficaci e allineati con le nostre esigenze​.

FAQ

Qual è il metodo migliore per valutare un LLM?

Non esiste un unico metodo che sia sempre superiore agli altri, poiché ciascun approccio presenta specifici vantaggi e limitazioni. Ad esempio, il feedback umano è fondamentale per rilevare sfumature qualitative come la coerenza e la pertinenza, ma è poco scalabile; al contrario, usare un LLM come giudice automatico è rapido ed economico, ma può introdurre errori o bias legati al modello stesso. Infine, i benchmark standard sono utili per confronti oggettivi, ma possono essere limitati di fronte alla varietà delle risposte possibili. Per questo motivo, la soluzione ideale è adottare una strategia multilivello che integri giudizi automatici, feedback umani diretti e test su dataset di riferimento.

Chatbot Arena Italia permette davvero di valutare quale modello linguistico è il migliore in italiano?

Chatbot Arena Italia rappresenta attualmente uno dei migliori strumenti disponibili per confrontare direttamente le capacità dei diversi modelli linguistici nella nostra lingua. La piattaforma utilizza un approccio crowdsourced, permettendo agli utenti di valutare risposte generate dai modelli in test anonimi. Questo sistema consente di identificare con trasparenza quali modelli performano meglio in italiano, fornendo una classifica aggiornata in tempo reale basata su migliaia di voti reali.

I giudici LLM possono sostituire completamente la valutazione umana nella verifica della qualità di un modello linguistico?

Al momento, i giudici LLM non possono sostituire del tutto il giudizio umano nella valutazione della qualità di un modello linguistico. Se da un lato offrono una soluzione scalabile, economica e veloce, dall'altro possono essere soggetti a bias e imprecisioni derivanti dal loro addestramento. Pertanto, è importante integrare queste valutazioni automatiche con feedback umano, almeno per i casi critici o particolarmente sensibili, in modo da assicurare un risultato davvero robusto, bilanciato e allineato alle reali esigenze degli utenti finali.