LLM come giudice (LLM-as-a-judge): guida

LLM as a judge è un metodo di valutazione in cui un modello linguistico giudica gli output generati da un altro modello o da un’applicazione di IA in base a una griglia specifica, una risposta di riferimento o una risposta concorrente. I team usano LLM-as-a-judge per valutare attività aperte come risposte di chatbot, risposte RAG e riassunti, dove i controlli di codice basati sulla corrispondenza esatta falliscono.

Quando si crea un’applicazione basata su modelli linguistici, i test diventano presto il principale collo di bottiglia. I test unitari possono verificare se un payload JSON è analizzabile e le metriche classiche del linguaggio naturale come BLEU o ROUGE contano le parole in comune, ma nessuno dei due approcci dice se un riassunto abbia davvero senso o se un bot di assistenza clienti abbia risposto con cortesia. Come mostra l’articolo G-Eval di Liu et al. del marzo 2023, le metriche basate su riferimenti come BLEU e ROUGE hanno una correlazione relativamente bassa con il giudizio umano nei compiti creativi e aperti.

La revisione umana è lo standard di riferimento, ma chiedere a sviluppatori o esperti di settore di leggere 500 output a ogni modifica di un prompt di sistema rallenta enormemente le iterazioni. LLM-as-a-judge colma il divario tra rigidi controlli sulle stringhe e la lenta valutazione umana. Anche i valutatori automatici hanno però i propri modi di fallire: possono favorire la prima risposta o premiare testo prolisso e privo di contenuto. Capire come funzionano questi sistemi e dove cedono fa la differenza tra una pipeline che rileva le regressioni e una che dà una falsa sicurezza.

Che cos’è LLM as a judge e perché i team lo usano?

LLM as a judge è una tecnica di valutazione automatica che chiede a un modello linguistico, tramite un prompt, di assegnare punteggi, classificare o verificare gli output di un altro modello o sistema. Invece di basarsi sulla corrispondenza esatta delle stringhe, il modello giudice legge il prompt di ingresso, l’output generato e le istruzioni di valutazione per produrre un giudizio strutturato.

I team software adottano LLM-as-a-judge perché le moderne applicazioni di IA possono produrre risposte valide in migliaia di modi diversi. Se stai creando un sistema di generazione aumentata dal recupero (vedi la guida su cos’è RAG e come funziona), due riassunti dello stesso documento possono condividere pochissime frasi identiche ed essere entrambi del tutto accurati. Al contrario, una risposta può condividere il 90% delle parole di un testo di riferimento ma invertire una sola negazione, rendendo falsa l’affermazione.

Sia la documentazione Graders di OpenAI sia la guida alla valutazione di Anthropic pongono la valutazione basata su modelli accanto ai controlli deterministici del codice e alla revisione umana come pilastro dei test. In pratica, i team si affidano a tre metodi principali per valutare gli output dell’IA.

Metodo di valutazione	Come funziona	Usi migliori	Limiti principali
Controlli basati sul codice	Usa corrispondenza esatta, espressioni regolari, validazione dello schema JSON, controlli sulle stringhe o esecuzione Python.	Output strutturati, chiamate a strumenti, validazione della sintassi e fatti deterministici.	Non gestisce formulazioni aperte, tono o sottili equivalenze semantiche.
LLM as a judge	Chiede a un modello valutatore di assegnare punteggi con una griglia, un testo di riferimento o una scelta a coppie.	Riassunti, utilità dei chatbot, tono e fedeltà di RAG alle fonti fornite.	Richiede una chiamata API aggiuntiva per elemento e presenta bias di posizione, prolissità e autopreferenza.
Revisione umana	Esperti di settore o lavoratori tramite piattaforme valutano manualmente gli output.	Creazione di set di calibrazione con giudizi di riferimento, controllo di casi limite critici e sfumature di dominio.	Lenta, costosa e difficile da eseguire continuamente a ogni modifica del prompt o del codice.

Come funziona la valutazione LLM-as-a-judge?

La valutazione LLM-as-a-judge passa il contesto del compito, l’output candidato e un prompt di valutazione strutturato a un modello valutatore, che produce un ragionamento e un punteggio o una preferenza finale. A seconda del test, la configurazione segue generalmente uno dei tre schemi descritti nell’articolo su MT-Bench e Chatbot Arena di Zheng et al. del giugno 2023 e nel framework G-Eval del marzo 2023.

1. Valutazione di una singola risposta (pointwise)

Nella valutazione di una singola risposta, il giudice esamina un prompt e una risposta del modello isolatamente e assegna un punteggio secondo una griglia. Il risultato può essere una decisione binaria di superamento o mancato superamento (per esempio emettendo solo correct o incorrect) oppure una scala da 1 a 5. Come rileva la documentazione Graders di OpenAI, i modelli di punteggio possono anche assegnare punti parziali invece di un rigido 0 o 1.

Nello studio G-Eval, Liu et al. hanno combinato il ragionamento a catena di pensiero con un paradigma di compilazione di moduli per valutare singoli output. Nei compiti di riassunto, G-Eval basato su GPT-4 ha raggiunto una correlazione di Spearman di 0.514 con i punteggi umani, superando i precedenti metodi automatici. La valutazione pointwise è ideale per il monitoraggio in produzione e i test di regressione perché ogni caso riceve un punteggio indipendente.

2. Confronto a coppie

Il confronto a coppie fornisce al giudice un prompt e due risposte candidate (Answer A e Answer B), chiedendogli di scegliere la migliore o dichiarare un pareggio. Il metodo rispecchia il confronto umano dei modelli su piattaforme come Chatbot Arena, presentata da Zheng et al. insieme a 30,000 conversazioni con preferenze umane e 3,000 voti di esperti sulle domande di MT-bench.

Il confronto a coppie è spesso più facile per un modello giudice che assegnare un numero astratto da 1 a 10; è quindi adatto ai test A/B di due versioni di un prompt o per decidere come scegliere un modello di IA per il proprio carico di lavoro. Il limite è che i confronti a coppie scalano male con decine di candidati e sono molto sensibili all’ordine di presentazione delle risposte.

3. Valutazione guidata da riferimenti

La valutazione guidata da riferimenti fornisce al giudice, oltre alla risposta candidata, una risposta di riferimento affidabile, un elenco di fatti richiesti o il documento originale. Un modello linguistico non può verificare fatti che non conosce e, come spieghiamo nell’analisi dei tassi di allucinazione dell’IA, i modelli inventano regolarmente dettagli plausibili quando valutano solo a memoria.

Fornendo al giudice la soluzione corretta o i frammenti RAG recuperati, si trasforma una verifica delle conoscenze con materiale consultabile in una prova di comprensione del testo molto più semplice. Questo approccio è fondamentale per valutare problemi matematici, enigmi di ragionamento o fedeltà ai fatti.

Quanto sono accurati i giudici LLM rispetto agli esseri umani?

I giudici LLM più capaci concordano con le preferenze umane in oltre l’80% dei casi nei compiti aperti, lo stesso livello di accordo osservato tra due annotatori umani diversi. Il dato proviene da Zheng et al. (giugno 2023, arXiv:2306.05685), che hanno confrontato GPT-4 come giudice di conversazioni MT-bench e Chatbot Arena sia con etichette controllate di esperti sia con voti umani raccolti tramite crowdsourcing.

Questo risultato spiega in gran parte l’interesse per i giudici LLM: le etichette umane sono costose e lente e un giudice che concorda con le persone quasi quanto le persone concordano tra loro può svolgere gran parte delle valutazioni di routine. L’accordo è però una media, e le medie nascondono i casi in cui il giudice fallisce.

Una correlazione complessiva elevata può nascondere gravi punti ciechi. Un giudice che concorda con gli esseri umani nell’80% delle conversazioni generali può comunque fallire sistematicamente se una risposta è formattata in modo persuasivo, posta in una posizione favorevole o richiede una verifica matematica in più passaggi.

Dove sbaglia LLM as a judge? I bias più comuni

Il bias di un giudice LLM si verifica quando un modello valutatore favorisce sistematicamente gli output in base a caratteristiche superficiali come ordine, lunghezza o stile, anziché alla correttezza. Le ricerche su diversi benchmark, riassunte nella rassegna A Survey on LLM-as-a-Judge del novembre 2024 e approfondite da Zheng et al., Wang et al. e Liu et al., indicano diversi problemi da prevenire.

Bias di posizione e manipolazione dell’ordine

Il bias di posizione è la tendenza di un giudice LLM nei confronti a coppie a favorire una posizione, spesso la prima risposta presentata, indipendentemente dalla qualità. Nell’articolo Large Language Models are not Fair Evaluators del maggio 2023, Wang et al. hanno dimostrato la gravità del difetto: manipolando l’ordine delle risposte, il modello più piccolo Vicuna-13B ha battuto ChatGPT in 66 delle 80 domande testate quando ChatGPT stesso fungeva da valutatore. Se i confronti vengono eseguiti solo nell’ordine A seguito da B, i risultati del benchmark possono invertirsi cambiando semplicemente il modello presentato per primo.

Bias di prolissità

Il bias di prolissità si verifica quando un giudice LLM assegna punteggi più alti a risposte più lunghe e apparentemente dettagliate, anche se il testo aggiuntivo è ripetitivo, superfluo o leggermente fuori tema. Zheng et al. lo includono tra i principali limiti dei giudici LLM. Poiché i modelli linguistici possono generare facilmente riempitivi cortesi ed elenchi puntati, un giudice non calibrato premia spesso una risposta dispersiva di 400 parole rispetto a una spiegazione concisa e accurata di 80 parole.

Bias di autopreferenza

Il bias di autopreferenza descrive la tendenza dei modelli linguistici a favorire output generati da sé o da modelli della stessa famiglia. Zheng et al. lo hanno identificato come limite dei giudici LLM e Liu et al. hanno segnalato una possibile preferenza dei valutatori basati su LLM per il testo generato da LLM. Se un modello valuta un confronto diretto tra sé e un concorrente, può giudicare la propria formulazione più naturale e utile.

Capacità limitata di valutare ragionamento e matematica

Un modello giudice non può valutare in modo affidabile un problema di ragionamento o matematica che non riesce a risolvere da solo. Zheng et al. indicano la capacità di ragionamento limitata come punto debole dei giudici LLM e propongono misure come fornire una risposta di riferimento. Se la risposta candidata contiene un errore di calcolo espresso con sicurezza, il giudice può essere indotto a considerare corretta una risposta sbagliata.

Prompt injection negli output non attendibili

Quando il giudice valuta testo influenzato da utenti finali o pagine web raccolte, l’output candidato può contenere istruzioni ostili che cercano di dirottare il valutatore, per esempio ordinandogli di ignorare le regole precedenti e assegnare il punteggio massimo. Se la pipeline valuta input non attendibili, consulta le difese nella guida su cos’è la prompt injection per impedire che una stringa malevola manipoli la suite di valutazione.

Bias o problema	Causa	Come mitigarlo
Bias di posizione	I giudici a coppie preferiscono una posizione specifica, come la prima risposta, a prescindere dalla qualità.	Valutare ogni coppia in entrambi gli ordini (A/B e B/A) con Balanced Position Calibration e contare solo le vittorie valide in entrambe le direzioni.
Bias di prolissità	I valutatori equiparano testi più lunghi e formattazione elaborata a una maggiore utilità.	Specificare nella griglia che la lunghezza non equivale alla qualità e confrontare output di lunghezza simile.
Bias di autopreferenza	I modelli preferiscono testi vicini alla propria distribuzione di addestramento e alle proprie abitudini stilistiche.	Usare un giudice di una famiglia diversa dal generatore o un gruppo diversificato di giudici.
Errori matematici e di ragionamento	Il giudice non sa verificare al volo una logica in più passaggi e si lascia ingannare da errori espressi con sicurezza.	Fornire una risposta di riferimento verificata, richiedere un ragionamento prima del punteggio o usare valutatori deterministici che eseguono Python.
Bias del valutatore verso lo stile LLM	I valutatori premiano troppo la formulazione LLM raffinata rispetto alla precisione fattuale concisa.	Ancorare la griglia a criteri concreti ed empirici di superamento e calibrare i punteggi su campioni etichettati da persone.

Come si configura un giudice LLM affidabile?

Per configurare un giudice LLM affidabile occorre eseguire prima i controlli deterministici, scrivere una griglia concreta che richieda il ragionamento prima del punteggio, controllare i bias di posizione e famiglia e calibrare con etichette umane. Segui questa lista passo dopo passo nella creazione della suite di valutazione.

Esegui controlli deterministici prima di chiamare un giudice LLM. Non pagare un LLM per verificare se un output è JSON valido, contiene una parola chiave richiesta o rimane sotto 280 caratteri. Usa prima valutatori basati sul codice, come corrispondenza esatta, espressioni regolari, validazione dello schema JSON e test unitari, e riserva il giudice LLM alle qualità che il codice non può misurare, come tono, utilità e fedeltà alle fonti.
Fornisci risposte di riferimento o documenti originali per verificare i fatti. Quando la correttezza dipende da fatti specifici, matematica o conoscenze interne, passa direttamente nel prompt del giudice il riferimento corretto o il contesto RAG recuperato. Se il processo richiede la verifica delle affermazioni, abbina la griglia alle tecniche della guida su come verificare le risposte dell’IA.
Scrivi una griglia concreta con scale piccole o binarie. Istruzioni vaghe come «valuta la qualità da 1 a 100» producono numeri rumorosi e incoerenti. Come raccomanda la documentazione di Anthropic, rendi la griglia specifica ed empirica: per esempio, fai emettere solo correct o incorrect, oppure usa una scala da 1 a 5 ben definita con regole esplicite di superamento per ogni livello. Specifica che risposte più lunghe non sono migliori.
Richiedi ragionamento o prove prima del punteggio finale. Sia Wang et al., con Multiple Evidence Calibration, sia le linee guida di Anthropic sottolineano l’importanza di far scrivere al modello la motivazione o attivare il ragionamento prima del verdetto. Poiché i modelli autoregressivi generano token in sequenza, emettere prima l’analisi ancora il punteggio successivo a prove specifiche nel testo.
Inverti l’ordine delle risposte in ogni confronto a coppie. Per neutralizzare il bias di posizione, applica Balanced Position Calibration: valuta (Answer A, Answer B) in una chiamata e (Answer B, Answer A) in una seconda. Assegna una vittoria solo se il giudice sceglie la stessa risposta in entrambe le posizioni; altrimenti registra un pareggio.
Separa la famiglia del giudice da quella del generatore o usa un gruppo di giudici LLM. Non lasciare mai che un modello valuti i propri output quando confronti fornitori diversi. Valuta inoltre di sostituire un singolo giudice avanzato e costoso con una giuria. Nell’articolo Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models dell’aprile 2024, Verga et al. hanno mostrato che un Panel of LLM evaluators (PoLL) composto da più modelli piccoli di famiglie distinte superava un singolo grande giudice in tre configurazioni e sei dataset, mostrava meno bias interno al modello e costava oltre sette volte meno. Poiché ogni valutazione aggiunge una chiamata API per elemento, usare modelli più piccoli o PoLL è anche un modo semplice per ridurre i costi delle API di IA.
Calibra con esempi etichettati da persone e verifica periodicamente. Prima di fidarti di un giudice automatico in produzione, crea un piccolo set di calibrazione etichettato da persone. Fai valutare manualmente al team un campione di input reali, per esempio da 50 a 100 elementi, e misura quanto spesso il giudice LLM concorda con le etichette umane. Perfeziona la griglia dove il giudice non concorda con gli esperti e ripeti periodicamente la calibrazione umana mentre le domande degli utenti cambiano.

FAQ

Qual è la differenza tra valutazione LLM pointwise e a coppie?

La valutazione pointwise giudica un singolo output isolato secondo una griglia e restituisce un risultato di superamento o un punteggio numerico come da 1 a 5. La valutazione a coppie mostra al giudice due output candidati affiancati per lo stesso prompt e chiede quale sia migliore. Pointwise è più adatta al monitoraggio continuo in produzione e ai controlli di regressione, mentre il confronto a coppie è migliore per test A/B diretti tra due prompt o modelli.

Come si corregge il bias di posizione in LLM-as-a-judge?

Esegui ogni confronto a coppie due volte invertendo l’ordine: presenta prima Model A e poi Model B, quindi Model B e poi Model A. Wang et al. (maggio 2023) chiamano questo metodo Balanced Position Calibration. Conta una vittoria solo quando il giudice sceglie la stessa risposta in entrambe le prove; le decisioni discordanti sono un pareggio.

Si dovrebbe usare lo stesso LLM per generare e giudicare le risposte?

No. Usare lo stesso modello o famiglia per generare e valutare introduce un bias di autopreferenza: il giudice favorisce output simili alla propria formulazione e distribuzione di addestramento. Per valutazioni eque, scegli un giudice di una famiglia diversa da quelle dei candidati oppure aggrega i voti di un gruppo diversificato di giudici LLM di famiglie distinte.

Un giudice LLM può sostituire completamente la valutazione umana?

Un giudice LLM non può sostituire completamente la valutazione umana perché i giudici automatici hanno bisogno di etichette umane di riferimento per calibrare le griglie e individuare problemi di dominio sottili. Sebbene Zheng et al. (giugno 2023) abbiano rilevato che giudici capaci come GPT-4 concordano con le preferenze umane per oltre l’80%, servono ancora persone per etichettare i set iniziali di calibrazione, controllare i casi limite e verificare ragionamenti di dominio ad alto rischio.

Come si riduce il costo di LLM-as-a-judge su larga scala?

Si possono ridurre i costi eseguendo prima controlli deterministici gratuiti sul codice, così che il giudice LLM valuti solo gli output che rispettano le regole di base su sintassi e lunghezza. Inoltre, lo studio PoLL di Verga et al. dell’aprile 2024 ha rilevato che un gruppo di modelli più piccoli di famiglie distinte costava oltre sette volte meno di un singolo grande giudice, ottenendo maggiore accuratezza.

LLM come giudice (LLM-as-a-judge): come l'IA valuta l'IA e dove sbaglia

Che cos’è LLM as a judge e perché i team lo usano?

Come funziona la valutazione LLM-as-a-judge?