LLM-as-a-judge: LLM als beoordelaar uitgelegd

LLM as a judge is een evaluatiemethode waarbij een taalmodel de uitvoer van een ander model of een andere AI-toepassing beoordeelt aan de hand van specifieke beoordelingscriteria, een referentieantwoord of een concurrerend antwoord. Teams gebruiken LLM-as-a-judge om open taken te beoordelen, zoals chatbotantwoorden, RAG-antwoorden en samenvattingen, waarbij codecontroles op exacte overeenkomst tekortschieten.

Bij het bouwen van een toepassing op taalmodellen wordt testen al snel het grootste knelpunt. Unittests kunnen controleren of een JSON-payload kan worden ingelezen en klassieke taalmetriek zoals BLEU of ROUGE telt overlappende woorden. Geen van beide vertelt echter of een samenvatting echt zinvol is of een klantenservicebot beleefd heeft geantwoord. Zoals de G-Eval-publicatie van Liu et al. uit maart 2023 laat zien, hebben referentiegebaseerde meetwaarden zoals BLEU en ROUGE bij creatieve en open taken een relatief lage correlatie met menselijk oordeel.

Menselijke beoordeling is de gouden standaard, maar als ontwikkelaars of vakexperts bij elke aanpassing van een systeemprompt 500 uitvoerresultaten moeten lezen, vertraagt dat de iteratie sterk. LLM-as-a-judge overbrugt de kloof tussen starre controles van tekenreeksen en trage menselijke beoordeling. Automatische beoordelaars hebben echter eigen valkuilen: ze kunnen het eerste antwoord bevoordelen of langdradige opvulling belonen. Wie begrijpt hoe deze beoordelingsopstellingen werken en waar ze falen, kan het verschil maken tussen een evaluatiepipeline die regressies ontdekt en een die vals vertrouwen geeft.

Wat is LLM as a judge en waarom gebruiken teams het?

LLM as a judge is een automatische evaluatietechniek waarbij een taalmodel via een prompt de opdracht krijgt om uitvoer van een ander model of systeem te scoren, rangschikken of controleren. In plaats van op exacte tekenreeksovereenkomst te vertrouwen, leest het beoordelingsmodel de invoerprompt, de gegenereerde uitvoer en beoordelingsinstructies om een gestructureerde beoordeling te maken.

Softwareteams gebruiken LLM-as-a-judge omdat moderne AI-toepassingen op duizenden manieren geldige antwoorden kunnen produceren. Als je een systeem voor retrieval-augmented generation bouwt (zie onze gids over wat RAG is en hoe het werkt), kunnen twee samenvattingen van hetzelfde brondocument weinig exacte formuleringen delen en toch allebei volledig juist zijn. Omgekeerd kan een antwoord 90% van de woorden van een referentietekst bevatten, maar door één omgekeerde ontkenning onjuist zijn.

Zowel de Grader-documentatie van OpenAI als de evaluatiegids van Anthropic noemt modelgebaseerde beoordeling naast deterministische codecontroles en menselijke beoordeling als belangrijke pijler van testen. In de praktijk gebruiken teams drie hoofdmethoden om AI-uitvoer te evalueren.

Evaluatiemethode	Werking	Geschikt voor	Belangrijkste beperkingen
Codecontroles	Gebruikt exacte overeenkomst, reguliere expressies, JSON-schemavalidatie, tekenreekscontroles of Python-uitvoering.	Gestructureerde uitvoer, toolaanroepen, syntaxisvalidatie en deterministische feiten.	Schiet tekort bij open formuleringen, toon en genuanceerde betekenisovereenkomst.
LLM as a judge	Vraagt een beoordelingsmodel via een prompt om uitvoer te scoren met criteria, referentietekst of een paarsgewijze keuze.	Samenvattingen, behulpzaamheid van chatbots, toon en trouw van RAG aan verstrekte bronnen.	Kost een extra API-aanroep per item en is gevoelig voor positie-, breedsprakigheids- en zelfvoorkeursbias.
Menselijke beoordeling	Vakexperts of crowdworkers beoordelen uitvoer handmatig.	Kalibratiesets met referentieoordelen opstellen, risicovolle randgevallen controleren en subtiele vakinhoudelijke nuances beoordelen.	Traag, duur en moeilijk continu uit te voeren bij elke prompt- of codewijziging.

Hoe werkt LLM-as-a-judge-evaluatie?

Bij LLM-as-a-judge worden de taakcontext, de kandidaatuitvoer en een gestructureerde beoordelingsprompt aan een evaluatiemodel gegeven. Dat geeft vervolgens een onderbouwing en een eindscore of voorkeur. Afhankelijk van de test volgt de opzet meestal een van drie patronen uit de publicatie over MT-Bench en Chatbot Arena van Zheng et al. van juni 2023 en het G-Eval-framework van maart 2023.

1. Eén antwoord beoordelen (pointwise)

Bij beoordeling van één antwoord bekijkt de beoordelaar één prompt en één modelantwoord afzonderlijk en scoort die aan de hand van criteria. De score kan een binaire beslissing zijn over slagen of zakken (bijvoorbeeld alleen correct of incorrect) of een schaal van 1 tot 5. Zoals de Grader-documentatie van OpenAI vermeldt, kunnen scoremodellen ook deelpunten geven in plaats van strikt 0 of 1.

In de G-Eval-studie combineerden Liu et al. redeneren met een gedachteketen en een formulieraanpak om afzonderlijke uitvoer te beoordelen. Bij samenvattingstaken bereikte G-Eval op basis van GPT-4 een Spearman-correlatie van 0.514 met menselijke scores en overtrof daarmee eerdere automatische evaluatiemethoden. Pointwise-beoordeling is geschikt voor productiemonitoring en regressietests, omdat elk testgeval een zelfstandige score krijgt.

2. Paarsgewijze vergelijking

Bij paarsgewijze vergelijking krijgt de beoordelaar één prompt en twee kandidaatantwoorden (Answer A en Answer B) en kiest het betere antwoord of verklaart een gelijkspel. Dit lijkt op de manier waarop mensen modellen vergelijken op platforms zoals Chatbot Arena, dat Zheng et al. introduceerden samen met 30,000 gesprekken met menselijke voorkeuren en 3,000 stemmen van experts over MT-bench-vragen.

Paarsgewijs vergelijken is voor een beoordelingsmodel vaak eenvoudiger dan een abstract getal van 1 tot 10 toekennen. Het is daarom geschikt voor A/B-tests van twee promptversies of om te bepalen hoe je een AI-model kiest voor je werk. Het nadeel is dat paarsgewijze vergelijkingen slecht schalen bij tientallen kandidaten en sterk gevoelig zijn voor de volgorde van de antwoorden.

3. Beoordeling met een referentie

Bij referentiegestuurde beoordeling krijgt de beoordelaar naast het kandidaatantwoord een referentieantwoord als gouden standaard, een lijst vereiste feiten of het brondocument. Een taalmodel kan onbekende feiten niet verifiëren en, zoals we uitleggen in ons artikel over AI-hallucinatiepercentages, verzinnen modellen regelmatig aannemelijk klinkende details wanneer ze alleen uit het geheugen beoordelen.

Door de beoordelaar de juiste oplossing of opgehaalde RAG-fragmenten te geven, verander je een kennistoets met toegestane bronnen in een veel eenvoudigere toets voor begrijpend lezen. Deze aanpak is cruciaal bij het beoordelen van wiskundeopgaven, redeneerpuzzels of feitelijke getrouwheid.

Hoe nauwkeurig zijn LLM-beoordelaars vergeleken met mensen?

Sterke LLM-beoordelaars komen bij open taken voor meer dan 80% overeen met menselijke voorkeuren. Dat is hetzelfde niveau van overeenstemming als tussen twee verschillende menselijke annotatoren. Die benchmark komt van Zheng et al. (juni 2023, arXiv:2306.05685), die GPT-4 als beoordelaar van gesprekken uit MT-bench en Chatbot Arena vergeleken met zowel gecontroleerde expertlabels als menselijke stemmen via crowdsourcing.

Dat resultaat maakt LLM-beoordelaars aantrekkelijk: menselijke labels kosten veel tijd en geld, en een beoordelaar die ongeveer even vaak met mensen overeenkomt als mensen onderling kan een groot deel van de routinebeoordeling overnemen. Overeenstemming is echter een gemiddelde en gemiddelden verhullen waar de beoordelaar faalt.

Een hoge totale correlatie kan scherpe blinde vlekken verbergen. Een beoordelaar die bij algemene gesprekken in 80% van de gevallen met mensen overeenkomt, kan nog steeds systematisch falen wanneer een antwoord overtuigend is opgemaakt, op een gunstige plaats staat of wiskundige verificatie in meerdere stappen vereist.

Waar gaat LLM as a judge mis? Veelvoorkomende bias uitgelegd

Bias bij een LLM-beoordelaar ontstaat wanneer een evaluatiemodel uitvoer systematisch bevoordeelt op basis van oppervlakkige kenmerken zoals antwoordvolgorde, lengte of schrijfstijl, in plaats van daadwerkelijke juistheid. Onderzoek naar meerdere evaluatiebenchmarks, samengevat in de overzichtspublicatie A Survey on LLM-as-a-Judge van november 2024 en uitgewerkt door Zheng et al., Wang et al. en Liu et al., wijst op verschillende valkuilen waartegen je je moet beschermen.

Positiebias en manipulatie van de volgorde

Positiebias is de neiging van een LLM-beoordelaar om bij paarsgewijze vergelijkingen één positie te bevoordelen, vaak het eerst getoonde antwoord, ongeacht de kwaliteit. In de publicatie Large Language Models are not Fair Evaluators van mei 2023 toonden Wang et al. hoe ernstig dit gebrek is: door de antwoordvolgorde te veranderen versloeg het kleinere model Vicuna-13B ChatGPT bij 66 van de 80 geteste vragen, terwijl ChatGPT zelf beoordeelde. Als je paren alleen in de volgorde A gevolgd door B vergelijkt, kunnen benchmarkresultaten omkeren door alleen te veranderen welk model eerst komt.

Breedsprakigheidsbias

Breedsprakigheidsbias ontstaat wanneer een LLM-beoordelaar langere, gedetailleerder ogende antwoorden hoger scoort, ook als de extra tekst herhaling, opvulling of iets buiten het onderwerp bevat. Zheng et al. noemen dit een van de belangrijkste beperkingen van LLM-beoordelaars. Omdat taalmodellen gemakkelijk beleefde opvulling en opsommingen maken, beloont een niet-gekalibreerde beoordelaar vaak een langdradig antwoord van 400 woorden boven een bondige, juiste uitleg van 80 woorden.

Zelfvoorkeursbias

Zelfvoorkeursbias beschrijft de neiging van taalmodellen om uitvoer van zichzelf of modellen uit dezelfde familie te bevoordelen. Zheng et al. noemden dit een beperking van LLM-beoordelaars en Liu et al. wezen op mogelijke voorkeur van LLM-evaluatoren voor door LLM gegenereerde tekst. Als een model een directe vergelijking tussen zichzelf en een concurrent beoordeelt, kan het zijn eigen formulering natuurlijker en behulpzamer vinden.

Beperkt vermogen om redeneringen en wiskunde te beoordelen

Een beoordelingsmodel kan een redeneer- of wiskundeprobleem dat het zelf niet kan oplossen niet betrouwbaar beoordelen. Zheng et al. noemen beperkt redeneervermogen een zwakte van LLM-beoordelaars en stellen maatregelen voor, zoals een referentieantwoord geven. Als het kandidaatantwoord een zelfverzekerd gepresenteerde rekenfout bevat, kan de beoordelaar worden misleid en het verkeerde antwoord goedkeuren.

Promptinjectie in niet-vertrouwde uitvoer

Wanneer een beoordelaar tekst evalueert die is beïnvloed door eindgebruikers of verzamelde webpagina’s, kan de kandidaatuitvoer zelf vijandige instructies bevatten die de beoordelaar kapen, bijvoorbeeld tekst die de evaluator opdraagt eerdere regels te negeren en de maximale score te geven. Als je pipeline niet-vertrouwde invoer beoordeelt, bekijk dan de verdediging in onze gids over promptinjectie, zodat een kwaadaardige tekenreeks je evaluatiesuite niet kan manipuleren.

Bias of probleem	Oorzaak	Maatregel
Positiebias	Paarsgewijze beoordelaars geven ongeacht kwaliteit de voorkeur aan een specifieke positie, zoals het eerste antwoord.	Beoordeel elk paar in beide volgorden (A/B en B/A) met Balanced Position Calibration en tel alleen overwinningen die in beide richtingen standhouden.
Breedsprakigheidsbias	Evaluatoren stellen langere tekst en uitgebreide opmaak gelijk aan meer behulpzaamheid.	Vermeld expliciet in de criteria dat lengte geen kwaliteit betekent en vergelijk uitvoer van vergelijkbare lengte.
Zelfvoorkeursbias	Modellen geven de voorkeur aan tekst die past bij hun eigen trainingsverdeling en stijlgewoonten.	Gebruik een beoordelaar uit een andere modelfamilie dan de generator of een divers panel van beoordelaars.
Wiskunde- en redeneerfouten	De beoordelaar kan logica met meerdere stappen niet direct controleren en wordt misleid door zelfverzekerde fouten.	Geef een gecontroleerd referentieantwoord, vereis een redenering vóór de score of gebruik deterministische beoordelaars die Python uitvoeren.
Voorkeur van de beoordelaar voor LLM-stijl	Evaluatoren belonen verzorgde LLM-formuleringen te veel ten opzichte van bondige feitelijke juistheid.	Baseer de criteria op concrete, empirische slaag- en zakcriteria en kalibreer scores met door mensen gelabelde voorbeelden.

Hoe stel je een betrouwbare LLM-beoordelaar in?

Voor een betrouwbare LLM-beoordelaar moet je eerst deterministische controles uitvoeren, concrete criteria schrijven die redeneren vóór het scoren vereisen, positie- en familiebias beheersen en kalibreren met menselijke labels. Volg deze checklist bij het bouwen van je evaluatiesuite.

Voer deterministische controles uit voordat je een LLM-beoordelaar aanroept. Betaal geen LLM om te controleren of uitvoer geldige JSON is, een vereist trefwoord bevat of onder 280 tekens blijft. Gebruik eerst codecontroles zoals exacte overeenkomst, reguliere expressies, JSON-schemavalidatie en unittests. Reserveer de LLM-beoordelaar voor kwaliteiten die code niet kan meten, zoals toon, behulpzaamheid en trouw aan bronnen.
Geef referentieantwoorden of brondocumenten voor feitencontroles. Als juistheid afhangt van specifieke feiten, wiskunde of interne kennis, geef de juiste referentie of de opgehaalde RAG-context dan rechtstreeks mee in de beoordelingsprompt. Als je werkwijze beweringen moet verifiëren, combineer de criteria dan met de technieken in onze gids over AI-antwoorden controleren.
Schrijf concrete criteria met kleine of binaire schalen. Vage instructies zoals ‘beoordeel de kwaliteit van 1 tot 100’ leveren ruis en inconsistente cijfers op. Maak de criteria zoals aanbevolen in de evaluatiedocumentatie van Anthropic specifiek en empirisch: laat bijvoorbeeld alleen correct of incorrect uitvoeren, of gebruik een duidelijk gedefinieerde schaal van 1 tot 5 met expliciete slaag- en zakregels voor elk niveau. Vertel de beoordelaar uitdrukkelijk dat langere antwoorden niet beter zijn.
Vereis een redenering of bewijs vóór de eindscore. Zowel Wang et al. via Multiple Evidence Calibration als de beoordelingsrichtlijnen van Anthropic benadrukken dat het model zijn onderbouwing moet uitschrijven of denken moet inschakelen voordat het een eindoordeel geeft. Omdat autoregressieve modellen tokens achtereenvolgens genereren, verankert eerst de analyse uitvoeren de daaropvolgende score in concreet bewijs uit de tekst.
Wissel de antwoordvolgorde bij elke paarsgewijze evaluatie. Pas Balanced Position Calibration toe om positiebias tegen te gaan: evalueer (Answer A, Answer B) in één aanroep en (Answer B, Answer A) in een tweede. Ken alleen een overwinning toe als de beoordelaar in beide posities hetzelfde antwoord kiest; noteer anders een gelijkspel.
Scheid de familie van de beoordelaar van die van de generator, of gebruik een panel van LLM-beoordelaars. Laat een model nooit zijn eigen uitvoer beoordelen bij een vergelijking tussen modelaanbieders. Overweeg bovendien één dure geavanceerde beoordelaar te vervangen door een jury. In de publicatie Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models van april 2024 toonden Verga et al. dat een Panel of LLM evaluators (PoLL) van meerdere kleinere modellen uit verschillende families één grote beoordelaar overtrof in drie beoordelingsopstellingen en zes datasets, minder bias binnen het model vertoonde en meer dan zeven keer goedkoper was. Omdat elke beoordeling een extra API-aanroep per testitem toevoegt, zijn kleinere modellen of PoLL ook een eenvoudige manier om AI-API-kosten te verlagen.
Kalibreer met door mensen gelabelde voorbeelden en controleer regelmatig opnieuw. Maak een kleine, door mensen gelabelde kalibratieset voordat je een automatische beoordelaar in productie vertrouwt. Laat je team een steekproef van echte invoer, bijvoorbeeld 50 tot 100 items, handmatig beoordelen en meet hoe vaak de LLM-beoordelaar overeenkomt met de menselijke labels. Verfijn de criteria waar de beoordelaar afwijkt van vakexperts en herhaal de menselijke kalibratie regelmatig wanneer gebruikersvragen veranderen.

FAQ

Wat is het verschil tussen pointwise en paarsgewijze LLM-evaluatie?

Pointwise-evaluatie beoordeelt één modeluitvoer afzonderlijk aan de hand van criteria en geeft een slaag- of zakresultaat of een numerieke score zoals 1 tot 5. Paarsgewijze evaluatie toont de beoordelaar twee kandidaatuitvoeren naast elkaar voor dezelfde prompt en vraagt welke beter is. Pointwise werkt het best voor doorlopende productiemonitoring en regressiecontroles; paarsgewijs is beter voor directe A/B-tests tussen twee prompts of modellen.

Hoe verhelp je positiebias in LLM-as-a-judge?

Voer elke paarsgewijze vergelijking tweemaal uit met omgekeerde kandidaatvolgorde: eerst Model A en dan Model B, daarna Model B en dan Model A. Wang et al. (mei 2023) noemen dit Balanced Position Calibration. Tel alleen een overwinning wanneer de beoordelaar in beide rondes hetzelfde antwoord kiest; behandel verdeelde beslissingen als gelijkspel.

Moet je hetzelfde LLM gebruiken om antwoorden te genereren en beoordelen?

Nee. Hetzelfde model of dezelfde modelfamilie gebruiken voor generatie en evaluatie introduceert zelfvoorkeursbias: de beoordelaar bevoordeelt uitvoer die past bij de eigen formulering en trainingsverdeling. Kies voor eerlijke evaluaties een beoordelaar uit een andere modelfamilie dan de geteste kandidaten, of combineer stemmen van een divers panel LLM-beoordelaars uit verschillende families.

Kan een LLM-beoordelaar menselijke evaluatie volledig vervangen?

Een LLM-beoordelaar kan menselijke evaluatie niet volledig vervangen, omdat automatische beoordelaars menselijke referentielabels nodig hebben om hun criteria te kalibreren en subtiele vakinhoudelijke fouten te ontdekken. Hoewel Zheng et al. (juni 2023) ontdekten dat sterke beoordelaars zoals GPT-4 voor meer dan 80% overeenkomen met menselijke voorkeuren, blijven mensen nodig om initiële kalibratiesets te labelen, randgevallen te controleren en vakinhoudelijke redeneringen met grote gevolgen te verifiëren.

Hoe verlaag je de kosten van LLM-as-a-judge op grote schaal?

Voer eerst gratis deterministische codecontroles uit, zodat de LLM-beoordelaar alleen uitvoer behandelt die aan basale syntaxis- en lengteregels voldoet. De PoLL-studie van Verga et al. uit april 2024 vond bovendien dat een panel van kleinere modellen uit verschillende families meer dan zeven keer goedkoper was dan één grote beoordelaar, terwijl het nauwkeuriger was.

LLM-as-a-judge uitgelegd: hoe AI AI beoordeelt en waar het misgaat

Wat is LLM as a judge en waarom gebruiken teams het?