LLM-as-a-judge: LLM als Bewerter erklärt

LLM as a judge ist eine Bewertungsmethode, bei der ein Sprachmodell die Ausgaben eines anderen Modells oder einer KI-Anwendung anhand eines konkreten Bewertungsrasters, einer Referenzantwort oder einer konkurrierenden Antwort beurteilt. Teams nutzen LLM-as-a-judge zur Bewertung offener Aufgaben wie Chatbot-Antworten, RAG-Antworten und Zusammenfassungen, bei denen Codeprüfungen auf exakte Übereinstimmung versagen.

Wer eine Anwendung auf Sprachmodellen aufbaut, stellt schnell fest, dass Tests zum größten Engpass werden. Unit-Tests können prüfen, ob sich eine JSON-Nutzlast einlesen lässt, und klassische Metriken für natürliche Sprache wie BLEU oder ROUGE zählen übereinstimmende Wörter. Keiner dieser Ansätze sagt jedoch, ob eine Zusammenfassung tatsächlich sinnvoll ist oder ein Kundendienst-Bot höflich geantwortet hat. Wie die G-Eval-Arbeit von Liu et al. vom März 2023 zeigt, korrelieren referenzbasierte Metriken wie BLEU und ROUGE bei kreativen und offenen Aufgaben relativ wenig mit menschlichen Urteilen.

Menschliche Prüfung gilt als Goldstandard. Doch wenn Entwickler oder Fachexperten bei jeder Anpassung eines Systemprompts 500 Ausgaben lesen müssen, verlangsamt das die Weiterentwicklung erheblich. LLM-as-a-judge überbrückt die Lücke zwischen unflexiblen Zeichenkettenprüfungen und langsamer menschlicher Bewertung. Automatische Bewerter bringen allerdings eigene Fehlerquellen mit: Sie bevorzugen etwa die zuerst angezeigte Antwort oder belohnen weitschweifige Fülltexte. Wer versteht, wie diese Bewertungsverfahren funktionieren und wo sie scheitern, kann eine Pipeline bauen, die Regressionen erkennt, statt falsche Sicherheit zu vermitteln.

Was ist LLM as a judge und warum nutzen Teams es?

LLM as a judge ist ein automatisiertes Bewertungsverfahren, bei dem ein Sprachmodell per Prompt angewiesen wird, die Ausgaben eines anderen Modells oder Systems zu benoten, zu ordnen oder zu überprüfen. Statt auf exakte Zeichenkettenübereinstimmung zu setzen, liest das Bewertungsmodell den Eingabeprompt, die erzeugte Ausgabe und Bewertungsanweisungen und erstellt daraus eine strukturierte Beurteilung.

Softwareteams nutzen LLM-as-a-judge, weil moderne KI-Anwendungen auf Tausende verschiedene Arten gültige Antworten erzeugen können. Beim Aufbau eines Systems mit Retrieval-Augmented Generation (siehe unseren Leitfaden zu RAG und seiner Funktionsweise) können zwei Zusammenfassungen desselben Quelldokuments kaum identische Formulierungen enthalten und dennoch beide völlig korrekt sein. Umgekehrt kann eine Antwort 90% der Wörter eines Referenztexts enthalten und durch eine einzige veränderte Verneinung falsch werden.

Sowohl die Grader-Dokumentation von OpenAI als auch der Bewertungsleitfaden von Anthropic führen modellbasierte Bewertung neben deterministischen Codeprüfungen und menschlicher Prüfung als wesentlichen Bestandteil von Tests auf. In der Praxis setzen Teams auf drei Hauptmethoden zur Bewertung von KI-Ausgaben.

Bewertungsmethode	Funktionsweise	Am besten geeignet für	Wichtigste Einschränkungen
Codebasierte Prüfungen	Nutzt exakte Übereinstimmung, reguläre Ausdrücke, JSON-Schemavalidierung, Zeichenkettenprüfungen oder Python-Ausführung.	Strukturierte Ausgaben, Tool-Aufrufe, Syntaxvalidierung und deterministische Fakten.	Scheitert bei offenen Formulierungen, Tonfall oder feinen Bedeutungsäquivalenzen.
LLM as a judge	Fordert ein Bewertungsmodell per Prompt auf, Ausgaben anhand eines Rasters, Referenztexts oder paarweisen Vergleichs zu bewerten.	Zusammenfassungen, Hilfsbereitschaft von Chatbots, Tonfall und Quellentreue von RAG.	Verursacht einen zusätzlichen API-Aufruf pro Element und unterliegt Positions-, Ausführlichkeits- und Selbstbevorzugungsverzerrungen.
Menschliche Prüfung	Fachexperten oder Crowdworker bewerten Ausgaben manuell.	Erstellung von Kalibrierungsdatensätzen mit Referenzurteilen, Prüfung kritischer Grenzfälle und feiner fachlicher Nuancen.	Langsam, teuer und schwer bei jeder Prompt- oder Codeänderung kontinuierlich durchzuführen.

Wie funktioniert die Bewertung mit LLM-as-a-judge?

Bei LLM-as-a-judge werden Aufgabenkontext, Kandidatenausgabe und ein strukturierter Bewertungsprompt an ein Bewertungsmodell übergeben, das eine Begründung und eine abschließende Bewertung oder Präferenz ausgibt. Je nach Test folgt die Bewertung meist einem von drei Mustern aus der Arbeit zu MT-Bench und Chatbot Arena von Zheng et al. vom Juni 2023 und dem G-Eval-Framework vom März 2023.

1. Bewertung einzelner Antworten (Pointwise)

Bei der Einzelbewertung betrachtet der Bewerter einen Prompt und eine Modellantwort isoliert und bewertet sie anhand eines Rasters. Das Ergebnis kann eine binäre Entscheidung über Bestehen oder Nichtbestehen sein (etwa nur correct oder incorrect) oder eine Punkteskala von 1 bis 5. Wie die Grader-Dokumentation von OpenAI anmerkt, können Bewertungsmodelle auch Teilpunkte statt strikt 0 oder 1 vergeben.

In der G-Eval-Studie kombinierten Liu et al. schrittweises Schlussfolgern mit einem Formularansatz, um einzelne Ausgaben zu bewerten. Bei Textzusammenfassungen erreichte das GPT-4-basierte G-Eval eine Spearman-Korrelation von 0.514 mit menschlichen Bewertungen und übertraf damit frühere automatische Bewertungsmethoden. Die Einzelbewertung eignet sich für Produktionsüberwachung und Regressionstests, weil jeder Testfall eine eigenständige Bewertung erhält.

2. Paarweiser Vergleich

Beim paarweisen Vergleich erhält der Bewerter einen Prompt und zwei mögliche Antworten (Answer A und Answer B) und soll die bessere Antwort wählen oder ein Unentschieden erklären. Dies entspricht dem menschlichen Modellvergleich auf Plattformen wie Chatbot Arena, das Zheng et al. zusammen mit 30,000 Gesprächen mit menschlichen Präferenzen und 3,000 Expertenstimmen zu MT-bench-Fragen vorstellten.

Ein paarweiser Vergleich fällt einem Bewertungsmodell oft leichter als die Vergabe einer abstrakten Zahl von 1 bis 10. Er eignet sich daher gut für A/B-Tests zweier Promptversionen oder die Entscheidung, wie man ein KI-Modell auswählt. Der Nachteil: Paarvergleiche skalieren bei Dutzenden Kandidaten schlecht und sind sehr anfällig für die Reihenfolge der Antworten.

3. Referenzgestützte Bewertung

Bei der referenzgestützten Bewertung erhält der Bewerter neben der Kandidatenantwort eine Referenzantwort als Goldstandard, eine Liste erforderlicher Fakten oder das Quelldokument. Ein Sprachmodell kann ihm unbekannte Fakten nicht überprüfen. Wie unser Beitrag zu KI-Halluzinationsraten erklärt, erfinden Modelle regelmäßig plausibel klingende Details, wenn sie allein aus dem Gedächtnis bewerten.

Mit der korrekten Referenzlösung oder abgerufenen RAG-Abschnitten wird aus einem Wissenstest mit erlaubten Hilfsmitteln eine deutlich einfachere Leseverständnisprüfung. Dieser Ansatz ist bei der Bewertung von Mathematikaufgaben, Logikrätseln oder faktischer Treue entscheidend.

Wie genau sind LLM-Bewerter im Vergleich zu Menschen?

Leistungsfähige LLM-Bewerter stimmen bei offenen Aufgaben zu mehr als 80% mit menschlichen Präferenzen überein. Das entspricht der Übereinstimmung zwischen zwei menschlichen Annotatoren. Dieser Vergleichswert stammt von Zheng et al. (Juni 2023, arXiv:2306.05685), die GPT-4 als Bewerter für Gespräche aus MT-bench und Chatbot Arena sowohl mit kontrollierten Expertenurteilen als auch mit menschlichen Crowd-Abstimmungen verglichen.

Das ist ein wichtiger Grund für die Attraktivität von LLM-Bewertern: Menschliche Bewertungen sind teuer und langsam. Ein Bewerter, der Menschen etwa so oft zustimmt wie Menschen einander, kann einen großen Teil der Routinebewertung übernehmen. Übereinstimmung ist jedoch ein Durchschnittswert, der Fehler verdeckt.

Eine hohe Gesamtkorrelation kann ausgeprägte blinde Flecken verbergen. Ein Bewerter, der bei allgemeinen Gesprächen in 80% der Fälle mit Menschen übereinstimmt, kann dennoch systematisch scheitern, wenn eine Antwort überzeugend formatiert ist, an einer günstigen Position steht oder eine mehrstufige mathematische Prüfung erfordert.

Wo scheitert LLM as a judge? Häufige Verzerrungen erklärt

Eine Verzerrung bei LLM-Bewertern liegt vor, wenn ein Bewertungsmodell Ausgaben systematisch aufgrund oberflächlicher Merkmale wie Reihenfolge, Länge oder Schreibstil statt tatsächlicher Korrektheit bevorzugt. Forschung zu mehreren Bewertungsbenchmarks, zusammengefasst in der Übersichtsarbeit A Survey on LLM-as-a-Judge vom November 2024 und ausführlich behandelt von Zheng et al., Wang et al. und Liu et al., zeigt mehrere Fehlerquellen, gegen die man sich schützen sollte.

Positionsverzerrung und Manipulation der Reihenfolge

Positionsverzerrung bezeichnet die Tendenz eines LLM-Bewerters, bei Paarvergleichen unabhängig von der Qualität einen Platz zu bevorzugen, häufig die zuerst präsentierte Antwort. In der Arbeit Large Language Models are not Fair Evaluators vom Mai 2023 zeigten Wang et al., wie gravierend dieser Fehler ist: Durch Änderung der Antwortreihenfolge schlug das kleinere Modell Vicuna-13B ChatGPT bei 66 von 80 getesteten Anfragen, als ChatGPT selbst bewertete. Werden Paarvergleiche nur in der Reihenfolge A vor B durchgeführt, können sich Benchmarkergebnisse allein durch den Wechsel des zuerst gezeigten Modells umkehren.

Ausführlichkeitsverzerrung

Ausführlichkeitsverzerrung entsteht, wenn ein LLM-Bewerter längere, detaillierter wirkende Antworten höher bewertet, obwohl der zusätzliche Text Wiederholungen, Füllmaterial oder leichte Abweichungen vom Thema enthält. Zheng et al. zählen sie zu den wichtigsten Einschränkungen von LLM-Bewertern. Da Sprachmodelle leicht höfliche Fülltexte und Aufzählungen erzeugen, bevorzugt ein unkalibrierter Bewerter oft eine ausschweifende Antwort mit 400 Wörtern gegenüber einer prägnanten, korrekten Erklärung mit 80 Wörtern.

Selbstbevorzugung

Selbstbevorzugung beschreibt die Tendenz von Sprachmodellen, eigene Ausgaben oder Ausgaben von Modellen derselben Familie zu bevorzugen. Zheng et al. nannten dies eine Einschränkung von LLM-Bewertern; Liu et al. wiesen auf eine mögliche Bevorzugung von LLM-generiertem Text durch LLM-basierte Bewerter hin. Bewertet ein Modell einen direkten Vergleich zwischen sich und einem Konkurrenten, kann es die eigene Ausdrucksweise als natürlicher und hilfreicher einstufen.

Begrenzte Fähigkeit zur Bewertung von Logik und Mathematik

Ein Bewertungsmodell kann eine Logik- oder Mathematikaufgabe nicht zuverlässig bewerten, wenn es sie selbst nicht lösen kann. Zheng et al. nennen begrenztes Schlussfolgern als Schwäche von LLM-Bewertern und schlagen Gegenmaßnahmen vor, etwa eine Referenzantwort. Enthält die Kandidatenantwort einen selbstsicher wirkenden Rechenfehler, kann der Bewerter die falsche Antwort als richtig markieren.

Prompt Injection in nicht vertrauenswürdigen Ausgaben

Bewertet der Bewerter Texte, die von Endnutzern oder ausgelesenen Webseiten beeinflusst sind, kann die Kandidatenausgabe selbst feindliche Anweisungen enthalten, die den Bewerter übernehmen sollen, etwa vorherige Regeln zu ignorieren und die Höchstpunktzahl auszugeben. Wenn Ihre Pipeline nicht vertrauenswürdige Eingaben bewertet, prüfen Sie die Schutzmaßnahmen in unserem Leitfaden zu Prompt Injection, damit eine bösartige Zeichenkette Ihre Testsuite nicht manipuliert.

Verzerrung oder Fehlerquelle	Ursache	Gegenmaßnahme
Positionsverzerrung	Paarweise Bewerter bevorzugen unabhängig von der Qualität einen bestimmten Platz, etwa die erste Antwort.	Jedes Paar mit Balanced Position Calibration in beiden Reihenfolgen (A/B und B/A) bewerten und nur Siege zählen, die in beiden Richtungen bestehen.
Ausführlichkeitsverzerrung	Bewerter setzen längeren Text und aufwendige Formatierung mit größerer Hilfsbereitschaft gleich.	Im Raster ausdrücklich festhalten, dass Länge keine Qualität bedeutet, und ähnlich lange Ausgaben vergleichen.
Selbstbevorzugung	Modelle bevorzugen Text, der ihrer Trainingsverteilung und ihrem Stil entspricht.	Einen Bewerter aus einer anderen Modellfamilie als dem Generator oder ein vielfältiges Bewertergremium nutzen.
Mathematik- und Logikfehler	Dem Bewerter fehlt die Fähigkeit, mehrstufige Logik spontan zu prüfen, und er lässt sich von selbstsicheren Fehlern täuschen.	Eine geprüfte Referenzantwort liefern, eine Begründung vor der Bewertung verlangen oder deterministische Python-Ausführung verwenden.
Bevorzugung des LLM-Stils	Bewerter belohnen geschliffene LLM-Formulierungen stärker als knappe faktische Genauigkeit.	Das Raster an konkreten, empirischen Bestehensregeln ausrichten und Bewertungen anhand menschlich annotierter Beispiele kalibrieren.

Wie richtet man einen zuverlässigen LLM-Bewerter ein?

Für einen zuverlässigen LLM-Bewerter müssen zunächst deterministische Prüfungen erfolgen, ein konkretes Raster mit Begründung vor der Bewertung erstellt, Positions- und Familienverzerrungen kontrolliert und anhand menschlicher Urteile kalibriert werden. Befolgen Sie beim Aufbau Ihrer Testsuite diese Checkliste.

Deterministische Prüfungen vor dem LLM-Bewerter ausführen. Bezahlen Sie kein LLM dafür, gültiges JSON, ein erforderliches Schlüsselwort oder die Grenze von 280 Zeichen zu prüfen. Nutzen Sie zuerst codebasierte Prüfer für exakte Übereinstimmung, reguläre Ausdrücke, JSON-Schemata und Unit-Tests. Setzen Sie den LLM-Bewerter nur für Eigenschaften ein, die Code nicht messen kann, etwa Tonfall, Hilfsbereitschaft und Quellentreue.
Referenzantworten oder Quelldokumente für Faktenprüfungen bereitstellen. Hängt Korrektheit von bestimmten Fakten, Mathematik oder internem Wissen ab, geben Sie die korrekte Referenz oder den abgerufenen RAG-Kontext direkt in den Bewertungsprompt. Wenn Ihr Workflow Aussagen überprüfen muss, ergänzen Sie das Raster um die Methoden aus unserem Leitfaden zum Faktencheck von KI-Antworten.
Ein konkretes Raster mit kleinen oder binären Skalen schreiben. Vage Anweisungen wie „Bewerte die Qualität von 1 bis 100“ erzeugen stark schwankende, inkonsistente Zahlen. Gestalten Sie das Raster wie in der Bewertungsdokumentation von Anthropic empfohlen konkret und empirisch: etwa durch ausschließliche Ausgabe von correct oder incorrect oder eine genau definierte Skala von 1 bis 5 mit klaren Bestehensregeln für jede Stufe. Sagen Sie ausdrücklich, dass längere Antworten nicht besser sind.
Vor der Endbewertung eine Begründung oder Belege verlangen. Sowohl Wang et al. mit Multiple Evidence Calibration als auch die Bewertungsrichtlinien von Anthropic betonen, dass das Modell seine Begründung ausführen oder den Denkmodus aktivieren soll, bevor es das endgültige Urteil abgibt. Da autoregressive Modelle Token nacheinander erzeugen, verankert eine zuerst ausgegebene Analyse die anschließende Bewertung in konkreten Textbelegen.
Bei jedem Paarvergleich die Antwortreihenfolge tauschen. Um Positionsverzerrung zu neutralisieren, nutzen Sie Balanced Position Calibration: Bewerten Sie (Answer A, Answer B) in einem Aufruf und (Answer B, Answer A) in einem zweiten. Vergeben Sie nur einen Sieg, wenn der Bewerter in beiden Positionen dieselbe Antwort wählt; andernfalls erfassen Sie ein Unentschieden.
Bewerter und Generator aus verschiedenen Modellfamilien wählen oder ein LLM-Gremium nutzen. Lassen Sie ein Modell beim Vergleich verschiedener Anbieter niemals seine eigenen Ausgaben bewerten. Erwägen Sie auch, einen einzelnen teuren Spitzenbewerter durch eine Jury zu ersetzen. In der Arbeit Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models vom April 2024 zeigten Verga et al., dass ein Panel of LLM evaluators (PoLL) aus mehreren kleineren Modellen verschiedener Familien einen einzelnen großen Bewerter in drei Bewertungsszenarien und sechs Datensätzen übertraf, weniger modellinterne Verzerrung zeigte und mehr als siebenmal günstiger war. Da jede Bewertung einen zusätzlichen API-Aufruf pro Testelement erfordert, sind kleinere Modelle oder PoLL auch ein einfacher Weg, KI-API-Kosten zu senken.
An menschlich bewerteten Beispielen kalibrieren und regelmäßig erneut prüfen. Erstellen Sie einen kleinen menschlich annotierten Kalibrierungsdatensatz, bevor Sie einem automatischen Bewerter in Produktion vertrauen. Lassen Sie Ihr Team eine Stichprobe realer Eingaben, etwa 50 bis 100 Elemente, manuell bewerten und messen Sie die Übereinstimmung des LLM-Bewerters mit diesen Urteilen. Verbessern Sie das Raster bei Abweichungen von Fachexperten und wiederholen Sie die menschliche Kalibrierung regelmäßig, wenn sich Nutzeranfragen ändern.

FAQ

Was unterscheidet Pointwise- und Pairwise-LLM-Bewertung?

Die Pointwise-Bewertung beurteilt eine einzelne Modellausgabe isoliert anhand eines Rasters und liefert ein Bestehen oder Nichtbestehen oder eine Zahl wie 1 bis 5. Die Pairwise-Bewertung zeigt dem Bewerter zwei Kandidatenausgaben zum selben Prompt nebeneinander und fragt nach der besseren. Pointwise eignet sich am besten für laufende Produktionsüberwachung und Regressionskontrollen, Pairwise für direkte A/B-Tests zweier Prompts oder Modelle.

Wie behebt man Positionsverzerrung bei LLM-as-a-judge?

Führen Sie jeden Paarvergleich zweimal mit vertauschter Kandidatenreihenfolge aus: zuerst Model A vor Model B, dann Model B vor Model A. Wang et al. (Mai 2023) nennen dies Balanced Position Calibration. Ein Sieg zählt nur, wenn der Bewerter in beiden Durchläufen dieselbe Antwort wählt; geteilte Entscheidungen gelten als Unentschieden.

Sollte dasselbe LLM Antworten erzeugen und bewerten?

Nein. Dasselbe Modell oder dieselbe Modellfamilie für Erzeugung und Bewertung einzusetzen, führt zu Selbstbevorzugung: Der Bewerter bevorzugt Ausgaben, die seiner eigenen Ausdrucksweise und Trainingsverteilung entsprechen. Wählen Sie für faire Bewertungen einen Bewerter aus einer anderen Modellfamilie als den getesteten Kandidaten oder bündeln Sie Stimmen eines vielfältigen LLM-Gremiums aus verschiedenen Modellfamilien.

Kann ein LLM-Bewerter menschliche Bewertung vollständig ersetzen?

Ein LLM-Bewerter kann menschliche Bewertung nicht vollständig ersetzen, da automatische Bewerter menschliche Referenzurteile benötigen, um ihre Raster zu kalibrieren und subtile Fachfehler zu erkennen. Zwar stellten Zheng et al. (Juni 2023) für leistungsfähige Bewerter wie GPT-4 eine Übereinstimmung von über 80% mit menschlichen Präferenzen fest, doch Menschen müssen weiterhin erste Kalibrierungsdatensätze annotieren, Grenzfälle prüfen und fachliche Schlussfolgerungen mit hohen Auswirkungen verifizieren.

Wie lassen sich die Kosten für LLM-as-a-judge im großen Maßstab senken?

Führen Sie zuerst kostenlose deterministische Codeprüfungen aus, damit der LLM-Bewerter nur Ausgaben prüft, die grundlegende Syntax- und Längenregeln bestehen. Die PoLL-Studie von Verga et al. vom April 2024 ergab zudem, dass ein Gremium kleinerer Modelle aus verschiedenen Familien mehr als siebenmal günstiger war als ein einzelner großer Bewerter und dabei eine höhere Genauigkeit erzielte.

LLM-as-a-judge erklärt: Wie KI KI bewertet und wo Fehler entstehen

Was ist LLM as a judge und warum nutzen Teams es?

Wie funktioniert die Bewertung mit LLM-as-a-judge?