KI-Ratgeber · 9 Min. Lesezeit

Was ist ein Reranker? Wie Cross-Encoder RAG-Ergebnisse verbessern

Ein Reranker bewertet Suchtreffer erneut, meist mit einem Cross-Encoder. Erfahren Sie, wann sich der zusätzliche Aufwand für RAG lohnt.

Eine engere Reihe leerer, dokumentartiger Karten bewegt sich auf eine helle Karte im Vordergrund zu, während weitere Karten verstreut im dunklen Hintergrund schweben, ohne Text oder Logos

Ein Reranker ist ein Modell der zweiten Stufe, das eine Anfrage und eine kurze Kandidatenliste aus einer ersten Suche erhält und die Einträge erneut bewertet, sodass die relevantesten Passagen nach oben rücken. Bei Retrieval-Augmented Generation (RAG) grenzt Reranking breite Suchtreffer auf die besten Textabschnitte ein, die an das Sprachmodell gesendet werden.

Suchmaschinen und Pipelines für Retrieval-Augmented Generation (RAG) stehen vor einem grundlegenden Spannungsfeld zwischen Geschwindigkeit und Rankinggenauigkeit. Das Durchsuchen von Millionen Passagen erfordert eine kostengünstige Suchmethode, doch einfache Ähnlichkeitswerte platzieren oft nur am Rande relevante Passagen vor der exakten Antwort. Passage-Reranking löst dieses Spannungsfeld, indem es die Suche in eine breite, schnelle Kandidatensuche und eine langsamere, sorgfältigere Bewertung einer kurzen Liste aufteilt.

Wie funktioniert zweistufiges Retrieval bei Suche und RAG?

Zweistufiges Retrieval trennt die schnelle Kandidatenermittlung über einen gesamten Korpus von der hochpräzisen Bewertung einer kleinen Ergebnisteilmenge. Information-Retrieval-Systeme nutzen dieses Muster schon lange vor modernen Sprachmodellen; RAG-Systeme übernehmen dieselbe Arbeitsteilung, um das Kontextfenster des Prompts vor irrelevanten Treffern zu schützen.

Eine übliche zweistufige RAG-Pipeline durchläuft drei aufeinanderfolgende Schritte:

  1. Retrieval der ersten Stufe (Kandidatenermittlung): Ein schneller Retriever durchsucht die gesamte Sammlung und liefert einige Dutzend bis einige Hundert Kandidatenabschnitte zurück. Übliche Methoden sind die lexikalische Suche über invertierte Indizes nach BM25-Art, dichtes Retrieval mit Text-Embeddings und Approximate-Nearest-Neighbor-Suche (ANN) in einer Vektordatenbank oder eine hybride Kombination aus beiden.
  2. Passage-Reranking: Ein spezialisierter Reranker bewertet die Nutzeranfrage zusammen mit jedem Kandidatenabschnitt der ersten Stufe und vergibt einen neuen Relevanzwert, wodurch er die Auswahlliste neu sortiert.
  3. Generierung: Die Anwendung behält nach dem Reranking nur die höchstbewerteten Top-n-Passagen und fügt sie zusammen mit der Nutzerfrage in den Prompt des Sprachmodells ein.

Das Retrieval der ersten Stufe optimiert Recall und geringe Latenz über einen großen Index hinweg. Passage-Reranking optimiert die Präzision an der Spitze einer kurzen Liste. Ein zusätzlicher Reranker lässt das nachgelagerte Sprachmodell und Ihr zugrunde liegendes führendes Datensystem unverändert; er entscheidet lediglich, welche gefundenen Abschnitte einen Platz im Prompt erhalten.

Bi-Encoder vs. Cross-Encoder: Warum kann ein Modell nicht beides?

Bi-Encoder und Cross-Encoder verarbeiten Anfragen und Dokumente auf unterschiedlichen Rechenwegen. Dadurch entsteht ein direkter Kompromiss zwischen Offline-Indexierung und gemeinsamem Vergleich auf Token-Ebene. Die Architektur bi-encoder vs cross-encoder erklärt, warum fast kein Produktivsystem einen Cross-Encoder auf eine gesamte Datenbank anwendet und warum reine Vektorähnlichkeit ähnliche Kandidaten manchmal falsch sortiert.

Wie Bi-Encoder schnelles Retrieval der ersten Stufe ermöglichen

Ein Bi-Encoder (auch Dual Encoder oder Embedding-Modell genannt) führt die Anfrage und jedes Dokument durch zwei unabhängige Kodierungsläufe und erzeugt separate Vektoren fester Länge. Nils Reimers und Iryna Gurevych formalisierten eine viel zitierte Version dieser siamesischen Architektur für Text in Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019).

Da die Dokumentkodierung die Nutzeranfrage nie sieht, lässt sich jeder Abschnitt Ihres Korpus vorab offline einbetten und in einem Vektorindex speichern. Stellt ein Nutzer eine Anfrage, kodiert das System nur diese einmal und vergleicht den Vektor mittels einer einfachen mathematischen Operation wie Kosinusähnlichkeit oder Skalarprodukt mit Millionen vorberechneter Dokumentvektoren. Eine ganze Passage schon vor Kenntnis der Frage in einen einzigen Vektor zu komprimieren, macht die Suche in großem Maßstab praktikabel, auch wenn dabei feine sprachliche Beziehungen zwischen Anfrage und Passage verloren gehen können.

Wie Cross-Encoder Anfrage-Dokument-Paare bewerten

Ein Cross-Encoder verbindet die Anfrage und eine Kandidatenpassage zu einer einzigen Eingabesequenz und führt beide gemeinsam durch ein Transformer-Netzwerk, das einen skalaren Relevanzwert für genau dieses Paar ausgibt. Rodrigo Nogueira und Kyunghyun Cho zeigten die Wirksamkeit dieses neuronalen Reranking-Musters in Passage Re-ranking with BERT (2019), einem Ansatz, der in der Retrieval-Literatur häufig monoBERT genannt wird.

Durch die gemeinsame Eingabe beider Texte kann Self-Attention in jeder Schicht über jedes Anfrage- und jedes Dokumenttoken hinweg wirken. Das Modell erkennt exakte Übereinstimmungen von Entitäten, Verneinungen, Einschränkungen und Abhängigkeiten zwischen mehreren Wörtern direkt. Diese gemeinsame Aufmerksamkeit hat einen erheblichen Rechennachteil: Ein statischer Dokumentvektor, der eine unbekannte zukünftige Anfrage bereits berücksichtigt, lässt sich nicht vorberechnen. Jedes (query, candidate)-Paar benötigt zur Anfragezeit einen eigenen neuronalen Vorwärtsdurchlauf, wodurch Cross-Encoder auf kurze Kandidatenlisten beschränkt sind.

Wo Late-Interaction-Modelle einzuordnen sind

Late-Interaction-Architekturen liegen zwischen Bi-Encodern mit einem Vektor und vollständigen Cross-Encodern. In ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2020) behalten Omar Khattab und Matei Zaharia separate Vektoren auf Token-Ebene für jedes Dokument und vergleichen bei der Suche Anfrage- mit Dokumenttoken. Die Erhaltung einzelner Token-Repräsentationen erfasst reichhaltigere Übereinstimmungssignale als ein einzelner zusammengefasster Vektor und vermeidet zugleich die Kosten eines vollständigen gemeinsamen Transformer-Durchlaufs für jedes Anfrage-Passage-Paar.

Architektur Kodierung der Eingaben Dokumentrepräsentationen vorberechenbar? Bewertung zur Anfragezeit Typische Rolle in der Pipeline
Bi-Encoder Anfrage und Passage separat in einzelne Vektoren kodiert Ja (ein Vektor pro Abschnitt) Kosinusähnlichkeit oder Skalarprodukt über ANN-Suche Dichtes Retrieval der ersten Stufe über große Sammlungen
Late Interaction (z. B. ColBERT) Anfrage und Passage separat in Vektoren auf Token-Ebene kodiert Ja (mehrere Tokenvektoren pro Abschnitt) Interaktion auf Token-Ebene über gespeicherte Repräsentationen Hochpräzises Retrieval oder Neubewertung in einer Zwischenstufe
Cross-Encoder Anfrage und Passage verbunden und gemeinsam verarbeitet Nein (benötigt die Anfrage zur Inferenzzeit) Vollständiger Modell-Vorwärtsdurchlauf pro (query, passage)-Paar Reranker der zweiten Stufe für eine kurze Kandidatenliste

Die harte Grenze des Passage-Rerankings: Recall der ersten Stufe

Ein Reranker kann nur Kandidaten neu sortieren, die der Retriever der ersten Stufe tatsächlich gefunden hat. Jede Passage, die in der ursprünglichen Auswahlliste fehlt, bleibt für den Rest der Pipeline unsichtbar. Wenn Ihre Vektorsuche oder Ihr Keyword-Index 50 Abschnitte liefert und keiner davon die Antwort enthält, kann selbst ein idealer Cross-Encoder nur 50 wenig hilfreiche Abschnitte etwas sauberer sortieren.

Wenn ich die Retrieval-Qualität einer RAG-Pipeline untersuche, trenne ich als ersten Diagnoseschritt stets Recall-Fehler von Rankingfehlern. Prüfen Sie, ob die richtige Passage irgendwo in der unbearbeiteten Kandidatenliste der ersten Stufe erscheint, bevor Sie nach einem Reranker suchen. Fehlt die relevante Passage vollständig, liegt der Engpass weiter vorne:

  • Schlechte Dokumentsegmentierung: Werden Tabellen, Überschriften oder Bedingungen von ihrem Kontext getrennt, scheitert das Retrieval bereits vor der Bewertung. Lesen Sie, wie Sie Dokumente für RAG in Abschnitte teilen, um strukturelle Trennungen zu beheben.
  • Unpassende Repräsentationen: Fachjargon, Teilenummern oder Akronyme entgehen allgemeinen dichten Embeddings häufig, wenn diese nicht mit lexikalischer Suche kombiniert werden.
  • Index- und Filterfehler: Veraltete Indizes, zu strenge Metadatenfilter oder fehlerhafte Zugriffsregeln schließen gültige Dokumente vor der Bewertung aus.

Reranking löst ein Sortierproblem innerhalb eines Kandidatenpools, der die Antwort bereits enthält. Kommt der Kandidatenpool ohne Antwort zurück, sind Korrekturen beim vorgelagerten Retrieval erforderlich.

Wann lohnt sich ein Reranker trotz zusätzlicher Latenz und Kosten?

Ein Reranker lohnt den zusätzlichen Inferenzschritt, wenn die Suche der ersten Stufe relevante Abschnitte zuverlässig in den Kandidatenpool holt, aber schwächere Treffer weit oben stehen lässt. Da ein Reranker Komplexität hinzufügt, profitieren Teams am deutlichsten, wenn die nachgelagerte Genauigkeit stark von der Top-k-Präzision abhängt.

Szenarien, in denen sich Reranking auszahlt

  • Ungenaue Spitzentreffer bei ordentlichem Recall: Das Retrieval der ersten Stufe findet die richtige Passage irgendwo unter den ersten paar Dutzend Treffern, doch die rohe Vektorähnlichkeit platziert breitere Zusammenfassungen vor der benötigten konkreten Klausel.
  • Knappe Prompt-Budgets: Weniger, passendere Abschnitte an das Sprachmodell zu senden, spart Eingabetoken und verhindert, dass ablenkender, nur am Rande relevanter Text die Generierung fehlleitet.
  • Aufgaben mit hohen Anforderungen an Quellen: Kundensupport-Bots, interne Richtlinienassistenten und Dokumentationssuchen müssen die exakte Quellenpassage unter den ersten Treffern platzieren; Nutzer dieser Abläufe akzeptieren für eine bessere Antwort meist eine kurze Wartezeit.
  • Zusammenführung hybrider Suche: Die Kombination von Keyword-Treffern eines lexikalischen Index mit semantischen Treffern eines Vektorindex ergibt zwei Listen mit nicht vergleichbaren Bewertungsskalen. Ein Cross-Encoder auf den zusammengeführten Kandidaten erzeugt ein einheitliches Relevanzranking, ohne sich allein auf heuristische Gewichtungen zur Rangzusammenführung zu verlassen.

Szenarien mit geringem Nutzen durch Reranking

  • Saubere Top-k der ersten Stufe: Platziert Ihr vorhandener Retriever bei Ihren Anfragen bereits die richtigen Passagen ganz oben, verursacht ein zusätzlicher Modelldurchlauf Kosten, ohne die Eingabe des Sprachmodells zu ändern.
  • Strenge interaktive Latenzbudgets: Echtzeit-Sprachagenten, Autovervollständigung während der Eingabe und UI-Interaktionen unter einer Sekunde bieten selten Platz für eine zusätzliche Runde Transformer-Vorwärtsdurchläufe vor Beginn der Generierung.
  • Winzige hochpräzise Kandidatenmengen: Pipelines, die anhand strukturierter Metadaten nur 3 bis 5 eng gefilterte Abschnitte abrufen, senden bereits fast die gesamte Auswahlliste an den Prompt.
  • Domänenverhalten statt Suchproblemen: Hat das Modell Probleme mit Ausgabestil oder spezieller Aufgabenformatierung statt mit der Passagenauswahl, lesen Sie RAG vs. Fine-Tuning, um sicherzugehen, dass Sie die richtige Ebene des Systems bearbeiten.

Betriebskosten und Kompromisse beim Einsatz eines Rerankers

Ein Reranker verursacht Inferenzberechnungen pro Kandidat, serielle Latenz auf dem kritischen Pfad und eine zusätzliche Modellabhängigkeit, die betrieben oder eingekauft werden muss. Die frühzeitige Bewertung dieser Betriebskosten verhindert, dass Teams rerank RAG als kostenlosen Genauigkeitsschalter betrachten.

  • Zusätzliche Inferenzaufrufe: Der Aufwand eines Cross-Encoders skaliert mit der Kandidatenzahl pro Anfrage, der Tokenlänge jeder Passage und dem gesamten Anfragevolumen. Die Bewertung langer Abschnitte oder umfangreicher Kandidatenlisten vervielfacht den Rechenverbrauch schnell.
  • Serielle Latenz: Reranking liegt direkt zwischen dem Retrieval der ersten Stufe und dem Token-Streaming des LLM. Jeder Kandidaten-Batch muss vollständig bewertet sein, bevor das Sprachmodell den Prompt lesen und sein erstes Ausgabetoken ausgeben kann.
  • Ein weiteres Modell im Produktivbetrieb: Teams rufen entweder eine kommerziell gehostete Rerank-API auf oder betreiben einen Open-Weight-Reranker auf eigenen GPUs. Beide Varianten erfordern zusätzlich Versionierung, Timeout-Behandlung, Fallback-Verhalten bei Ausfall des Bewertungsmodells und Monitoring.
  • Abnehmender Ertrag bei langen Auswahllisten: Als anschauliches Beispiel und nicht als feste Regel kann die Neubewertung von 20 Kandidaten bereits die relevanten Abschnitte erfassen, die die erste Suche gefunden hat. Die Neubewertung von 1.000 Kandidaten mit einem rechenintensiven Cross-Encoder vervielfacht dagegen Rechenaufwand und Wartezeit bei minimalem Gewinn, wenn die nützlichen Passagen ohnehin weit oben standen.

Manche Teams verzichten auf spezialisierte Cross-Encoder und lassen ein allgemeines Sprachmodell die gefundenen Passagen direkt bewerten oder filtern. Ein generatives Modell als Passage-Juror einzusetzen, ist jedoch ein separates Muster, das üblicherweise langsamer ist und pro Kandidat mehr kostet. Viele einfache RAG-Anwendungen ergänzen überhaupt keinen Reranker der zweiten Stufe und erreichen ihre Qualitätsziele mit gut abgestimmter Abschnittsbildung, Metadatenfiltern und hybrider Suche.

Was ein Reranker nicht ist

Ein Reranker ist ein Bewertungsmodell für Auswahllisten und unterscheidet sich von Speicher-Engines, Embedding-Generatoren und Ebenen zur Wahrheitsprüfung. Klare Grenzen verhindern verbreitete Missverständnisse über die Architektur:

  • Weder Vektordatenbank noch Embedding-Modell: Embedding-Modelle wandeln einzelne Texte in Vektoren um, und Vektordatenbanken indexieren diese für die schnelle Suche. Ein Reranker speichert nichts und erzeugt Relevanzwerte für Kandidatenpaare zur Laufzeit.
  • Keine Garantie für sachliche Richtigkeit oder Berechtigung: Ein Cross-Encoder schätzt, wie gut eine Passage zu einer Anfrage passt. Veraltete Richtlinien, falsche Aussagen oder Dokumente, für die ein Nutzer keine Leseberechtigung hat, können dennoch weit oben stehen, wenn sie zur Formulierung der Frage passen; Zugriffsfilter und Content-Governance gehören außerhalb des Rerankers.
  • Kein Ersatz für korpusspezifische Evaluation: Öffentliche Modell-Benchmarks spiegeln nie genau Ihre Dokumentstruktur, Anfrageformulierungen oder Latenzgrenzen wider. Die Messung von Retrieval-Trefferquoten und der durchgängigen Antwortqualität anhand Ihrer eigenen Anfragen bleibt der einzige zuverlässige Weg, den Nutzen eines Rerankers zu prüfen.

FAQ

Braucht jede RAG-Pipeline einen Reranker?

Nein. Viele produktive RAG-Pipelines funktionieren mit einer einzigen Retrieval-Stufe gut, wenn die Kandidatenmenge klein, die Präzision der ersten Stufe bereits hoch ist oder strenge Latenzgrenzen gelten, etwa bei Sprachoberflächen und Autovervollständigung. Teams ergänzen einen Reranker meist erst, nachdem sie geprüft haben, dass relevante Passagen im breiteren Kandidatenpool erscheinen, während schwächere Treffer dennoch die oberen Plätze belegen.

Kann ein Cross-Encoder eine gesamte Dokumentsammlung direkt durchsuchen?

Ein Cross-Encoder über einer großen Sammlung ist zur Anfragezeit im Allgemeinen unpraktisch, da das Modell jedes Anfrage-Dokument-Paar gemeinsam in einem separaten Vorwärtsdurchlauf verarbeiten muss. Dokumentbewertungen hängen von der eingehenden Anfrage ab und lassen sich nicht für einen statischen Index vorberechnen. Suchsysteme nutzen deshalb zunächst lexikalische oder Vektorindizes und behalten Cross-Encoder für die Neubewertung einer kleinen Auswahlliste vor.

Wie funktioniert ein Reranker mit hybrider Suche?

Bei hybrider Suche liefern ein lexikalischer Retriever wie ein Index nach BM25-Art und ein dichter Vektorretriever separate Kandidatenlisten mit nicht vergleichbaren Rohwertskalen. Führt man die kombinierten, deduplizierten Kandidaten einem Reranker zu, kann ein einzelnes Modell jede Passage direkt anhand der Anfrage bewerten und eine einheitliche Relevanzreihenfolge erzeugen, bevor die besten Abschnitte an das Sprachmodell gehen.

Was unterscheidet ein Embedding-Modell von einem Reranker?

Ein Embedding-Modell kodiert Anfragen und Dokumente unabhängig voneinander in feste Vektoren, damit ein Vektorindex unter Millionen Einträgen ungefähre Treffer finden kann. Ein neuronaler Reranker, meist ein Cross-Encoder, verarbeitet eine Anfrage und eine Kandidatenpassage gemeinsam und gibt einen direkten Relevanzwert für dieses Paar aus. Dabei tauscht er Indexierbarkeit und Geschwindigkeit gegen eine genauere Sortierung einer Auswahlliste.

Sollte ich einen Open-Weight-Reranker betreiben oder eine gehostete Rerank-API aufrufen?

Beide Bereitstellungsoptionen erfüllen dieselbe Architekturrolle zwischen Retrieval der ersten Stufe und Generierung. Gehostete Rerank-APIs nehmen Ihnen GPU-Bereitstellung, Skalierung und Modellbetrieb ab, erfordern dafür aber Netzwerkaufrufe und eine anbieterseitige Abrechnung pro Anfrage. Ein selbst betriebener Open-Weight-Reranker hält Daten in Ihrer eigenen Infrastruktur und gibt Ihnen direkte Kontrolle über Modellversionen, während Sie Inferenzhardware und Verfügbarkeit selbst verwalten müssen.

Quellen

Geschrieben von

Chunyu Cai

Chunyu Cai ist CEO von Lotook, LLC und Unternehmer. Er schreibt über KI-Modelle, Agenten und darüber, wie sie den Arbeitsalltag verändern. Chunyu Cai hat einen Masterabschluss am Imperial College London erworben.