AI-gidsen · 10 min lezen

Wat is een reranker? Hoe cross-encoders RAG-resultaten verfijnen

Een reranker beoordeelt zoekresultaten opnieuw, meestal met een cross-encoder. Ontdek wanneer die extra stap bij RAG de kosten waard is.

Een compactere rij lege, documentachtige kaarten beweegt naar een heldere kaart op de voorgrond, terwijl meer kaarten verspreid in de donkere achtergrond zweven, zonder tekst of logo's

Een reranker is een model voor de tweede fase dat een zoekopdracht en een korte kandidatenlijst uit een eerste zoekronde ontvangt en die items opnieuw beoordeelt, zodat de meest relevante passages bovenaan komen. Bij retrieval-augmented generation (RAG) beperkt reranking een brede reeks zoekresultaten tot de beste tekstfragmenten die naar het taalmodel gaan.

Zoekmachines en systemen voor retrieval-augmented generation (RAG) hebben te maken met een fundamentele spanning tussen snelheid en nauwkeurigheid van de rangschikking. Miljoenen passages doorzoeken vereist een goedkope zoekmethode, maar goedkope gelijkenisscores plaatsen zijdelings relevante passages vaak boven het exacte antwoord. Passage-reranking lost die spanning op door het ophalen te splitsen in een brede, snelle zoektocht naar kandidaten en een langzamere, aandachtigere beoordeling van een korte lijst.

Hoe werkt ophalen in twee fasen bij zoeken en RAG?

Ophalen in twee fasen scheidt het snel genereren van kandidaten in een volledig corpus van het zeer nauwkeurig beoordelen van een kleine deelverzameling resultaten. Informatieretrievalsystemen gebruiken dit patroon al van lang vóór moderne taalmodellen; RAG-systemen nemen dezelfde taakverdeling over om het contextvenster van de prompt tegen ruis in zoekresultaten te beschermen.

Een standaard RAG-systeem met twee fasen doorloopt drie opeenvolgende stappen:

  1. Ophalen in de eerste fase (kandidaten genereren): Een snelle retriever doorzoekt de volledige verzameling en geeft tientallen tot enkele honderden kandidaatfragmenten terug. Gangbare methoden zijn lexicaal zoeken in omgekeerde indexen van het type BM25, dichte retrieval met tekstembeddings en approximate nearest-neighbor-zoeken (ANN) in een vectordatabase, of een hybride combinatie van beide.
  2. Passage-reranking: Een gespecialiseerde reranker beoordeelt de gebruikersvraag samen met elk kandidaatfragment uit de eerste fase en kent een nieuwe relevantiescore toe, waarmee de korte lijst opnieuw wordt gerangschikt.
  3. Generatie: De toepassing bewaart na reranking alleen de hoogst scorende top-n-passages en plaatst die samen met de gebruikersvraag in de prompt voor het taalmodel.

De eerste zoekfase optimaliseert recall en lage latentie over een grote index. Passage-reranking optimaliseert precisie helemaal bovenaan een korte lijst. Een reranker toevoegen verandert niets aan het daaropvolgende taalmodel of het onderliggende bronsysteem; de reranker bepaalt alleen welke opgehaalde fragmenten een plaats in de prompt verdienen.

Bi-encoder versus cross-encoder: waarom kan één model niet beide taken doen?

Bi-encoders en cross-encoders verwerken zoekopdrachten en documenten via verschillende rekenpaden. Daardoor ontstaat een directe afweging tussen offline indexering en gezamenlijke vergelijking op tokenniveau. Inzicht in de architectuur bi-encoder vs cross-encoder verklaart waarom vrijwel geen productiesysteem een cross-encoder op een volledige database toepast en waarom alleen vectorgelijkenis vergelijkbare kandidaten soms verkeerd rangschikt.

Hoe bi-encoders snel ophalen in de eerste fase mogelijk maken

Een bi-encoder (ook dual encoder of embeddingmodel genoemd) voert de zoekopdracht en elk document door twee onafhankelijke coderingsprocessen om afzonderlijke vectoren met vaste lengte te maken. Nils Reimers en Iryna Gurevych formaliseerden een veelgeciteerde versie van deze Siamese architectuur voor tekst in Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019).

Omdat de documentcodering de gebruikersvraag nooit ziet, kan elk fragment in het corpus vooraf offline worden omgezet in een embedding en in een vectorindex worden opgeslagen. Wanneer een gebruiker een zoekopdracht indient, codeert het systeem alleen die opdracht één keer en vergelijkt het die vector met miljoenen vooraf berekende documentvectoren via een lichte wiskundige bewerking, zoals cosinusgelijkenis of een inwendig product. Een volledige passage in één vector comprimeren voordat de vraag bekend is, maakt zoeken op grote schaal praktisch, al kunnen daarbij fijnmazige relaties in de formulering van vraag en passage verloren gaan.

Hoe cross-encoders paren van zoekopdracht en document beoordelen

Een cross-encoder voegt de zoekopdracht en één kandidaatpassage samen tot één invoersequentie en voert ze gezamenlijk door een transformernetwerk, dat een scalaire relevantiescore voor dat specifieke paar geeft. Rodrigo Nogueira en Kyunghyun Cho toonden de effectiviteit van dit neurale rerankingpatroon aan in Passage Re-ranking with BERT (2019), een aanpak die in de retrievalliteratuur vaak monoBERT heet.

Door beide teksten samen aan het model te geven, kan self-attention in elke laag tussen elk token van de zoekopdracht en elk documenttoken werken. Het model kan exacte overeenkomsten van entiteiten, ontkenningen, beperkingen en afhankelijkheden tussen meerdere woorden direct herkennen. Die gezamenlijke aandacht heeft een grote rekenkundige keerzijde: een statische documentvector die al rekening houdt met een onbekende toekomstige vraag valt niet vooraf te berekenen. Elk (query, candidate)-paar vereist tijdens de zoekopdracht een eigen neurale voorwaartse doorgang, waardoor cross-encoders beperkt blijven tot korte kandidatenlijsten.

Waar modellen met late interactie passen

Architecturen met late interactie vormen een middenweg tussen bi-encoders met één vector en volledige cross-encoders. In ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2020) bewaren Omar Khattab en Matei Zaharia afzonderlijke vectoren op tokenniveau voor elk document en vergelijken zij tijdens het zoeken tokens van de zoekopdracht met documenttokens. Representaties per token bewaren legt rijkere overeenkomstsignalen vast dan één samengevoegde vector, terwijl de kosten van een volledige gezamenlijke transformerdoorgang voor elk paar van zoekopdracht en passage worden vermeden.

Architectuur Codering van invoer Documentrepresentaties vooraf te berekenen? Beoordeling tijdens de zoekopdracht Typische rol in het systeem
Bi-encoder Zoekopdracht en passage afzonderlijk gecodeerd als enkele vectoren Ja (één vector per fragment) Cosinusgelijkenis of inwendig product via ANN-zoeken Dichte retrieval in de eerste fase over grote verzamelingen
Late interactie (bijv. ColBERT) Zoekopdracht en passage afzonderlijk gecodeerd als vectoren op tokenniveau Ja (meerdere tokenvectoren per fragment) Interactie op tokenniveau tussen opgeslagen representaties Zeer nauwkeurig ophalen of herbeoordeling in een tussenlaag
Cross-encoder Zoekopdracht en passage samengevoegd en gezamenlijk verwerkt Nee (vereist de zoekopdracht tijdens inferentie) Volledige voorwaartse modeldoorgang per (query, passage)-paar Reranker in de tweede fase voor een korte kandidatenlijst

De harde grens van passage-reranking: recall in de eerste fase

Een reranker kan alleen kandidaten opnieuw rangschikken die de retriever in de eerste fase daadwerkelijk heeft gevonden. Een passage die ontbreekt op de oorspronkelijke lijst blijft dus onzichtbaar voor de rest van het systeem. Als de vectorzoekopdracht of trefwoordindex 50 fragmenten ophaalt en geen daarvan het antwoord bevat, kan zelfs een ideale cross-encoder slechts 50 nutteloze fragmenten wat netter ordenen.

Wanneer ik de kwaliteit van retrieval in een RAG-systeem onderzoek, is het onderscheiden van recallfouten en rangschikkingsfouten altijd de eerste diagnostische stap. Controleer of de juiste passage ergens in de ruwe kandidatenlijst van de eerste fase staat voordat u een reranker zoekt. Ontbreekt de relevante passage helemaal, dan zit het knelpunt eerder in het proces:

  • Slechte documentsegmentatie: Tabellen, koppen of voorwaarden van hun context scheiden verstoort retrieval nog voordat de beoordeling begint. Lees hoe u documenten voor RAG in fragmenten verdeelt om structurele splitsingen te herstellen.
  • Niet-passende representaties: Vakjargon, onderdeelnummers of afkortingen worden door algemene dichte embeddings vaak gemist als die niet met lexicaal zoeken worden gecombineerd.
  • Fouten in index en filters: Verouderde indexen, te strenge metadatafilters of defecte toegangsregels sluiten geldige documenten uit voordat ze worden beoordeeld.

Reranking lost een ordeningsprobleem op binnen een kandidatenverzameling die het antwoord al bevat. Als de kandidatenverzameling zonder antwoord terugkomt, moet het voorafgaande ophaalproces worden verbeterd.

Wanneer zijn de extra latentie en kosten van een reranker de moeite waard?

Een reranker is de extra inferentiestap waard wanneer de eerste zoekfase relevante fragmenten betrouwbaar in de kandidatenverzameling brengt, maar zwakkere treffers bovenaan laat staan. Omdat een reranker complexiteit toevoegt, is de opbrengst het duidelijkst wanneer de nauwkeurigheid verderop sterk afhangt van de precisie van de top-k.

Situaties waarin reranking loont

  • Ruis in de bovenste resultaten ondanks redelijke recall: De eerste zoekfase vindt de juiste passage ergens tussen de eerste tientallen treffers, maar ruwe vectorgelijkenis plaatst bredere samenvattingen boven de benodigde specifieke bepaling.
  • Krappe promptbudgetten: Minder, schonere fragmenten naar het taalmodel sturen bespaart invoertokens en voorkomt dat afleidende, zijdelings relevante tekst de generatie op een dwaalspoor brengt.
  • Taken waarbij bronvermelding belangrijk is: Klantenservicebots, assistenten voor intern beleid en documentatiezoekmachines moeten de exacte bronpassage op een van de eerste plaatsen zetten; gebruikers van deze toepassingen accepteren doorgaans een korte wachttijd voor een beter antwoord.
  • Combinatie van hybride zoekresultaten: Trefwoordtreffers uit een lexicale index combineren met semantische treffers uit een vectorindex levert twee lijsten met onverenigbare scoreschalen op. Een cross-encoder op de samengevoegde kandidaten maakt één uniforme relevantierangschikking zonder uitsluitend te vertrouwen op heuristische gewichten voor het samenvoegen van rangen.

Situaties waarin reranking weinig toevoegt

  • Een al goede top-k in de eerste fase: Als de bestaande retriever voor uw zoekopdrachten de juiste passages al bovenaan zet, voegt een extra modeldoorgang kosten toe zonder te veranderen wat het taalmodel ziet.
  • Strenge interactieve latentiebudgetten: Spraakagenten in realtime, automatisch aanvullen tijdens het typen en gebruikersinterface-interacties van minder dan een seconde bieden zelden ruimte voor een extra ronde voorwaartse transformerdoorgangen vóór de generatie begint.
  • Zeer kleine, nauwkeurige kandidatenverzamelingen: Systemen die op basis van gestructureerde metadata slechts 3 tot 5 sterk gefilterde fragmenten ophalen, sturen al bijna de hele korte lijst naar de prompt.
  • Domeingedrag versus zoekproblemen: Als het model moeite heeft met uitvoerstijl of gespecialiseerde taakopmaak in plaats van met passageselectie, bekijk dan RAG versus fine-tuning om zeker te weten dat u de juiste laag van het systeem aanpakt.

Operationele kosten en afwegingen bij een reranker

Een reranker brengt inferentieberekeningen per kandidaat, seriële latentie op het kritieke pad en een extra modelafhankelijkheid met zich mee die u moet beheren of inkopen. Door deze operationele kosten vooraf te beoordelen, voorkomt u dat teams rerank RAG als een gratis schakelaar voor nauwkeurigheid zien.

  • Extra inferentieaanroepen: Het werk van de cross-encoder neemt toe met het aantal kandidaten per zoekopdracht, de tokenlengte van elke passage en het totale zoekverkeer. Lange fragmenten of uitgebreide kandidatenlijsten beoordelen vermenigvuldigt het rekenverbruik snel.
  • Seriële latentie: Reranking zit direct tussen het ophalen in de eerste fase en het streamen van LLM-tokens. Elke batch kandidaten moet volledig zijn beoordeeld voordat het taalmodel de prompt kan lezen en zijn eerste uitvoertoken kan produceren.
  • Nog een model in productie: Teams roepen een commercieel gehoste rerank-API aan of draaien een reranker met open gewichten op hun eigen GPU’s. Beide opties voegen versiebeheer, afhandeling van time-outs, terugvalgedrag bij onbeschikbaarheid van het beoordelingsmodel en monitoring toe.
  • Afnemende opbrengst bij lange lijsten: Als illustratief voorbeeld en niet als vaste regel kan het opnieuw beoordelen van 20 kandidaten de relevante fragmenten omvatten die de eerste zoekfase al vond. Het beoordelen van 1.000 kandidaten met een zware cross-encoder vermenigvuldigt daarentegen rekenwerk en wachttijd voor minimale winst als de nuttige passages al bovenaan stonden.

Sommige teams slaan gespecialiseerde cross-encoders over en vragen een algemeen taalmodel om opgehaalde passages direct te beoordelen of filteren. Een generatief model als beoordelaar van passages gebruiken is echter een apart patroon dat doorgaans trager is en per kandidaat meer kost. Veel eenvoudige RAG-toepassingen voegen helemaal geen reranker in de tweede fase toe en halen hun kwaliteitsdoelen met goed afgestemde fragmentatie, metadatafilters en hybride zoeken.

Wat een reranker niet is

Een reranker is een model dat een korte lijst beoordeelt, anders dan opslagengines, embeddinggeneratoren en lagen voor waarheidscontrole. Duidelijke grenzen voorkomen veelvoorkomende misverstanden over de architectuur:

  • Geen vectordatabase en geen embeddingmodel: Embeddingmodellen zetten afzonderlijke teksten om in vectoren en vectordatabases indexeren die vectoren voor snel zoeken. Een reranker slaat niets op en produceert direct relevantiescores voor kandidaatparen.
  • Geen garantie voor feitelijke juistheid of toegangsrechten: Een cross-encoder schat hoe goed een passage bij een zoekopdracht past. Verouderd beleid, onjuiste uitspraken of documenten waarvoor een gebruiker geen inzagerecht heeft, kunnen alsnog hoog scoren als ze bij de formulering van de vraag passen; toegangsfilters en inhoudsbeheer horen buiten de reranker thuis.
  • Geen vervanging voor corpusspecifieke evaluatie: Openbare modelbenchmarks weerspiegelen nooit precies uw documentstructuur, vraagformulering of latentielimieten. De treffers van retrieval en de kwaliteit van het volledige antwoord meten met uw eigen vragen blijft de enige betrouwbare manier om te bepalen of een reranker zijn kosten waard is.

FAQ

Heeft elk RAG-systeem een reranker nodig?

Nee. Veel RAG-systemen in productie werken goed met één ophaalfase wanneer de kandidatenverzameling klein is, de precisie van de eerste fase al hoog is of strenge latentielimieten gelden, zoals bij spraakinterfaces en automatisch aanvullen. Teams voegen meestal pas een reranker toe nadat ze hebben vastgesteld dat relevante passages in de bredere kandidatenverzameling voorkomen terwijl zwakkere treffers nog steeds de bovenste plaatsen bezetten.

Kan een cross-encoder rechtstreeks een volledige documentverzameling doorzoeken?

Een cross-encoder tijdens een zoekopdracht op een grote verzameling toepassen is doorgaans onpraktisch, omdat het model elk paar van zoekopdracht en document samen in een afzonderlijke voorwaartse doorgang moet verwerken. Documentscores hangen af van de binnenkomende vraag en kunnen niet vooraf in een statische index worden berekend. Zoeksystemen gebruiken daarom eerst lexicale of vectorindexen en bewaren cross-encoders voor het opnieuw beoordelen van een kleine lijst.

Hoe werkt een reranker met hybride zoeken?

Bij hybride zoeken geven een lexicale retriever, zoals een index van het type BM25, en een dichte vectorretriever afzonderlijke kandidatenlijsten met onverenigbare ruwe scoreschalen terug. Door de gecombineerde, ontdubbelde kandidaten aan een reranker door te geven, kan één model elke passage direct tegenover de zoekopdracht beoordelen en één uniforme relevantievolgorde maken voordat de beste fragmenten naar het taalmodel gaan.

Wat is het verschil tussen een embeddingmodel en een reranker?

Een embeddingmodel codeert zoekopdrachten en documenten onafhankelijk in vaste vectoren, zodat een vectorindex bij miljoenen items benaderende overeenkomsten kan vinden. Een neurale reranker, doorgaans een cross-encoder, neemt één zoekopdracht en één kandidaatpassage samen en geeft een directe relevantiescore voor dat specifieke paar. Het levert indexeerbaarheid en snelheid in voor een scherpere rangschikking van een korte lijst.

Moet ik een reranker met open gewichten draaien of een gehoste rerank-API aanroepen?

Beide implementatieopties vervullen dezelfde plek in de architectuur tussen de eerste ophaalfase en de generatie. Gehoste rerank-API’s nemen de inrichting van GPU’s, schaalvergroting en het aanbieden van het model uit handen, in ruil voor netwerkaanroepen en facturering per verzoek door de aanbieder. Zelf een reranker met open gewichten hosten houdt gegevens binnen uw eigen infrastructuur en geeft directe controle over modelversies, maar vereist dat u inferentiehardware en beschikbaarheid beheert.

Bronnen

Geschreven door

Chunyu Cai

Chunyu Cai is CEO van Lotook, LLC en ondernemer. Hij schrijft over AI-modellen, agenten en hoe ze het dagelijkse werk veranderen. Chunyu Cai heeft een masterdiploma van Imperial College London.