Um reranker é um modelo de segunda etapa que recebe uma consulta e uma lista curta de candidatos de uma busca inicial e atribui novas pontuações a esses itens, levando os trechos mais relevantes ao topo. Na geração aumentada por recuperação (RAG), o reranking reduz os resultados amplos da busca aos melhores fragmentos enviados ao modelo de linguagem.
Mecanismos de busca e pipelines de geração aumentada por recuperação (RAG) enfrentam uma tensão básica entre velocidade e precisão da classificação. Examinar milhões de trechos exige um método de busca barato, mas pontuações de similaridade de baixo custo frequentemente colocam trechos apenas tangencialmente relacionados à frente da resposta exata. O reranking de trechos resolve essa tensão ao dividir a recuperação em uma busca ampla e rápida de candidatos, seguida por uma avaliação mais lenta e cuidadosa de uma lista curta.
Como funciona a recuperação em duas etapas na busca e no RAG?
A recuperação em duas etapas separa a geração rápida de candidatos em todo o corpus da avaliação de alta precisão de um pequeno subconjunto de resultados. Sistemas de recuperação de informação usam esse padrão desde muito antes dos modelos de linguagem modernos, e sistemas RAG adotam a mesma divisão de trabalho para proteger a janela de contexto do prompt contra resultados com ruído.
Um pipeline RAG padrão de duas etapas segue três passos consecutivos:
- Recuperação inicial (geração de candidatos): Um recuperador rápido pesquisa toda a coleção e retorna de dezenas a algumas centenas de fragmentos candidatos. Métodos comuns incluem busca lexical em índices invertidos no estilo BM25, recuperação densa com embeddings de texto e busca aproximada de vizinhos mais próximos (ANN) em um banco de dados vetorial, ou uma combinação híbrida dos dois.
- Reranking de trechos: Um reranker dedicado avalia a consulta do usuário junto com cada fragmento candidato da primeira etapa e atribui uma nova pontuação de relevância, reordenando a lista curta.
- Geração: Após o reranking, a aplicação mantém apenas os n trechos com as maiores pontuações e os coloca no prompt do modelo de linguagem junto com a pergunta do usuário.
A recuperação inicial otimiza a revocação e a baixa latência em um índice grande. O reranking de trechos otimiza a precisão nas primeiras posições de uma lista curta. Adicionar um reranker mantém inalterados o modelo de linguagem posterior e o sistema de registro subjacente; o reranker apenas decide quais fragmentos recuperados merecem um lugar no prompt.
Bi-encoder versus cross-encoder: por que um único modelo não faz as duas coisas?
Bi-encoders e cross-encoders processam consultas e documentos por caminhos de cálculo diferentes, criando uma escolha direta entre indexação offline e comparação conjunta no nível dos tokens. Entender a arquitetura bi-encoder vs cross-encoder explica por que quase nenhum sistema em produção executa um cross-encoder sobre um banco de dados inteiro e por que a similaridade vetorial sozinha às vezes ordena incorretamente candidatos parecidos.
Como bi-encoders permitem uma recuperação inicial rápida
Um bi-encoder (também chamado de codificador duplo ou modelo de embeddings) passa a consulta e cada documento por dois processos independentes de codificação para produzir vetores separados de comprimento fixo. Nils Reimers e Iryna Gurevych formalizaram uma versão muito citada dessa arquitetura siamesa para texto em Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019).
Como a codificação dos documentos nunca vê a consulta do usuário, cada fragmento do corpus pode ser convertido em embedding antecipadamente, offline, e armazenado em um índice vetorial. Quando um usuário envia uma consulta, o sistema codifica apenas a consulta uma vez e compara esse vetor com milhões de vetores de documentos pré-calculados usando uma operação matemática leve, como similaridade de cosseno ou produto interno. Comprimir um trecho inteiro em um único vetor antes de conhecer a pergunta torna viável a busca em larga escala, embora relações sutis de linguagem entre a consulta e o trecho possam se perder na compressão.
Como cross-encoders pontuam pares de consulta e documento
Um cross-encoder concatena a consulta e um trecho candidato em uma única sequência de entrada e os envia juntos por uma rede transformer, que produz uma pontuação escalar de relevância para aquele par específico. Rodrigo Nogueira e Kyunghyun Cho demonstraram a eficácia desse padrão de reranking neural em Passage Re-ranking with BERT (2019), uma abordagem frequentemente chamada de monoBERT na literatura de recuperação.
Enviar os dois textos juntos ao modelo permite que a autoatenção opere entre cada token da consulta e cada token do documento em todas as camadas. O modelo consegue identificar diretamente correspondências exatas de entidades, negações, qualificadores e dependências entre várias palavras. Essa atenção conjunta traz uma grande limitação computacional: não é possível pré-calcular um vetor estático do documento que já considere uma consulta futura desconhecida. Cada par (query, candidate) exige sua própria passagem neural direta no momento da consulta, limitando cross-encoders a listas curtas de candidatos.
Onde se encaixam os modelos de interação tardia
Arquiteturas de interação tardia ocupam uma posição intermediária entre bi-encoders de vetor único e cross-encoders completos. Em ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2020), Omar Khattab e Matei Zaharia mantêm vetores separados no nível de token para cada documento e comparam os tokens da consulta aos tokens dos documentos no momento da busca. Preservar representações por token captura sinais de correspondência mais ricos que um único vetor agregado, ao mesmo tempo que evita o custo de executar uma passagem conjunta completa do transformer para cada par de consulta e trecho.
| Arquitetura | Como as entradas são codificadas | É possível pré-calcular representações dos documentos? | Pontuação no momento da consulta | Papel típico no pipeline |
|---|---|---|---|---|
| Bi-encoder | Consulta e trecho codificados separadamente em vetores únicos | Sim (um vetor por fragmento) | Similaridade de cosseno ou produto interno por busca ANN | Recuperação densa inicial em grandes coleções |
| Interação tardia (por exemplo, ColBERT) | Consulta e trecho codificados separadamente em vetores por token | Sim (vários vetores de tokens por fragmento) | Interação no nível de token entre representações armazenadas | Recuperação de alta precisão ou reavaliação intermediária |
| Cross-encoder | Consulta e trecho concatenados e processados em conjunto | Não (exige a consulta no momento da inferência) | Passagem completa do modelo por par (query, passage) |
Reranker de segunda etapa em uma lista curta de candidatos |
O limite do reranking de trechos: a revocação inicial
Um reranker só pode reordenar candidatos que o recuperador inicial realmente encontrou. Assim, qualquer trecho ausente da lista inicial permanece invisível para o restante do pipeline. Se a busca vetorial ou o índice de palavras-chave recuperar 50 fragmentos e nenhum contiver a resposta, até um cross-encoder ideal só poderá organizar 50 fragmentos inúteis em uma ordem um pouco mais clara.
Quando investigo a qualidade da recuperação em um pipeline RAG, separar falhas de revocação de falhas de classificação é sempre o primeiro passo do diagnóstico. Verifique se o trecho correto aparece em algum lugar da lista bruta de candidatos iniciais antes de procurar um reranker. Quando o trecho relevante está totalmente ausente, o gargalo está em uma etapa anterior:
- Segmentação ruim dos documentos: Separar tabelas, cabeçalhos ou condições de seu contexto prejudica a recuperação antes de a avaliação começar. Consulte como dividir documentos em fragmentos para RAG para corrigir divisões estruturais.
- Representações inadequadas: Jargões de domínio, números de peças ou siglas frequentemente escapam aos embeddings densos genéricos quando não são combinados com busca lexical.
- Erros de índice e filtros: Índices desatualizados, filtros de metadados excessivamente restritivos ou regras de controle de acesso defeituosas eliminam documentos válidos antes da avaliação.
O reranking resolve um problema de ordenação dentro de um conjunto de candidatos que já contém a resposta. Quando esse conjunto volta sem a resposta, é necessário corrigir a recuperação anterior.
Quando vale adicionar um reranker apesar da latência e do custo extras?
A etapa adicional de inferência vale a pena quando a busca inicial traz fragmentos relevantes de forma confiável para o conjunto de candidatos, mas deixa correspondências mais fracas perto do topo da lista. Como um reranker adiciona complexidade, o retorno é mais claro quando a precisão posterior depende muito da precisão dos k primeiros resultados.
Situações em que o reranking compensa
- Resultados iniciais com ruído apesar de boa revocação: A recuperação inicial encontra o trecho correto entre as primeiras dezenas de resultados, mas a similaridade vetorial bruta classifica fragmentos de resumo mais amplos acima da cláusula específica necessária.
- Orçamentos de prompt apertados: Enviar menos fragmentos e mais pertinentes ao modelo de linguagem economiza tokens de entrada e impede que textos tangenciais e distrativos desviem a geração.
- Tarefas sensíveis a citações: Bots de atendimento ao cliente, assistentes de políticas internas e ferramentas de busca em documentação dependem de colocar o trecho exato da fonte entre as primeiras posições; nesses fluxos, os usuários geralmente toleram uma espera moderada por uma resposta melhor.
- Fusão de busca híbrida: Combinar resultados por palavras-chave de um índice lexical com resultados semânticos de um índice vetorial produz duas listas com escalas de pontuação incompatíveis. Executar um cross-encoder sobre os candidatos combinados cria uma classificação de relevância unificada sem depender apenas de pesos heurísticos para mesclar posições.
Situações em que o reranking agrega pouco valor
- Os k primeiros resultados iniciais já são bons: Se o recuperador existente já coloca os trechos corretos nas primeiras posições para suas consultas, uma passagem extra do modelo adiciona custo sem mudar o que o modelo de linguagem vê.
- Limites rigorosos de latência interativa: Agentes de voz em tempo real, preenchimento automático durante a digitação e interações de interface inferiores a um segundo raramente têm espaço para uma rodada adicional de passagens diretas do transformer antes do início da geração.
- Conjuntos de candidatos minúsculos e precisos: Pipelines que recuperam apenas de 3 a 5 fragmentos rigorosamente filtrados por metadados estruturados já enviam quase toda a lista curta ao prompt.
- Comportamento de domínio versus problemas de busca: Se o modelo tem dificuldade com o estilo de saída ou a formatação de tarefas especializadas, e não com a seleção de trechos, consulte RAG versus fine-tuning para garantir que você está tratando a camada correta do sistema.
Custos operacionais e concessões ao usar um reranker
Executar um reranker acrescenta processamento de inferência por candidato, latência serial no caminho crítico e uma dependência adicional de modelo a ser operada ou contratada. Avaliar esses custos operacionais antecipadamente impede que as equipes tratem rerank RAG como uma chave gratuita de precisão.
- Chamadas extras de inferência: O trabalho do cross-encoder aumenta com o número de candidatos por consulta, o comprimento em tokens de cada trecho e o tráfego total de consultas. Pontuar fragmentos longos ou listas extensas de candidatos multiplica rapidamente o consumo de processamento.
- Latência serial: O reranking fica diretamente entre a recuperação inicial e a transmissão de tokens do LLM. Cada lote de candidatos precisa terminar de ser avaliado antes que o modelo de linguagem possa ler o prompt e emitir seu primeiro token de saída.
- Mais um modelo em produção: As equipes chamam uma API comercial hospedada de reranking ou implantam um reranker de pesos abertos em suas próprias GPUs. As duas escolhas acrescentam controle de versões, tratamento de tempo limite, comportamento alternativo quando o avaliador está indisponível e monitoramento.
- Retornos decrescentes em listas extensas: Como exemplo ilustrativo, e não regra fixa, reavaliar 20 candidatos pode capturar os fragmentos relevantes já encontrados pela busca inicial. Já reavaliar 1.000 candidatos com um cross-encoder pesado multiplica o processamento e a espera por um ganho mínimo se os trechos úteis já estavam perto do topo.
Algumas equipes dispensam cross-encoders dedicados e pedem a um modelo de linguagem de uso geral que avalie ou filtre diretamente os trechos recuperados. Usar um modelo generativo como avaliador de trechos, porém, é um padrão separado, normalmente mais lento e mais caro por candidato. Muitas aplicações RAG simples nunca adicionam um reranker de segunda etapa e atingem suas metas de qualidade com divisão em fragmentos bem ajustada, filtros de metadados e busca híbrida.
O que um reranker não é
Um reranker é um modelo de avaliação de uma lista curta, diferente de mecanismos de armazenamento, geradores de embeddings e camadas de verificação da veracidade. Manter seus limites claros evita equívocos comuns de arquitetura:
- Não é banco de dados vetorial nem modelo de embeddings: Modelos de embeddings transformam textos individuais em vetores, e bancos de dados vetoriais indexam esses vetores para busca rápida. Um reranker não armazena nada e produz pontuações de relevância para pares candidatos no momento da consulta.
- Não garante exatidão factual nem autorização: Um cross-encoder estima o quanto um trecho corresponde a uma consulta. Políticas desatualizadas, afirmações incorretas ou documentos que um usuário não tem permissão para ver ainda podem receber pontuações altas se corresponderem à formulação da pergunta; a filtragem de acesso e a governança de conteúdo pertencem a componentes externos ao reranker.
- Não substitui uma avaliação específica do corpus: Benchmarks públicos de modelos nunca refletem exatamente a estrutura dos seus documentos, a formulação das suas consultas ou seus limites de latência. Medir as taxas de acerto da recuperação e a qualidade das respostas de ponta a ponta com suas próprias consultas continua sendo a única maneira confiável de verificar se um reranker compensa.
FAQ
Todo pipeline RAG precisa de um reranker?
Não. Muitos pipelines RAG em produção funcionam bem com uma única etapa de recuperação quando o conjunto de candidatos é pequeno, a precisão inicial já é alta ou há limites rigorosos de latência, como em interfaces de voz e preenchimento automático. As equipes geralmente adicionam um reranker somente depois de verificar que trechos relevantes aparecem no conjunto mais amplo de candidatos enquanto resultados mais fracos ainda ocupam as primeiras posições.
Um cross-encoder pode pesquisar diretamente uma coleção inteira de documentos?
Executar um cross-encoder em uma coleção grande no momento da consulta geralmente é impraticável, pois o modelo precisa processar cada par de consulta e documento em conjunto, em uma passagem direta separada. As pontuações dos documentos dependem da consulta recebida e não podem ser pré-calculadas em um índice estático. Por isso, sistemas de busca usam primeiro índices lexicais ou vetoriais e reservam cross-encoders para reavaliar uma lista pequena.
Como um reranker funciona com busca híbrida?
Na busca híbrida, um recuperador lexical, como um índice no estilo BM25, e um recuperador vetorial denso retornam listas separadas de candidatos com escalas de pontuação bruta incompatíveis. Enviar os candidatos combinados e sem duplicatas a um reranker permite que um único modelo avalie cada trecho diretamente em relação à consulta e produza uma ordem de relevância unificada antes de os melhores fragmentos seguirem para o modelo de linguagem.
Qual é a diferença entre um modelo de embeddings e um reranker?
Um modelo de embeddings codifica consultas e documentos independentemente em vetores fixos para que um índice vetorial encontre correspondências aproximadas entre milhões de itens. Um reranker neural, geralmente um cross-encoder, recebe uma consulta e um trecho candidato juntos e produz uma pontuação direta de relevância para esse par específico, trocando indexabilidade e velocidade por uma classificação mais precisa em uma lista curta.
Devo executar um reranker de pesos abertos ou chamar uma API hospedada de reranking?
As duas opções de implantação ocupam o mesmo lugar na arquitetura entre a recuperação inicial e a geração. APIs hospedadas de reranking eliminam o trabalho de provisionar GPUs, escalar e servir o modelo em troca de chamadas de rede e cobrança por solicitação pelo fornecedor. Hospedar um reranker de pesos abertos por conta própria mantém os dados na sua infraestrutura e oferece controle direto das versões do modelo, mas exige gerenciar o hardware de inferência e a disponibilidade.
Fontes
- Rodrigo Nogueira e Kyunghyun Cho, Passage Re-ranking with BERT (2019)
- Nils Reimers e Iryna Gurevych, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019)
- Omar Khattab e Matei Zaharia, ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2020)



