AIガイド · 16分で読めます

Rerankerとは?Cross-EncoderがRAGの検索結果を改善する仕組み

Rerankerは一次検索で得た候補を、通常はCross-Encoderで再評価し、関連性の高い文章を上位に並べます。RAGで追加の遅延やコストに見合う場面を、二段階検索の仕組みやBi-Encoderとの違い、運用上のトレードオフとともに詳しく解説します。

文字やロゴのない、書類のような白紙カードが密な列を作って手前の明るいカードに引き寄せられ、暗い背景には別のカードが散らばって浮かんでいる

Rerankerは、クエリと一次検索で得た短い候補リストを受け取り、各項目を再評価して最も関連性の高い文章を上位に移す二次段階のモデルです。検索拡張生成(RAG)では、Rerankingによって幅広い検索結果から、言語モデルに送る上位のチャンクを絞り込みます。

検索エンジンや検索拡張生成(RAG)のパイプラインには、速度と順位付けの精度の間に基本的な緊張関係があります。数百万の文章を調べるには低コストの検索手法が必要ですが、簡易な類似度スコアでは、直接関係のない文章が正確な答えより上位に来ることがよくあります。文章のRerankingは、検索を幅広く高速な候補検索と、短いリストを対象にした低速で注意深い評価に分けることで、この問題に対処します。

検索とRAGにおける二段階検索はどう機能する?

二段階検索は、コーパス全体からの高速な候補生成と、少数の検索結果に対する高精度な評価を分離します。情報検索システムは現代の言語モデルが登場するずっと前からこのパターンを利用しており、RAGシステムも、無関係な検索結果からプロンプトのコンテキストウィンドウを守るために同じ役割分担を採用しています。

標準的な二段階RAGパイプラインは、次の3つのステップを順番に実行します。

  1. 一次検索(候補生成): 高速な検索器がコレクション全体を検索し、数十から数百の候補チャンクを返します。一般的な一次検索には、BM25方式の転置インデックスを使ったキーワード検索、テキスト埋め込みとベクトルデータベース内の近似最近傍(ANN)検索を使った密検索、または両者を組み合わせたハイブリッド検索があります。
  2. 文章のReranking: 専用のRerankerがユーザーのクエリと一次検索の各候補チャンクを一緒に評価し、新たな関連度スコアを付けて候補リストを並べ替えます。
  3. 生成: アプリケーションはReranking後に最も高いスコアを得た上位n件の文章だけを残し、ユーザーの質問とともに言語モデルのプロンプトに入れます。

一次検索は、大規模なインデックス全体での再現率と低遅延を重視します。文章のRerankingは、短いリストの最上位における適合率を重視します。Rerankerを追加しても、後続の言語モデルや基盤となる正本データのシステムは変わりません。Rerankerは、検索されたどのチャンクをプロンプトに入れるかを判断するだけです。

Bi-EncoderとCross-Encoder:なぜ1つのモデルで両方できないのか?

Bi-EncoderとCross-Encoderは、クエリと文書を異なる計算経路で処理します。そのため、オフラインでのインデックス作成とトークン単位の共同比較との間に直接的なトレードオフが生じます。bi-encoder vs cross-encoderのアーキテクチャを理解すると、実運用システムがデータベース全体にCross-Encoderを適用することがほとんどない理由や、ベクトル類似度だけでは似た候補の順位を誤ることがある理由が分かります。

Bi-Encoderが高速な一次検索を可能にする仕組み

Bi-Encoder(デュアルエンコーダーや埋め込みモデルとも呼ばれます)は、クエリと各文書を2つの独立したエンコード処理に通し、別々の固定長ベクトルを生成します。Nils ReimersとIryna Gurevychは、テキスト用のこのシャム型アーキテクチャの広く引用される一例を、Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks(EMNLP 2019)で定式化しました。

文書のエンコード時にはユーザーのクエリを参照しないため、コーパス内の各チャンクをあらかじめオフラインで埋め込みに変換し、ベクトルインデックスに保存できます。ユーザーがクエリを送信すると、システムはクエリだけを1回エンコードし、そのベクトルをコサイン類似度や内積などの軽量な数学的演算で、事前計算された数百万の文書ベクトルと比較します。質問を知る前に文章全体を1つのベクトルに圧縮することで大規模検索が実用的になる一方、クエリと文章の細かな言葉の関係は圧縮時に失われることがあります。

Cross-Encoderがクエリと文書のペアを評価する仕組み

Cross-Encoderはクエリと1つの候補文章を単一の入力シーケンスにつなぎ合わせ、両方を一緒にTransformerネットワークに通します。ネットワークはその特定のペアに対するスカラーの関連度スコアを出力します。Rodrigo NogueiraとKyunghyun Choは、Passage Re-ranking with BERT(2019)で、このニューラルRerankingの有効性を示しました。この手法は検索分野の文献でmonoBERTと呼ばれることがよくあります。

2つのテキストを一緒にモデルに入力すると、各層でクエリのすべてのトークンと文書のすべてのトークンの間に自己注意を適用できます。モデルはエンティティの完全一致、否定、限定表現、複数語にまたがる依存関係を直接検出できます。この共同注意には計算上の大きな制約があります。未知の将来のクエリをすでに考慮した静的な文書ベクトルは事前計算できません。各(query, candidate)ペアにはクエリ実行時に個別のニューラルネットワークの順伝播が必要なため、Cross-Encoderの対象は短い候補リストに限られます。

Late Interactionモデルの位置付け

Late Interactionアーキテクチャは、単一ベクトルのBi-Encoderと完全なCross-Encoderの中間に位置します。ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT(SIGIR 2020)で、Omar KhattabとMatei Zahariaは各文書についてトークン単位のベクトルを別々に保持し、検索時にクエリのトークンと文書のトークンを比較します。トークンごとの表現を保持すると、1つに集約されたベクトルよりも豊かな一致シグナルを捉えられ、同時に各クエリと文章のペアに対して完全な共同Transformer処理を実行するコストを避けられます。

アーキテクチャ 入力のエンコード方法 文書表現の事前計算 クエリ実行時の評価 パイプラインでの一般的な役割
Bi-encoder クエリと文章をそれぞれ単一ベクトルにエンコード 可能(チャンクごとに1ベクトル) ANN検索によるコサイン類似度または内積 大規模コレクションに対する一次段階の密検索
Late interaction(例:ColBERT) クエリと文章をそれぞれトークン単位のベクトルにエンコード 可能(チャンクごとに複数のトークンベクトル) 保存された表現間のトークン単位の相互作用 高精度な検索または中間段階の再評価
Cross-encoder クエリと文章を連結して共同で処理 不可(推論時にクエリが必要) (query, passage)ペアごとにモデルの完全な順伝播 短い候補リストを扱う二次段階のReranker

文章のRerankingの明確な限界:一次検索の再現率

Rerankerが並べ替えられるのは、一次検索器が実際に見つけた候補だけです。つまり、最初の候補リストから漏れた文章は、パイプラインの残りの処理からも見えません。ベクトル検索やキーワードインデックスが50個のチャンクを取得し、どれにも答えが含まれていなければ、理想的なCross-Encoderでさえ役に立たない50個のチャンクを少し整った順番に並べ替えることしかできません。

私がRAGパイプラインの検索品質を調査するときは、再現率の問題と順位付けの問題を分けることを必ず最初の診断ステップにします。Rerankerを探す前に、一次検索の未加工の候補リストのどこかに正しい文章があるか確認してください。関連する文章がまったく見つからない場合、ボトルネックは前段階にあります。

  • 文書の分割が不適切: 表、見出し、条件を文脈から切り離すと、評価が始まる前に検索が失敗します。構造上の分割を修正するには、RAG向けの文書のチャンク分割方法を確認してください。
  • 表現の不一致: 専門用語、部品番号、略語は、キーワード検索を組み合わせない限り、汎用の密な埋め込みでは見逃されがちです。
  • インデックスとフィルターの不具合: 古いインデックス、厳しすぎるメタデータフィルター、不正なアクセス制御ルールは、評価前に有効な文書を除外します。

Rerankingは、すでに答えを含む候補集合の中での順位の問題を解決します。候補集合に答えが含まれずに返ってくる場合は、前段階の検索を修正する必要があります。

追加の遅延とコストをかけてRerankerを導入する価値があるのはいつ?

一次検索が関連するチャンクを確実に候補集合に取り込めている一方、関連性の低い結果がリスト上位に残る場合は、Rerankerによる追加の推論ステップに価値があります。Rerankerは複雑さを増すため、後続処理の精度が上位k件の適合率に大きく依存するときに、最も明確な効果が得られます。

Rerankingが役立つ場面

  • 再現率は十分でも上位結果にノイズが多い: 一次検索は上位数十件のどこかに正しい文章を見つけますが、生のベクトル類似度では、必要な具体的条項よりも広い範囲を要約したチャンクが上位になります。
  • プロンプトの予算が厳しい: より少数の適切なチャンクを言語モデルに送ることで入力トークンを節約し、周辺的な内容が生成の方向を誤らせるのを防ぎます。
  • 引用元の正確さが重要なタスク: カスタマーサポートボット、社内規程アシスタント、文書検索ツールでは、正確な出典の文章を上位数件に置くことが重要です。こうした用途のユーザーは通常、より良い回答のためなら多少の待ち時間を許容します。
  • ハイブリッド検索の結果統合: キーワードインデックスの検索結果とベクトルインデックスの意味検索結果を組み合わせると、スコアの尺度に互換性がない2つのリストができます。統合した候補にCross-Encoderを適用すると、順位統合のヒューリスティックな重みにだけ頼らず、統一された関連度ランキングを作れます。

Rerankingの価値が小さい場面

  • 一次検索の上位k件がすでに適切: 既存の検索器が対象のクエリに対して正しい文章をすでに上位に置いているなら、モデル処理を追加してもコストが増えるだけで、言語モデルに渡る内容は変わりません。
  • 対話時の遅延制限が厳しい: リアルタイム音声エージェント、入力途中のオートコンプリート、1秒未満のUI操作では、生成開始前にTransformerの順伝播をもう一巡させる余裕はほとんどありません。
  • 高精度で非常に小さい候補集合: 構造化メタデータで厳しく絞り込んだ3〜5個のチャンクだけを取得するパイプラインでは、候補リストのほぼ全体をすでにプロンプトに送っています。
  • 検索ではなく専門領域での振る舞いの問題: 文章の選択ではなく、出力スタイルや専門的なタスクの書式にモデルが苦戦している場合は、RAGとファインチューニングの比較を確認し、システムの適切な層を改善しているか確かめてください。

Rerankerの運用コストとトレードオフ

Rerankerの運用には、候補ごとの推論計算、クリティカルパス上の直列の遅延、さらに運用または購入するモデルへの依存が加わります。これらの運用コストを事前に評価することで、rerank RAGを無料で精度を上げるスイッチのように扱わずに済みます。

  • 追加の推論呼び出し: Cross-Encoderの処理量は、クエリごとの候補数、各文章のトークン長、全体のクエリ量に応じて増えます。長いチャンクや多数の候補を評価すると、計算消費量は急速に増大します。
  • 直列の遅延: Rerankingは一次検索とLLMのトークンストリーミングの間に直接位置します。言語モデルがプロンプトを読み、最初の出力トークンを生成する前に、すべての候補バッチの評価が完了していなければなりません。
  • 本番環境で管理するモデルの追加: チームは商用のホスト型Rerank APIを呼び出すか、オープンウェイトのRerankerを自社のGPUにデプロイします。どちらを選んでも、バージョン管理、タイムアウト処理、評価モデルが利用できない場合のフォールバック、監視が追加されます。
  • 候補リストを長くした場合の収穫逓減: 固定ルールではなく説明のための例として、20件の候補を再評価すれば、一次検索ですでに見つかった関連チャンクを捉えられる場合があります。一方、有用な文章がすでに上位にある場合、重いCross-Encoderで1,000件の候補を再評価しても、わずかな改善のために計算量と待ち時間が何倍にもなります。

専用のCross-Encoderを使わず、汎用言語モデルに検索済みの文章を直接評価またはフィルタリングさせるチームもあります。ただし、生成モデルを文章の判定役にするのは別のパターンであり、通常はより遅く、候補ごとのコストも高くなります。単純なRAGアプリケーションの多くは二次段階のRerankerをまったく追加せず、適切に調整したチャンク分割、メタデータフィルター、ハイブリッド検索で品質目標を達成しています。

Rerankerではないもの

Rerankerは候補リストを評価するモデルであり、ストレージエンジン、埋め込みの生成器、真偽を検証する層とは異なります。その境界を明確にすることで、アーキテクチャに関するよくある誤解を防げます。

  • ベクトルデータベースでも埋め込みモデルでもない: 埋め込みモデルは個々のテキストをベクトルに変換し、ベクトルデータベースは高速検索のためにそれらをインデックス化します。Rerankerは何も保存せず、候補ペアの関連度スコアをその場で生成します。
  • 事実の正確さやアクセス権を保証しない: Cross-Encoderは文章がクエリにどれほど一致するかを推定します。古い規程、不正確な記述、ユーザーに閲覧権限のない文書でも、質問の文言に一致すれば上位に評価されます。アクセス制御によるフィルタリングとコンテンツ管理はRerankerの外で行う必要があります。
  • 対象コーパス固有の評価の代わりにはならない: 公開モデルのベンチマークが、実際の文書構造、クエリの言い回し、遅延制限を正確に反映することはありません。自分たちのクエリで検索のヒット率と回答の全体的な品質を測定することが、Rerankerの導入効果を確認する唯一の信頼できる方法です。

FAQ

すべてのRAGパイプラインにRerankerは必要ですか?

いいえ。候補集合が小さい場合、一次検索の適合率がすでに高い場合、または音声インターフェースやオートコンプリートのように厳しい遅延制限がある場合、多くの本番RAGパイプラインは単一の検索段階でうまく機能します。チームがRerankerを追加するのは通常、幅広い候補集合に関連文章が含まれている一方、関連性の低い結果が上位を占めていることを確認した後です。

Cross-Encoderは文書コレクション全体を直接検索できますか?

クエリ実行時に大規模なコレクション全体にCross-Encoderを適用することは、一般に現実的ではありません。モデルはクエリと文書の各ペアを一緒に、個別の順伝播で処理する必要があるためです。文書のスコアは入力されたクエリに依存し、静的なインデックスに事前計算できません。そのため検索システムは、まずキーワードまたはベクトルのインデックスを利用し、Cross-Encoderは少数の候補を再評価するために使います。

Rerankerはハイブリッド検索とどう連携しますか?

ハイブリッド検索では、BM25方式のインデックスのようなキーワード検索器と密ベクトル検索器が、生のスコア尺度に互換性のない別々の候補リストを返します。統合して重複を除いた候補をRerankerに渡すと、単一のモデルが各文章をクエリに照らして直接評価し、上位チャンクを言語モデルに送る前に、統一された関連度順を作成できます。

埋め込みモデルとRerankerの違いは何ですか?

埋め込みモデルはクエリと文書を独立して固定ベクトルにエンコードし、ベクトルインデックスが数百万の項目から近似一致を見つけられるようにします。ニューラルRerankerは通常Cross-Encoderであり、1つのクエリと1つの候補文章を一緒に受け取り、その特定のペアに対する直接の関連度スコアを出力します。インデックス化のしやすさと速度を犠牲に、短い候補リストでの順位付けの精度を高めます。

オープンウェイトのRerankerを運用すべきですか、それともホスト型Rerank APIを呼び出すべきですか?

どちらのデプロイ方法も、一次検索と生成の間という同じアーキテクチャ上の位置を占めます。ホスト型Rerank APIはGPUの調達、スケーリング、モデルの提供を不要にしますが、ネットワーク呼び出しとリクエストごとのベンダー課金が発生します。オープンウェイトのRerankerを自前でホストすれば、データを自社インフラ内に保ち、モデルのバージョンを直接管理できますが、推論用ハードウェアと稼働時間を自分たちで管理する必要があります。

Sources

執筆

Chunyu Cai

Chunyu CaiはLotook, LLCの最高経営責任者(CEO)であり、起業家です。AIモデルやエージェント、そしてそれらが日々の仕事をどう変えるかについて執筆しています。Chunyu CaiはImperial College Londonで修士号を取得しています。