AIガイド · 13分で読めます

ベクトルデータベースとは?検索とRAGのためのembeddingの保存方法

ベクトルデータベースはembeddingを保存し、近似最近傍探索で似た項目を探します。キーワード検索との違いやRAGでの役割、インデックスの仕組み、検索精度と速度のトレードオフ、本番環境で知っておきたい運用上の制約をわかりやすく解説します。

暗いベクトル空間に光る点が集まり、クエリを表す光と最も近い点を細い線が結んでいる。文字やロゴはない

ベクトルデータベースは高次元のembedding(埋め込み)ベクトルをメタデータとともに保存し、コサイン類似度、内積、ユークリッド距離などの類似度指標を使って、クエリベクトルに最も近い項目を取得します。完全一致するキーを探すリレーショナル検索とは異なり、テキスト、画像、その他の非構造化データに対するセマンティック検索や検索拡張生成(RAG)を支えます。

ベクトルデータベースとは?

ベクトルデータベースとは、embeddingベクトルを保存し、クエリベクトルに最も近い項目を取得するために設計されたデータベース、またはより広いデータプラットフォーム内の専用ベクトルインデックスです。2つのベクトル間の距離や近さは、コサイン類似度、内積(ドット積)、ユークリッド距離(L2)によって数学的に測定します。

従来のデータベースクエリは、IDが55の行を返したり、ステータスがオープンの行を絞り込んだりするように、正確な属性を探します。ベクトルクエリが問うのは別のことです。ユーザーの入力、文書の一節、画像を数値で表現したものをもとに、意味や内容が最も近い保存済みの項目を返します。

実際には、この機能は独立した専用ベクトルデータベースにも、ベクトルインデックス機能を追加した汎用リレーショナルデータベースや検索エンジンにも置くことができます。どの形で提供されても、中心となる仕事は同じです。高次元ベクトルをインデックス化し、メタデータによる制約をサポートし、対話型アプリケーションに十分な速さで最近傍を返します。

リレーショナルインデックスが高次元の類似検索を苦手とするのはなぜ?

B木やハッシュインデックスなどのリレーショナルインデックスは、数百から数千の次元にわたる距離計算ではなく、キーの完全一致検索、スカラー値の範囲検索、テーブル結合向けに設計されているため、高次元の類似検索を苦手とします。

次元数が増えると、最近傍探索は次元の呪いに直面します。高次元空間では点同士の距離が一定の範囲に集中する傾向があり、単純な空間分割の効果が低下します。厳密なk近傍探索(kNN)のスキャンでは、クエリベクトルを保存済みの全ベクトルと比較する必要があり、コレクションが数百万のembeddingに達すると遅く、計算負荷も大きくなります。

この制約はアクセスパターンによるもので、リレーショナルシステムが数値の配列を保持できないという意味ではありません。現在では複数の汎用データベースや検索エンジンが標準テーブルと並んでベクトルインデックスをサポートし、開発者はトランザクションデータの近くで類似検索を実行できます。そのようなシステムでも、類似検索のクエリは標準のB木ではなく専用のベクトルインデックス構造に依存します。

embedding、メタデータ、ベクトルインデックスはどう連携する?

embedding、メタデータ、ベクトルインデックスは、非構造化コンテンツの数値表現と、フィルタリングやアクセスを制御する構造化属性を組み合わせて連携します。embeddingモデルはテキスト、音声、画像を固定長の数値ベクトルに変換し、意味的に関連する項目がベクトル空間内で近くに位置するようにします。この過程はembeddingの解説で詳しく説明しています。

ベクトルデータベースは各embeddingベクトルを有用なメタデータとともに保存します。通常、次のものが含まれます。

  • 元のファイルに紐づく文書またはレコードの識別子
  • 新しさや対象範囲を指定するためのタイムスタンプ、カテゴリ、文書タイプ
  • 複数ユーザー向けアプリケーションのテナント識別子とアクセス制御属性
  • テキストチャンクそのもの、またはプライマリストレージからテキストを取得するための参照先

クエリの実行時には、特定の日付以降に更新された規定の中から、特定の顧客に関する最も近いチャンクを探すなど、フィルター付き検索が必要になることがよくあります。ベクトルインデックスは最近傍の探索前、探索中、または探索後にメタデータフィルターを処理します。それぞれの方法には、検索の再現率とクエリの遅延の間にトレードオフがあります。

近似最近傍探索とは?HNSWはどう動く?

近似最近傍探索(approximate nearest neighbor、ANN)は、真の最近傍を見逃す可能性をわずかに受け入れる代わりに、クエリを大幅に高速化してベクトルの取得を速めます。厳密なkNNスキャンは大規模な高次元データセットではスケールしにくいため、本番環境のベクトルデータベースは応答性を維持するためにANNインデックスを利用します。

HNSWとグラフベースのインデックス

Yu. A. MalkovとD. A. Yashuninが2018年に発表したHierarchical Navigable Small World(HNSW)グラフ(arXiv:1603.09320)は、最も一般的なANNインデックスの設計の一つです。HNSWは保存されたベクトルを複数層の近傍グラフに整理します。

HNSWグラフの上位層は疎で、ベクトル空間を横断する長距離のリンクを持ちます。一方、最下層にはすべてのベクトルがあり、局所的な接続はより密です。クエリが届くと、探索は疎な上位層から始まり、広い領域を素早く移動します。その後、徐々に密度の高い層へ降り、近傍リンクをたどってクエリベクトルに近づきながら、最も近い候補にたどり着きます。

その他のANNインデックスの種類

グラフインデックスはANN設計の一分野です。Faissなどのライブラリに記載された、他の広く使われる種類は異なるアプローチを取ります。

  • 転置ファイル(IVF)クラスタリング: ベクトルを、多くの場合k-meansを使ってクラスタに分けます。クエリ時には、コレクション全体をスキャンする代わりに、クエリベクトルに最も近いクラスタだけを調べます。
  • 積量子化(PQ)を含む量子化: ベクトルをコンパクトなコードに圧縮し、より大きなコレクションをメモリに収めます。距離の精度をある程度犠牲にしてRAM使用量を減らします。
  • 局所性鋭敏型ハッシュ(LSH): 従来のハッシュ関数を使い、似たベクトルを高い確率で同じバケットに割り当てます。これによりクエリは近くのバケット内の項目だけを調べます。

すべてのワークロードに適した単一のANNアルゴリズムはありません。インデックスの選択は、再現率の要件、利用可能なメモリ、レコードの挿入や削除の頻度、クエリでメタデータをどの程度絞り込むかに依存します。

ベクトル検索、キーワード検索、ハイブリッド検索の比較

ベクトル検索とキーワード検索は異なる照合シグナルを利用します。ハイブリッド検索は両方の方法を組み合わせ、正確な用語とともに意味的な内容を捉えます。

キーワード検索、すなわち字句検索は、転置インデックスとBM25などの用語重み付け式を使い、共通する単語や用語の統計に基づいて文書を順位付けします。エラーコード、製品SKU、法律の条文番号、固有名詞など、正確なトークンをクエリに含む場合に安定して機能します。ベクトル検索は密なembeddingを比較するため、まったく異なる言い回しで同じ概念を論じる文章を取得できます。ただし、モデルがそれらのトークンを明確に区別できない場合、密なembeddingは珍しい正確な識別子を見逃すことがあります。

ハイブリッド検索は同じクエリに対して字句検索とベクトル検索の両方を実行し、得られた候補リストを統合または再順位付けして、メタデータフィルターを適用します。

検索方法 主な照合シグナル 主な強み 主な制約 RAGでの一般的な役割
キーワード検索 転置インデックスによる正確な用語と出現頻度 SKU、エラーコード、名前、正確なフレーズに強い 同義語や言い換えられた概念を見逃す 正確な識別子や技術コードを捉える
ベクトル検索 embeddingベクトル間の距離 表現が異なる概念的に関連した文章を見つける 珍しい正確なトークンを見逃す場合があり、チャンク分割の品質に左右される 自然言語クエリの意味的な文脈を取得する
ハイブリッド検索 メタデータフィルターを伴う字句とベクトルの複合スコア 正確な適合率と意味的な再現率のバランスを取る スコアの統合や再順位付けの工程が増える 多様なユーザークエリに対する標準的な検索方式

RAGにおけるベクトルデータベースの役割と限界

ベクトルデータベースは検索拡張生成(RAG)の検索層として機能し、推論時に関連する文脈のチャンクを言語モデルに提供します。モデルの重みに組み込まれた静的な知識だけに頼る代わりに、RAGパイプラインは外部の事実を動的に取得します。このアーキテクチャ上の違いはRAGとファインチューニングの比較でさらに詳しく扱っています。

一般的な概念上のワークフローは6つのステップです。

  1. RAG向け文書のチャンク分割ガイドの戦略に従い、元文書を焦点を絞った文章に分割します。
  2. embeddingモデルを使って各チャンクのembeddingベクトルを生成します。
  3. ベクトル、メタデータ、チャンクへの参照をベクトルデータベースまたはベクトルインデックスに保存します。
  4. 同じembeddingモデルまたは互換性のあるクエリエンコーダーで、入力されたユーザーの質問をエンコードします。
  5. ベクトルインデックスに最も近いチャンクを問い合わせ、メタデータフィルターと、必要に応じてキーワード照合または再順位付けを適用します。
  6. RAGの概要で説明しているように、取得した文章を文脈として言語モデルのプロンプトに渡します。

ベクトルデータベースが担わないこと

境界を理解すると、アーキテクチャを明確に保てます。ベクトルデータベースは、回答を生成する言語モデル、コンテンツをベクトルに変換するembeddingモデル、業務上のトランザクションを管理する正本となる基幹システムのいずれも置き換えません。

embeddingの保存は、信頼できる正本の維持とも異なります。チームには引き続き、元のテキストへのアクセス、明確な権限の適用、元文書が変わった際にベクトルを更新または削除するパイプラインが必要です。元のテキストが変わった場合やチームが新しいembeddingモデルに切り替えた場合は、対象文書のembeddingを再生成しなければなりません。また、すべてのRAG導入で独立した専用ベクトルデータベースが必要なわけではありません。規模とフィルタリングの要件が合えば、既存のデータベースや検索エンジン内のベクトルインデックスで同じ役割を果たせます。

本番環境で考慮すべき制約

ベクトルデータベースには、インデックスの近似、前段階のデータ準備、継続的なメンテナンスに関する実用上の制約があり、別のインデックスアルゴリズムを選ぶだけでは解決できません。

  • 近似による見逃し: ANNインデックスは正確さと速度を引き換えにするため、計算量やメモリのコストを増やして再現率の設定を高めない限り、クエリが真の最近傍を飛ばすことがあります。
  • 前段階の品質が結果を左右する: チャンクの区切りが不適切だったり、分野に合わないembeddingモデルを使ったりすると、ベクトルインデックスがどれほど速くても検索結果は弱くなります。
  • 類似性は真実を意味しない: 高い類似度スコアが意味するのは、2つのベクトルがembedding空間で近くにあることだけです。取得したチャンクは、事実と異なっていたり、古かったり、メタデータフィルターの失敗によりアクセス権のない内容だったりすることがあります。
  • 運用上の保守: embeddingモデルの変更には、すべてのembeddingの再生成とインデックスの再構築が必要です。また、頻繁な編集や削除、テナント間の厳格な分離には、一貫性と権限の慎重な設計が必要です。

FAQ

RAGには独立したベクトルデータベースが必要?

いいえ。RAGアーキテクチャに独立したベクトルデータベースが常に必要なわけではありません。専用のベクトルデータベースは高次元データの取得向けに作られていますが、多くの汎用リレーショナルデータベースや検索エンジンにも、現在はベクトルインデックス拡張が含まれます。既存のデータシステムがフィルタリングや更新の要件を満たすなら、小規模から中規模のコレクションはそこに無理なく収まる場合があります。

ベクトルデータベースはどの距離指標を使う?

ほとんどのベクトルデータベースは、コサイン類似度、内積(ドット積)、ユークリッド距離(L2)という3つの一般的な指標をサポートします。適切な選択は、embeddingモデルの学習方法と、ベクトルが正規化されているかどうかによって異なります。コサイン類似度は大きさに関係なくベクトルの角度を比較し、ユークリッド距離と内積はベクトルの長さを考慮します。

ベクトルインデックスでHNSWがよく使われるのはなぜ?

HNSW、すなわちHierarchical Navigable Small Worldグラフは、複数層のグラフ設計によって、保存された全ベクトルをスキャンせずに大規模なベクトルコレクションを素早く探索できるため、広く使われています。探索は疎な上位層から始まり、ベクトル空間を跳躍して移動し、より密な下位層で結果を絞り込みます。これによりクエリ速度と再現率の実用的なバランスが得られます。

ベクトルデータベースはキーワード検索を置き換えられる?

セマンティックなembeddingと字句の用語は異なる検索上の問題を解決するため、ベクトルデータベースがキーワード検索を完全に置き換えることはまれです。ベクトル検索は、クエリが考えを異なる言葉で言い換える場合に優れ、キーワード検索は正確なエラーコード、SKU、法律の引用に優れます。本番環境の検索パイプラインの多くは、ハイブリッド検索で両方を組み合わせます。

出典

執筆

Chunyu Cai

Chunyu CaiはLotook, LLCの最高経営責任者(CEO)であり、起業家です。AIモデルやエージェント、そしてそれらが日々の仕事をどう変えるかについて執筆しています。Chunyu CaiはImperial College Londonで修士号を取得しています。