KI-Ratgeber · 7 Min. Lesezeit

Was ist eine Vektordatenbank? So speichert sie Embeddings für Suche und RAG

Eine Vektordatenbank speichert Embeddings und findet ähnliche Inhalte per ANN-Suche. Lesen Sie, wie sie sich von Stichwortsuche unterscheidet und RAG hilft.

Leuchtende Punkte bilden Gruppen in einem dunklen Vektorraum; dünne Linien verbinden einen Abfragefunken mit seinen nächsten Nachbarpunkten, ohne Text oder Logos

Eine Vektordatenbank speichert hochdimensionale Embedding-Vektoren zusammen mit Metadaten und findet anhand von Ähnlichkeitsmaßen wie Kosinusähnlichkeit, Skalarprodukt oder euklidischer Distanz die einem Abfragevektor nächsten Elemente. Anders als relationale Abfragen mit exakten Schlüsseln ermöglichen Vektordatenbanken die semantische Suche und Retrieval-Augmented Generation (RAG) über Texte, Bilder und andere unstrukturierte Daten.

Was ist eine Vektordatenbank?

Eine Vektordatenbank ist eine Datenbank oder ein spezialisierter Vektorindex innerhalb einer umfassenderen Datenplattform, der Embedding-Vektoren speichert und die einem Abfragevektor nächsten Elemente abruft. Der Abstand oder die Nähe zwischen zwei Vektoren wird mathematisch mit Kosinusähnlichkeit, innerem Produkt (Skalarprodukt) oder euklidischer Distanz (L2) gemessen.

Herkömmliche Datenbankabfragen suchen nach exakten Attributen, etwa nach der Zeile mit der ID 55 oder nach Zeilen, deren Status offen ist. Eine Vektorabfrage stellt eine andere Frage: Welche gespeicherten Elemente liegen angesichts einer numerischen Darstellung einer Nutzereingabe, einer Dokumentpassage oder eines Bildes in Bedeutung oder Inhalt am nächsten?

In der Praxis kann diese Funktion in einer eigenständigen spezialisierten Vektordatenbank oder in einer relationalen Mehrzweckdatenbank beziehungsweise Suchmaschine mit zusätzlicher Vektorindizierung liegen. Unabhängig von der Ausprägung bleibt die Kernaufgabe gleich: hochdimensionale Vektoren indizieren, Metadatenbeschränkungen unterstützen und nächste Nachbarn schnell genug für interaktive Anwendungen zurückgeben.

Warum haben relationale Indizes Schwierigkeiten mit hochdimensionaler Ähnlichkeitssuche?

Relationale Indizes wie B-Bäume und Hash-Indizes haben Schwierigkeiten mit hochdimensionaler Ähnlichkeitssuche, weil sie für exakte Schlüsselsuchen, skalare Wertebereiche und Tabellenverknüpfungen ausgelegt sind, nicht für Abstandsberechnungen über Hunderte oder Tausende Dimensionen.

Mit wachsender Dimensionszahl stößt die Suche nach nächsten Nachbarn auf den Fluch der Dimensionalität. In hochdimensionalen Räumen neigen paarweise Abstände zwischen Punkten dazu, sich anzugleichen, wodurch einfache räumliche Aufteilungen weniger wirksam werden. Ein exakter k-Nearest-Neighbor-Scan (kNN) muss den Abfragevektor mit jedem gespeicherten Vektor vergleichen. Bei Millionen von Embeddings wird das langsam und rechenintensiv.

Diese Grenze betrifft das Zugriffsmuster und bedeutet nicht, dass relationale Systeme keine Zahlenarrays speichern können. Mehrere Mehrzweckdatenbanken und Suchmaschinen unterstützen inzwischen Vektorindizes neben normalen Tabellen, sodass Entwickler Ähnlichkeitssuchen neben Transaktionsdaten ausführen können. Auch dort verwenden Ähnlichkeitsabfragen spezialisierte Vektorindexstrukturen statt normaler B-Bäume.

Wie arbeiten Embeddings, Metadaten und Vektorindizes zusammen?

Embeddings, Metadaten und Vektorindizes kombinieren numerische Darstellungen unstrukturierter Inhalte mit strukturierten Attributen, die Filterung und Zugriff steuern. Ein Embedding-Modell übersetzt Text, Audio oder Bilder in numerische Vektoren fester Länge, sodass semantisch verwandte Elemente im Vektorraum nahe beieinander liegen. Diesen Vorgang erklärt unser Leitfaden zu Embeddings ausführlich.

Eine Vektordatenbank speichert jeden Embedding-Vektor zusammen mit nützlichen Metadaten, typischerweise:

  • Eine Dokument- oder Datensatzkennung, die auf die Quelldatei verweist
  • Zeitstempel, Kategorien oder Dokumenttypen für Aktualität und Eingrenzung
  • Mandantenkennungen und Zugriffskontrollattribute für Mehrbenutzeranwendungen
  • Den Textabschnitt selbst oder einen Verweis zum Abrufen des Textes aus dem Primärspeicher

Bei einer Abfrage benötigen Anwendungen häufig eine gefilterte Suche, etwa nach den nächsten Abschnitten für einen bestimmten Kunden innerhalb von Richtlinien, die nach einem bestimmten Datum aktualisiert wurden. Vektorindizes wenden Metadatenfilter vor, während oder nach dem Durchlaufen der nächsten Nachbarn an; jede Strategie bringt Abwägungen zwischen Trefferquote und Abfragelatenz mit sich.

Was ist die approximative Suche nach nächsten Nachbarn und wie funktioniert HNSW?

Die approximative Suche nach nächsten Nachbarn (Approximate Nearest Neighbor, ANN) beschleunigt den Vektorabruf, indem sie eine geringe Wahrscheinlichkeit akzeptiert, einen tatsächlich nächsten Nachbarn zu übersehen, und dafür Abfragen deutlich schneller ausführt. Da exakte kNN-Scans bei großen hochdimensionalen Datensätzen schlecht skalieren, setzen produktive Vektordatenbanken auf ANN-Indizes, um reaktionsfähig zu bleiben.

HNSW und graphbasierte Indizierung

Hierarchical-Navigable-Small-World-Graphen (HNSW), die Yu. A. Malkov und D. A. Yashunin 2018 vorstellten (arXiv:1603.09320), gehören zu den häufigsten ANN-Indexentwürfen. HNSW organisiert gespeicherte Vektoren in einem mehrschichtigen Nachbarschaftsgraphen.

Die oberen Schichten eines HNSW-Graphen sind dünn besetzt und enthalten weitreichende Verbindungen durch den Vektorraum; die unterste Schicht enthält alle Vektoren mit dichteren lokalen Verbindungen. Bei einer Abfrage beginnt die Suche auf einer dünn besetzten oberen Schicht, um große Bereiche schnell zu durchqueren. Dann steigt sie durch zunehmend dichtere Schichten ab und folgt Nachbarschaftsverbindungen immer näher zum Abfragevektor, bis sie die nächsten Kandidaten erreicht.

Weitere ANN-Indexfamilien

Graphindizes sind ein Zweig des ANN-Entwurfs. Andere weit verbreitete Familien, die in Bibliotheken wie Faiss dokumentiert sind, verfolgen andere Ansätze:

  • Inverted-File-Clustering (IVF): Vektoren werden häufig mit k-means in Cluster gruppiert. Bei einer Abfrage prüft der Index nur die dem Abfragevektor nächsten Cluster, statt die gesamte Sammlung zu durchsuchen.
  • Quantisierung einschließlich Produktquantisierung (PQ): Vektoren werden zu kompakten Codes komprimiert, damit größere Sammlungen in den Speicher passen; geringerer RAM-Bedarf wird gegen etwas Abstandsgenauigkeit eingetauscht.
  • Locality-Sensitive Hashing (LSH): Klassische Hashfunktionen ordnen ähnliche Vektoren mit hoher Wahrscheinlichkeit denselben Buckets zu, sodass Abfragen nur Elemente in nahegelegenen Buckets prüfen.

Kein einzelner ANN-Algorithmus passt zu jeder Arbeitslast. Die Indexwahl hängt von den Anforderungen an die Trefferquote, dem verfügbaren Speicher, der Häufigkeit von Einfügungen oder Löschungen und der Stärke der Metadatenfilterung bei Abfragen ab.

Vektorsuche, Stichwortsuche und hybride Suche im Vergleich

Vektorsuche und Stichwortsuche nutzen unterschiedliche Abgleichsignale; die hybride Suche kombiniert beide Methoden, um semantische Bedeutung und exakte Begriffe zu erfassen.

Die Stichwort- oder lexikalische Suche verwendet invertierte Indizes und Termgewichtungsformeln wie BM25, um Dokumente anhand gemeinsamer Wörter und Termstatistiken zu bewerten. Sie funktioniert zuverlässig bei exakten Tokens wie Fehlercodes, Produkt-SKUs, Gesetzesartikelnummern oder Eigennamen. Die Vektorsuche vergleicht dichte Embeddings und findet so Passagen, die dasselbe Konzept ganz anders formulieren. Dichte Embeddings können jedoch seltene exakte Kennungen übersehen, wenn das Modell diese Tokens nicht sauber trennt.

Die hybride Suche führt lexikalischen und Vektorabruf für dieselbe Abfrage aus, führt die resultierenden Kandidatenlisten zusammen oder ordnet sie neu und wendet Metadatenfilter an.

Abrufmethode Primäres Abgleichsignal Hauptstärken Wichtigste Grenzen Typische Rolle in RAG
Stichwortsuche Exakte Begriffe und Termhäufigkeit über invertierte Indizes Stark bei SKUs, Fehlercodes, Namen und exakten Phrasen Übersieht Synonyme und umformulierte Konzepte Exakte Kennungen und technische Codes erfassen
Vektorsuche Abstand zwischen Embedding-Vektoren Findet inhaltlich verwandte Passagen mit anderer Formulierung Kann seltene exakte Tokens übersehen; hängt von der Chunking-Qualität ab Semantischen Kontext für natürlichsprachliche Abfragen abrufen
Hybride Suche Kombinierte lexikalische und Vektorwerte mit Metadatenfiltern Verbindet exakte Präzision mit semantischer Trefferquote Zusätzliche Pipeline-Schritte für Wertkombination oder Neusortierung Standardabruf für unterschiedliche Nutzerabfragen

Wie Vektordatenbanken in RAG passen und wo ihre Grenzen liegen

Eine Vektordatenbank dient in Retrieval-Augmented Generation (RAG) als Abrufschicht und liefert einem Sprachmodell zur Inferenzzeit relevante Kontextabschnitte. Statt sich allein auf statisches Wissen in den Modellgewichten zu verlassen, ruft eine RAG-Pipeline externe Fakten dynamisch ab. Diesen Architekturunterschied behandelt RAG vs. Fine-Tuning ausführlicher.

Ein typischer konzeptioneller Ablauf umfasst sechs Schritte:

  1. Quelldokumente in thematisch abgegrenzte Textpassagen teilen, anhand der Strategien in unserem Leitfaden zum Chunking von Dokumenten für RAG.
  2. Mit einem Embedding-Modell für jeden Abschnitt einen Embedding-Vektor erzeugen.
  3. Vektoren, Metadaten und Abschnittsverweise in einer Vektordatenbank oder einem Vektorindex speichern.
  4. Die eingehende Frage des Nutzers mit demselben Embedding-Modell oder einem kompatiblen Abfrage-Encoder kodieren.
  5. Den Vektorindex nach den nächsten Abschnitten abfragen und dabei Metadatenfilter sowie optional Stichwortabgleich oder Neusortierung anwenden.
  6. Die abgerufenen Passagen als Kontext in den Prompt des Sprachmodells geben, wie in unserem RAG-Überblick beschrieben.

Was eine Vektordatenbank nicht ist

Wer die Grenzen versteht, hält die Architektur übersichtlich. Eine Vektordatenbank ersetzt weder das Sprachmodell, das Antworten erzeugt, noch das Embedding-Modell, das Inhalte in Vektoren umwandelt, noch das führende Primärsystem für Geschäftstransaktionen.

Embeddings zu speichern ist auch etwas anderes, als eine maßgebliche Datenquelle zu pflegen. Teams benötigen weiterhin Zugriff auf den zugrunde liegenden Text, eine eindeutige Durchsetzung von Berechtigungen und eine Pipeline, die Vektoren bei Änderungen der Quelldokumente aktualisiert oder löscht. Ändert sich der Quelltext oder wechselt das Team zu einem neuen Embedding-Modell, müssen betroffene Dokumente erneut eingebettet werden. Außerdem benötigt nicht jede RAG-Implementierung eine eigenständige spezialisierte Vektordatenbank; ein Vektorindex in einer bestehenden Datenbank oder Suchmaschine kann dieselbe Rolle erfüllen, wenn Umfang und Filteranforderungen passen.

Grenzen, die Sie im Betrieb einplanen sollten

Vektordatenbanken haben praktische Grenzen bei Indexapproximation, vorgelagerter Datenaufbereitung und laufender Wartung, die sich nicht durch die Wahl eines anderen Indexalgorithmus lösen lassen.

  • Approximationsbedingte Fehltreffer: Da ANN-Indizes Genauigkeit gegen Geschwindigkeit tauschen, kann eine Abfrage einen tatsächlich nächsten Nachbarn übergehen, sofern die Einstellungen für die Trefferquote nicht bei höheren Rechen- oder Speicherkosten angehoben werden.
  • Vorgelagerte Qualität ist entscheidend: Schlechte Abschnittsgrenzen oder ein für Ihre Domäne ungeeignetes Embedding-Modell liefern schwache Suchergebnisse, unabhängig von der Geschwindigkeit des Vektorindex.
  • Ähnlichkeit ist keine Wahrheit: Ein hoher Ähnlichkeitswert bedeutet nur, dass zwei Vektoren im Embedding-Raum nahe beieinander liegen. Abgerufene Abschnitte können sachlich falsch, veraltet oder bei versagenden Metadatenfiltern nicht zugelassen sein.
  • Betriebliche Pflege: Ein Wechsel des Embedding-Modells erfordert erneutes Einbetten aller Inhalte und einen Neuaufbau der Indizes. Häufige Änderungen, Löschungen und strikte Mandantentrennung erfordern zudem eine sorgfältige Konsistenz- und Berechtigungsplanung.

FAQ

Benötige ich für RAG eine eigenständige Vektordatenbank?

Nein, eine RAG-Architektur benötigt nicht immer eine eigenständige Vektordatenbank. Spezialisierte Vektordatenbanken sind zwar eigens für hochdimensionalen Abruf gebaut, doch viele relationale Mehrzweckdatenbanken und Suchmaschinen enthalten inzwischen Vektorindex-Erweiterungen. Kleine oder mittelgroße Sammlungen passen möglicherweise gut in ein bestehendes Datensystem, sofern es Ihre Filter- und Aktualisierungsanforderungen erfüllt.

Welches Abstandsmaß verwendet eine Vektordatenbank?

Die meisten Vektordatenbanken unterstützen drei gängige Maße: Kosinusähnlichkeit, inneres Produkt (Skalarprodukt) und euklidische Distanz (L2). Die richtige Wahl hängt davon ab, wie das Embedding-Modell trainiert wurde und ob seine Vektoren normalisiert sind. Die Kosinusähnlichkeit vergleicht den Vektorwinkel unabhängig vom Betrag, während euklidische Distanz und inneres Produkt die Vektorlänge einbeziehen.

Warum wird HNSW so häufig in Vektorindizes verwendet?

HNSW oder Hierarchical-Navigable-Small-World-Graphen sind verbreitet, weil ihr mehrschichtiger Graph große Vektorsammlungen schnell durchsucht, ohne jeden gespeicherten Vektor zu prüfen. Die Suche beginnt auf dünn besetzten oberen Schichten, um den Vektorraum zu durchqueren, und verfeinert Ergebnisse auf dichteren unteren Schichten. Das bietet ein praktikables Gleichgewicht zwischen Abfragegeschwindigkeit und Trefferquote.

Kann eine Vektordatenbank die Stichwortsuche ersetzen?

Eine Vektordatenbank ersetzt die Stichwortsuche selten vollständig, weil semantische Embeddings und lexikalische Begriffe unterschiedliche Abrufprobleme lösen. Vektorsuche ist stark, wenn Abfragen Ideen anders formulieren; Stichwortsuche ist stark bei exakten Fehlercodes, SKUs und Gesetzesverweisen. Viele produktive Abrufpipelines kombinieren beide Methoden in einer hybriden Suche.

Quellen

Geschrieben von

Chunyu Cai

Chunyu Cai ist CEO von Lotook, LLC und Unternehmer. Er schreibt über KI-Modelle, Agenten und darüber, wie sie den Arbeitsalltag verändern. Chunyu Cai hat einen Masterabschluss am Imperial College London erworben.