Een vectordatabase slaat hoogdimensionale embeddingvectoren op naast metadata en haalt de items op die het dichtst bij een zoekvector liggen, met behulp van gelijkenismaten zoals cosinusgelijkenis, inwendig product of euclidische afstand. Anders dan relationele zoekopdrachten die exacte sleutels zoeken, maken vectordatabases semantisch zoeken en retrieval-augmented generation (RAG) mogelijk voor tekst, afbeeldingen en andere ongestructureerde data.
Wat is een vectordatabase?
Een vectordatabase is een database, of een gespecialiseerde vectorindex binnen een breder dataplatform, die is ontworpen om embeddingvectoren op te slaan en de items op te halen die het dichtst bij een zoekvector liggen. De afstand of nabijheid tussen twee vectoren wordt wiskundig gemeten met cosinusgelijkenis, inwendig product (scalair product) of euclidische afstand (L2).
Traditionele databasequery’s zoeken naar exacte eigenschappen, bijvoorbeeld de rij met ID 55 of rijen met de status open. Een vectorquery stelt een andere vraag: geef, op basis van een numerieke representatie van een gebruikersprompt, documentpassage of afbeelding, de opgeslagen items terug die qua betekenis of inhoud het dichtstbij liggen.
In de praktijk kan deze functie onderdeel zijn van een zelfstandige gespecialiseerde vectordatabase, of van een algemene relationele database of zoekmachine waaraan vectorindexering is toegevoegd. Ongeacht de vorm blijft de kerntaak gelijk: hoogdimensionale vectoren indexeren, beperkingen op metadata ondersteunen en dichtstbijzijnde buren snel genoeg teruggeven voor interactieve toepassingen.
Waarom hebben relationele indexen moeite met hoogdimensionaal zoeken op gelijkenis?
Relationele indexen zoals B-bomen en hashindexen hebben moeite met hoogdimensionaal zoeken op gelijkenis, omdat ze zijn ontworpen voor het opzoeken van exacte sleutels, scalaire bereiken en tabeljoins, in plaats van afstandsberekeningen over honderden of duizenden dimensies.
Naarmate het aantal dimensies groeit, krijgt zoeken naar dichtstbijzijnde buren te maken met de vloek van dimensionaliteit. In hoogdimensionale ruimtes concentreren onderlinge afstanden tussen punten zich doorgaans, waardoor eenvoudige ruimtelijke opdeling minder effectief wordt. Een exacte scan naar de k dichtstbijzijnde buren (kNN) moet een zoekvector met elke opgeslagen vector vergelijken. Zodra een verzameling miljoenen embeddings bevat, wordt dat traag en rekenintensief.
Die beperking heeft te maken met het toegangspatroon, niet met een onvermogen van relationele systemen om arrays met getallen op te slaan. Verschillende algemene databases en zoekmachines ondersteunen nu vectorindexen naast standaardtabellen, zodat ontwikkelaars zoekopdrachten op gelijkenis naast transactiegegevens kunnen uitvoeren. Ook in die systemen gebruiken zulke query’s gespecialiseerde vectorindexstructuren in plaats van standaard B-bomen.
Hoe werken embeddings, metadata en vectorindexen samen?
Embeddings, metadata en vectorindexen combineren numerieke representaties van ongestructureerde inhoud met gestructureerde eigenschappen die filtering en toegang regelen. Een embeddingmodel vertaalt tekst, audio of afbeeldingen naar numerieke vectoren met een vaste lengte, zodat semantisch verwante items dicht bij elkaar in de vectorruimte liggen. Dit proces wordt uitgebreid behandeld in onze gids over embeddings.
Een vectordatabase slaat elke embeddingvector op met nuttige metadata, waaronder doorgaans:
- Een document- of recordidentificatie die naar het bronbestand verwijst
- Tijdstempels, categorieën of documenttypen voor actualiteit en afbakening
- Tenantidentificaties en toegangscontroleattributen voor toepassingen met meerdere gebruikers
- Het tekstfragment zelf, of een verwijzing om die tekst uit de primaire opslag op te halen
Bij een query hebben toepassingen vaak gefilterd zoeken nodig, bijvoorbeeld om de dichtstbijzijnde fragmenten voor één specifieke klant te vinden binnen beleidsdocumenten die na een bepaalde datum zijn bijgewerkt. Vectorindexen verwerken metadatafilters vóór, tijdens of na het doorlopen van dichtstbijzijnde buren. Elke strategie brengt afwegingen tussen de recall van de zoekresultaten en de querylatentie mee.
Wat is approximate nearest neighbor search en hoe werkt HNSW?
Approximate nearest neighbor search (ANN), oftewel benaderend zoeken naar dichtstbijzijnde buren, versnelt het ophalen van vectoren door een kleine kans te accepteren dat een werkelijke dichtstbijzijnde buur wordt gemist, in ruil voor veel snellere query’s. Exacte kNN-scans schalen slecht bij grote hoogdimensionale datasets; daarom gebruiken vectordatabases in productie ANN-indexen om snel te blijven reageren.
HNSW en indexering met grafen
Hierarchical Navigable Small World-grafen (HNSW), geïntroduceerd door Yu. A. Malkov en D. A. Yashunin in 2018 (arXiv:1603.09320), behoren tot de meest voorkomende ANN-indexontwerpen. HNSW organiseert opgeslagen vectoren in een meerlagige graaf van buren.
De bovenste lagen van een HNSW-graaf zijn dunbevolkt en bevatten lange verbindingen door de vectorruimte, terwijl de onderste laag alle vectoren bevat met dichtere lokale verbindingen. Bij een query begint de zoekopdracht in een dunbevolkte bovenlaag om snel grote gebieden te doorlopen. Vervolgens daalt zij af door steeds dichtere lagen en volgt verbindingen tussen buren steeds dichter naar de zoekvector, totdat de dichtstbijzijnde kandidaten zijn gevonden.
Andere families van ANN-indexen
Graafindexen zijn één tak van ANN-ontwerp. Andere veelgebruikte families die zijn beschreven in bibliotheken zoals Faiss, kiezen een andere aanpak:
- Inverted-file-clustering (IVF): vectoren worden in clusters gegroepeerd, vaak met k-means. Bij een query bekijkt de index alleen de clusters die het dichtst bij de zoekvector liggen, in plaats van de hele verzameling te scannen.
- Quantisatie, waaronder productquantisatie (PQ): vectoren worden gecomprimeerd tot compacte codes zodat grotere verzamelingen in het geheugen passen, waarbij enige afstandsnauwkeurigheid wordt ingeruild voor minder RAM-gebruik.
- Locality-sensitive hashing (LSH): klassieke hashfuncties plaatsen vergelijkbare vectoren met grote waarschijnlijkheid in dezelfde buckets, zodat query’s alleen items in nabije buckets onderzoeken.
Geen enkel ANN-algoritme past bij elke werklast. De keuze van een index hangt af van de vereiste recall, het beschikbare geheugen, hoe vaak records worden ingevoegd of verwijderd en hoe sterk query’s op metadata filteren.
Vectorzoeken versus zoeken op trefwoorden versus hybride zoeken
Vectorzoeken en zoeken op trefwoorden gebruiken verschillende signalen voor overeenkomst, terwijl hybride zoeken beide methoden combineert om zowel semantische betekenis als exacte termen te vinden.
Zoeken op trefwoorden, of lexicaal zoeken, gebruikt omgekeerde indexen en formules voor termweging zoals BM25 om documenten te rangschikken op gedeelde woorden en termstatistieken. Het werkt betrouwbaar wanneer een query exacte tokens bevat, zoals foutcodes, product-SKU’s, wetsartikelnummers of eigennamen. Vectorzoeken vergelijkt dichte embeddings en kan daardoor passages ophalen die hetzelfde concept met heel andere woorden bespreken. Dichte embeddings kunnen echter zeldzame exacte identificaties missen als het model die tokens niet goed van elkaar onderscheidt.
Hybride zoeken voert zowel lexicaal als vectorzoeken uit op dezelfde query, voegt de resulterende kandidatenlijsten samen of rangschikt ze opnieuw en past metadatafilters toe.
| Zoekmethode | Primair overeenkomstsignaal | Belangrijkste sterke punten | Belangrijkste beperkingen | Gebruikelijke rol in RAG |
|---|---|---|---|---|
| Trefwoordzoeken | Exacte termen en termfrequentie via omgekeerde indexen | Sterk bij SKU’s, foutcodes, namen en exacte zinnen | Mist synoniemen en anders geformuleerde concepten | Exacte identificaties en technische codes vinden |
| Vectorzoeken | Afstand tussen embeddingvectoren | Vindt inhoudelijk verwante passages met andere bewoordingen | Kan zeldzame exacte tokens missen; gevoelig voor de kwaliteit van fragmentering | Semantische context ophalen voor natuurlijke taalvragen |
| Hybride zoeken | Gecombineerde lexicale en vectorscores met metadatafilters | Brengt exacte precisie en semantische recall in evenwicht | Voegt stappen toe voor scorefusie of herrangschikking | Standaard zoekpatroon voor uiteenlopende gebruikersvragen |
De rol en grenzen van vectordatabases in RAG
Een vectordatabase dient als ophaallaag in retrieval-augmented generation (RAG) en levert tijdens inferentie relevante contextfragmenten aan een taalmodel. In plaats van alleen te vertrouwen op statische kennis in de modelgewichten haalt een RAG-pijplijn dynamisch externe feiten op. Dit architectuurverschil wordt verder besproken in RAG versus fine-tuning.
Een typische conceptuele werkwijze bestaat uit zes stappen:
- Verdeel brondocumenten in gerichte tekstpassages volgens de strategieën in onze gids voor het opdelen van documenten voor RAG.
- Genereer met een embeddingmodel een embeddingvector voor elk fragment.
- Sla de vectoren, metadata en fragmentverwijzingen op in een vectordatabase of vectorindex.
- Codeer de binnenkomende vraag van de gebruiker met hetzelfde embeddingmodel of een compatibele query-encoder.
- Vraag de vectorindex naar de dichtstbijzijnde fragmenten en pas metadatafilters en eventueel trefwoordovereenkomst of herrangschikking toe.
- Geef de opgehaalde passages als context door in de prompt van het taalmodel, zoals beschreven in ons overzicht van RAG.
Wat een vectordatabase niet is
Inzicht in de grenzen houdt de architectuur overzichtelijk. Een vectordatabase vervangt niet het taalmodel dat antwoorden genereert, het embeddingmodel dat inhoud in vectoren omzet of het primaire registratiesysteem dat zakelijke transacties beheert.
Embeddings opslaan is ook iets anders dan een gezaghebbende bron van waarheid onderhouden. Teams hebben nog steeds toegang tot de onderliggende tekst nodig, duidelijke handhaving van rechten en een pijplijn die vectoren bijwerkt of verwijdert wanneer brondocumenten veranderen. Als de brontekst verandert of het team overstapt op een nieuw embeddingmodel, moeten de betrokken documenten opnieuw worden ingebed. Bovendien vereist niet elke RAG-implementatie een zelfstandige gespecialiseerde vectordatabase; een vectorindex in een bestaande database of zoekmachine kan dezelfde rol vervullen wanneer schaal en filtervereisten aansluiten.
Beperkingen om in productie rekening mee te houden
Vectordatabases hebben praktische beperkingen rond indexbenadering, voorafgaande datavoorbereiding en doorlopend onderhoud die niet worden opgelost door een ander indexalgoritme te kiezen.
- Gemiste resultaten door benadering: omdat ANN-indexen nauwkeurigheid inruilen voor snelheid, kan een query een werkelijke dichtstbijzijnde buur overslaan, tenzij de recallinstellingen worden verhoogd tegen hogere reken- of geheugenkosten.
- Voorafgaande kwaliteit is doorslaggevend: slechte fragmentgrenzen of een embeddingmodel dat niet bij uw domein past, leveren zwakke zoekresultaten op, ongeacht hoe snel de vectorindex werkt.
- Gelijkenis is geen waarheid: een hoge gelijkenisscore betekent alleen dat twee vectoren dicht bij elkaar liggen in de embeddingruimte. Opgehaalde fragmenten kunnen nog steeds feitelijk onjuist, verouderd of ongeoorloofd zijn als metadatafilters falen.
- Operationeel onderhoud: een ander embeddingmodel vereist het opnieuw inbedden van alle inhoud en het herbouwen van indexen. Frequente bewerkingen, verwijderingen en strikte isolatie van tenants vereisen daarnaast een zorgvuldig ontwerp van consistentie en rechten.
FAQ
Heb ik een zelfstandige vectordatabase nodig voor RAG?
Nee, een RAG-architectuur vereist niet altijd een zelfstandige vectordatabase. Specifieke vectordatabases zijn gebouwd voor hoogdimensionaal ophalen, maar veel algemene relationele databases en zoekmachines bevatten inmiddels uitbreidingen voor vectorindexen. Kleine of middelgrote verzamelingen passen mogelijk goed in een bestaand datasysteem als dat aan uw filter- en updatebehoeften voldoet.
Welke afstandsmaat gebruikt een vectordatabase?
De meeste vectordatabases ondersteunen drie gangbare maten: cosinusgelijkenis, inwendig product (scalair product) en euclidische afstand (L2). De juiste keuze hangt af van de training van het embeddingmodel en of de vectoren zijn genormaliseerd. Cosinusgelijkenis vergelijkt de hoek van vectoren ongeacht hun grootte, terwijl euclidische afstand en inwendig product rekening houden met de vectorlengte.
Waarom wordt HNSW zo vaak in vectorindexen gebruikt?
HNSW, oftewel Hierarchical Navigable Small World-grafen, wordt veel gebruikt omdat het meerlagige graafontwerp snel door grote vectorverzamelingen navigeert zonder elke opgeslagen vector te scannen. Zoekopdrachten beginnen in dunbevolkte bovenlagen om door de vectorruimte te springen en verfijnen resultaten in dichtere onderlagen. Dat biedt een praktisch evenwicht tussen querysnelheid en recall.
Kan een vectordatabase zoeken op trefwoorden vervangen?
Een vectordatabase vervangt zoeken op trefwoorden zelden volledig, omdat semantische embeddings en lexicale termen verschillende zoekproblemen oplossen. Vectorzoeken blinkt uit wanneer query’s ideeën anders verwoorden, terwijl trefwoordzoeken sterk is bij exacte foutcodes, SKU’s en wetsverwijzingen. Veel zoekpijplijnen in productie combineren beide methoden in hybride zoeken.
Bronnen
- Malkov, Yu. A., & Yashunin, D. A. (2018). Efficiënt en robuust benaderend zoeken naar dichtstbijzijnde buren met Hierarchical Navigable Small World-grafen. IEEE Transactions on Pattern Analysis and Machine Intelligence (arXiv:1603.09320).
- Meta / Facebook Research. Documentatie van Faiss-indexen (openbare referentie over IVF-clustering en productquantisatie).



