Guide sull’IA · 9 min di lettura

Che cos'è un database vettoriale? Come archivia gli embedding per ricerca e RAG

Un database vettoriale archivia embedding e trova elementi simili con ANN. Scopri le differenze rispetto alla ricerca per parole chiave e il ruolo nel RAG.

Punti luminosi formano gruppi in uno spazio vettoriale scuro, con linee sottili che collegano una scintilla di query ai punti vicini più prossimi, senza testo né loghi

Un database vettoriale archivia vettori di embedding ad alta dimensionalità insieme ai metadati e recupera gli elementi più vicini a un vettore di query usando misure di similarità come la similarità del coseno, il prodotto interno o la distanza euclidea. A differenza delle ricerche relazionali che confrontano chiavi esatte, i database vettoriali permettono la ricerca semantica e la generazione aumentata dal recupero (RAG) su testi, immagini e altri dati non strutturati.

Che cos’è un database vettoriale?

Un database vettoriale è un database, o un indice vettoriale specializzato all’interno di una piattaforma dati più ampia, progettato per archiviare vettori di embedding e recuperare gli elementi più vicini a un vettore di query. La distanza o vicinanza tra due vettori si misura matematicamente tramite la similarità del coseno, il prodotto interno (prodotto scalare) o la distanza euclidea (L2).

Le query tradizionali cercano attributi esatti, per esempio restituendo la riga con ID uguale a 55 o filtrando le righe il cui stato è aperto. Una query vettoriale pone una domanda diversa: data una rappresentazione numerica di un prompt utente, di un passaggio di documento o di un’immagine, restituisce gli elementi archiviati più vicini per significato o contenuto.

In pratica, questa funzione può risiedere in un database vettoriale specializzato autonomo oppure in un database relazionale generico o un motore di ricerca a cui è stata aggiunta l’indicizzazione vettoriale. Qualunque sia la forma, il compito principale rimane lo stesso: indicizzare vettori ad alta dimensionalità, supportare vincoli sui metadati e restituire i vicini più prossimi abbastanza rapidamente per le applicazioni interattive.

Perché gli indici relazionali hanno difficoltà con la ricerca di similarità ad alta dimensionalità?

Gli indici relazionali, come gli alberi B e gli indici hash, hanno difficoltà con la ricerca di similarità ad alta dimensionalità perché sono progettati per ricerche di chiavi esatte, intervalli scalari e join tra tabelle, anziché per calcolare distanze su centinaia o migliaia di dimensioni.

Quando il numero di dimensioni cresce, la ricerca dei vicini più prossimi incontra la maledizione della dimensionalità. Negli spazi ad alta dimensionalità, le distanze tra coppie di punti tendono a concentrarsi, riducendo l’efficacia di una semplice suddivisione spaziale. Una scansione esatta dei k vicini più prossimi (kNN) richiede di confrontare il vettore di query con ogni vettore archiviato; diventa quindi lenta e onerosa dal punto di vista computazionale quando una raccolta raggiunge milioni di embedding.

Questo limite riguarda il tipo di accesso, non l’incapacità dei sistemi relazionali di contenere array di numeri. Diversi database generici e motori di ricerca supportano ora indici vettoriali accanto alle tabelle standard, permettendo agli sviluppatori di eseguire ricerche di similarità vicino ai dati transazionali. Anche in questi sistemi le query di similarità si basano su strutture specializzate di indice vettoriale invece che sugli alberi B standard.

Come collaborano embedding, metadati e indici vettoriali?

Embedding, metadati e indici vettoriali collaborano combinando rappresentazioni numeriche di contenuti non strutturati con attributi strutturati che regolano filtri e accessi. Un modello di embedding traduce testo, audio o immagini in vettori numerici di lunghezza fissa, in modo che gli elementi semanticamente correlati siano vicini nello spazio vettoriale. Il processo è approfondito nella nostra guida agli embedding.

Un database vettoriale archivia ogni vettore di embedding insieme a metadati utili, che in genere includono:

  • Un identificativo del documento o record collegato al file sorgente
  • Timestamp, categorie o tipi di documento per stabilire aggiornamento e ambito
  • Identificativi dei tenant e attributi di controllo degli accessi per applicazioni multiutente
  • Il frammento di testo stesso o un puntatore per recuperarlo dall’archiviazione primaria

Al momento della query, le applicazioni hanno spesso bisogno di ricerche filtrate, per esempio per trovare i frammenti più vicini relativi a un cliente specifico tra le policy aggiornate dopo una certa data. Gli indici vettoriali gestiscono i filtri sui metadati prima, durante o dopo l’attraversamento dei vicini più prossimi; ogni strategia comporta compromessi tra richiamo dei risultati e latenza della query.

Che cos’è la ricerca approssimata dei vicini più prossimi e come funziona HNSW?

La ricerca approssimata dei vicini più prossimi (approximate nearest neighbor, ANN) accelera il recupero vettoriale accettando una piccola probabilità di perdere un vero vicino più prossimo in cambio di query molto più rapide. Poiché le scansioni kNN esatte scalano male su grandi insiemi di dati ad alta dimensionalità, i database vettoriali in produzione utilizzano indici ANN per mantenere tempi di risposta adeguati.

HNSW e indicizzazione basata su grafi

I grafi Hierarchical Navigable Small World (HNSW), introdotti da Yu. A. Malkov e D. A. Yashunin nel 2018 (arXiv:1603.09320), sono tra i progetti di indici ANN più comuni. HNSW organizza i vettori archiviati in un grafo di vicinato a più livelli.

I livelli superiori di un grafo HNSW sono radi e contengono collegamenti a lungo raggio attraverso lo spazio vettoriale, mentre il livello inferiore contiene tutti i vettori con connessioni locali più dense. All’arrivo di una query, la ricerca inizia su un livello superiore rado per attraversare rapidamente ampie regioni, poi scende attraverso livelli sempre più densi seguendo collegamenti tra vicini sempre più prossimi al vettore di query, fino a raggiungere i candidati più vicini.

Altre famiglie di indici ANN

Gli indici a grafo sono un ramo della progettazione ANN. Altre famiglie molto usate, documentate in librerie come Faiss, adottano approcci diversi:

  • Raggruppamento con file invertito (IVF): i vettori sono organizzati in cluster, spesso usando k-means. Durante una query, l’indice esamina solo i cluster più vicini al vettore di query invece di scorrere l’intera raccolta.
  • Quantizzazione, inclusa la quantizzazione di prodotto (PQ): i vettori sono compressi in codici compatti per far entrare raccolte più grandi in memoria, sacrificando parte della precisione delle distanze per ridurre l’uso di RAM.
  • Locality-sensitive hashing (LSH): funzioni hash classiche assegnano vettori simili agli stessi bucket con alta probabilità, così le query esaminano solo gli elementi nei bucket vicini.

Nessun algoritmo ANN è adatto a ogni carico di lavoro. La scelta di un indice dipende dai requisiti di richiamo, dalla memoria disponibile, dalla frequenza di inserimento o eliminazione dei record e dall’intensità dei filtri sui metadati nelle query.

Ricerca vettoriale, per parole chiave e ibrida a confronto

La ricerca vettoriale e quella per parole chiave usano segnali di corrispondenza diversi, mentre la ricerca ibrida combina entrambi i metodi per cogliere il significato semantico insieme ai termini esatti.

La ricerca per parole chiave o lessicale usa indici invertiti e formule di ponderazione dei termini come BM25 per classificare i documenti in base alle parole condivise e alle statistiche dei termini. È affidabile quando una query contiene token esatti come codici di errore, SKU di prodotti, numeri di articoli di legge o nomi propri. La ricerca vettoriale confronta embedding densi e può quindi recuperare passaggi che trattano lo stesso concetto con formulazioni completamente diverse. Gli embedding densi possono però trascurare identificativi esatti rari se il modello non distingue chiaramente quei token.

La ricerca ibrida esegue sia il recupero lessicale sia quello vettoriale sulla stessa query, unisce o riordina gli elenchi di candidati risultanti e applica filtri sui metadati.

Metodo di recupero Segnale principale di corrispondenza Punti di forza Limiti principali Ruolo comune nel RAG
Ricerca per parole chiave Termini esatti e frequenza tramite indici invertiti Efficace con SKU, codici di errore, nomi e frasi esatte Non coglie sinonimi e concetti riformulati Individuare identificativi esatti e codici tecnici
Ricerca vettoriale Distanza tra vettori di embedding Trova passaggi concettualmente correlati con parole diverse Può perdere token esatti rari; dipende dalla qualità della suddivisione Recuperare contesto semantico per query in linguaggio naturale
Ricerca ibrida Punteggi lessicali e vettoriali combinati con filtri sui metadati Bilancia precisione esatta e richiamo semantico Aggiunge fasi di fusione dei punteggi o riordinamento Schema di recupero predefinito per query utente varie

Il ruolo e i limiti dei database vettoriali nel RAG

Un database vettoriale funge da livello di recupero nella generazione aumentata dal recupero (RAG), fornendo a un modello linguistico frammenti di contesto pertinenti al momento dell’inferenza. Invece di basarsi solo sulla conoscenza statica incorporata nei pesi del modello, una pipeline RAG recupera dinamicamente fatti esterni. Questa differenza architetturale è approfondita in RAG e fine-tuning a confronto.

Un tipico flusso concettuale comprende sei passaggi:

  1. Dividere i documenti sorgente in passaggi di testo mirati, seguendo le strategie della nostra guida alla suddivisione dei documenti per il RAG.
  2. Generare un vettore di embedding per ogni frammento usando un modello di embedding.
  3. Archiviare vettori, metadati e riferimenti ai frammenti in un database o indice vettoriale.
  4. Codificare la domanda ricevuta dall’utente con lo stesso modello di embedding o un codificatore di query compatibile.
  5. Interrogare l’indice vettoriale per i frammenti più vicini, applicando filtri sui metadati e, facoltativamente, corrispondenza per parole chiave o riordinamento.
  6. Inserire i passaggi recuperati come contesto nel prompt del modello linguistico, come descritto nella nostra panoramica sul RAG.

Che cosa non è un database vettoriale

Comprendere i confini mantiene chiara l’architettura. Un database vettoriale non sostituisce il modello linguistico che genera le risposte, il modello di embedding che trasforma i contenuti in vettori né il sistema primario di registrazione che gestisce le transazioni aziendali.

Archiviare embedding è anche diverso dal mantenere una fonte di riferimento autorevole. I team hanno ancora bisogno di accedere al testo sottostante, applicare chiaramente i permessi e disporre di una pipeline che aggiorni o elimini i vettori quando cambiano i documenti sorgente. Se cambia il testo sorgente o il team passa a un nuovo modello di embedding, occorre rigenerare gli embedding dei documenti interessati. Inoltre, non ogni implementazione RAG richiede un database vettoriale specializzato autonomo: un indice vettoriale in un database o motore di ricerca esistente può svolgere lo stesso ruolo quando i requisiti di scala e filtraggio coincidono.

Limiti da considerare in produzione

I database vettoriali presentano limiti pratici relativi all’approssimazione degli indici, alla preparazione preliminare dei dati e alla manutenzione continua, che non si risolvono scegliendo un algoritmo di indicizzazione diverso.

  • Risultati persi per approssimazione: poiché gli indici ANN scambiano precisione con velocità, una query può saltare un vero vicino più prossimo, a meno di aumentare le impostazioni di richiamo sostenendo maggiori costi di calcolo o memoria.
  • La qualità a monte è determinante: confini dei frammenti inadeguati o un modello di embedding inadatto al proprio dominio producono risultati di ricerca deboli, indipendentemente dalla velocità dell’indice vettoriale.
  • La similarità non è verità: un punteggio di similarità elevato indica solo che due vettori sono vicini nello spazio degli embedding. I frammenti recuperati possono comunque essere errati, obsoleti o non autorizzati se i filtri sui metadati non funzionano.
  • Manutenzione operativa: cambiare modello di embedding richiede di rigenerare tutti gli embedding e ricostruire gli indici; modifiche ed eliminazioni frequenti e un rigoroso isolamento tra tenant richiedono un’attenta progettazione di coerenza e permessi.

FAQ

Serve un database vettoriale autonomo per il RAG?

No, un’architettura RAG non richiede sempre un database vettoriale autonomo. Sebbene i database vettoriali dedicati siano progettati appositamente per il recupero ad alta dimensionalità, molti database relazionali generici e motori di ricerca includono ora estensioni per indici vettoriali. Raccolte piccole o medie possono trovare spazio in un sistema dati esistente se supporta le esigenze di filtraggio e aggiornamento.

Quale misura di distanza usa un database vettoriale?

La maggior parte dei database vettoriali supporta tre misure comuni: similarità del coseno, prodotto interno (prodotto scalare) e distanza euclidea (L2). La scelta corretta dipende da come è stato addestrato il modello di embedding e dalla normalizzazione dei suoi vettori. La similarità del coseno confronta l’angolo dei vettori indipendentemente dalla loro grandezza, mentre distanza euclidea e prodotto interno tengono conto della lunghezza dei vettori.

Perché HNSW è usato così spesso negli indici vettoriali?

HNSW, ovvero i grafi Hierarchical Navigable Small World, è molto usato perché il grafo a più livelli attraversa rapidamente grandi raccolte di vettori senza esaminare ogni vettore archiviato. Le ricerche iniziano nei livelli superiori radi per saltare attraverso lo spazio vettoriale e affinano i risultati nei livelli inferiori più densi, offrendo un equilibrio pratico tra velocità della query e richiamo.

Un database vettoriale può sostituire la ricerca per parole chiave?

Un database vettoriale raramente sostituisce del tutto la ricerca per parole chiave, perché embedding semantici e termini lessicali risolvono problemi di recupero diversi. La ricerca vettoriale eccelle quando le query esprimono idee con parole diverse, mentre quella per parole chiave eccelle con codici di errore esatti, SKU e riferimenti normativi. Molte pipeline di recupero in produzione combinano entrambi i metodi nella ricerca ibrida.

Fonti

Scritto da

Chunyu Cai

Chunyu Cai è l’amministratore delegato di Lotook, LLC e un imprenditore che scrive di modelli di IA, agenti e di come cambiano il lavoro quotidiano. Chunyu Cai ha conseguito un master presso Imperial College London.