Guias de IA · 9 min de leitura

O que é um banco de dados vetorial? Como armazena embeddings para busca e RAG

Um banco de dados vetorial armazena embeddings e encontra itens semelhantes com ANN. Entenda a diferença da busca por palavras e seu papel no RAG.

Pontos brilhantes formam grupos em um espaço vetorial escuro, com linhas finas ligando uma faísca de consulta aos pontos vizinhos mais próximos, sem texto ou logotipos

Um banco de dados vetorial armazena vetores de embedding de alta dimensionalidade junto com metadados e recupera os itens mais próximos de um vetor de consulta usando métricas de similaridade, como similaridade de cosseno, produto interno ou distância euclidiana. Ao contrário das consultas relacionais que buscam chaves exatas, bancos vetoriais permitem a busca semântica e a geração aumentada por recuperação (RAG) em textos, imagens e outros dados não estruturados.

O que é um banco de dados vetorial?

Um banco de dados vetorial é um banco de dados, ou um índice vetorial especializado dentro de uma plataforma de dados mais ampla, projetado para armazenar vetores de embedding e recuperar os itens mais próximos de um vetor de consulta. A distância ou proximidade entre dois vetores é medida matematicamente por similaridade de cosseno, produto interno (produto escalar) ou distância euclidiana (L2).

Consultas tradicionais a bancos de dados procuram atributos exatos, como retornar a linha cujo ID é 55 ou filtrar linhas cujo status é aberto. Uma consulta vetorial faz outra pergunta: dada uma representação numérica de um prompt do usuário, trecho de documento ou imagem, retorne os itens armazenados mais próximos em significado ou conteúdo.

Na prática, esse recurso pode estar em um banco vetorial especializado independente ou em um banco relacional de uso geral ou mecanismo de busca ao qual foi adicionada indexação vetorial. Independentemente da forma, a tarefa central permanece a mesma: indexar vetores de alta dimensionalidade, permitir restrições de metadados e retornar vizinhos mais próximos com rapidez suficiente para aplicações interativas.

Por que índices relacionais têm dificuldade com busca de similaridade em alta dimensionalidade?

Índices relacionais, como árvores B e índices hash, têm dificuldade com busca de similaridade em alta dimensionalidade porque são projetados para procurar chaves exatas, intervalos escalares e junções de tabelas, em vez de calcular distâncias em centenas ou milhares de dimensões.

À medida que o número de dimensões cresce, a busca de vizinhos mais próximos enfrenta a maldição da dimensionalidade. Em espaços de alta dimensionalidade, as distâncias entre pares de pontos tendem a se concentrar, reduzindo a eficácia de uma divisão espacial simples. Uma varredura exata dos k vizinhos mais próximos (kNN) precisa comparar um vetor de consulta com todos os vetores armazenados, tornando-se lenta e exigindo muito processamento quando uma coleção chega a milhões de embeddings.

Essa limitação reflete o padrão de acesso, e não uma incapacidade dos sistemas relacionais de armazenar arrays de números. Vários bancos de uso geral e mecanismos de busca agora oferecem índices vetoriais ao lado de tabelas convencionais, permitindo que desenvolvedores executem buscas de similaridade junto dos dados transacionais. Mesmo nesses sistemas, consultas de similaridade dependem de estruturas especializadas de índice vetorial em vez de árvores B comuns.

Como embeddings, metadados e índices vetoriais trabalham juntos?

Embeddings, metadados e índices vetoriais trabalham juntos combinando representações numéricas de conteúdo não estruturado com atributos estruturados que controlam filtragem e acesso. Um modelo de embedding transforma texto, áudio ou imagens em vetores numéricos de comprimento fixo, de modo que itens relacionados semanticamente fiquem próximos no espaço vetorial. Esse processo é explicado em detalhes em nosso guia sobre embeddings.

Um banco vetorial armazena cada vetor de embedding junto com metadados úteis, que normalmente incluem:

  • Um identificador de documento ou registro que aponta para o arquivo de origem
  • Marcas de tempo, categorias ou tipos de documento para atualidade e delimitação do escopo
  • Identificadores de tenant e atributos de controle de acesso para aplicações com vários usuários
  • O próprio trecho de texto ou um ponteiro para buscá-lo no armazenamento principal

No momento da consulta, aplicações frequentemente precisam de busca filtrada, como encontrar os trechos mais próximos para um cliente específico em políticas atualizadas depois de determinada data. Índices vetoriais tratam filtros de metadados antes, durante ou depois da navegação pelos vizinhos mais próximos; cada estratégia envolve concessões entre a revocação dos resultados e a latência da consulta.

O que é busca aproximada de vizinhos mais próximos e como funciona o HNSW?

A busca aproximada de vizinhos mais próximos (approximate nearest neighbor, ANN) acelera a recuperação vetorial ao aceitar uma pequena chance de perder um verdadeiro vizinho mais próximo em troca de consultas muito mais rápidas. Como varreduras kNN exatas escalam mal em grandes conjuntos de dados de alta dimensionalidade, bancos vetoriais em produção usam índices ANN para manter a capacidade de resposta.

HNSW e indexação baseada em grafos

Os grafos Hierarchical Navigable Small World (HNSW), apresentados por Yu. A. Malkov e D. A. Yashunin em 2018 (arXiv:1603.09320), estão entre os projetos mais comuns de índices ANN. O HNSW organiza os vetores armazenados em um grafo de vizinhos com várias camadas.

As camadas superiores de um grafo HNSW são esparsas e contêm conexões de longo alcance pelo espaço vetorial, enquanto a camada inferior contém todos os vetores com conexões locais mais densas. Quando chega uma consulta, a busca começa em uma camada superior esparsa para percorrer rapidamente regiões amplas e depois desce por camadas cada vez mais densas, seguindo conexões de vizinhos mais próximas do vetor de consulta até chegar aos candidatos mais próximos.

Outras famílias de índices ANN

Índices de grafos são um ramo do projeto de ANN. Outras famílias muito usadas, documentadas em bibliotecas como Faiss, adotam abordagens diferentes:

  • Agrupamento por arquivo invertido (IVF): vetores são agrupados em clusters, muitas vezes usando k-means. Na consulta, o índice examina apenas os clusters mais próximos do vetor de consulta, em vez de percorrer toda a coleção.
  • Quantização, incluindo quantização de produto (PQ): vetores são comprimidos em códigos compactos para que coleções maiores caibam na memória, trocando parte da precisão das distâncias por menor uso de RAM.
  • Hashing sensível à localidade (LSH): funções hash clássicas mapeiam vetores semelhantes para os mesmos buckets com alta probabilidade, para que as consultas examinem apenas itens em buckets próximos.

Nenhum algoritmo ANN atende a toda carga de trabalho. A escolha de um índice depende dos requisitos de revocação, da memória disponível, da frequência de inserção ou exclusão de registros e da intensidade dos filtros de metadados nas consultas.

Busca vetorial, busca por palavras-chave e busca híbrida

A busca vetorial e a busca por palavras-chave usam sinais de correspondência diferentes, enquanto a busca híbrida combina os dois métodos para captar o significado semântico junto com termos exatos.

A busca por palavras-chave ou lexical usa índices invertidos e fórmulas de ponderação de termos, como BM25, para classificar documentos por palavras compartilhadas e estatísticas dos termos. Ela funciona de forma confiável quando a consulta inclui tokens exatos, como códigos de erro, SKUs de produtos, números de artigos de lei ou nomes próprios. A busca vetorial compara embeddings densos, permitindo recuperar passagens que abordam o mesmo conceito com palavras completamente diferentes. No entanto, embeddings densos podem ignorar identificadores exatos raros se o modelo não separar esses tokens claramente.

A busca híbrida executa a recuperação lexical e vetorial para a mesma consulta, combina ou reordena as listas de candidatos resultantes e aplica filtros de metadados.

Método de recuperação Principal sinal de correspondência Principais pontos fortes Principais limitações Papel comum no RAG
Busca por palavras-chave Termos exatos e frequência de termos por índices invertidos Forte em SKUs, códigos de erro, nomes e frases exatas Perde sinônimos e conceitos expressos de outra forma Captar identificadores exatos e códigos técnicos
Busca vetorial Distância entre vetores de embedding Encontra passagens conceitualmente relacionadas com palavras diferentes Pode perder tokens exatos raros; depende da qualidade da divisão em trechos Recuperar contexto semântico para consultas em linguagem natural
Busca híbrida Pontuações lexicais e vetoriais combinadas com filtros de metadados Equilibra precisão exata e revocação semântica Adiciona etapas de combinação de pontuações ou reordenação Padrão de recuperação para consultas variadas dos usuários

O papel e os limites dos bancos vetoriais no RAG

Um banco vetorial atua como camada de recuperação na geração aumentada por recuperação (RAG), fornecendo trechos de contexto relevantes a um modelo de linguagem no momento da inferência. Em vez de depender apenas do conhecimento estático incorporado aos pesos do modelo, um pipeline RAG busca fatos externos dinamicamente. Essa diferença de arquitetura é explorada em RAG versus fine-tuning.

Um fluxo conceitual típico segue seis etapas:

  1. Dividir documentos de origem em passagens de texto focadas, seguindo as estratégias do nosso guia de divisão de documentos para RAG.
  2. Gerar um vetor de embedding para cada trecho usando um modelo de embedding.
  3. Armazenar os vetores, metadados e referências aos trechos em um banco de dados ou índice vetorial.
  4. Codificar a pergunta recebida do usuário com o mesmo modelo de embedding ou um codificador de consultas compatível.
  5. Consultar o índice vetorial pelos trechos mais próximos, aplicando filtros de metadados e, opcionalmente, correspondência por palavras-chave ou reordenação.
  6. Passar as passagens recuperadas como contexto no prompt do modelo de linguagem, conforme descrito em nossa visão geral do RAG.

O que um banco de dados vetorial não é

Entender os limites mantém a arquitetura clara. Um banco vetorial não substitui o modelo de linguagem que gera respostas, o modelo de embedding que transforma conteúdo em vetores nem o sistema principal de registro que gerencia as transações de negócios.

Armazenar embeddings também é diferente de manter uma fonte de verdade oficial. As equipes ainda precisam de acesso ao texto subjacente, aplicação clara de permissões e um pipeline para atualizar ou excluir vetores sempre que os documentos de origem mudarem. Se o texto de origem mudar ou a equipe adotar um novo modelo de embedding, os embeddings dos documentos afetados deverão ser gerados novamente. Além disso, nem toda implementação de RAG exige um banco vetorial especializado independente; um índice vetorial em um banco ou mecanismo de busca existente pode cumprir o mesmo papel quando os requisitos de escala e filtragem forem compatíveis.

Limitações a considerar em produção

Bancos vetoriais têm limitações práticas relacionadas à aproximação dos índices, à preparação prévia dos dados e à manutenção contínua que não podem ser resolvidas apenas escolhendo outro algoritmo de indexação.

  • Resultados perdidos pela aproximação: como índices ANN trocam exatidão por velocidade, uma consulta pode ignorar um verdadeiro vizinho mais próximo, a menos que as configurações de revocação sejam elevadas a um custo maior de processamento ou memória.
  • A qualidade anterior é determinante: limites ruins de trechos ou um modelo de embedding inadequado ao domínio produzem resultados de busca fracos, independentemente da velocidade do índice vetorial.
  • Similaridade não é verdade: uma pontuação alta de similaridade significa apenas que dois vetores estão próximos no espaço de embedding. Trechos recuperados ainda podem estar factualmente errados, desatualizados ou não autorizados se os filtros de metadados falharem.
  • Manutenção operacional: trocar de modelo de embedding exige gerar novamente todos os embeddings e reconstruir os índices; edições e exclusões frequentes e isolamento rigoroso entre tenants exigem um projeto cuidadoso de consistência e permissões.

FAQ

Preciso de um banco vetorial independente para RAG?

Não, uma arquitetura RAG nem sempre exige um banco vetorial independente. Embora bancos vetoriais dedicados sejam criados especificamente para recuperação em alta dimensionalidade, muitos bancos relacionais de uso geral e mecanismos de busca agora incluem extensões de índices vetoriais. Coleções pequenas ou médias podem caber bem em um sistema de dados existente se ele atender às necessidades de filtragem e atualização.

Qual métrica de distância um banco vetorial usa?

A maioria dos bancos vetoriais aceita três métricas comuns: similaridade de cosseno, produto interno (produto escalar) e distância euclidiana (L2). A escolha correta depende de como o modelo de embedding foi treinado e de seus vetores serem ou não normalizados. A similaridade de cosseno compara o ângulo dos vetores independentemente da magnitude, enquanto a distância euclidiana e o produto interno levam em conta o comprimento do vetor.

Por que o HNSW é tão usado em índices vetoriais?

O HNSW, ou grafos Hierarchical Navigable Small World, é amplamente usado porque seu projeto em várias camadas navega rapidamente por grandes coleções de vetores sem examinar cada vetor armazenado. As buscas começam nas camadas superiores esparsas para atravessar o espaço vetorial e refinam os resultados nas camadas inferiores mais densas, oferecendo um equilíbrio prático entre velocidade da consulta e revocação.

Um banco vetorial pode substituir a busca por palavras-chave?

Um banco vetorial raramente substitui totalmente a busca por palavras-chave, pois embeddings semânticos e termos lexicais resolvem problemas diferentes de recuperação. A busca vetorial se destaca quando consultas expressam ideias com outras palavras, enquanto a busca por palavras-chave se destaca com códigos de erro exatos, SKUs e citações legais. Muitos pipelines de recuperação em produção combinam os dois métodos na busca híbrida.

Fontes

Escrito por

Chunyu Cai

Chunyu Cai é CEO da Lotook, LLC e empreendedor. Escreve sobre modelos de IA, agentes e como eles mudam o trabalho cotidiano. Chunyu Cai tem um mestrado pela instituição Imperial College London.