Guías de IA · 10 min de lectura

¿Qué es una base de datos vectorial? Cómo almacena embeddings para búsqueda y RAG

Una base de datos vectorial almacena embeddings y encuentra similares mediante ANN. Descubre su papel en RAG y la diferencia con la búsqueda por palabras.

Puntos luminosos forman grupos en un espacio vectorial oscuro y líneas finas conectan una chispa de consulta con sus puntos vecinos más cercanos, sin texto ni logotipos

Una base de datos vectorial almacena vectores de embedding de alta dimensionalidad junto con metadatos y recupera los elementos más cercanos a un vector de consulta mediante métricas de similitud como la similitud del coseno, el producto interno o la distancia euclídea. A diferencia de las búsquedas relacionales que comparan claves exactas, las bases vectoriales permiten la búsqueda semántica y la generación aumentada por recuperación (RAG) sobre texto, imágenes y otros datos no estructurados.

¿Qué es una base de datos vectorial?

Una base de datos vectorial es una base de datos, o un índice vectorial especializado dentro de una plataforma de datos más amplia, diseñado para almacenar vectores de embedding y recuperar los elementos más cercanos a un vector de consulta. La distancia o cercanía entre dos vectores se mide matemáticamente mediante la similitud del coseno, el producto interno (producto escalar) o la distancia euclídea (L2).

Las consultas tradicionales de bases de datos buscan atributos exactos, como devolver la fila cuyo identificador es 55 o filtrar las filas cuyo estado es abierto. Una consulta vectorial plantea otra pregunta: dada una representación numérica de una petición de usuario, un pasaje de un documento o una imagen, devuelve los elementos almacenados más cercanos en significado o contenido.

En la práctica, esta capacidad puede residir en una base vectorial especializada independiente o en una base de datos relacional de propósito general o un motor de búsqueda al que se haya añadido indexación vectorial. Sea cual sea la forma, la tarea principal sigue siendo la misma: indexar vectores de alta dimensionalidad, admitir restricciones de metadatos y devolver los vecinos más cercanos con suficiente rapidez para aplicaciones interactivas.

¿Por qué les cuesta a los índices relacionales la búsqueda de similitud en alta dimensionalidad?

Los índices relacionales, como los árboles B y los índices hash, tienen dificultades con la búsqueda de similitud en alta dimensionalidad porque están diseñados para búsquedas de claves exactas, rangos escalares y uniones de tablas, no para cálculos de distancia a través de cientos o miles de dimensiones.

A medida que aumenta el número de dimensiones, la búsqueda de vecinos más cercanos se enfrenta a la maldición de la dimensionalidad. En espacios de alta dimensionalidad, las distancias entre pares de puntos tienden a concentrarse, lo que reduce la eficacia de una partición espacial sencilla. Un recorrido exacto de los k vecinos más cercanos (kNN) requiere comparar un vector de consulta con cada vector almacenado, lo que se vuelve lento y exige muchos cálculos cuando una colección alcanza millones de embeddings.

Esa limitación refleja el patrón de acceso y no una incapacidad de los sistemas relacionales para almacenar matrices de números. Varias bases de datos de propósito general y motores de búsqueda ya admiten índices vectoriales junto a las tablas estándar, de modo que los desarrolladores pueden ejecutar búsquedas de similitud junto a los datos transaccionales. Incluso en esos sistemas, las consultas de similitud dependen de estructuras especializadas de índices vectoriales en lugar de árboles B estándar.

¿Cómo colaboran los embeddings, los metadatos y los índices vectoriales?

Los embeddings, los metadatos y los índices vectoriales colaboran combinando representaciones numéricas de contenido no estructurado con atributos estructurados que rigen el filtrado y el acceso. Un modelo de embedding convierte texto, audio o imágenes en vectores numéricos de longitud fija, de modo que los elementos relacionados semánticamente quedan cerca unos de otros en el espacio vectorial. Este proceso se explica en detalle en nuestra guía sobre embeddings.

Una base vectorial almacena cada vector de embedding junto con metadatos útiles, que normalmente incluyen:

  • Un identificador de documento o registro que apunta al archivo de origen
  • Marcas de tiempo, categorías o tipos de documento para controlar la actualidad y el alcance
  • Identificadores de inquilino y atributos de control de acceso para aplicaciones multiusuario
  • El propio fragmento de texto o un puntero para recuperarlo del almacenamiento principal

Al realizar una consulta, las aplicaciones suelen necesitar búsquedas filtradas, por ejemplo, para encontrar los fragmentos más cercanos de un cliente concreto entre políticas actualizadas después de una fecha determinada. Los índices vectoriales aplican filtros de metadatos antes, durante o después del recorrido de vecinos más cercanos, y cada estrategia implica concesiones entre la exhaustividad de la recuperación y la latencia de la consulta.

¿Qué es la búsqueda aproximada de vecinos más cercanos y cómo funciona HNSW?

La búsqueda aproximada de vecinos más cercanos (approximate nearest neighbor, ANN) acelera la recuperación vectorial al aceptar una pequeña probabilidad de no encontrar un vecino realmente más cercano a cambio de ejecutar las consultas mucho más rápido. Como los recorridos kNN exactos escalan mal en grandes conjuntos de datos de alta dimensionalidad, las bases vectoriales en producción recurren a índices ANN para mantener la capacidad de respuesta.

HNSW e indexación basada en grafos

Los grafos Hierarchical Navigable Small World (HNSW), presentados por Yu. A. Malkov y D. A. Yashunin en 2018 (arXiv:1603.09320), son uno de los diseños de índice ANN más comunes. HNSW organiza los vectores almacenados en un grafo de vecinos de varias capas.

Las capas superiores de un grafo HNSW son dispersas y contienen enlaces de largo alcance por el espacio vectorial, mientras que la capa inferior contiene todos los vectores con conexiones locales más densas. Cuando llega una consulta, la búsqueda comienza en una capa superior dispersa para recorrer rápidamente regiones amplias y después desciende por capas cada vez más densas, siguiendo enlaces entre vecinos más próximos al vector de consulta hasta llegar a los candidatos más cercanos.

Otras familias de índices ANN

Los índices de grafos son una rama del diseño ANN. Otras familias muy utilizadas, documentadas en bibliotecas como Faiss, emplean enfoques diferentes:

  • Agrupación mediante archivo invertido (IVF): los vectores se organizan en grupos, a menudo mediante k-means. Durante la consulta, el índice examina solo los grupos más cercanos al vector de consulta en vez de recorrer toda la colección.
  • Cuantización, incluida la cuantización de producto (PQ): los vectores se comprimen en códigos compactos para que quepan colecciones mayores en memoria, sacrificando cierta precisión de distancia a cambio de un menor uso de RAM.
  • Hashing sensible a la localidad (LSH): las funciones hash clásicas asignan vectores similares a los mismos depósitos con alta probabilidad, de modo que las consultas solo examinan elementos de depósitos cercanos.

Ningún algoritmo ANN sirve para todas las cargas de trabajo. La elección de un índice depende de los requisitos de exhaustividad, la memoria disponible, la frecuencia de inserción o eliminación de registros y el grado de filtrado por metadatos de las consultas.

Búsqueda vectorial, búsqueda por palabras clave y búsqueda híbrida

La búsqueda vectorial y la búsqueda por palabras clave utilizan distintas señales de coincidencia, mientras que la búsqueda híbrida combina ambos métodos para captar el significado semántico junto con los términos exactos.

La búsqueda por palabras clave o léxica utiliza índices invertidos y fórmulas de ponderación de términos como BM25 para clasificar documentos según las palabras compartidas y las estadísticas de los términos. Funciona de forma fiable cuando una consulta incluye tokens exactos como códigos de error, SKU de productos, números de artículos legales o nombres propios. La búsqueda vectorial compara embeddings densos, lo que permite recuperar pasajes que tratan el mismo concepto con formulaciones completamente distintas. Sin embargo, los embeddings densos pueden pasar por alto identificadores exactos poco frecuentes si el modelo no distingue claramente esos tokens.

La búsqueda híbrida ejecuta la recuperación léxica y vectorial sobre la misma consulta, fusiona o reclasifica las listas de candidatos resultantes y aplica filtros de metadatos.

Método de recuperación Señal principal de coincidencia Principales ventajas Principales limitaciones Función habitual en RAG
Búsqueda por palabras clave Términos exactos y frecuencia mediante índices invertidos Eficaz con SKU, códigos de error, nombres y frases exactas No detecta sinónimos ni conceptos expresados de otra forma Detectar identificadores exactos y códigos técnicos
Búsqueda vectorial Distancia entre vectores de embedding Encuentra pasajes relacionados conceptualmente con otra formulación Puede omitir tokens exactos poco frecuentes; depende de la calidad de la fragmentación Recuperar contexto semántico para consultas en lenguaje natural
Búsqueda híbrida Puntuaciones léxicas y vectoriales combinadas con filtros de metadatos Equilibra la precisión exacta con la exhaustividad semántica Añade pasos para fusionar puntuaciones o reclasificar Patrón de recuperación predeterminado para consultas variadas

El papel y los límites de las bases vectoriales en RAG

Una base vectorial actúa como capa de recuperación en la generación aumentada por recuperación (RAG), proporcionando fragmentos de contexto relevantes a un modelo de lenguaje en el momento de la inferencia. En lugar de depender solo del conocimiento estático incorporado en los pesos del modelo, un flujo RAG recupera hechos externos de forma dinámica. Esta diferencia arquitectónica se analiza con más detalle en RAG frente a fine-tuning.

Un flujo conceptual típico consta de seis pasos:

  1. Dividir los documentos de origen en pasajes de texto centrados, siguiendo las estrategias de nuestra guía para fragmentar documentos para RAG.
  2. Generar un vector de embedding para cada fragmento mediante un modelo de embedding.
  3. Almacenar los vectores, metadatos y referencias a fragmentos en una base de datos o índice vectorial.
  4. Codificar la pregunta recibida del usuario con el mismo modelo de embedding o un codificador de consultas compatible.
  5. Consultar el índice vectorial para obtener los fragmentos más cercanos, aplicando filtros de metadatos y, opcionalmente, coincidencia por palabras clave o reclasificación.
  6. Pasar los pasajes recuperados como contexto al prompt del modelo de lenguaje, como se describe en nuestra introducción a RAG.

Qué no es una base de datos vectorial

Entender los límites ayuda a mantener una arquitectura clara. Una base vectorial no sustituye al modelo de lenguaje que genera respuestas, al modelo de embedding que convierte contenido en vectores ni al sistema principal de registro que gestiona las transacciones empresariales.

Almacenar embeddings también es distinto de mantener una fuente de referencia autorizada. Los equipos siguen necesitando acceso al texto subyacente, una aplicación clara de los permisos y un flujo que actualice o elimine vectores cuando cambien los documentos de origen. Si cambia el texto de origen o el equipo adopta un nuevo modelo de embedding, es necesario volver a generar los embeddings de los documentos afectados. Además, no todos los despliegues de RAG requieren una base vectorial especializada independiente; un índice vectorial en una base de datos o motor de búsqueda existente puede cumplir la misma función cuando coinciden los requisitos de escala y filtrado.

Limitaciones que conviene prever en producción

Las bases vectoriales presentan limitaciones prácticas relacionadas con la aproximación de los índices, la preparación previa de datos y el mantenimiento continuo, que no se resuelven eligiendo otro algoritmo de indexación.

  • Resultados omitidos por la aproximación: como los índices ANN intercambian exactitud por velocidad, una consulta puede saltarse un vecino realmente más cercano, salvo que se aumenten los ajustes de exhaustividad con un mayor coste de cálculo o memoria.
  • La calidad previa es determinante: límites de fragmentos deficientes o un modelo de embedding inadecuado para su dominio producirán resultados de búsqueda débiles, por rápido que sea el índice vectorial.
  • Similitud no equivale a verdad: una puntuación alta de similitud solo significa que dos vectores están próximos en el espacio de embedding. Los fragmentos recuperados aún pueden ser incorrectos, estar desactualizados o no estar autorizados si fallan los filtros de metadatos.
  • Mantenimiento operativo: cambiar de modelo de embedding exige volver a generar todos los embeddings y reconstruir los índices, mientras que las ediciones y eliminaciones frecuentes y el aislamiento estricto entre inquilinos requieren un diseño cuidadoso de coherencia y permisos.

FAQ

¿Necesito una base vectorial independiente para RAG?

No, una arquitectura RAG no siempre necesita una base vectorial independiente. Aunque las bases vectoriales dedicadas están diseñadas específicamente para la recuperación de alta dimensionalidad, muchas bases relacionales de propósito general y motores de búsqueda incluyen ahora extensiones de índices vectoriales. Las colecciones pequeñas o medianas pueden encajar cómodamente en un sistema de datos existente si satisface sus necesidades de filtrado y actualización.

¿Qué métrica de distancia usa una base vectorial?

La mayoría de las bases vectoriales admiten tres métricas habituales: similitud del coseno, producto interno (producto escalar) y distancia euclídea (L2). La elección adecuada depende de cómo se entrenó el modelo de embedding y de si sus vectores están normalizados. La similitud del coseno compara el ángulo de los vectores independientemente de su magnitud, mientras que la distancia euclídea y el producto interno incorporan la longitud del vector.

¿Por qué se usa tanto HNSW en índices vectoriales?

HNSW, o grafos Hierarchical Navigable Small World, se utiliza ampliamente porque su diseño de grafo multicapa recorre grandes colecciones de vectores con rapidez sin examinar cada vector almacenado. Las búsquedas comienzan en capas superiores dispersas para saltar por el espacio vectorial y afinan los resultados en capas inferiores más densas, ofreciendo un equilibrio práctico entre velocidad de consulta y exhaustividad.

¿Puede una base vectorial sustituir la búsqueda por palabras clave?

Una base vectorial rara vez sustituye por completo la búsqueda por palabras clave, porque los embeddings semánticos y los términos léxicos resuelven problemas de recuperación diferentes. La búsqueda vectorial destaca cuando las consultas expresan ideas con otras palabras, mientras que la búsqueda por palabras clave destaca con códigos de error exactos, SKU y referencias legales. Muchos flujos de recuperación en producción combinan ambos métodos en una búsqueda híbrida.

Fuentes

Escrito por

Chunyu Cai

Chunyu Cai es el director ejecutivo de Lotook, LLC y un emprendedor que escribe sobre modelos de IA, agentes y cómo cambian el trabajo cotidiano. Chunyu Cai tiene un título de máster de Imperial College London.