AI 가이드 · 11분 읽기

벡터 데이터베이스란? 검색과 RAG를 위한 embedding 저장 방식

벡터 데이터베이스는 embedding을 저장하고 근사 최근접 이웃 검색으로 비슷한 항목을 찾습니다. 키워드 검색과의 차이, RAG에서의 역할, 인덱스의 작동 방식과 운영 시 고려할 한계, 검색 정확도와 속도 사이의 균형을 자세히 알아봅니다.

어두운 벡터 공간에서 빛나는 점들이 무리를 이루고 가는 선이 쿼리를 나타내는 불꽃과 가장 가까운 점들을 연결하며 텍스트나 로고는 없음

벡터 데이터베이스는 고차원 embedding(임베딩) 벡터를 메타데이터와 함께 저장하고, 코사인 유사도, 내적, 유클리드 거리 같은 유사도 지표를 사용해 쿼리 벡터에 가장 가까운 항목을 검색합니다. 정확한 키를 일치시키는 관계형 조회와 달리 벡터 데이터베이스는 텍스트, 이미지 및 기타 비정형 데이터에 대한 의미 검색과 검색 증강 생성(RAG)을 지원합니다.

벡터 데이터베이스란?

벡터 데이터베이스는 embedding 벡터를 저장하고 쿼리 벡터에 가장 가까운 항목을 검색하도록 설계된 데이터베이스 또는 더 넓은 데이터 플랫폼 안의 전문 벡터 인덱스입니다. 두 벡터 사이의 거리나 가까운 정도는 코사인 유사도, 내적(스칼라곱), 유클리드 거리(L2)를 사용해 수학적으로 측정합니다.

기존 데이터베이스 쿼리는 ID가 55인 행을 반환하거나 상태가 열림인 행을 필터링하는 등 정확한 속성을 찾습니다. 벡터 쿼리는 다른 질문을 합니다. 사용자 프롬프트, 문서 구절 또는 이미지를 숫자로 표현한 값이 주어졌을 때 의미나 내용이 가장 가까운 저장 항목을 반환합니다.

실제로 이 기능은 독립형 전문 벡터 데이터베이스에 있을 수도 있고, 벡터 인덱싱이 추가된 범용 관계형 데이터베이스나 검색 엔진에 있을 수도 있습니다. 어떤 형태든 핵심 작업은 같습니다. 고차원 벡터를 인덱싱하고 메타데이터 제약을 지원하며 대화형 애플리케이션에 충분히 빠르게 최근접 이웃을 반환하는 것입니다.

관계형 인덱스는 왜 고차원 유사도 검색에 어려움을 겪을까?

B-트리와 해시 인덱스 같은 관계형 인덱스가 고차원 유사도 검색에 어려움을 겪는 이유는 수백 또는 수천 차원에 걸친 거리 계산이 아니라 정확한 키 조회, 스칼라 범위, 테이블 조인을 위해 설계되었기 때문입니다.

차원 수가 늘어나면 최근접 이웃 검색은 차원의 저주에 부딪힙니다. 고차원 공간에서는 점 쌍 사이의 거리가 비슷한 범위에 집중되는 경향이 있어 단순한 공간 분할의 효과가 떨어집니다. 정확한 k개 최근접 이웃(kNN) 스캔은 쿼리 벡터를 저장된 모든 벡터와 비교해야 하므로 컬렉션이 수백만 개의 embedding에 이르면 느려지고 계산량이 많아집니다.

이 한계는 관계형 시스템이 숫자 배열을 저장하지 못해서가 아니라 접근 패턴에서 비롯됩니다. 이제 여러 범용 데이터베이스와 검색 엔진이 표준 테이블과 함께 벡터 인덱스를 지원하므로 개발자는 트랜잭션 데이터와 나란히 유사도 검색을 실행할 수 있습니다. 이런 시스템에서도 유사도 쿼리는 표준 B-트리 대신 전문 벡터 인덱스 구조에 의존합니다.

embedding, 메타데이터, 벡터 인덱스는 어떻게 함께 작동할까?

embedding, 메타데이터, 벡터 인덱스는 비정형 콘텐츠의 숫자 표현과 필터링 및 접근을 제어하는 정형 속성을 결합해 함께 작동합니다. embedding 모델은 텍스트, 오디오 또는 이미지를 고정 길이의 숫자 벡터로 변환하여 의미적으로 관련된 항목이 벡터 공간에서 서로 가까이 놓이도록 합니다. 이 과정은 embedding 가이드에서 자세히 다룹니다.

벡터 데이터베이스는 각 embedding 벡터를 유용한 메타데이터와 함께 저장합니다. 일반적으로 다음이 포함됩니다.

  • 원본 파일에 연결되는 문서 또는 레코드 식별자
  • 최신성과 범위 지정을 위한 타임스탬프, 카테고리 또는 문서 유형
  • 다중 사용자 애플리케이션을 위한 테넌트 식별자와 접근 제어 속성
  • 텍스트 청크 자체 또는 기본 저장소에서 해당 텍스트를 가져오기 위한 포인터

쿼리 시 애플리케이션은 특정 날짜 이후에 업데이트된 정책 중 한 고객에 대한 가장 가까운 청크를 찾는 것처럼 필터링된 검색을 필요로 하는 경우가 많습니다. 벡터 인덱스는 최근접 이웃을 탐색하기 전, 도중 또는 후에 메타데이터 필터를 처리하며, 각 전략에는 검색 재현율과 쿼리 지연 시간 사이의 트레이드오프가 있습니다.

근사 최근접 이웃 검색이란 무엇이며 HNSW는 어떻게 작동할까?

근사 최근접 이웃 검색(approximate nearest neighbor, ANN)은 실제 최근접 이웃을 놓칠 작은 가능성을 받아들이는 대신 쿼리를 훨씬 빠르게 실행해 벡터 검색을 가속합니다. 정확한 kNN 스캔은 대규모 고차원 데이터셋에서 확장성이 낮기 때문에 운영 환경의 벡터 데이터베이스는 응답성을 유지하려고 ANN 인덱스를 사용합니다.

HNSW와 그래프 기반 인덱싱

Yu. A. Malkov와 D. A. Yashunin이 2018년에 소개한 Hierarchical Navigable Small World(HNSW) 그래프(arXiv:1603.09320)는 가장 흔한 ANN 인덱스 설계 중 하나입니다. HNSW는 저장된 벡터를 여러 계층으로 이루어진 이웃 그래프로 구성합니다.

HNSW 그래프의 상위 계층은 성기고 벡터 공간을 가로지르는 장거리 연결을 포함하는 반면, 맨 아래 계층에는 더 촘촘한 지역 연결과 함께 모든 벡터가 들어 있습니다. 쿼리가 들어오면 검색은 성긴 상위 계층에서 시작해 넓은 영역을 빠르게 이동한 다음, 점점 더 촘촘한 계층으로 내려가며 쿼리 벡터에 가까운 이웃 연결을 따라가 가장 가까운 후보에 도달합니다.

다른 ANN 인덱스 계열

그래프 인덱스는 ANN 설계의 한 갈래입니다. Faiss 같은 라이브러리에 문서화된 다른 널리 쓰이는 계열은 다른 접근법을 취합니다.

  • 역파일(IVF) 클러스터링: 벡터를 흔히 k-means를 사용해 클러스터로 묶습니다. 쿼리 시 인덱스는 전체 컬렉션을 스캔하는 대신 쿼리 벡터에 가장 가까운 클러스터만 살펴봅니다.
  • 곱 양자화(PQ)를 포함한 양자화: 벡터를 작은 코드로 압축해 더 큰 컬렉션을 메모리에 담습니다. RAM 사용량을 줄이는 대신 거리 정확도를 어느 정도 희생합니다.
  • 지역 민감 해싱(LSH): 기존 해시 함수가 비슷한 벡터를 높은 확률로 같은 버킷에 매핑하므로 쿼리는 가까운 버킷의 항목만 살펴봅니다.

모든 워크로드에 맞는 단일 ANN 알고리즘은 없습니다. 인덱스 선택은 재현율 요구사항, 사용 가능한 메모리, 레코드 삽입 또는 삭제 빈도, 쿼리의 메타데이터 필터링 강도에 따라 달라집니다.

벡터 검색과 키워드 검색, 하이브리드 검색 비교

벡터 검색과 키워드 검색은 서로 다른 일치 신호를 사용하며, 하이브리드 검색은 두 방법을 결합해 정확한 용어와 함께 의미적 내용을 포착합니다.

키워드 검색 또는 어휘 검색은 역인덱스와 BM25 같은 용어 가중치 공식을 사용해 공통 단어와 용어 통계에 따라 문서의 순위를 매깁니다. 쿼리에 오류 코드, 제품 SKU, 법률 조항 번호, 고유명사처럼 정확한 토큰이 포함되면 안정적으로 작동합니다. 벡터 검색은 밀집 embedding을 비교하므로 완전히 다른 표현으로 같은 개념을 다루는 구절을 검색할 수 있습니다. 하지만 모델이 해당 토큰을 명확히 구분하지 못하면 밀집 embedding은 드문 정확한 식별자를 놓칠 수 있습니다.

하이브리드 검색은 같은 쿼리에 어휘 검색과 벡터 검색을 모두 실행하고, 결과 후보 목록을 합치거나 재정렬한 다음 메타데이터 필터를 적용합니다.

검색 방법 주요 일치 신호 주요 강점 주요 한계 RAG에서의 일반적인 역할
키워드 검색 역인덱스를 통한 정확한 용어와 용어 빈도 SKU, 오류 코드, 이름, 정확한 구문에 강함 동의어나 바꾸어 표현한 개념을 놓침 정확한 식별자와 기술 코드 포착
벡터 검색 embedding 벡터 사이의 거리 표현이 다른 개념적으로 관련된 구절을 찾음 드문 정확한 토큰을 놓칠 수 있고 청크 분할 품질에 민감함 자연어 쿼리의 의미적 맥락 검색
하이브리드 검색 메타데이터 필터와 결합한 어휘 및 벡터 점수 정확한 정밀도와 의미적 재현율의 균형 점수 통합이나 재정렬을 위한 단계가 추가됨 다양한 사용자 쿼리를 위한 기본 검색 방식

RAG에서 벡터 데이터베이스의 역할과 한계

벡터 데이터베이스는 검색 증강 생성(RAG)의 검색 계층으로서 추론 시 관련 맥락 청크를 언어 모델에 제공합니다. RAG 파이프라인은 모델 가중치에 내장된 정적 지식에만 의존하는 대신 외부 사실을 동적으로 가져옵니다. 이 아키텍처상의 차이는 RAG와 파인튜닝 비교에서 더 자세히 살펴봅니다.

일반적인 개념적 작업 흐름은 여섯 단계로 이루어집니다.

  1. RAG용 문서 청크 분할 가이드의 전략에 따라 원본 문서를 주제가 명확한 텍스트 구절로 나눕니다.
  2. embedding 모델을 사용해 각 청크의 embedding 벡터를 생성합니다.
  3. 벡터, 메타데이터, 청크 참조를 벡터 데이터베이스 또는 벡터 인덱스에 저장합니다.
  4. 동일한 embedding 모델이나 호환되는 쿼리 인코더로 사용자의 입력 질문을 인코딩합니다.
  5. 벡터 인덱스에 가장 가까운 청크를 요청하면서 메타데이터 필터와 선택적인 키워드 일치 또는 재정렬을 적용합니다.
  6. RAG 개요에서 설명한 대로 검색된 구절을 언어 모델 프롬프트에 맥락으로 전달합니다.

벡터 데이터베이스가 아닌 것

경계를 이해하면 아키텍처를 명확하게 유지할 수 있습니다. 벡터 데이터베이스는 답변을 생성하는 언어 모델, 콘텐츠를 벡터로 변환하는 embedding 모델, 비즈니스 트랜잭션을 관리하는 기본 기록 시스템을 대체하지 않습니다.

embedding 저장은 권위 있는 단일 원본을 유지하는 것과도 다릅니다. 팀에는 여전히 원본 텍스트에 대한 접근, 명확한 권한 적용, 원본 문서가 바뀔 때 벡터를 업데이트하거나 삭제하는 파이프라인이 필요합니다. 원본 텍스트가 바뀌거나 팀이 새로운 embedding 모델로 전환하면 영향을 받은 문서의 embedding을 다시 생성해야 합니다. 또한 모든 RAG 배포에 독립형 전문 벡터 데이터베이스가 필요한 것은 아닙니다. 규모와 필터링 요구사항이 맞으면 기존 데이터베이스나 검색 엔진의 벡터 인덱스가 같은 역할을 할 수 있습니다.

운영 환경에서 고려할 한계

벡터 데이터베이스에는 인덱스 근사, 선행 데이터 준비, 지속적인 유지 관리와 관련된 실질적인 한계가 있으며, 다른 인덱스 알고리즘을 선택하는 것만으로는 해결할 수 없습니다.

  • 근사로 인한 누락: ANN 인덱스는 정확성과 속도를 맞바꾸므로, 더 많은 계산이나 메모리 비용을 들여 재현율 설정을 높이지 않으면 쿼리가 실제 최근접 이웃을 건너뛸 수 있습니다.
  • 선행 품질이 결과를 좌우함: 청크 경계가 부실하거나 해당 분야에 맞지 않는 embedding 모델을 사용하면 벡터 인덱스가 아무리 빨라도 검색 결과가 부실해집니다.
  • 유사성이 곧 진실은 아님: 높은 유사도 점수는 두 벡터가 embedding 공간에서 가깝다는 뜻일 뿐입니다. 검색된 청크는 사실과 다르거나 오래되었을 수 있고 메타데이터 필터가 실패하면 접근이 허용되지 않은 내용일 수도 있습니다.
  • 운영 유지 관리: embedding 모델을 바꾸려면 전체 embedding을 다시 생성하고 인덱스를 재구축해야 합니다. 또한 잦은 편집과 삭제, 엄격한 다중 테넌트 격리에는 일관성과 권한을 신중하게 설계해야 합니다.

FAQ

RAG에 독립형 벡터 데이터베이스가 필요한가요?

아니요. RAG 아키텍처에 독립형 벡터 데이터베이스가 항상 필요한 것은 아닙니다. 전용 벡터 데이터베이스는 고차원 검색을 위해 특별히 만들어졌지만, 이제 많은 범용 관계형 데이터베이스와 검색 엔진에 벡터 인덱스 확장이 포함됩니다. 기존 데이터 시스템이 필터링 및 업데이트 요구를 지원한다면 소규모 또는 중간 규모 컬렉션은 그 안에 충분히 들어갈 수 있습니다.

벡터 데이터베이스는 어떤 거리 지표를 사용하나요?

대부분의 벡터 데이터베이스는 코사인 유사도, 내적(스칼라곱), 유클리드 거리(L2)라는 세 가지 일반적인 지표를 지원합니다. 적절한 선택은 embedding 모델의 학습 방식과 벡터의 정규화 여부에 달려 있습니다. 코사인 유사도는 크기와 관계없이 벡터의 각도를 비교하는 반면, 유클리드 거리와 내적은 벡터 길이를 반영합니다.

벡터 인덱스에 HNSW가 자주 쓰이는 이유는 무엇인가요?

HNSW, 즉 Hierarchical Navigable Small World 그래프는 다층 그래프 설계 덕분에 저장된 모든 벡터를 스캔하지 않고도 큰 벡터 컬렉션을 빠르게 탐색하므로 널리 사용됩니다. 검색은 성긴 상위 계층에서 시작해 벡터 공간을 뛰어넘어 이동하고 더 촘촘한 하위 계층에서 결과를 정제하여 쿼리 속도와 재현율 사이에 실용적인 균형을 제공합니다.

벡터 데이터베이스가 키워드 검색을 대체할 수 있나요?

의미적 embedding과 어휘 용어는 서로 다른 검색 문제를 해결하므로 벡터 데이터베이스가 키워드 검색을 완전히 대체하는 경우는 드뭅니다. 벡터 검색은 쿼리가 생각을 다른 말로 표현할 때 뛰어나고, 키워드 검색은 정확한 오류 코드, SKU, 법률 인용에 뛰어납니다. 많은 운영 환경의 검색 파이프라인은 하이브리드 검색에서 두 방법을 결합합니다.

출처

작성자

Chunyu Cai

Chunyu Cai는 Lotook, LLC의 CEO이자 기업가로, AI 모델과 에이전트, 그리고 이들이 일상 업무를 어떻게 바꾸는지에 관해 글을 씁니다. Chunyu Cai는 Imperial College London에서 석사 학위를 받았습니다.