AI 가이드 · 14분 읽기

RAG와 파인튜닝 비교: 언제 검색하고 언제 학습할까

RAG와 파인튜닝을 비교해 비공개 또는 변경되는 문서를 검색할 때와 모델의 말투 및 동작을 바꿀 때를 알아봅니다. 프롬프트 엔지니어링과 LoRA의 역할, 평가 방법, 두 기법을 함께 쓰는 경우와 주의할 점도 살펴봅니다.

어두운 도서관 작업실의 갈림길을 그린 그림. 한 길은 빛나는 문서 보관소로, 다른 길은 형태가 바뀐 모델 코어가 놓인 작업대로 이어진다

모델에 비공개 문서나 최신 문서, 자주 바뀌는 문서가 필요하면 retrieval-augmented generation(RAG, 검색 증강 생성)을 사용하고, 프롬프트 엔지니어링의 효과가 한계에 도달한 뒤에도 일관된 말투나 형식 또는 작업 동작이 필요하면 파인튜닝을 사용하세요. 두 방법은 서로 다른 문제를 해결하며, 실제 운영 시스템에서는 외부 사실을 위한 RAG와 안정적인 출력 동작을 위한 파인튜닝을 함께 쓰는 경우가 많습니다.

RAG와 파인튜닝의 차이는 무엇인가요?

Retrieval-augmented generation(RAG)은 질의 시점에 모델에 외부 참고 텍스트를 제공하는 반면, 파인튜닝은 특정 데이터셋으로 모델의 가중치를 업데이트해 학습된 동작을 바꿉니다. RAG 워크플로에서는 검색 단계가 인덱스에서 관련 구절을 가져와 사용자 요청과 함께 추가합니다. 따라서 모델은 사전학습 중 익힌 파라미터에만 의존하지 않고 최신 자료나 비공개 자료에 근거해 답할 수 있습니다. 검색 방식에 대한 자세한 소개는 RAG란 무엇인가 가이드를 참고하세요.

파인튜닝은 더 좁은 범위의 데이터셋으로 기반 모델의 학습을 계속해 모델의 기초 파라미터를 바꿉니다. 팀은 일반적으로 프롬프트 예시와 원하는 출력을 짝지어 학습하는 지도 파인튜닝(SFT)이나, 선호하는 답변과 덜 선호하는 답변의 비교를 통해 학습하는 DPO 같은 선호도 기법을 사용합니다. 프롬프트에 문서를 넣으면 단일 요청의 입력 컨텍스트가 바뀌지만, 파인튜닝은 이후 요청 전반에서 모델이 동작하는 방식을 바꿉니다.

2020년 연구 논문에서 현대의 RAG 파이프라인까지

2020년의 원래 RAG 아키텍처는 신경망 검색기와 생성기를 함께 학습했지만, 오늘날 운영 환경의 RAG 시스템은 보통 문서를 조각으로 나누어 인덱싱하고 검색한 구절을 프롬프트에 전달합니다. Lewis et al.은 NeurIPS 2020 논문(arXiv:2005.11401)에서 이 용어를 소개하며 사전학습된 파라미터 메모리(BART 시퀀스 간 생성기)와 비파라미터 메모리(Dense Passage Retriever, 즉 DPR로 검색하는 Wikipedia 밀집 벡터 인덱스)를 결합했습니다.

저자들이 이런 하이브리드 설계를 만든 이유는 순수한 파라미터 모델이 세상에 대한 지식을 정확히 갱신하기 어렵고, 출처가 불분명하며, 환각을 일으키기 때문입니다. 인덱스가 재학습 없이 지식을 갱신할 수 있음을 증명하기 위해 지도자 교체에 관한 82개 질문에서 2016년 12월 Wikipedia 인덱스를 2018년 12월 인덱스로 교체했습니다. 질문과 연도가 맞는 인덱스의 정확도는 약 70%와 68%였지만, 연도가 맞지 않는 인덱스는 약 12%와 4%로 떨어졌습니다. 이 결과는 인덱스를 업데이트하면 답변도 바뀐다는 것을 보여주지만, 그 정확한 점수가 모든 운영 환경에 그대로 적용된다는 뜻은 아닙니다.

오늘날 엔지니어링 팀이 DPR과 BART 쌍을 처음부터 끝까지 함께 학습하는 경우는 드뭅니다. 대신 AWS Prescriptive Guidance와 AWS Machine Learning 기술 게시물에서 설명하듯 운영 환경의 RAG 파이프라인은 보통 세 단계를 따릅니다.

  1. 수집 및 인덱싱: 원본 문서를 관리하기 쉬운 조각으로 나누고 벡터 표현을 계산한 뒤 원문 및 메타데이터와 함께 벡터를 저장합니다. 경계를 신중하게 정하는 것이 중요하며, RAG를 위한 문서 분할 방법과 임베딩이란 무엇인가 가이드에서 이를 다룹니다.
  2. 검색: 들어온 사용자 질문을 검색 질의로 바꾸고 의미 유사도, 키워드 일치 또는 하이브리드 검색으로 상위 k개 구절을 가져온 뒤 필요하면 후보의 순위를 다시 매깁니다.
  3. 증강 및 생성: 검색한 구절과 사용자 질문을 프롬프트에 넣어 언어 모델이 근거 있는 답변을 생성하도록 합니다.

AWS 엔지니어링 가이드는 생성 품질이 검색 품질에 달려 있으며, RAG 시스템의 성능은 검색기 수준을 넘기 어렵다고 강조합니다.

파인튜닝 대신 RAG를 사용해야 하는 때는 언제인가요?

애플리케이션이 기반 모델에서 안정적으로 기억해 내기 어려운 비공개 문서, 최신 문서 또는 자주 업데이트되는 문서에 의존한다면 보통 RAG가 더 나은 첫 단계입니다. 제품 변경 기록, 사내 인사 정책, 지원 티켓, 기술 운영 지침서는 끊임없이 바뀝니다. 검색 인덱스의 레코드를 추가하거나 교체하면 이용 가능한 지식이 즉시 갱신되지만, 파인튜닝으로 사실을 주입하는 속도는 느리고 학습이 끝난 직후 모델이 구식이 될 수도 있습니다.

RAG는 엔지니어와 최종 사용자가 답변을 위해 검색된 정확한 구절을 확인할 수 있으므로 출처 추적도 지원합니다. OpenAI의 공개 정확도 가이드(2026년 11월 18일 확인)에 따르면 RAG는 모델에 분야별 컨텍스트를 제공하며, OpenAI의 가장 큰 고객 배포 사례 중 상당수는 프롬프트 엔지니어링과 RAG에만 의존합니다. OpenAI의 모델 최적화 문서 역시 완전히 새로운 지식을 추가하는 데 파인튜닝이 적합하지 않다고 지적하며 대신 검색을 권장합니다. RAG에서도 검색 정확도와 답변의 근거성을 평가해야 하지만, 팀은 대규모 학습 데이터셋을 구축하지 않고도 기존 파일로 작동하는 첫 버전을 출시할 수 있습니다.

파인튜닝이 더 나은 다음 단계인 때는 언제인가요?

모델이 필요한 사실을 이미 받았지만 프롬프트 엔지니어링의 효과가 한계에 도달한 뒤에도 요구되는 말투, 스키마 또는 동작 패턴을 따르지 못한다면 파인튜닝이 적절한 다음 단계입니다. OpenAI 가이드(2026년 11월 18일 확인)에 설명된 것처럼 파인튜닝은 학습된 기억과 일관성의 문제를 해결합니다. 예를 들어 모델에 이미 있는 지식을 강조하고, 구조화된 출력 형식을 강제하며, 특정한 어조를 채택하거나 작은 모델이 제한된 작업을 안정적으로 수행하도록 가르칩니다. 팀은 긴 지침과 소수 예시를 학습된 동작으로 대체해 프롬프트를 줄이기 위해서도 파인튜닝합니다.

대표성 있는 라벨링 예시와 별도로 보관한 평가 세트 없이 학습 작업을 시작하지 마세요. OpenAI의 정확도 문서는 학습 데이터의 질이 단순한 양보다 중요하다고 강조하며, 고품질 예시 50+개를 테스트의 일반적인 출발점으로 제시합니다. 남은 오류가 컨텍스트 부족이 아니라 동작에서 비롯될 때만 데이터를 확장하라고 권장합니다. 50+개는 보장이 아니라 초기 기준으로 받아들이세요.

RAG와 파인튜닝은 함께 쌓아 사용하기에도 좋습니다. 평가에서 컨텍스트 부족과 형식 이탈이 모두 드러나면 RAG 형식의 학습 예시로 모델을 파인튜닝할 수 있습니다. 그러면 검색된 컨텍스트를 예시 없이 처리하는 대신 검색 구절을 안정적으로 읽고 인용하는 법을 배웁니다. 파인튜닝은 오픈 웨이트 모델과 여러 제공업체에서 계속 쓰이는 기술이지만 개별 업체의 서비스는 바뀝니다. 2026년 11월 18일 기준 OpenAI는 파인튜닝 플랫폼을 단계적으로 종료하고 신규 사용자에게 제공하지 않는다고 밝혔습니다. 자격을 갖춘 기존 고객은 2027년 1월 6일까지 학습 작업을 실행할 수 있으며(기반 모델이 더 일찍 종료되는 경우 제외), 학습된 모델은 기반 모델이 중단될 때까지 추론에 사용할 수 있습니다.

프롬프트 엔지니어링과 LoRA의 역할

프롬프트 엔지니어링은 검색 인덱스나 학습 파이프라인을 만들기 전에 가장 빠르게 기준 성능을 설정하는 방법입니다. Low-Rank Adaptation(LoRA)은 모델의 모든 가중치 대신 작은 어댑터 행렬을 학습해 파인튜닝을 더 가볍게 만듭니다.

프롬프트 엔지니어링이 먼저입니다

프롬프트 엔지니어링은 각 요청 안에 명확한 지침, 출력 제약, 소수 예시를 결합합니다. 검색 인덱스나 학습 루프가 필요하지 않으므로 모든 팀은 먼저 프롬프트 엔지니어링을 충분히 활용해 성능 기준을 세워야 합니다. 워크플로가 커지면 한계가 나타납니다. 프롬프트는 컨텍스트 윈도에 제한되고, 긴 소수 예시 지침은 지연과 토큰 추가 비용을 늘리며, 프롬프팅만으로는 비공개 코퍼스를 검색할 수 없습니다. 문서 누락이 실패의 원인이라면 검색을 추가하고, 출력 일관성이 정체된다면 파인튜닝을 고려하세요.

LoRA와 파라미터 효율적 파인튜닝

파인튜닝에 대형 모델의 모든 파라미터를 업데이트하거나 사용 사례마다 완전히 별개의 전체 크기 체크포인트를 배포할 필요는 없습니다. Hu et al.이 소개한 LoRA(ICLR 2022; arXiv:2106.09685)는 사전학습된 모델 가중치를 고정하고 Transformer의 어텐션 가중치 같은 선택된 레이어에 학습 가능한 작은 저랭크 분해 행렬을 삽입합니다. 학습 시 이 작은 어댑터만 업데이트하므로 훨씬 적은 학습 가능 파라미터로 모델을 조정할 수 있습니다. 추론 시 LoRA 어댑터를 기반 가중치에 다시 병합하면 원래 모델에 비해 추가 지연이 없으며, 작업별로 동적으로 교체할 수도 있습니다.

팀을 위한 실용적인 의사결정 틀

RAG와 파인튜닝 중 선택할 때는 데이터의 최신성, 동작 요구사항, 평가 준비 상태, 운영 부담을 기술적으로 차례로 점검하는 것이 좋습니다. 엔지니어링 시간을 투입하기 전에 다음 여섯 가지 질문을 살펴보세요.

  1. 필요한 지식이 비공개이거나 새롭거나 자주 바뀌나요? 인덱스를 업데이트해 지식을 갱신할 수 있도록 RAG부터 시작하세요.
  2. 말투, 스키마 또는 작업 일관성을 조정해야 하나요? 프롬프트 엔지니어링부터 시작하고 프롬프트 효과가 한계에 도달할 때만 파인튜닝을 고려하세요.
  3. 라벨링된 예시와 평가 방법이 있나요? 파인튜닝에는 학습 시작 전에 대표적인 입력·출력 쌍과 별도로 보관한 평가 세트가 필요합니다.
  4. 팀에 맞는 운영 주기는 무엇인가요? RAG에는 문서 수집, 분할, 권한 및 검색 조정이 추가되고, 파인튜닝에는 데이터셋 구성, 학습 실행 및 기반 모델 업데이트 때마다 재평가가 추가됩니다.
  5. 안정적인 작업에서 긴 프롬프트가 효율을 떨어뜨리나요? 파인튜닝은 반복 지침을 모델 가중치에 내재화해 프롬프트를 줄이거나 더 작은 모델을 지원할 수 있습니다.
  6. 평가에서 두 문제가 모두 나타나나요? 안정적인 동작을 위해 프롬프트 엔지니어링, 변하는 사실을 위한 RAG, RAG 형식 예시를 활용한 파인튜닝을 결합하세요.
상황 보통 시작할 방법 이유
비공개 또는 자주 갱신되는 문서가 답변의 근거여야 함 RAG(기준 프롬프트를 적용한 후) 지식이 재학습 없이 업데이트되는 인덱스에 있음
일관된 어조, 템플릿 또는 구조화된 출력이 필요함 프롬프트 엔지니어링 후 효과가 정체되면 파인튜닝 출력 형식은 동작 문제이지 문서 검색의 부족이 아님
바뀌는 사실과 엄격한 조직 고유 문체가 모두 필요함 RAG와 프롬프트를 사용한 뒤 RAG 예시로 파인튜닝 고려 검색은 최신 사실을 제공하고 학습은 형식을 고정함
평가 세트와 라벨링된 출력이 모두 없음 프롬프트와 필요시 RAG(파인튜닝은 보류) 평가 없이는 학습이 결과를 개선했는지 확인할 수 없음
바뀌는 사실 목록을 모델이 외우게 하고 싶음 RAG 또는 전용 검색 도구 파인튜닝은 업데이트가 느리고 금방 오래될 위험이 있음

각 접근법에서 여전히 발생하는 문제는 무엇인가요?

RAG와 파인튜닝은 각각 서로 다른 실패 유형을 만들어 내며, 어느 기술도 환각을 없애거나 평가와 접근 제어의 필요성을 없애지 못합니다.

RAG의 실패 유형

  • 환각이 계속 발생함: 모델은 검색된 구절을 무시하거나, 검색된 컨텍스트와 상충하는 파라미터 메모리를 섞거나, 검색 결과에 관련 내용이 없을 때 답을 지어낼 수 있습니다. 근거 제공이 왜 날조 위험을 제거하지 않고 줄이는지 AI 환각률 가이드에서 확인하세요.
  • 검색 누락과 인덱스 노후화: 인덱스에 오래되었거나 모순되는 파일이 있거나, 조각이 핵심 컨텍스트를 잘라내거나, 거의 중복된 조각이 너무 많아 프롬프트를 채우면 RAG가 실패합니다. RAG 디버깅은 검색된 구절을 살펴보는 것부터 시작합니다.
  • 간접 프롬프트 인젝션: 외부 또는 사용자가 편집할 수 있는 출처에서 검색한 문서에는 모델 출력을 탈취하도록 설계된 숨겨진 지침이 들어 있을 수 있습니다. 프롬프트 인젝션이란 무엇인가에서 설명하듯 신뢰할 수 있는 시스템 프롬프트와 검색 텍스트를 항상 분리하세요.
  • 접근 권한 누출과 과도한 컨텍스트: 권한으로 검색 결과를 필터링하지 않으면 공유 인덱스에 넣은 모든 문서가 시스템을 질의하는 사용자에게 나타날 수 있습니다. 검색된 텍스트를 프롬프트에 지나치게 많이 넣으면 모델이 중간에 묻힌 정보에 집중하지 못할 수도 있습니다.

파인튜닝의 실패 유형

  • 과적합과 데이터셋 아티팩트: 범위가 좁거나 대표성이 없는 예시로 학습한 모델은 형식상의 특이점을 외워 실제 운영 입력이 달라질 때 제대로 작동하지 않을 수 있습니다.
  • 오래된 사실과 거버넌스 공백: 파인튜닝만으로 사실 지식이 최신 상태로 유지되지는 않으며, 가중치 학습이 도구 권한, 입력 가드레일 또는 학습 후 평가를 대신할 수는 없습니다.

FAQ

같은 시스템에서 RAG와 파인튜닝을 결합할 수 있나요?

네. RAG와 파인튜닝은 서로 보완하며 운영 환경에서 함께 쓰이는 경우가 많습니다. RAG는 질의 시 최신 사실이나 비공개 사실을 검색하고 파인튜닝은 말투, 출력 스키마 또는 지침 준수를 강화합니다. RAG 모델을 파인튜닝할 때 학습 예시에 검색된 구절을 넣어 모델이 컨텍스트에 근거해 답하는 연습을 하도록 하세요.

RAG가 AI 환각을 완전히 없애나요?

아니요. RAG는 모델에 관련 원문을 제공해 날조 위험을 줄이지만 환각은 여전히 발생합니다. 모델은 검색된 조각을 잘못 읽거나 검색된 사실과 상충하는 사전학습 기억을 섞거나 검색에 실패하면 추측할 수 있습니다. 근거 없는 주장을 찾아내려면 검색 적중 지표와 답변의 근거성 평가가 모두 필요합니다.

모델을 파인튜닝하기 전에 예시가 몇 개 필요한가요?

성공을 보장하는 단일 데이터셋 크기는 없습니다. 단순한 양보다 예시의 품질과 운영 환경에 대한 대표성이 더 중요하기 때문입니다. OpenAI의 정확도 가이드(2026년 11월 18일 확인)는 우수한 예시 50+개와 별도로 보관한 평가 세트를 실용적인 출발점으로 제시합니다. 일찍 평가하고 오류가 동작에서 비롯되는지 확인한 뒤 신중히 확장하세요.

LoRA가 전체 파인튜닝보다 나은가요?

LoRA는 파라미터 효율적인 파인튜닝 방법으로, 전체 파인튜닝보다 가벼운 대안이지만 언제나 더 우수한 것은 아닙니다. 사전학습 가중치를 고정하고 작은 저랭크 행렬을 학습함으로써 LoRA는 학습 가능 파라미터를 줄이며 추가 지연 없이 기반 가중치에 다시 병합할 수 있습니다. 평가 세트로 두 접근법을 비교하세요.

RAG나 파인튜닝 없이 프롬프트 엔지니어링만으로 충분한 때는 언제인가요?

기반 모델이 이미 해당 분야의 사실을 알고 있고, 참고 자료가 프롬프트에 충분히 들어가며, 명확한 지침과 몇 가지 예시로 일관된 출력이 나올 때는 프롬프트 엔지니어링만으로도 작동합니다. 비공개 또는 변하는 문서가 누락되면 RAG를 추가하고, 말투, 구조 또는 토큰 효율에서 프롬프트 효과가 한계에 도달했을 때만 파인튜닝을 추가하세요.

출처

작성자

Chunyu Cai

Chunyu Cai는 Lotook, LLC의 CEO이자 기업가로, AI 모델과 에이전트, 그리고 이들이 일상 업무를 어떻게 바꾸는지에 관해 글을 씁니다. Chunyu Cai는 Imperial College London에서 석사 학위를 받았습니다.