Lotook저널 둘러보기
태그 AI 모델 글
태그 AI 모델가 붙은 Lotook 글입니다. 뉴스, 분석, 실용 가이드와 원문 링크를 담습니다.
KV cache란? LLM이 어텐션 상태를 재사용하는 방법
KV cache가 무엇인지, LLM의 디코딩 속도를 높이는 원리와 컨텍스트 길이에 따른 메모리 증가를 알아봅니다. 프롬프트 캐싱 및 API 비용과의 관계, Prefill과 Decode의 차이, 개발자를 위한 실용적인 운영 방법도 살펴봅니다.
RAG란? 검색 증강 생성의 개념과 작동 방식
RAG는 답변을 생성하기 전에 관련 문서를 검색해 언어 모델에 전달하는 검색 증강 생성 방식입니다. 학습 데이터에만 의존하지 않고 최신 정보나 비공개 데이터를 활용할 수 있습니다. RAG의 단계별 작동 방식과 한계, 안정적인 시스템을 구축할 때 살펴볼 사항을 알아봅니다.