LLM-as-a-judge: LLM 평가자 가이드

LLM as a judge는 언어 모델이 다른 모델이나 AI 애플리케이션이 생성한 출력을 특정 평가 기준, 참조 답변 또는 경쟁 답변과 비교해 채점하는 평가 방법입니다. 팀은 정확히 일치하는지 확인하는 코드 검사로 평가하기 어려운 챗봇 응답, RAG 답변, 요약 같은 개방형 작업에 LLM-as-a-judge 평가를 사용합니다.

언어 모델을 기반으로 애플리케이션을 구축하면 테스트가 곧 가장 큰 병목이 됩니다. 단위 테스트는 JSON 페이로드를 파싱할 수 있는지 확인하고, BLEU나 ROUGE 같은 전통적인 자연어 지표는 겹치는 단어를 셉니다. 하지만 어느 쪽도 요약이 실제로 말이 되는지, 고객 지원 봇이 정중하게 답변했는지는 알려주지 못합니다. 2023년 3월의 Liu et al.의 G-Eval 논문이 보여주듯 BLEU와 ROUGE 같은 참조 기반 지표는 창의적이고 개방적인 작업에서 인간의 판단과 비교적 낮은 상관관계를 보입니다.

사람의 검토는 표준이지만 시스템 프롬프트를 조금 수정할 때마다 엔지니어나 분야 전문가에게 출력 500개를 읽어 달라고 하면 반복 개선이 매우 느려집니다. LLM-as-a-judge는 경직된 문자열 검사와 느린 사람의 채점 사이의 간극을 메웁니다. 그러나 자동 평가자에게도 먼저 나온 답변을 선호하거나 장황하고 알맹이 없는 글을 높이 평가하는 등 고유한 실패 유형이 있습니다. 이런 채점 방식의 작동 원리와 실패 지점을 이해해야 성능 저하를 잡아내는 평가 파이프라인과 근거 없는 확신을 주는 파이프라인을 구분할 수 있습니다.

LLM as a judge란 무엇이며 팀은 왜 사용할까?

LLM as a judge는 언어 모델에 프롬프트를 제공해 다른 모델이나 시스템의 출력을 채점, 순위 지정 또는 검증하게 하는 자동 평가 기법입니다. 정확한 문자열 일치에 의존하는 대신 평가 모델이 입력 프롬프트, 생성된 출력, 채점 지침을 읽고 구조화된 평가 결과를 만듭니다.

소프트웨어 팀이 LLM-as-a-judge를 도입하는 이유는 현대 AI 애플리케이션이 수천 가지 방식으로 유효한 답변을 생성하기 때문입니다. 검색 증강 생성 시스템을 구축한다면(RAG의 개념과 작동 방식 가이드 참조), 같은 원본 문서에 대한 두 요약이 정확히 일치하는 표현은 거의 없더라도 둘 다 완전히 정확할 수 있습니다. 반대로 답변이 참조 텍스트의 단어 중 90%를 공유하면서도 부정 표현 하나를 뒤집어 잘못된 진술이 될 수 있습니다.

OpenAI의 Graders 문서와 Anthropic의 평가 가이드는 모두 모델 기반 채점을 결정론적 코드 검사 및 사람의 검토와 함께 테스트의 핵심 축으로 제시합니다. 실제로 팀은 AI 출력을 평가할 때 세 가지 주요 방법을 사용합니다.

평가 방법	작동 방식	적합한 용도	주요 한계
코드 기반 검사	정확한 일치, 정규식, JSON 스키마 검증, 문자열 검사 또는 Python 실행을 사용합니다.	구조화된 출력, 도구 호출, 구문 검증 및 결정론적으로 확인 가능한 사실.	개방형 표현, 어조 또는 미묘한 의미적 동등성을 평가하지 못합니다.
LLM as a judge	채점 모델에 평가 기준, 참조 텍스트 또는 쌍별 선택을 제공해 출력을 채점합니다.	요약, 챗봇의 유용성, 어조 및 제공된 출처에 대한 RAG의 충실성.	항목마다 API 호출이 추가되며 위치, 장황함, 자기 선호 편향이 발생합니다.
사람의 검토	분야 전문가나 크라우드 작업자가 출력을 수동으로 채점합니다.	정답 기준이 있는 보정 집합 구축, 중대한 예외 사례 감사 및 미묘한 분야별 차이 평가.	느리고 비용이 많이 들며 프롬프트나 코드가 바뀔 때마다 지속적으로 실행하기 어렵습니다.

LLM-as-a-judge 평가는 어떻게 작동할까?

LLM-as-a-judge 평가에서는 작업 맥락, 후보 출력, 구조화된 채점 프롬프트를 평가 모델에 전달하고, 모델은 추론과 최종 점수 또는 선호 결과를 출력합니다. 평가 대상에 따라 채점 방식은 대체로 2023년 6월의 Zheng et al.의 MT-Bench 및 Chatbot Arena 논문과 2023년 3월의 G-Eval 프레임워크에 설명된 세 가지 유형 중 하나를 따릅니다.

1. 단일 답변 채점(Pointwise)

단일 답변 채점에서는 평가자가 하나의 프롬프트와 모델 답변을 독립적으로 살펴보고 평가 기준에 따라 점수를 매깁니다. 점수는 합격 또는 불합격의 이진 판정(예를 들어 correct 또는 incorrect만 출력)이거나 1부터 5까지의 척도일 수 있습니다. OpenAI의 Grader 문서에 따르면 점수 모델 평가자는 엄격한 0 또는 1 대신 부분 점수를 줄 수도 있습니다.

G-Eval 연구에서 Liu et al.은 단일 출력을 채점하기 위해 사고 연쇄 추론과 양식 작성 방식을 결합했습니다. 텍스트 요약 작업에서 GPT-4 기반 G-Eval은 사람의 점수와 0.514의 스피어만 상관계수를 달성해 기존 자동 평가 방법을 능가했습니다. Pointwise 채점은 각 테스트 사례가 독립적인 점수를 받기 때문에 프로덕션 모니터링과 회귀 테스트에 적합합니다.

2. 쌍별 비교

쌍별 비교에서는 평가자에게 하나의 프롬프트와 두 후보 답변(Answer A와 Answer B)을 제공하고 더 나은 답변을 고르거나 무승부를 선언하도록 합니다. 이 방식은 사람들이 Chatbot Arena 같은 플랫폼에서 모델을 비교하는 방식과 닮았습니다. Zheng et al.은 사람의 선호가 기록된 대화 30,000개와 MT-bench 질문에 대한 전문가 투표 3,000개를 공개하면서 Chatbot Arena를 소개했습니다.

쌍별 비교는 평가 모델이 1부터 10까지 추상적인 숫자를 부여하는 것보다 쉬운 경우가 많으므로 두 프롬프트 버전을 A/B 테스트하거나 작업에 맞게 AI 모델을 선택하는 방법을 결정할 때 적합합니다. 단점은 후보가 수십 개일 때 쌍별 비교를 확장하기 어렵고 답변이 제시되는 순서에 매우 취약하다는 것입니다.

3. 참조 기반 채점

참조 기반 채점은 후보 답변과 함께 정답 기준이 되는 참조 답변, 필수 사실 목록 또는 원본 문서를 평가자에게 제공합니다. 언어 모델은 자신이 모르는 사실을 검증할 수 없으며, AI 환각 발생률 분석에서 설명하듯 모델은 기억에만 의존해 채점할 때 그럴듯한 세부 사항을 일상적으로 지어냅니다.

평가자에게 정답이나 검색된 RAG 청크를 제공하면 자료를 볼 수 있는 지식 시험을 훨씬 간단한 독해력 검사로 바꿀 수 있습니다. 이 방식은 수학 문제, 추론 퍼즐 또는 사실 충실성을 채점할 때 중요합니다.

LLM 평가자는 사람과 비교해 얼마나 정확할까?

성능이 뛰어난 LLM 평가자는 개방형 작업에서 사람의 선호와 80% 넘게 일치하며, 이는 서로 다른 두 사람의 주석자 사이에서 나타나는 일치 수준과 같습니다. 이 기준은 Zheng et al.(2023년 6월, arXiv:2306.05685)의 연구에서 나왔습니다. 연구진은 MT-bench와 Chatbot Arena 대화에서 GPT-4를 평가자로 시험하고 통제된 전문가 라벨과 크라우드소싱으로 수집한 사람의 투표 양쪽과 비교했습니다.

이 결과는 LLM 평가자가 매력적인 큰 이유입니다. 사람이 라벨을 붙이는 작업은 비용과 시간이 많이 들며, 사람들끼리 동의하는 빈도만큼 사람과 일치하는 평가자는 일상적인 채점의 상당 부분을 대신할 수 있습니다. 다만 일치율은 평균이며 평균은 평가자가 실패하는 지점을 감춥니다.

전체 상관관계가 높아도 뚜렷한 사각지대가 숨을 수 있습니다. 일반적인 대화에서 80%의 시간 동안 사람과 일치하는 평가자도 답변이 설득력 있게 꾸며졌거나 유리한 위치에 놓였거나 여러 단계의 수학적 검증을 요구하면 여전히 체계적으로 실패할 수 있습니다.

LLM as a judge는 어디서 잘못될까? 흔한 편향

LLM 평가자 편향은 평가 모델이 실제 정확성보다 답변 순서, 길이, 문체 같은 피상적인 특성에 따라 출력을 체계적으로 선호할 때 발생합니다. 2024년 11월의 설문 논문 A Survey on LLM-as-a-Judge에 요약되고 Zheng et al., Wang et al., Liu et al.의 연구에서 자세히 다뤄진 여러 평가 벤치마크 연구는 주의해야 할 몇 가지 실패 유형을 보여줍니다.

위치 편향과 순서 조작

위치 편향은 쌍별 비교에서 LLM 평가자가 내용의 품질과 관계없이 특정 위치, 흔히 처음 제시된 답변을 선호하는 경향입니다. 2023년 5월 논문 Large Language Models are not Fair Evaluators에서 Wang et al.은 이 결함이 얼마나 심각한지 보여주었습니다. 답변 순서를 조작하자 ChatGPT가 직접 평가자로 활동한 상황에서 더 작은 Vicuna-13B 모델이 테스트한 질문 80개 중 66개에서 ChatGPT를 이겼습니다. 쌍별 비교를 A 다음 B의 한 가지 순서로만 수행하면 어떤 모델을 먼저 제시하느냐만 바꿔도 벤치마크 결과가 뒤집힐 수 있습니다.

장황함 편향

장황함 편향은 추가된 내용이 반복적이거나 불필요한 내용이거나 주제에서 약간 벗어나더라도 LLM 평가자가 더 길고 상세해 보이는 답변에 더 높은 점수를 주는 현상입니다. Zheng et al.은 장황함 편향을 LLM 평가자의 주요 한계로 꼽았습니다. 언어 모델은 정중한 군더더기와 글머리표 목록을 쉽게 만들 수 있으므로, 보정되지 않은 평가자는 간결하고 정확한 80단어 설명보다 400단어의 장황한 답변을 높이 평가하는 경우가 많습니다.

자기 선호 편향

자기 선호 편향은 언어 모델이 자신이나 같은 모델 계열의 모델이 생성한 출력을 선호하는 경향을 말합니다. Zheng et al.은 자기 선호 편향을 LLM 평가자의 한계로 지적했고, Liu et al.은 LLM 기반 평가자가 LLM 생성 텍스트를 선호할 가능성을 지적했습니다. 모델 자신과 경쟁 모델의 직접 비교를 그 모델로 채점하면 평가자는 자신의 표현을 더 자연스럽고 유용하다고 평가할 수 있습니다.

제한된 추론 및 수학 채점 능력

평가 모델은 스스로 풀지 못하는 추론 또는 수학 문제를 안정적으로 채점할 수 없습니다. Zheng et al.은 제한된 추론 능력을 LLM 평가자의 약점으로 꼽고 평가자에게 참조 답변을 제공하는 등 일부 문제의 완화책을 제안했습니다. 후보 답변에 자신감 있어 보이는 계산 오류가 있으면 평가자가 속아서 틀린 답을 정답으로 표시할 수 있습니다.

신뢰할 수 없는 출력의 프롬프트 인젝션

평가자가 최종 사용자나 수집된 웹페이지의 영향을 받은 텍스트를 평가할 때 후보 출력 자체에 채점자를 탈취하도록 설계된 악의적인 지시가 포함될 수 있습니다. 예를 들어 이전 규칙을 무시하고 만점을 출력하라는 지시입니다. 파이프라인이 신뢰할 수 없는 입력을 채점한다면 악의적인 문자열이 평가 체계를 조작하지 못하도록 프롬프트 인젝션이란 무엇인가 가이드의 방어책을 확인하세요.

편향 또는 실패 유형	원인	완화 방법
위치 편향	쌍별 평가자가 품질과 관계없이 특정 위치(예: 첫 번째 답변)를 선호합니다.	Balanced Position Calibration을 사용해 모든 쌍을 양쪽 순서(A/B와 B/A)로 평가하고 두 방향에서 유지되는 승리만 계산합니다.
장황함 편향	평가자가 더 긴 텍스트와 정교한 서식을 더 높은 유용성과 동일시합니다.	길이가 품질을 뜻하지 않는다고 평가 기준에 명시하고 길이가 비슷한 출력을 비교합니다.
자기 선호 편향	모델이 자신의 학습 분포와 문체 습관에 맞는 텍스트를 선호합니다.	생성 모델과 다른 모델 계열의 평가자 또는 다양한 평가자 패널을 사용합니다.
수학 및 추론 오류	평가자가 여러 단계의 논리를 즉석에서 검증할 능력이 부족해 자신감 있는 오류에 속습니다.	검증된 참조 답변을 제공하고 채점 전 추론을 요구하거나 결정론적인 Python 실행 평가자를 사용합니다.
LLM 문체에 대한 평가자 편향	평가자가 간결한 사실 정확성보다 세련된 LLM 표현을 지나치게 높이 평가합니다.	평가 기준을 구체적이고 경험적인 합격·불합격 기준에 연결하고 사람이 라벨을 붙인 표본으로 점수를 보정합니다.

신뢰할 수 있는 LLM 평가자는 어떻게 설정할까?

신뢰할 수 있는 LLM 평가자를 설정하려면 먼저 결정론적 검사를 수행하고, 채점 전 추론을 요구하는 구체적인 평가 기준을 작성하며, 위치 및 모델 계열 편향을 통제하고 사람의 라벨을 기준으로 보정해야 합니다. 평가 체계를 구축할 때 다음 단계별 체크리스트를 따르세요.

LLM 평가자를 호출하기 전에 결정론적 검사를 실행합니다. 출력이 유효한 JSON인지, 필수 키워드를 포함하는지, 280자 미만인지 확인하는 데 LLM 비용을 쓰지 마세요. 정확한 일치, 정규식, JSON 스키마 검증, 단위 테스트 등 코드 기반 평가를 먼저 사용하고, LLM 평가자는 어조, 유용성, 출처 충실성처럼 코드로 측정할 수 없는 품질에만 사용합니다.
사실 확인을 위해 참조 답변이나 원본 문서를 제공합니다. 정확성이 특정 사실, 수학 또는 내부 지식에 좌우될 때는 정답 참조 자료나 검색된 RAG 맥락을 평가자 프롬프트에 직접 전달합니다. 작업 흐름에서 주장을 검증해야 한다면 AI 답변의 사실을 확인하는 방법 가이드의 기법을 평가 기준과 함께 사용하세요.
작은 척도나 이진 척도를 사용하는 구체적인 평가 기준을 작성합니다. “품질을 1부터 100까지 평가하라” 같은 모호한 지시는 변동이 크고 일관되지 않은 숫자를 만듭니다. Anthropic 평가 문서의 권고처럼 기준을 구체적이고 실증적으로 만드세요. 예를 들어 correct 또는 incorrect만 출력하거나 각 점수에 명시적인 합격·불합격 규칙이 있는 엄격한 1부터 5까지의 척도를 사용합니다. 답변이 길다고 더 좋은 것은 아니라고 평가자에게 명확히 알려주세요.
최종 점수 전에 추론이나 근거를 요구합니다. Wang et al.의 Multiple Evidence Calibration과 Anthropic의 채점 지침은 모두 최종 판단을 내리기 전에 모델이 근거를 쓰거나 사고 기능을 켜도록 하는 것을 강조합니다. 자기회귀 모델은 토큰을 순서대로 생성하므로 분석을 먼저 출력하면 이후 점수를 텍스트의 구체적인 근거에 기반하게 할 수 있습니다.
모든 쌍별 평가에서 답변 순서를 바꿉니다. 위치 편향을 중화하려면 Balanced Position Calibration을 적용합니다. 한 번의 호출에서 (Answer A, Answer B)를 평가하고 두 번째 호출에서 (Answer B, Answer A)를 평가합니다. 평가자가 두 위치에서 같은 원래 답변을 선택한 경우에만 승리로 처리하고, 그렇지 않으면 무승부로 기록합니다.
평가자와 생성 모델의 계열을 분리하거나 LLM 평가자 패널을 사용합니다. 모델 제공업체 간 비교에서 모델이 자신의 출력을 채점하게 해서는 안 됩니다. 더 나아가 값비싼 단일 최첨단 평가자를 심사단으로 대체하는 것도 고려하세요. 2024년 4월 논문 Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models에서 Verga et al.은 서로 다른 모델 계열의 여러 소형 모델로 구성한 Panel of LLM evaluators (PoLL)가 세 가지 평가 설정과 여섯 데이터셋에서 단일 대형 평가자를 능가하고, 모델 내부 편향이 적으며, 비용이 7배 넘게 저렴했음을 보여주었습니다. 평가할 때마다 테스트 항목당 API 호출이 추가되므로 소형 모델이나 PoLL을 사용하는 것은 AI API 비용을 줄이는 간단한 방법이기도 합니다.
사람이 라벨을 붙인 예제로 보정하고 주기적으로 다시 확인합니다. 프로덕션에서 자동 평가자를 신뢰하기 전에 사람이 라벨을 붙인 작은 보정 집합을 구축하세요. 팀이 실제 입력의 표본, 예를 들어 50~100개 항목을 수동으로 채점하게 하고 LLM 평가자가 사람의 라벨과 얼마나 자주 일치하는지 측정합니다. 평가자와 분야 전문가의 판단이 다른 부분은 평가 기준을 개선하고, 사용자 질문이 변함에 따라 사람을 통한 보정 검사를 주기적으로 반복합니다.

자주 묻는 질문

Pointwise와 쌍별 LLM 평가의 차이는 무엇인가요?

Pointwise 평가는 단일 모델 출력을 독립적으로 평가 기준에 따라 채점하고 합격·불합격 결과 또는 1부터 5까지와 같은 숫자 점수를 반환합니다. 쌍별 평가는 같은 프롬프트에 대한 두 후보 출력을 나란히 보여주고 어느 쪽이 더 나은지 묻습니다. Pointwise는 지속적인 프로덕션 모니터링과 회귀 판정에 적합하며, 쌍별 평가는 두 프롬프트나 모델의 직접 A/B 테스트에 더 적합합니다.

LLM-as-a-judge의 위치 편향은 어떻게 해결하나요?

후보 순서를 바꿔 모든 쌍별 비교를 두 번 수행합니다. 먼저 Model A 다음에 Model B를 제시하고, 두 번째에는 Model B 다음에 Model A를 제시합니다. Wang et al.(2023년 5월)은 이를 Balanced Position Calibration이라고 부릅니다. 두 번 모두 같은 답변을 선택한 경우에만 승리로 계산하고 판단이 갈리면 무승부로 처리합니다.

답변 생성과 평가에 같은 LLM을 사용해야 하나요?

아니요. 같은 모델이나 모델 계열로 답변을 생성하고 평가하면 평가자가 자신의 표현 및 학습 분포와 일치하는 출력을 선호하는 자기 선호 편향이 생깁니다. 공정한 평가를 위해 테스트 대상 후보와 다른 모델 계열의 평가자를 선택하거나, 서로 다른 계열의 다양한 LLM 평가자 패널에서 투표를 집계하세요.

LLM 평가자가 사람의 평가를 완전히 대체할 수 있나요?

LLM 평가자는 사람의 평가를 완전히 대체할 수 없습니다. 자동 평가자는 평가 기준을 보정하고 미묘한 분야별 실패를 잡아내기 위해 사람이 붙인 정답 라벨이 필요하기 때문입니다. Zheng et al.(2023년 6월)은 GPT-4 같은 성능 좋은 평가자가 사람의 선호와 80% 넘게 일치한다는 것을 발견했지만, 초기 보정 집합에 라벨을 붙이고 예외 사례를 감사하며 중요한 분야의 추론을 검증하려면 여전히 사람이 필요합니다.

LLM-as-a-judge를 대규모로 실행하는 비용을 어떻게 줄일 수 있나요?

무료인 결정론적 코드 검사를 먼저 실행해 기본 구문과 길이 규칙을 통과한 출력만 LLM 평가자가 처리하도록 하면 평가 비용을 줄일 수 있습니다. 또한 Verga et al.의 2024년 4월 PoLL 연구에서는 서로 다른 계열의 소형 모델 패널이 단일 대형 평가자를 호출하는 것보다 비용이 7배 넘게 저렴하면서 더 높은 정확도를 달성했습니다.

LLM-as-a-judge란? LLM 평가자의 작동 방식과 한계

LLM as a judge란 무엇이며 팀은 왜 사용할까?