모델 증류는 더 작은 student 모델이 더 크거나 성능이 뛰어난 teacher 모델을 모방하도록 학습하는 훈련 기법입니다. teacher의 출력 동작을 작은 아키텍처로 옮겨 특정 프로덕션 작업에서 teacher의 능력을 상당 부분 유지하면서 추론 비용과 지연 시간을 줄입니다.
모델 증류란 무엇이며 teacher-student 구성은 어떻게 작동할까?
모델 증류(model distillation)는 지식 증류(knowledge distillation)라고도 하며, 크고 성능이 뛰어난 teacher 모델의 동작을 더 작거나 저렴한 student 모델로 전달하는 훈련 과정입니다. 사람이 주석을 단 원시 예시만으로 작은 모델을 훈련하는 대신, teacher 모델을 사용해 student의 업데이트를 이끄는 훈련 신호를 생성합니다. 목표는 teacher의 동작을 상당 부분 유지하면서 더 빠르게 실행되고 요청당 비용이 적게 드는 작은 모델을 만드는 것입니다.
Teacher-student 모델 워크플로에서 teacher는 이미 훈련되어 있으며 데이터셋에 대한 목표값을 생성하는 동안 고정됩니다. student는 teacher가 생성하는 결과에 맞게 가중치를 업데이트합니다. teacher와 student 모델의 내부 아키텍처가 같을 필요는 없습니다. 계산량이 많은 대형 teacher와 빠른 서비스에 적합한 훨씬 가벼운 student를 결합할 수 있습니다.
LLM 증류에서는 훈련 신호가 단순한 클래스 레이블에서 언어 동작으로 바뀝니다. 언어 모델 증류는 흔히 teacher가 생성한 텍스트, 여러 응답의 순위를 매긴 선호도 레이블, 또는 teacher가 제공하는 경우 토큰 단위 확률 분포로 student를 훈련하는 것을 뜻합니다. 이후 등장한 증류 방식은 사람이 레이블을 단 데이터셋에만 의존하지 않고 teacher의 중간 특징이나 추론 흔적을 모방하도록 student를 훈련하기도 합니다.
소프트 타깃과 암묵적 지식은 어떻게 모델 증류의 출발점이 되었을까?
현대적인 지식 증류의 정식화는 Geoffrey Hinton, Oriol Vinyals, Jeff Dean의 2015년 논문 Distilling the Knowledge in a Neural Network에서 시작됩니다. 그전에는 지도 분류기를 정답 클래스에는 1점, 나머지 모든 클래스에는 0점을 주는 하드 레이블로 훈련하는 것이 일반적이었습니다. 단일 레이블 목표값은 모델에 정답을 알려주지만 teacher가 나머지 선택지를 어떻게 평가하는지는 감춥니다.
Hinton, Vinyals, Dean은 훈련된 teacher가 소프트 타깃, 즉 각 입력에 대해 가능한 모든 클래스의 전체 확률 분포를 생성한다는 것을 보여주었습니다. 이미지 분류기가 픽업트럭 사진을 평가하면 트럭에는 높은 확률, 자동차에는 0이 아닌 작은 확률, 당근에는 사실상 0에 가까운 확률을 부여합니다. 이 작은 잔여 확률에는 클래스 간 관계에 관해 저자들이 ‘암묵적 지식’이라고 부른 정보가 담겨 있습니다.
소프트 타깃으로 student를 훈련하면 이러한 구조적 유사성 정보가 전달되어, 작은 모델은 one-hot 레이블만 사용할 때보다 예시마다 훨씬 풍부한 지도 신호를 받습니다. 이 논문은 증류 중 teacher의 출력 분포를 부드럽게 만들어 훈련 시 이차적인 확률이 더 두드러지게 하는 온도 매개변수도 소개합니다. student는 teacher가 관련 답변들에 확신도를 어떻게 배분하는지 배우므로, 하드 레이블만으로 처음부터 훈련한 작은 모델보다 더 잘 일반화할 수 있습니다.
모델 증류와 파인튜닝, 양자화 비교
모델 증류, 파인튜닝, 양자화는 흔히 모델 최적화로 묶이지만 각 방법은 모델을 서로 다르게 바꿉니다. 모델 증류를 파인튜닝이나 가중치 압축과 비교하면 어떤 도구가 어떤 병목을 해결하는지 명확해집니다.
| 방식 | 주요 목표 | 달라지는 것 | 사용 시점 |
|---|---|---|---|
| 모델 증류 | 큰 teacher의 동작을 더 작고 빠른 모델로 전달 | 별도의 student 모델을 teacher의 출력이나 확률에 맞게 훈련 | teacher와 유사한 동작을 유지하면서 지연 시간을 줄이거나 더 작은 하드웨어가 필요한 경우 |
| 파인튜닝 | 기존 모델을 특정 작업, 분야 또는 형식에 맞게 조정 | 대상 모델의 가중치를 작업 데이터로 업데이트하며 크기는 보통 그대로 유지 | 기본 모델이 이미 지연 시간 예산에 맞고 작업 특화가 필요한 경우 |
| 양자화 | 메모리 사용량을 줄이고 가중치 연산을 가속 | 기존 가중치의 수치 정밀도를 예를 들어 16비트에서 8비트 또는 4비트로 낮춤 | 모델이 정확도 요구를 충족하며 더 엄격한 VRAM 또는 메모리 제한에 맞아야 하는 경우 |
파인튜닝은 기존 모델을 작업별 데이터로 계속 훈련해 모델 자체의 동작을 바꾸며, 일반적으로 매개변수 수는 줄이지 않습니다. 증류의 목표는 다릅니다. teacher의 동작을 대개 더 작은 다른 모델로 전달합니다. 양자화도 증류가 아닙니다. 별도의 student가 teacher를 모방하도록 훈련하는 대신 이미 훈련된 모델의 가중치 수치 정밀도를 낮추기 때문입니다.
같은 맥락에서 가지치기, 희소성, 전문가 혼합(MoE) 아키텍처, 검색 증강 생성(RAG)도 자주 언급됩니다. 가지치기, 희소성, MoE 설계는 모델 내부의 계산량이나 활성 매개변수 수를 바꾸는 반면, RAG는 teacher를 student로 압축하는 대신 추론 시 외부 문서를 검색합니다. 훈련할지, 조정할지, 모델 크기를 바꿀지 아직 결정 중이라면 AI 모델 선택 방법 가이드부터 살펴보세요.
팀은 왜 언어 모델을 증류할까?
엔지니어링 팀이 언어 모델을 증류하는 주된 이유는 모든 요청에 대형 teacher 모델을 실행하는 것보다 추론 비용과 지연 시간을 줄이기 위해서입니다. 수백만 건의 일상적인 분류, 추출, 초안 작성 호출에 대표 모델을 실행하면 많은 계산 자원을 소비하고 응답 시간이 늘어납니다. 이 작업을 teacher의 동작으로 훈련한 증류된 student로 옮기면 애플리케이션은 더 작은 하드웨어나 더 엄격한 지연 시간 예산 안에서 더 빨리 응답할 수 있습니다.
AI에서 토큰이 무엇인지 이해하면 이 절충의 비용 측면을 알 수 있습니다. 모든 프롬프트와 완성 출력은 토큰 양과 모델 크기에 비례하는 계산 자원을 소비하므로 빈도가 높은 트래픽을 작은 student로 옮기면 요청당 비용이 직접 줄어듭니다. 작은 모델 외에 지출을 줄일 폭넓은 방법을 찾는 팀은 AI API 비용 절감 방법 가이드의 전략을 함께 활용할 수 있습니다.
제가 프로덕션 AI 파이프라인을 검토한 경험에서 팀이 첫날부터 증류를 시작하는 경우는 드뭅니다. 대부분 먼저 큰 teacher로 제품 품질을 검증하고 트래픽 패턴이 안정되면 자체 teacher를 프로덕션용 student로 증류합니다. AI 연구소도 자체 모델 계열의 작은 버전을 출시할 때 같은 패턴을 따릅니다. 직접 구축했거나 적절히 라이선스를 받은 모델을 더 작은 student로 증류하는 것은 표준적인 제품 엔지니어링 관행입니다.
OpenAI 정책은 모델 증류에 관해 무엇을 말할까?
제삼자가 호스팅하는 API의 출력으로 student 모델을 훈련하는 행위에는 제공업체 계약이 적용됩니다. 아래 요약은 2026년 11월 20일 발효로 표시된 Usage Policies 업데이트를 포함해 2026년 11월 16일 기준으로 공개된 정책을 설명하며 법률 자문이 아닙니다. 소유한 모델이나 출력을 이용한 훈련이 라이선스로 허용된 모델을 증류하는 것은 상용 API의 약관을 위반해 출력을 가져오는 것과 매우 다릅니다.
Terms of Use와 Usage Policies
OpenAI Terms of Use에 따라 사용자는 다음 행위를 해서는 안 됩니다. “출력을 사용해 OpenAI와 경쟁하는 모델을 개발하는 행위.” 이 조항은 고객이 OpenAI 서비스에서 반환된 모델 출력을 사용하는 방식을 규정하는 제한 사항에 직접 포함되어 있습니다.
OpenAI Usage Policies 페이지는 2026년 11월 20일 발효로 표시되어 있으므로, 업데이트된 모델 훈련 및 개발 항목은 2026년 11월 16일 기준 아직 발효되지 않은 향후 규칙입니다. 해당 페이지의 향후 정책 내용에 따르면 사용자는 OpenAI 모델이나 서비스를 대체할 목적으로 만들어진 모델의 훈련 자료 또는 신호를 생성, 준비, 선택하거나 제공하기 위해 OpenAI 모델이나 그 출력을 사용해서는 안 됩니다. 여기에는 훈련 데이터, 작업, 평가 기준, 강화 학습 환경과 레이블, 점수, 순위, 선호도, 보상 또는 수정과 같은 훈련 피드백이 포함됩니다. 이 향후 내용은 OpenAI의 Services Agreement에 따른 Permitted Exception을 포함해 고객 계약에서 명시적으로 허용한 사용은 해당 제한이 금지하지 않는다고도 설명합니다.
무단 증류 캠페인에 대한 조치
OpenAI는 Disrupting a coordinated model-distillation campaign이라는 공개 게시물에서 적대적 증류를 “한 모델의 출력이나 추론을 다른 모델의 훈련, 재현 또는 개선에 활용하기 위해 체계적이고 무단으로 사용하는 행위”라고 설명했습니다. OpenAI는 자사 모델에서 보호된 추론을 추출하려 한 조직적인 캠페인에 대해 계정 및 기술적 조치를 취했다고 밝혔습니다.
다른 호스팅 모델 제공업체도 경쟁 모델을 훈련하기 위한 API 출력 사용을 제한합니다. 구체적인 허용 범위, 기업용 예외, 공개 가중치 라이선스는 업체와 요금제에 따라 다르므로 엔지니어링 팀은 훈련 파이프라인에 사용할 출력을 수집하기 전에 호스팅 API나 모델 라이선스의 최신 조건을 읽어야 합니다.
증류된 모델에서 무엇이 잘못될 수 있을까?
Teacher의 출력을 복사하면 강점과 함께 맹점도 전달되므로 증류된 student 모델은 프로덕션에서 실패할 수 있습니다. student가 제한적인 벤치마크에서 설득력 있어 보여도 배포 후에는 반복적으로 나타나는 세 가지 실패 유형이 있습니다.
- 물려받은 오류와 편향: student는 teacher의 출력을 훈련의 정답으로 취급하므로 teacher가 만들어낸 사실 오류, 환각 또는 체계적 편향을 학습하고 반복할 수 있습니다.
- 분포 밖 성능 저하: 선별된 훈련 세트에서 teacher의 최종 답변과 일치하더라도 실제 사용자가 낯설거나 잡음이 많거나 분포 밖에 있는 입력을 보낼 때 teacher와 같은 신뢰성을 보장하지는 않습니다.
- 범위와 안전성의 공백: 증류 데이터셋에 전혀 등장하지 않은 기술, 예외 사례 또는 안전 관련 동작은 student에서 눈에 띄게 저하되어 원래 teacher가 안전하게 처리했던 부분에 공백을 남길 수 있습니다.
이러한 실패 유형을 완화하려면 student가 teacher의 모든 속성을 물려받았다고 가정하지 말고 데이터셋의 범위를 신중히 확보하고 실제 프로덕션 예외 사례에서 독립적으로 평가해야 합니다.
FAQ
다음 자주 묻는 질문은 모델 증류의 작동 방식, 팀의 사용 시점, 호스팅 모델 출력에 적용되는 규칙을 요약합니다.
모델 증류는 파인튜닝과 같은가요?
모델 증류와 파인튜닝은 목표가 다릅니다. 파인튜닝은 기존 모델의 가중치를 업데이트하고 보통 매개변수 수는 유지해 특정 작업이나 스타일에 맞게 모델을 조정합니다. 모델 증류는 더 큰 teacher 모델의 동작을 별도의, 대개 더 작은 student 모델로 전달해 추론을 더 빠르고 저렴하게 실행하도록 합니다.
Teacher와 student 모델은 같은 아키텍처가 필요한가요?
Teacher와 student 모델이 같은 아키텍처를 공유할 필요는 없습니다. 증류는 teacher의 출력, 확률 분포 또는 중간 신호에 맞게 student를 훈련하므로, 더 작은 student 네트워크가 내부 구조가 다른 큰 teacher로부터 배울 수 있습니다. 팀은 일반적으로 대상 하드웨어에서 빠른 서비스에 적합하도록 설계된 작은 student 아키텍처를 선택합니다.
OpenAI API 출력으로 언어 모델을 증류할 수 있나요?
2026년 11월 16일 기준, 2026년 1월 1일 발효된 OpenAI의 Terms of Use는 OpenAI와 경쟁하는 모델을 개발하기 위해 출력을 사용하는 것을 이미 금지합니다. 이와 별도로 OpenAI Usage Policies 페이지에는 모델 훈련 및 개발에 관한 더 상세한 항목이 추가되어 있으며, 2026년 11월 20일 발효로 표시되어 2026년 11월 16일에는 아직 효력이 없습니다. 제공업체 조건을 준수하며 증류 모델을 구축하려는 팀은 자체 소유 모델이나 출력으로 훈련할 수 있도록 라이선스가 부여된 모델을 사용합니다.
모델 증류는 양자화 및 RAG와 어떻게 다른가요?
모델 증류, 양자화, 검색 증강 생성은 서로 다른 병목을 해결합니다. 모델 증류는 새로운 소형 student 모델을 teacher 모델의 모방에 맞게 훈련합니다. 양자화는 메모리 사용량을 줄이기 위해 기존 모델 가중치의 수치 정밀도를 예를 들어 16비트에서 8비트 또는 4비트로 낮춥니다. 검색 증강 생성은 teacher를 student로 압축하는 대신 추론 중 외부 문서를 가져옵니다.
증류된 student 모델에는 어떤 위험이 있나요?
증류된 student 모델은 teacher 모델의 출력에 있는 사실 오류나 편향을 물려받을 수 있습니다. 훈련 예시에서 teacher의 답변과 일치하더라도 분포 밖 프롬프트에 대한 신뢰성이 보장되지는 않습니다. 마지막으로 증류 데이터셋에서 빠진 기술이나 안전 관련 동작은 실제 배포 시 더 작은 student 모델에서 눈에 띄게 약해질 수 있습니다.
출처
이 가이드의 기술적 정의와 제공업체 정책 세부 사항은 아래에 열거한 원본 연구 논문과 OpenAI 공식 문서에서 가져왔습니다.



