AI 양자화는 모델의 가중치와 때로는 활성화 값을 더 적은 비트로 저장해 필요한 메모리를 줄이는 압축 기술입니다. 16비트 가중치를 8비트 또는 4비트로 양자화하면 8B 모델의 가중치만을 위한 메모리가 약 16GB에서 약 8GB 또는 4–5GB로 줄어듭니다. 사용 공간을 줄이는 대신 정확도 일부를 희생합니다.
로컬 배포를 위해 모델 카드를 살펴보면 8비트, 4비트, GPTQ, AWQ, GGUF라는 같은 표기가 계속 등장합니다. 각각은 모델이 단일 GPU나 노트북 또는 더 작은 서버 인스턴스에 들어가도록 신경망 내부의 숫자를 표현하는 서로 다른 방식을 가리킵니다.
모델 양자화는 어떻게 메모리를 줄일까요?
모델 양자화는 모델 가중치 행렬의 각 파라미터에 할당된 비트 수를 줄여 메모리 사용량을 낮춥니다. 2026년 11월 기준 Hugging Face의 양자화 개요에 따르면 모델은 보통 파라미터당 2바이트가 필요한 bf16으로 로드됩니다. 가중치만 고려하는 Hugging Face의 경험칙을 적용하면 8B 파라미터 모델의 가중치에는 bf16에서 약 16GB, 8비트에서 약 8GB, 4비트에서 약 4–5GB가 필요합니다.
이 8B 예시는 가중치만을 위한 경험칙이지 추론 실행에 필요한 전체 VRAM 예산은 아닙니다. 실제 서비스 메모리에는 활성화 값, 런타임 오버헤드, 프롬프트와 출력 전반의 어텐션 기록을 저장하는 키-값 캐시도 포함됩니다. 긴 컨텍스트를 서비스하려 한다면 KV 캐시란 무엇인가 가이드에서 시퀀스 길이와 함께 메모리가 늘어나는 이유를 설명합니다.
기본적인 저장 공간 계산으로 보면 비트 폭을 한 단계씩 줄일 때마다 파라미터당 필요한 원시 바이트 수가 감소합니다.
| 정밀도 형식 | 파라미터당 저장 공간 (계산값) | BF16 대비 상대적인 가중치 용량 |
|---|---|---|
| FP32 | 4바이트 | 2x |
| FP16 / BF16 | 2바이트 | 1x |
| FP8 / INT8 | 1바이트 | 0.5x |
| FP4 / INT4 / NVFP4 방식 4비트 | 0.5바이트 | 0.25x (형식 오버헤드 별도) |
이 바이트 수는 원시 저장 공간을 계산한 것이며 실제 소요 시간이나 출력 품질을 측정한 벤치마크가 아닙니다. 다른 조건이 같다면 BF16에서 8비트로 바꾸면 가중치 메모리가 절반이 되고, BF16에서 4비트로 바꾸면 대략 4분의 1이 됩니다. 8B 모델에서 4–5GB라는 범위에는 양자화 메타데이터와 형식 오버헤드가 반영됩니다. Hugging Face가 설명하듯 비트가 적어지면 정확도가 어느 정도 떨어지며 양자화 방법마다 메모리, 속도, 정확도 사이의 절충이 다릅니다.
실제로 양자화 모델을 로드하는 두 가지 방법
양자화된 체크포인트가 추론 또는 파인튜닝 파이프라인에 들어가는 로드 방식은 압축을 즉석에서 하는지 미리 하는지에 따라 두 가지로 나뉩니다.
- 전체 정밀도 체크포인트를 로드하면서 양자화합니다. Hugging Face Transformers에서는 표준 체크포인트와 함께 양자화 구성 객체를
from_pretrained에 전달합니다. 예를 들어 공식 문서는meta-llama/Llama-3.1-8B-Instruct를BitsAndBytesConfig(load_in_4bit=True, ...)를 전달해 4비트로 로드하는 방법을 보여줍니다. 대부분의 로드 시 양자화 방법은 보정 데이터를 사용하지 않지만, GPTQ는 모델을 로드하면서 데이터세트로 보정하므로 예외입니다. - 이미 양자화된 체크포인트를 로드합니다. 체크포인트가 이미 압축되어 저장되었다면 새 양자화 구성을 전달하지 않고 로드합니다. Transformers는 저장소의
config.json파일이나 지정된 GGUF 파일에서 양자화 세부 정보를 읽습니다. AWQ, AutoRound, AQLM,compressed-tensors, GGUF 같은 방법은 Transformers에서 이 방식만 지원합니다. 해당 방법의 자체 라이브러리로 미리 양자화한 체크포인트에서 시작하며, 2026년 오픈 웨이트 모델의 많은 릴리스가 이런 방식으로 배포됩니다.
일반적인 양자화 방법: bitsandbytes, GPTQ, AWQ, GGUF
일반적인 모델 양자화 방법은 압축이 실행되는 시점, 지원하는 비트 폭과 대상 하드웨어, Transformers 파이프라인과 독립적인 로컬 런타임 중 어느 쪽을 대상으로 하는지에 따라 다릅니다.
| 방법 / 형식 | Transformers에서의 작업 방식 | 비트 폭 / 숫자 유형 | HF 문서의 하드웨어 | 주요 운영 참고 사항 |
|---|---|---|---|---|
| bitsandbytes | 로드 시 양자화 또는 저장된 모델 로드 | 4비트 및 8비트 | CUDA, XPU, HPU, CPU | 보정 불필요; 파인튜닝 지원 |
| GPTQ | 사전 양자화 또는 로드 시 보정 | 4비트 (실행 중 int4에서 fp16으로 변환) |
CUDA, XPU, CPU | 보정 데이터세트 필요; GPT-QModel 사용 |
| AWQ | 사전 양자화만 가능 | 4비트 | CUDA, XPU, CPU | 활성화 값을 통해 중요한 가중치 보존 |
| GGUF | 사전 양자화만 가능 (gguf_file) |
1비트부터 8비트까지 | CUDA, MPS, XPU, CPU | 단일 파일; llama.cpp와 Ollama의 표준 |
| NVFP4 / 세밀한 FP8 | 로드 시 양자화 (하드웨어별) | 4비트 / 8비트 부동소수점 | NVIDIA GPU (Blackwell의 NVFP4) | 부동소수점 표현 |
bitsandbytes
Hugging Face의 방법 선택 가이드는 최소한의 설정으로 모델을 더 적은 메모리에 맞추려는 경우 bitsandbytes를 권장합니다. 보정 데이터세트 없이 로드하면서 4비트 또는 8비트로 양자화하고, CUDA, XPU, HPU, CPU에서 실행되며 저장과 파인튜닝을 모두 지원합니다. bitsandbytes 문서에 따르면 8비트 모드는 LLM.int8()을 사용하며 가중치 메모리 사용량을 절반으로 줄입니다. 4비트 모드는 QLoRA의 기반이 됩니다. QLoRA는 가중치를 4비트로 압축하면서 학습 가능한 소량의 저랭크 적응(LoRA) 가중치를 추가해 모델의 학습 가능성을 유지합니다.
GPTQ
GPTQ는 재구성 오류를 최소화하기 위해 가중치 행렬의 각 행을 독립적으로 압축하는 학습 후 양자화 방법입니다. Hugging Face의 GPTQ 문서에 따르면 가중치를 int4로 양자화하고 추론 중에 즉석에서 fp16으로 복원합니다. int4 가중치를 GPU의 전역 메모리가 아닌 융합 커널에서 역양자화하므로 메모리 사용량을 4배 줄일 수 있으며, 비트 폭이 낮을수록 통신 시간도 줄어듭니다. GPTQ 양자화에는 보정 데이터세트와 토크나이저가 필요하며 문서에는 GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer) 예시가 있습니다. Transformers는 더 이상 AutoGPTQ를 지원하지 않으며 대신 GPT-QModel을 안내합니다.
AWQ
Activation-aware Weight Quantization의 약자인 AWQ는 출력 품질에 가장 중요한 소수의 가중치를 보호하는 데 중점을 둡니다. Hugging Face의 AWQ 문서에서 설명하듯 AWQ는 LLM 성능에 중요한 가중치의 작은 일부를 보존해 성능 저하를 최소화하면서 모델을 4비트로 압축합니다. Transformers에서 AWQ는 사전 양자화만 가능하며 llm-awq 또는 autoawq로 만든 체크포인트를 로드합니다.
GGUF
GGUF는 별도의 config.json을 사용하는 대신 모델의 가중치, 구성, 토크나이저를 한 파일에 묶는 단일 파일 형식입니다. 그래서 Transformers는 명시적인 gguf_file 인수를 요구합니다. llama.cpp와 Ollama 같은 로컬 도구에서 GGUF는 Q4_K_M 같은 표기가 붙은 파일명의 형식이며 CUDA, MPS, XPU, CPU에서 1비트부터 8비트까지의 사전 양자화 가중치를 지원합니다.
Transformers에 특히 적용되는 중요한 주의점이 있습니다. Hugging Face에 따르면 대부분의 GGUF 모델은 Transformers에서 로드될 때 전체 정밀도로 역양자화되어 양자화하지 않은 모델만큼 메모리를 사용합니다. 일부 Qwen3.5 모델에서 MPS와 커널을 사용하는 제한적인 예외가 있습니다. 이 동작은 Transformers GGUF 로더에 해당하며, llama.cpp와 Ollama 같은 로컬 런타임은 양자화된 GGUF 가중치를 직접 실행하도록 만들어졌습니다.
저비트 부동소수점 형식: FP8, NVFP4, MXFP8
저비트 양자화는 INT8과 INT4 같은 정수 형식과 다른 부동소수점 형식에도 적용됩니다. Hugging Face의 선택 가이드에는 세밀한 FP8, MXFP4, NVFP4가 나옵니다. NVFP4는 Blackwell GPU에서 로드할 때 NVIDIA의 4비트 부동소수점 형식으로 양자화합니다. 이 밖에도 torchao, HQQ, compressed-tensors를 포함해 수십 가지 방식이 있으며 모두 Transformers 선택 가이드에 정리되어 있습니다.
가중치 전용 양자화와 전체 양자화의 차이는 무엇인가요?
가중치 전용 양자화는 저장된 파라미터 행렬을 압축하지만 활성화 값과 KV 캐시는 별도로 양자화하지 않는 한 더 높은 정밀도로 유지합니다. 널리 쓰이는 4비트 GGUF 및 가중치 전용 추론 파이프라인은 낮은 비트 폭의 가중치를 메모리에 저장하고 더 넓은 형식으로 역양자화하거나 행렬 곱셈을 계산하는 경우가 많습니다.
긴 텍스트를 생성하는 동안 활성화 값과 KV 캐시는 가중치와 함께 GPU 또는 시스템 RAM을 계속 사용합니다. Hugging Face는 긴 시퀀스를 위한 별도의 최적화 단계로 KV 캐시 양자화를 문서화합니다. 아키텍처도 전체 메모리에 영향을 줍니다. Mixture of Experts 설명에서 다루는 희소 설계에서도 토큰당 일부만 실행되지만 라우팅된 전문가와 공유 전문가는 모두 메모리에 있어야 합니다.
학습 후 양자화와 네이티브 저비트 학습은 어떻게 다른가요?
학습 후 양자화는 완성된 고정밀 체크포인트를 나중에 압축하는 반면, 네이티브 저비트 학습은 모델을 저비트 숫자 형식으로 직접 학습하고 배포합니다. GPTQ, AWQ, 대부분의 GGUF 변환, 로드 시 bitsandbytes는 학습 후 범주에 속하며 사전 학습과 정렬이 끝난 뒤 일정한 변환 오류를 감수합니다.
네이티브 저비트 학습은 이런 학습 후 변환 단계를 없앱니다. 최근 사례는 Thinking Machines Lab이 2026년 11월 20일에 출시한 Inkling 2 Mini입니다. Inkling 2 Mini 공식 발표와 모델 카드에 따르면 26.4B 파라미터 모델의 메모리 사용량은 약 20GB이며, 사전 학습부터 강화 학습까지 모든 순전파에서 전문가 계층에 4비트 NVFP4를 사용해 학습했습니다. 마지막 4개 계층의 순전파에는 8비트 MXFP8도 사용했습니다.
Thinking Machines Lab은 Inkling 2 Mini의 가중치를 학습한 것과 같은 수치 정밀도, 즉 NVFP4로 20개 계층과 MXFP8로 4개 계층을 배포하므로 양자화에 따른 변환 손실이 없다고 설명합니다. 이는 완성된 BF16 체크포인트를 학습 후 4비트로 변환하면서 생기는 정확도 손실이 없다는 뜻이며 별도의 BF16 쌍둥이 모델과 비교한 결과는 아닙니다. 팀의 하드웨어 가이드는 메모리 32GB 이상의 Apple silicon, VRAM 32GB 이상의 GPU 또는 NVIDIA DGX Spark 한 대를 권장합니다.
어떤 양자화 접근법이 작업에 적합할까요?
양자화 방법 선택은 런타임, 하드웨어, 파인튜닝이 필요한지 추론만 실행하는지에 따라 달라집니다. 각 방법은 작업별로 메모리, 속도, 정확도를 다르게 절충하므로 모든 워크로드에 맞는 단일 비트 폭은 없습니다.
- bitsandbytes를 선택하세요. 기존 전체 정밀도 체크포인트를 최소한의 설정으로 4비트나 8비트로 로드하거나 QLoRA로 파인튜닝하려는 경우입니다.
- GPTQ 또는 AWQ를 선택하세요. 이미 보정되었거나 활성화 값을 고려해 추론용으로 만든 4비트 체크포인트가 필요한 경우입니다.
- GGUF를 선택하세요.
llama.cpp나 Ollama 같은 로컬 런타임에서 사용할 휴대 가능한 단일 파일 체크포인트가 필요한 경우입니다. - 네이티브 저비트 체크포인트를 선택하세요. 모델 개발자가 NVFP4, FP8 또는 MXFP8로 직접 학습한 가중치를 제공하는 경우입니다.
양자화된 가중치를 변환하거나 재배포하기 전에 항상 모델 라이선스를 확인하고 KV 캐시와 런타임 오버헤드를 위한 메모리 여유를 남겨 두세요. 로컬 하드웨어에 가중치를 맞추기보다 클라우드 추론 비용을 줄이는 것이 목표라면 AI API 비용 절감 방법 가이드에서 프롬프트와 라우팅 전략을 확인하세요.
FAQ
4비트 양자화는 항상 품질을 눈에 띄게 떨어뜨리나요?
모든 모델과 작업에서 4비트 양자화가 품질에 미치는 정확한 영향을 예측하는 단일 규칙은 없습니다. Hugging Face의 양자화 문서에 따르면 비트가 적으면 정확도가 어느 정도 줄고 방법마다 메모리, 속도, 정확도를 다르게 절충합니다. AWQ와 GPTQ 같은 방법은 활성화 값 고려 또는 보정을 통해 오류를 제한하려고 하지만 비트 폭, 모델 아키텍처, 워크로드도 결과에 영향을 줍니다.
8B 4비트 모델에 총 4–5GB 이상의 VRAM이 필요한 이유는 무엇인가요?
4비트 8B 모델의 4–5GB 수치는 가중치만을 위한 Hugging Face의 경험칙이지 전체 서비스 예산이 아닙니다. 모델 실행에는 활성화 값, 런타임 오버헤드, 프롬프트와 생성 길이에 따라 커지는 KV 캐시를 위한 메모리도 필요합니다. 가중치 양자화는 모델의 정적인 사용 공간을 줄이지만 긴 컨텍스트에는 여전히 별도의 메모리 계획이 필요합니다.
GGUF와 GPTQ 또는 AWQ의 차이는 무엇인가요?
GGUF는 llama.cpp와 Ollama 같은 로컬 런타임을 위해 가중치, 구성, 토크나이저를 한데 묶는 단일 파일 형식이며 1비트부터 8비트까지의 사전 양자화 체크포인트를 지원합니다. GPTQ와 AWQ는 보통 config.json 파일이 있는 디렉터리 형태의 체크포인트에 저장되는 4비트 양자화 방법입니다. GPTQ는 가중치 행렬의 각 행을 보정하고 AWQ는 활성화 값을 기준으로 중요한 가중치를 보존합니다.
Transformers에서 GGUF 파일을 로드하면 메모리가 절약되나요?
대부분의 GGUF 파일은 Hugging Face Transformers를 통해 로드할 때 메모리를 절약하지 못합니다. Hugging Face의 양자화 개요에 따르면 대부분의 GGUF 모델은 Transformers에서 로드하는 동안 전체 정밀도로 역양자화되어 양자화하지 않은 모델만큼 메모리를 차지합니다. 일부 Qwen3.5 모델에서 MPS 커널을 사용하는 제한적인 예외가 있습니다. llama.cpp와 Ollama 같은 로컬 앱은 이러한 Transformers 동작을 피합니다.
NVFP4는 INT4 양자화와 비교해 무엇인가요?
NVFP4는 Blackwell 하드웨어에서 지원하는 NVIDIA의 4비트 부동소수점 형식이고 INT4는 가중치를 4비트 정수로 표현합니다. 두 형식 모두 각 파라미터를 0.5바이트에 저장해 정수 4비트 양자화와 비슷하게 가중치의 원시 저장 공간을 줄입니다. NVFP4와 8비트 MXFP8 같은 부동소수점 형식은 Thinking Machines Lab의 Inkling 2 Mini에서 볼 수 있듯 학습과 배포에도 직접 사용할 수 있습니다.



