Kwantisatie in AI is een compressietechniek die de gewichten van een model, en soms ook de activaties, met minder bits opslaat zodat het model minder geheugen nodig heeft. Door van 16-bitgewichten over te stappen op 8-bit- of 4-bitkwantisatie daalt het geheugen voor alleen de gewichten van een 8B-model van ongeveer 16GB naar ongeveer 8GB of 4–5GB, waarbij enige nauwkeurigheid wordt ingeruild voor een kleinere geheugenvoetafdruk.
Wanneer ik modelkaarten voor lokale implementatie bekijk, komen steeds dezelfde labels terug: 8-bit, 4-bit, GPTQ, AWQ en GGUF. Elk label verwijst naar een andere manier om getallen in een neuraal netwerk weer te geven, zodat het model op één GPU, een laptop of een kleinere serverinstantie past.
Hoe vermindert modelkwantisatie het geheugengebruik?
Modelkwantisatie vermindert het geheugen door het aantal bits te verkleinen dat aan elke parameter in de gewichtsmatrices van een model wordt toegewezen. In november 2026 vermeldt het kwantisatieoverzicht van Hugging Face dat modellen gewoonlijk worden geladen in bf16, wat 2 bytes per parameter kost. Volgens de vuistregel van Hugging Face voor alleen de gewichten heeft een model met 8B parameters ongeveer 16GB nodig voor zijn gewichten in bf16, ongeveer 8GB bij 8 bits en ongeveer 4–5GB bij 4 bits.
Dit voorbeeld met 8B is een vuistregel voor alleen de gewichten, geen volledig VRAM-budget voor inferentie. Het werkelijke geheugen voor het aanbieden van het model omvat ook activaties, runtime-overhead en de key-value-cache die de aandachtshistorie van je prompt en uitvoer opslaat. Als je lange contexten wilt aanbieden, legt onze gids over wat een KV-cache is uit waarom het geheugen meegroeit met de sequentielengte.
Als eenvoudige opslagberekening vermindert elke stap naar een kleinere bitbreedte het ruwe aantal bytes per parameter:
| Precisieformaat | Opslag per parameter (berekening) | Relatieve gewichtsomvang tegenover BF16 |
|---|---|---|
| FP32 | 4 bytes | 2x |
| FP16 / BF16 | 2 bytes | 1x |
| FP8 / INT8 | 1 byte | 0.5x |
| FP4 / INT4 / 4-bit in NVFP4-stijl | 0.5 bytes | 0.25x (plus formatoverhead) |
Deze byteaantallen beschrijven de ruwe opslagberekening, geen benchmark van de werkelijke snelheid of uitvoerkwaliteit. Bij gelijkblijvende omstandigheden halveert de overgang van BF16 naar 8-bit het geheugen voor gewichten, terwijl de overgang van BF16 naar 4-bit dit tot ongeveer een kwart terugbrengt. Het bereik van 4–5GB voor een 8B-model houdt rekening met kwantisatiemetadata en formatoverhead. Zoals Hugging Face aangeeft, kosten minder bits enige nauwkeurigheid en maakt elke kwantisatiemethode een andere afweging tussen geheugen, snelheid en nauwkeurigheid.
Twee manieren om gekwantiseerde modellen in de praktijk te laden
Gekwantiseerde checkpoints komen via twee verschillende laadprocessen in een inferentie- of fine-tuningpipeline terecht, afhankelijk van of de compressie tijdens het laden of vooraf plaatsvindt.
- Een checkpoint met volledige precisie tijdens het laden kwantiseren. In Hugging Face Transformers geef je naast een standaardcheckpoint een kwantisatieconfiguratieobject door aan
from_pretrained. De officiële documentatie laat bijvoorbeeld zien hoe jemeta-llama/Llama-3.1-8B-Instructin 4 bits laadt doorBitsAndBytesConfig(load_in_4bit=True, ...)door te geven. De meeste methoden bij het laden slaan kalibratiegegevens over, maar GPTQ is de uitzondering omdat het tijdens het laden van het model met een dataset kalibreert. - Een al gekwantiseerd checkpoint laden. Als een checkpoint al is gecomprimeerd en opgeslagen, laad je het zonder een nieuwe kwantisatieconfiguratie door te geven. Transformers leest de kwantisatiedetails uit het bestand
config.jsonvan de repository of uit een benoemd GGUF-bestand. Methoden zoals AWQ, AutoRound, AQLM,compressed-tensorsen GGUF ondersteunen in Transformers alleen dit proces: je begint met een checkpoint dat vooraf is gekwantiseerd met de eigen bibliotheek van de methode. Zo worden veel releases in open-weightmodellen in 2026 verspreid.
Veelgebruikte kwantisatiemethoden: bitsandbytes, GPTQ, AWQ en GGUF
Veelgebruikte methoden voor modelkwantisatie verschillen in het moment van compressie, de ondersteunde bitbreedtes en doelhardware, en of ze gericht zijn op Transformers-pipelines of zelfstandige lokale runtimes.
| Methode / formaat | Proces in Transformers | Bitbreedtes / numeriek type | Hardware in HF-documentatie | Belangrijk operationeel punt |
|---|---|---|---|---|
| bitsandbytes | Kwantiseren bij laden of opgeslagen model laden | 4-bit en 8-bit | CUDA, XPU, HPU, CPU | Geen kalibratie; ondersteunt fine-tuning |
| GPTQ | Vooraf gekwantiseerd of kalibreren bij laden | 4-bit (int4 naar fp16 tijdens uitvoering) |
CUDA, XPU, CPU | Kalibratiedataset nodig; gebruik GPT-QModel |
| AWQ | Alleen vooraf gekwantiseerd | 4-bit | CUDA, XPU, CPU | Behoudt belangrijke gewichten via activaties |
| GGUF | Alleen vooraf gekwantiseerd (gguf_file) |
1-bit tot 8-bit | CUDA, MPS, XPU, CPU | Eén bestand; standaard in llama.cpp en Ollama |
| NVFP4 / fijnmazige FP8 | Kwantiseren bij laden (hardwarespecifiek) | 4-bit / 8-bit floating point | NVIDIA GPU’s (NVFP4 op Blackwell) | Floating-pointweergave |
bitsandbytes
De methodekeuzegids van Hugging Face beveelt bitsandbytes aan als je een model met zo min mogelijk configuratie in minder geheugen wilt laten passen. Het kwantiseert tijdens het laden naar 4 of 8 bits zonder kalibratiedataset, werkt op CUDA, XPU, HPU en CPU en ondersteunt zowel opslaan als fine-tuning. Volgens de documentatie van bitsandbytes gebruikt de 8-bitmodus LLM.int8() en halveert deze het geheugengebruik van gewichten. De 4-bitmodus maakt QLoRA mogelijk, dat gewichten naar 4 bits comprimeert en het model trainbaar houdt door een kleine set trainbare low-rank-adaptationgewichten (LoRA) toe te voegen.
GPTQ
GPTQ is een kwantisatiemethode na training die elke rij van een gewichtsmatrix afzonderlijk comprimeert om de reconstructiefout te minimaliseren. Volgens de GPTQ-documentatie van Hugging Face worden gewichten naar int4 gekwantiseerd en tijdens inferentie direct naar fp16 hersteld. Dit kan het geheugengebruik met een factor 4 verlagen doordat de int4-gewichten in een gefuseerde kernel worden gedequantiseerd in plaats van in het globale GPU-geheugen; lagere bitbreedtes kosten ook minder communicatietijd. Voor GPTQ-kwantisatie zijn een kalibratiedataset en een tokenizer nodig, zoals GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer) in de documentatie. Transformers ondersteunt AutoGPTQ niet langer en verwijst gebruikers in plaats daarvan naar GPT-QModel.
AWQ
AWQ staat voor Activation-aware Weight Quantization en richt zich op bescherming van de kleine verzameling gewichten die het belangrijkst is voor de uitvoerkwaliteit. Zoals de AWQ-documentatie van Hugging Face uitlegt, behoudt AWQ een klein deel van de gewichten die belangrijk zijn voor de prestaties van het LLM om een model naar 4 bits te comprimeren met minimaal prestatieverlies. In Transformers is AWQ alleen vooraf gekwantiseerd beschikbaar en laadt het checkpoints die zijn gebouwd met llm-awq of autoawq.
GGUF
GGUF is een bestandsformaat dat de gewichten, configuratie en tokenizer van een model in één bestand bundelt in plaats van een afzonderlijk config.json te gebruiken. Daarom vraagt Transformers om een expliciet gguf_file-argument. In lokale tools zoals llama.cpp en Ollama is GGUF het formaat achter bestandsnamen met labels zoals Q4_K_M, met ondersteuning voor vooraf gekwantiseerde gewichten van 1-bit tot en met 8-bit op CUDA, MPS, XPU en CPU.
Een belangrijk voorbehoud geldt specifiek voor Transformers: Hugging Face merkt op dat de meeste GGUF-modellen bij het laden in Transformers naar volledige precisie worden gedequantiseerd en evenveel geheugen gebruiken als een niet-gekwantiseerd model. Er is een beperkte uitzondering die MPS en kernels gebruikt op sommige Qwen3.5-modellen. Dit gedrag hoort bij de GGUF-lader van Transformers; lokale runtimes zoals llama.cpp en Ollama zijn gebouwd om gekwantiseerde GGUF-gewichten rechtstreeks uit te voeren.
Floating-pointformaten met lage bitbreedte: FP8, NVFP4 en MXFP8
Kwantisatie met weinig bits omvat ook floating-pointformaten, die verschillen van integerformaten zoals INT8 en INT4. De keuzegids van Hugging Face noemt fijnmazige FP8, MXFP4 en NVFP4, dat tijdens het laden naar NVIDIA’s 4-bit floating-pointformaat op Blackwell-GPU’s kwantiseert. Er bestaan ook tientallen andere systemen, waaronder torchao, HQQ en compressed-tensors, die allemaal in de keuzegids van Transformers staan.
Wat is het verschil tussen kwantisatie van alleen gewichten en volledige kwantisatie?
Kwantisatie van alleen gewichten comprimeert de opgeslagen parametermatrices, terwijl activaties en de KV-cache een hogere precisie behouden tenzij deze onderdelen afzonderlijk worden gekwantiseerd. Veel populaire 4-bit-GGUF- en inferentiepipelines voor alleen gewichten slaan gewichten met een lage bitbreedte op in het geheugen en dekwantiseren of berekenen matrixvermenigvuldigingen in een breder formaat.
Tijdens lange tekstgeneratie gebruiken activaties en de KV-cache naast de gewichten nog steeds GPU- of systeem-RAM. Hugging Face documenteert KV-cachekwantisatie als een afzonderlijke optimalisatiestap voor lange sequenties. Ook de architectuur bepaalt het totale geheugen: zelfs in de spaarzame ontwerpen uit onze uitleg over Mixture of Experts moeten alle gerouteerde en gedeelde experts in het geheugen staan, hoewel per token slechts een deel wordt uitgevoerd.
Hoe verschilt kwantisatie na training van native training met weinig bits?
Kwantisatie na training begint met een voltooid checkpoint met hoge precisie en comprimeert dit achteraf. Native training met weinig bits traint en implementeert het model daarentegen rechtstreeks in numerieke formaten met een lage bitbreedte. GPTQ, AWQ, de meeste GGUF-conversies en bitsandbytes bij het laden vallen in de categorie na training en accepteren enige conversiefout nadat voortraining en alignment zijn voltooid.
Native training met weinig bits maakt die conversiestap na training overbodig. Een actueel voorbeeld is Inkling 2 Mini, uitgebracht door Thinking Machines Lab op 20 november 2026. Volgens de officiële aankondiging van Inkling 2 Mini en de modelkaart heeft het model met 26.4B parameters een geheugenvoetafdruk van ongeveer 20GB. Het is getraind met 4-bit NVFP4 in de expertlagen bij alle voorwaartse doorgangen van voortraining tot en met reinforcement learning, plus 8-bit MXFP8 bij de voorwaartse doorgangen van de laatste vier lagen.
Thinking Machines Lab stelt dat de gewichten van Inkling 2 Mini worden ingezet met dezelfde numerieke precisie waarmee ze zijn getraind — 20 lagen in NVFP4 en 4 in MXFP8 — zodat er geen conversieverlies door kwantisatie is. Dat betekent dat er geen nauwkeurigheidsverlies ontstaat door een voltooid BF16-checkpoint na training om te zetten naar 4 bits; het is geen vergelijking met een afzonderlijke BF16-tweeling. Het hardwareadvies van het team noemt Apple silicon met 32GB of meer geheugen, GPU’s met 32GB of meer VRAM of één NVIDIA DGX Spark.
Welke kwantisatieaanpak past bij je workflow?
De keuze van een kwantisatiemethode hangt af van je runtime, hardware en of je wilt fine-tunen of alleen inferentie wilt uitvoeren. Omdat elke methode per taak een andere afweging maakt tussen geheugen, snelheid en nauwkeurigheid, past geen enkele bitbreedte bij elke workload.
- Kies bitsandbytes als je een bestaand checkpoint met volledige precisie met minimale configuratie in 4-bit of 8-bit wilt laden, of met QLoRA wilt fine-tunen.
- Kies GPTQ of AWQ als je een al gekalibreerd of activatiebewust 4-bitcheckpoint voor inferentie wilt.
- Kies GGUF als je een draagbaar checkpoint in één bestand wilt voor lokale runtimes zoals
llama.cppof Ollama. - Kies native low-bitcheckpoints als een modelontwikkelaar gewichten levert die rechtstreeks in NVFP4, FP8 of MXFP8 zijn getraind.
Controleer altijd de modellicentie voordat je gekwantiseerde gewichten converteert of opnieuw verspreidt, en houd geheugenruimte over voor de KV-cache en runtime-overhead. Als je cloudinferentiekosten wilt verlagen in plaats van gewichten op lokale hardware te laten passen, bekijk dan prompt- en routeringsstrategieën in onze gids over AI-API-kosten verlagen.
FAQ
Vermindert 4-bitkwantisatie de kwaliteit altijd merkbaar?
Geen enkele regel voorspelt de precieze kwaliteitsimpact van 4-bitkwantisatie voor elk model en elke taak. Volgens de kwantisatiedocumentatie van Hugging Face kosten minder bits enige nauwkeurigheid en maakt elke methode een andere afweging tussen geheugen, snelheid en nauwkeurigheid. Methoden zoals AWQ en GPTQ proberen fouten te beperken door rekening te houden met activaties of door kalibratie, terwijl ook bitbreedte, modelarchitectuur en workload het resultaat bepalen.
Waarom heeft een 8B-model in 4-bit in totaal meer dan 4–5GB VRAM nodig?
De 4–5GB voor een 4-bit-8B-model is een vuistregel van Hugging Face voor alleen de gewichten, geen volledig budget voor het aanbieden van het model. Het uitvoeren van een model vereist ook geheugen voor activaties, runtime-overhead en de KV-cache die groeit met de lengte van de prompt en generatie. Kwantisatie van gewichten verkleint de statische modelvoetafdruk, maar lange contexten vereisen nog steeds afzonderlijke geheugenplanning.
Wat is het verschil tussen GGUF en GPTQ of AWQ?
GGUF is een formaat met één bestand dat gewichten, configuratie en tokenizer bundelt voor lokale runtimes zoals llama.cpp en Ollama en vooraf gekwantiseerde checkpoints van 1-bit tot 8-bit ondersteunt. GPTQ en AWQ zijn 4-bitkwantisatiemethoden die meestal worden opgeslagen als checkpoints in een map met een config.json-bestand. GPTQ kalibreert per rij van de gewichtsmatrix en AWQ behoudt belangrijke gewichten op basis van activaties.
Bespaart het laden van een GGUF-bestand in Transformers geheugen?
De meeste GGUF-bestanden besparen geen geheugen wanneer ze via Hugging Face Transformers worden geladen. Volgens het kwantisatieoverzicht van Hugging Face worden de meeste GGUF-modellen tijdens het laden in Transformers naar volledige precisie gedequantiseerd en gebruiken ze evenveel geheugen als een niet-gekwantiseerd model, afgezien van een beperkte uitzondering met een MPS-kernel op sommige Qwen3.5-modellen. Lokale apps zoals llama.cpp en Ollama vermijden dat gedrag van Transformers.
Wat is NVFP4 vergeleken met INT4-kwantisatie?
NVFP4 is NVIDIA’s 4-bit floating-pointformaat dat op Blackwell-hardware wordt ondersteund, terwijl INT4 gewichten als 4-bitgehele getallen weergeeft. Beide formaten slaan elke parameter op in 0.5 bytes en verminderen de ruwe opslag van gewichten op vergelijkbare wijze als 4-bitintegerkwantisatie. Floating-pointformaten zoals NVFP4 en 8-bit-MXFP8 kunnen ook direct tijdens training en implementatie worden gebruikt, zoals bij Inkling 2 Mini van Thinking Machines Lab.
Bronnen
- Hugging Face Transformers: overzicht van kwantisatie
- Hugging Face Transformers: een kwantisatiemethode kiezen
- Hugging Face Transformers: bitsandbytes
- Hugging Face Transformers: GPTQ
- Hugging Face Transformers: AWQ
- Thinking Machines Lab: aankondiging van Inkling 2 Mini
- Hugging Face-modelkaart: thinkingmachines/Inkling-2-Mini



