Quantisierung in der KI ist ein Kompressionsverfahren, das die Gewichte und manchmal auch die Aktivierungen eines Modells mit weniger Bit speichert, sodass es weniger Speicher benötigt. Beim Wechsel von 16-Bit-Gewichten zu 8-Bit- oder 4-Bit-Quantisierung sinkt der Bedarf eines 8B-Modells allein für die Gewichte von etwa 16GB auf etwa 8GB beziehungsweise 4–5GB. Der kleinere Speicherbedarf geht zulasten eines Teils der Genauigkeit.
Wenn ich Model Cards für die lokale Bereitstellung prüfe, tauchen dieselben Bezeichnungen immer wieder auf: 8-Bit, 4-Bit, GPTQ, AWQ und GGUF. Jede bezeichnet eine andere Art, Zahlen in einem neuronalen Netz darzustellen, damit das Modell auf eine einzelne GPU, einen Laptop oder eine kleinere Serverinstanz passt.
Wie verringert Modellquantisierung den Speicherbedarf?
Modellquantisierung reduziert die Anzahl der Bits, die jedem Parameter in den Gewichtsmatrizen eines Modells zugewiesen werden. Im November 2026 weist Hugging Faces Überblick zur Quantisierung darauf hin, dass Modelle gewöhnlich in bf16 geladen werden, was 2 Byte pro Parameter benötigt. Nach Hugging Faces Faustregel für die Gewichte allein benötigt ein Modell mit 8B Parametern etwa 16GB für seine Gewichte in bf16, etwa 8GB bei 8 Bit und etwa 4–5GB bei 4 Bit.
Dieses 8B-Beispiel ist eine Faustregel nur für die Gewichte und kein vollständiges VRAM-Budget für die Inferenz. Der tatsächliche Speicherbedarf beim Betrieb umfasst auch Aktivierungen, Laufzeit-Overhead und den Key-Value-Cache, der den Attention-Verlauf über Ihren Prompt und die Ausgabe hinweg speichert. Wenn Sie lange Kontexte bereitstellen möchten, erklärt unser Leitfaden Was ist ein KV-Cache?, warum der Speicherbedarf mit der Sequenzlänge steigt.
Rein rechnerisch senkt jede Verringerung der Bitbreite die pro Parameter benötigten Rohdatenbytes:
| Präzisionsformat | Speicher pro Parameter (rechnerisch) | Relativer Speicherbedarf der Gewichte gegenüber BF16 |
|---|---|---|
| FP32 | 4 Byte | 2x |
| FP16 / BF16 | 2 Byte | 1x |
| FP8 / INT8 | 1 Byte | 0.5x |
| FP4 / INT4 / 4-Bit nach NVFP4-Art | 0.5 Byte | 0.25x (zuzüglich Format-Overhead) |
Diese Bytezahlen beschreiben die reine Speicherrechnung, keinen Benchmark für tatsächliche Laufzeit oder Ausgabequalität. Unter sonst gleichen Bedingungen halbiert der Wechsel von BF16 zu 8 Bit den Speicherbedarf der Gewichte, während 4 Bit ihn auf ungefähr ein Viertel senken. Der Bereich von 4–5GB bei einem 8B-Modell berücksichtigt Quantisierungsmetadaten und Format-Overhead. Wie Hugging Face erklärt, kosten weniger Bits etwas Genauigkeit; jedes Quantisierungsverfahren trifft dabei einen anderen Kompromiss zwischen Speicher, Geschwindigkeit und Genauigkeit.
Zwei Ladeverfahren für quantisierte Modelle in der Praxis
Quantisierte Checkpoints gelangen über zwei unterschiedliche Ladeverfahren in eine Inferenz- oder Fine-Tuning-Pipeline, je nachdem, ob die Kompression während des Ladens oder vorher erfolgt.
- Einen Checkpoint mit voller Präzision beim Laden quantisieren. In Hugging Face Transformers übergeben Sie neben einem Standard-Checkpoint ein Quantisierungskonfigurationsobjekt an
from_pretrained. Die offizielle Dokumentation zeigt zum Beispiel, wiemeta-llama/Llama-3.1-8B-Instructdurch Übergabe vonBitsAndBytesConfig(load_in_4bit=True, ...)mit 4 Bit geladen wird. Die meisten Verfahren beim Laden verzichten auf Kalibrierungsdaten; GPTQ ist die Ausnahme, da es beim Laden des Modells anhand eines Datensatzes kalibriert. - Einen bereits quantisierten Checkpoint laden. Wurde ein Checkpoint bereits komprimiert und gespeichert, laden Sie ihn ohne Übergabe einer neuen Quantisierungskonfiguration. Transformers liest die Quantisierungsdetails aus der Datei
config.jsondes Repositorys oder aus einer benannten GGUF-Datei. Verfahren wie AWQ, AutoRound, AQLM,compressed-tensorsund GGUF unterstützen in Transformers nur dieses Verfahren: Sie beginnen mit einem zuvor mit der eigenen Bibliothek des Verfahrens quantisierten Checkpoint. So werden viele Veröffentlichungen aus Open-Weight-Modellen im Jahr 2026 verteilt.
Gängige Quantisierungsverfahren: bitsandbytes, GPTQ, AWQ und GGUF
Gängige Verfahren zur Modellquantisierung unterscheiden sich darin, wann die Kompression stattfindet, welche Bitbreiten und Zielhardware sie unterstützen und ob sie für Transformers-Pipelines oder eigenständige lokale Laufzeitumgebungen gedacht sind.
| Verfahren / Format | Ablauf in Transformers | Bitbreiten / Zahlentyp | Hardware in HF-Dokumentation | Wichtiger Betriebshinweis |
|---|---|---|---|---|
| bitsandbytes | Beim Laden quantisieren oder Gespeichertes laden | 4-Bit und 8-Bit | CUDA, XPU, HPU, CPU | Keine Kalibrierung; unterstützt Fine-Tuning |
| GPTQ | Vorquantisiert oder beim Laden kalibrieren | 4-Bit (int4 zu fp16 während der Ausführung) |
CUDA, XPU, CPU | Benötigt Kalibrierungsdatensatz; GPT-QModel verwenden |
| AWQ | Nur vorquantisiert | 4-Bit | CUDA, XPU, CPU | Bewahrt wichtige Gewichte mithilfe von Aktivierungen |
| GGUF | Nur vorquantisiert (gguf_file) |
1-Bit bis 8-Bit | CUDA, MPS, XPU, CPU | Einzeldatei; Standard in llama.cpp und Ollama |
| NVFP4 / feingranulares FP8 | Beim Laden quantisieren (hardwarespezifisch) | 4-Bit- / 8-Bit-Gleitkomma | NVIDIA GPUs (NVFP4 auf Blackwell) | Gleitkommadarstellung |
bitsandbytes
Hugging Faces Leitfaden zur Verfahrensauswahl empfiehlt bitsandbytes, wenn Sie ein Modell mit möglichst wenig Einrichtung in weniger Speicher unterbringen möchten. Es quantisiert beim Laden ohne Kalibrierungsdatensatz auf 4 oder 8 Bit, läuft auf CUDA, XPU, HPU und CPU und unterstützt sowohl Speichern als auch Fine-Tuning. Laut bitsandbytes-Dokumentation verwendet der 8-Bit-Modus LLM.int8() und halbiert den Speicherbedarf der Gewichte. Der 4-Bit-Modus ermöglicht QLoRA, das Gewichte auf 4 Bit komprimiert und das Modell durch Einfügen einer kleinen Menge trainierbarer Low-Rank-Adaptation-Gewichte (LoRA) trainierbar hält.
GPTQ
GPTQ ist ein Quantisierungsverfahren nach dem Training, das jede Zeile einer Gewichtsmatrix unabhängig komprimiert, um den Rekonstruktionsfehler zu minimieren. Laut Hugging Faces GPTQ-Dokumentation werden Gewichte auf int4 quantisiert und während der Inferenz unmittelbar auf fp16 zurückgeführt. Das kann den Speicherbedarf um das 4-Fache senken, weil die int4-Gewichte in einem fusionierten Kernel statt im globalen GPU-Speicher dequantisiert werden; geringere Bitbreiten benötigen zudem weniger Übertragungszeit. Für die GPTQ-Quantisierung sind ein Kalibrierungsdatensatz und ein Tokenizer erforderlich, wie bei GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer) in der Dokumentation. Transformers unterstützt AutoGPTQ nicht mehr und verweist stattdessen auf GPT-QModel.
AWQ
AWQ steht für Activation-aware Weight Quantization und konzentriert sich darauf, die kleine Teilmenge der Gewichte zu schützen, die für die Ausgabequalität am wichtigsten ist. Wie Hugging Faces AWQ-Dokumentation erklärt, bewahrt AWQ einen kleinen Anteil der für die LLM-Leistung wichtigen Gewichte, um ein Modell bei minimalem Leistungsverlust auf 4 Bit zu komprimieren. In Transformers ist AWQ nur vorquantisiert verfügbar und lädt mit llm-awq oder autoawq erstellte Checkpoints.
GGUF
GGUF ist ein Einzeldateiformat, das Gewichte, Konfiguration und Tokenizer eines Modells in einer Datei bündelt, statt eine separate config.json zu verwenden. Deshalb verlangt Transformers ein explizites gguf_file-Argument. In lokalen Tools wie llama.cpp und Ollama steht GGUF hinter Dateinamen mit Kennzeichnungen wie Q4_K_M und unterstützt vorquantisierte Gewichte von 1 Bit bis 8 Bit auf CUDA, MPS, XPU und CPU.
Ein wichtiger Vorbehalt gilt speziell für Transformers: Hugging Face weist darauf hin, dass die meisten GGUF-Modelle beim Laden in Transformers auf volle Präzision dequantisiert werden und dadurch ebenso viel Speicher wie ein unquantisiertes Modell benötigen. Eine eng begrenzte Ausnahme verwendet MPS und Kernel auf einigen Qwen3.5-Modellen. Dieses Verhalten betrifft den GGUF-Loader von Transformers; lokale Laufzeitumgebungen wie llama.cpp und Ollama sind dafür ausgelegt, quantisierte GGUF-Gewichte direkt auszuführen.
Gleitkommaformate mit geringer Bitbreite: FP8, NVFP4 und MXFP8
Quantisierung mit geringer Bitbreite umfasst auch Gleitkommaformate, die sich von Ganzzahlformaten wie INT8 und INT4 unterscheiden. Hugging Faces Auswahlleitfaden nennt feingranulares FP8, MXFP4 und NVFP4, das beim Laden auf Blackwell-GPUs in NVIDIAs 4-Bit-Gleitkommaformat quantisiert. Es gibt außerdem Dutzende weiterer Verfahren, darunter torchao, HQQ und compressed-tensors, die alle im Transformers-Auswahlleitfaden aufgeführt sind.
Was unterscheidet reine Gewichtsquantisierung von vollständiger Quantisierung?
Die reine Gewichtsquantisierung komprimiert die gespeicherten Parametermatrizen, während Aktivierungen und KV-Cache eine höhere Präzision behalten, sofern diese Komponenten nicht separat quantisiert werden. Viele gängige 4-Bit-GGUF- und reine Gewichtsinferenz-Pipelines speichern Gewichte mit geringer Bitbreite und dequantisieren oder berechnen Matrixmultiplikationen in einem breiteren Format.
Bei langer Textgenerierung verbrauchen Aktivierungen und KV-Cache neben den Gewichten weiterhin GPU- oder System-RAM. Hugging Face dokumentiert die KV-Cache-Quantisierung als separaten Optimierungsschritt für lange Sequenzen. Auch die Architektur beeinflusst den Gesamtspeicher: Selbst bei den sparsamen Entwürfen aus unserer Erklärung zu Mixture of Experts müssen alle gerouteten und gemeinsamen Experten im Speicher liegen, obwohl pro Token nur ein Teil ausgeführt wird.
Wie unterscheidet sich Quantisierung nach dem Training von nativem Low-Bit-Training?
Die Quantisierung nach dem Training beginnt mit einem fertigen hochpräzisen Checkpoint und komprimiert ihn nachträglich; natives Low-Bit-Training trainiert und betreibt das Modell dagegen direkt in Zahlenformaten mit geringer Bitbreite. GPTQ, AWQ, die meisten GGUF-Konvertierungen und bitsandbytes beim Laden gehören zur Kategorie nach dem Training und nehmen nach Abschluss von Vortraining und Alignment einen gewissen Konvertierungsfehler in Kauf.
Natives Low-Bit-Training beseitigt diesen nachträglichen Konvertierungsschritt. Ein aktuelles Beispiel ist Inkling 2 Mini, das Thinking Machines Lab am 20. November 2026 veröffentlichte. Laut der offiziellen Ankündigung von Inkling 2 Mini und der Model Card benötigt das Modell mit 26.4B Parametern ungefähr 20GB Speicher. Es wurde in seinen Expertenebenen bei allen Vorwärtsdurchläufen vom Vortraining bis zum Reinforcement Learning mit 4-Bit-NVFP4 trainiert; bei den Vorwärtsdurchläufen der letzten vier Ebenen kam zusätzlich 8-Bit-MXFP8 zum Einsatz.
Thinking Machines Lab erklärt, dass die Gewichte von Inkling 2 Mini in derselben numerischen Präzision bereitgestellt werden, in der sie trainiert wurden — 20 Ebenen in NVFP4 und 4 in MXFP8 — und somit kein Konvertierungsverlust durch Quantisierung entsteht. Das bedeutet, dass keine Genauigkeit durch die nachträgliche Umwandlung eines fertigen BF16-Checkpoints auf 4 Bit verloren geht; es ist kein Vergleich mit einem separaten BF16-Zwilling. Die Hardwareempfehlung des Teams nennt Apple silicon mit mindestens 32GB Speicher, GPUs mit mindestens 32GB VRAM oder einen einzelnen NVIDIA DGX Spark.
Welcher Quantisierungsansatz passt zu Ihrem Arbeitsablauf?
Die Wahl eines Quantisierungsverfahrens hängt von Ihrer Laufzeitumgebung, Ihrer Hardware und davon ab, ob Sie Fine-Tuning durchführen oder nur Inferenz ausführen möchten. Da jedes Verfahren je nach Aufgabe andere Kompromisse bei Speicher, Geschwindigkeit und Genauigkeit eingeht, passt keine einzelne Bitbreite zu jeder Arbeitslast.
- Wählen Sie bitsandbytes, wenn Sie einen bestehenden Checkpoint mit voller Präzision mit minimaler Einrichtung in 4-Bit oder 8-Bit laden oder mit QLoRA Fine-Tuning durchführen möchten.
- Wählen Sie GPTQ oder AWQ, wenn Sie einen bereits kalibrierten oder aktivierungsbewussten 4-Bit-Checkpoint für die Inferenz möchten.
- Wählen Sie GGUF, wenn Sie einen portablen Einzeldatei-Checkpoint für lokale Laufzeitumgebungen wie
llama.cppoder Ollama möchten. - Wählen Sie native Low-Bit-Checkpoints, wenn ein Modellentwickler Gewichte ausliefert, die direkt in NVFP4, FP8 oder MXFP8 trainiert wurden.
Prüfen Sie stets die Modelllizenz, bevor Sie quantisierte Gewichte konvertieren oder weitergeben, und lassen Sie Speicherreserven für KV-Cache und Laufzeit-Overhead. Wenn Sie Cloud-Inferenzkosten senken möchten, statt Gewichte auf lokaler Hardware unterzubringen, finden Sie Prompt- und Routingstrategien in unserem Leitfaden zum Senken von KI-API-Kosten.
FAQ
Verringert 4-Bit-Quantisierung die Qualität immer spürbar?
Keine einzelne Regel sagt die genaue Qualitätsauswirkung der 4-Bit-Quantisierung für jedes Modell und jede Aufgabe voraus. Laut Hugging Faces Quantisierungsdokumentation kosten weniger Bits etwas Genauigkeit, und jedes Verfahren trifft einen anderen Kompromiss zwischen Speicher, Geschwindigkeit und Genauigkeit. Verfahren wie AWQ und GPTQ versuchen, Fehler durch Berücksichtigung der Aktivierungen oder Kalibrierung zu begrenzen; Bitbreite, Modellarchitektur und Arbeitslast beeinflussen ebenfalls das Ergebnis.
Warum benötigt ein 8B-4-Bit-Modell insgesamt mehr als 4–5GB VRAM?
Die Angabe von 4–5GB für ein 4-Bit-8B-Modell ist eine Faustregel von Hugging Face nur für die Gewichte und kein vollständiges Betriebsbudget. Der Modellbetrieb benötigt auch Speicher für Aktivierungen, Laufzeit-Overhead und den KV-Cache, der mit der Länge von Prompt und Generierung wächst. Die Quantisierung der Gewichte reduziert den statischen Speicherbedarf des Modells, während lange Kontexte weiterhin eine gesonderte Speicherplanung erfordern.
Was unterscheidet GGUF von GPTQ oder AWQ?
GGUF ist ein Einzeldateiformat, das Gewichte, Konfiguration und Tokenizer für lokale Laufzeitumgebungen wie llama.cpp und Ollama bündelt und vorquantisierte Checkpoints von 1 Bit bis 8 Bit unterstützt. GPTQ und AWQ sind 4-Bit-Quantisierungsverfahren, die normalerweise als verzeichnisartige Checkpoints mit einer config.json-Datei gespeichert werden. GPTQ kalibriert pro Gewichtsmatrixzeile, während AWQ kritische Gewichte anhand der Aktivierungen bewahrt.
Spart das Laden einer GGUF-Datei in Transformers Speicher?
Die meisten GGUF-Dateien sparen beim Laden über Hugging Face Transformers keinen Speicher. Laut Hugging Faces Quantisierungsüberblick werden die meisten GGUF-Modelle beim Laden in Transformers auf volle Präzision dequantisiert und benötigen ebenso viel Speicher wie ein unquantisiertes Modell, abgesehen von einer eng begrenzten MPS-Kernel-Ausnahme bei einigen Qwen3.5-Modellen. Lokale Anwendungen wie llama.cpp und Ollama vermeiden dieses Transformers-Verhalten.
Was ist NVFP4 im Vergleich zur INT4-Quantisierung?
NVFP4 ist NVIDIAs auf Blackwell-Hardware unterstütztes 4-Bit-Gleitkommaformat, während INT4 Gewichte als 4-Bit-Ganzzahlen darstellt. Beide Formate speichern jeden Parameter in 0.5 Byte und reduzieren den Rohspeicherbedarf der Gewichte ähnlich wie die 4-Bit-Ganzzahlquantisierung. Gleitkommaformate wie NVFP4 und 8-Bit-MXFP8 können auch direkt beim Training und Betrieb eingesetzt werden, wie bei Inkling 2 Mini von Thinking Machines Lab.
Quellen
- Hugging Face Transformers: Überblick zur Quantisierung
- Hugging Face Transformers: Quantisierungsverfahren auswählen
- Hugging Face Transformers: bitsandbytes
- Hugging Face Transformers: GPTQ
- Hugging Face Transformers: AWQ
- Thinking Machines Lab: Ankündigung von Inkling 2 Mini
- Hugging Face Model Card: thinkingmachines/Inkling-2-Mini



