AIの量子化は、モデルの重み、場合によっては活性値も、より少ないビット数で保存して必要なメモリを減らす圧縮技術です。16ビットの重みを8ビットまたは4ビットに量子化すると、8Bモデルの重みだけに必要な容量は約16GBから約8GBまたは4–5GBに減ります。容量が小さくなる一方で、精度をある程度犠牲にします。
ローカル環境へのデプロイに向けてモデルカードを確認すると、8ビット、4ビット、GPTQ、AWQ、GGUFという同じラベルが繰り返し登場します。それぞれ、モデルを単一のGPUやノートパソコン、より小さなサーバーインスタンスに収めるために、ニューラルネットワーク内の数値を表現する異なる方法を指しています。
モデルの量子化はどのようにメモリを減らすのか?
モデルの量子化は、モデルの重み行列にある各パラメータに割り当てるビット数を減らすことで、メモリ使用量を削減します。2026年11月時点で、Hugging Faceの量子化の概要によると、モデルは通常、パラメータあたり2バイトを使う bf16 で読み込まれます。重みだけを対象としたHugging Faceの目安では、8Bパラメータのモデルは重みに bf16 で約16GB、8ビットで約8GB、4ビットで約4–5GBを必要とします。
この8Bの例は重みだけの目安であり、推論を実行するためのVRAMの全体予算ではありません。実際に提供する際のメモリには、活性値、ランタイムのオーバーヘッド、プロンプトと出力にわたる注意機構の履歴を保存するキー・バリューキャッシュも含まれます。長いコンテキストを扱う予定なら、KVキャッシュとは何かのガイドで、シーケンス長とともにメモリが増える理由を説明しています。
基本的な保存容量の計算では、ビット幅を下げるたびに、各パラメータに必要な生のバイト数は減ります。
| 精度形式 | パラメータあたりの保存容量(計算値) | BF16に対する重みの相対容量 |
|---|---|---|
| FP32 | 4バイト | 2x |
| FP16 / BF16 | 2バイト | 1x |
| FP8 / INT8 | 1バイト | 0.5x |
| FP4 / INT4 / NVFP4形式の4ビット | 0.5バイト | 0.25x(形式のオーバーヘッドを除く) |
これらのバイト数は生の保存容量の計算であり、実際の処理時間や出力品質のベンチマークではありません。他の条件が同じなら、BF16から8ビットに移ると重みのメモリは半分になり、BF16から4ビットに移るとおよそ4分の1になります。8Bモデルで4–5GBという範囲には、量子化のメタデータと形式のオーバーヘッドが考慮されています。Hugging Faceが述べるように、ビット数を減らすと精度が多少失われ、量子化手法ごとにメモリ、速度、精度のトレードオフは異なります。
実際に量子化モデルを読み込む2つの方法
量子化済みチェックポイントを推論やファインチューニングのパイプラインに取り込む方法は、圧縮をその場で行うか事前に行うかによって、2つの異なる読み込み手順に分かれます。
- フル精度のチェックポイントを読み込み時に量子化する。 Hugging Face Transformersでは、標準のチェックポイントとともに量子化設定オブジェクトを
from_pretrainedに渡します。例えば公式ドキュメントには、meta-llama/Llama-3.1-8B-InstructをBitsAndBytesConfig(load_in_4bit=True, ...)を渡して4ビットで読み込む例があります。読み込み時に量子化する手法の多くはキャリブレーションデータを使いませんが、GPTQは例外で、モデルの読み込み時にデータセットを使ってキャリブレーションします。 - すでに量子化されたチェックポイントを読み込む。 チェックポイントが圧縮・保存済みなら、新しい量子化設定を渡さずに読み込みます。Transformersはリポジトリの
config.jsonファイル、または名前を指定したGGUFファイルから量子化の詳細を読み取ります。AWQ、AutoRound、AQLM、compressed-tensors、GGUFなどは、Transformersではこの手順のみをサポートします。つまり、その手法専用のライブラリで事前に量子化したチェックポイントから始めます。2026年のオープンウェイトモデルで紹介する多くのリリースも、この方法で配布されています。
主な量子化手法:bitsandbytes、GPTQ、AWQ、GGUF
主なモデル量子化手法は、圧縮を実行するタイミング、対応するビット幅や対象ハードウェア、そしてTransformersのパイプライン向けか独立したローカルランタイム向けかによって異なります。
| 手法 / 形式 | Transformersでの手順 | ビット幅 / 数値型 | HFドキュメント記載のハードウェア | 運用上の主な注意点 |
|---|---|---|---|---|
| bitsandbytes | 読み込み時に量子化、または保存済みを読み込み | 4ビットと8ビット | CUDA, XPU, HPU, CPU | キャリブレーション不要、ファインチューニング対応 |
| GPTQ | 事前量子化済み、または読み込み時にキャリブレーション | 4ビット(int4 から fp16 にその場で変換) |
CUDA, XPU, CPU | キャリブレーション用データセットが必要、GPT-QModelを使用 |
| AWQ | 事前量子化済みのみ | 4ビット | CUDA, XPU, CPU | 活性値を使って重要な重みを保持 |
| GGUF | 事前量子化済みのみ(gguf_file) |
1ビットから8ビット | CUDA, MPS, XPU, CPU | 単一ファイル、llama.cpp とOllamaの標準 |
| NVFP4 / 細粒度FP8 | 読み込み時に量子化(ハードウェア固有) | 4ビット / 8ビット浮動小数点 | NVIDIA GPU(NVFP4はBlackwell) | 浮動小数点表現 |
bitsandbytes
Hugging Faceの手法選択ガイドは、できるだけ設定を少なくしてモデルをより小さいメモリに収めたい場合にbitsandbytesを推奨しています。キャリブレーション用データセットなしで読み込み時に4ビットまたは8ビットへ量子化し、CUDA、XPU、HPU、CPUで動作し、保存とファインチューニングの両方に対応します。bitsandbytesのドキュメントによると、8ビットモードは LLM.int8() を使い、重みのメモリ使用量を半減します。4ビットモードはQLoRAを支えます。QLoRAは重みを4ビットに圧縮しつつ、学習可能な少数の低ランク適応(LoRA)重みを挿入することでモデルを学習可能な状態に保ちます。
GPTQ
GPTQは学習後の量子化手法で、再構成誤差を最小限に抑えるために重み行列の各行を独立して圧縮します。Hugging FaceのGPTQドキュメントによると、重みは int4 に量子化され、推論中にその場で fp16 に戻されます。int4の重みはGPUのグローバルメモリではなく融合カーネル内で逆量子化されるため、メモリ使用量を4分の1にでき、ビット幅が小さいほど通信時間も短くなります。GPTQの量子化にはキャリブレーション用データセットとトークナイザーが必要で、ドキュメントには GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer) という例があります。TransformersはAutoGPTQをすでにサポートしておらず、代わりにGPT-QModelを案内しています。
AWQ
AWQはActivation-aware Weight Quantizationの略で、出力品質に最も重要な重みの小さな一部分を保護することに重点を置きます。Hugging FaceのAWQドキュメントが説明するように、AWQはLLMの性能に重要な少数の重みを保持し、性能低下を最小限に抑えながらモデルを4ビットに圧縮します。TransformersではAWQは事前量子化済みのみで、llm-awq または autoawq で作成したチェックポイントを読み込みます。
GGUF
GGUFはモデルの重み、設定、トークナイザーを1つのファイルにまとめる単一ファイル形式で、別個の config.json を使いません。そのためTransformersでは明示的な gguf_file 引数が必要です。llama.cpp やOllamaなどのローカルツールでは、Q4_K_M のようなラベルが付いたファイル名の形式がGGUFであり、CUDA、MPS、XPU、CPUで1ビットから8ビットの事前量子化済み重みをサポートします。
Transformersに特有の大きな注意点があります。Hugging Faceによると、ほとんどのGGUFモデルはTransformersでの読み込み時にフル精度へ逆量子化され、量子化されていないモデルと同じだけメモリを使います。一部のQwen3.5モデルでMPSとカーネルを使う限定的な例外があります。この動作はTransformersのGGUFローダーに固有のものです。llama.cpp やOllamaのようなローカルランタイムは、量子化されたGGUFの重みを直接実行するように作られています。
低ビット浮動小数点形式:FP8、NVFP4、MXFP8
低ビット量子化は、INT8やINT4のような整数形式とは異なる浮動小数点形式にも及びます。Hugging Faceの選択ガイドには、細粒度FP8、MXFP4、NVFP4が掲載されています。NVFP4はBlackwell GPUでの読み込み時にNVIDIAの4ビット浮動小数点形式へ量子化します。ほかにも torchao、HQQ、compressed-tensors を含む数十の方式があり、いずれもTransformersの選択ガイドに掲載されています。
重みのみの量子化と完全な量子化の違いは?
重みのみの量子化は保存されたパラメータ行列を圧縮し、活性値とKVキャッシュは、それぞれ別途量子化しない限り、より高い精度のままにします。一般的な4ビットGGUFや重みのみの推論パイプラインの多くは、低ビット幅の重みをメモリに保存し、より広い形式で逆量子化または行列乗算を行います。
長いテキストの生成中は、重みに加えて活性値とKVキャッシュもGPUまたはシステムのRAMを消費し続けます。Hugging Faceは、長いシーケンス向けの別個の最適化ステップとしてKVキャッシュの量子化を文書化しています。アーキテクチャも総メモリ量に影響します。Mixture of Expertsの解説で扱うスパースな設計でも、トークンごとに実行されるのは一部だけですが、ルーティングされるエキスパートと共有エキスパートはすべてメモリに置く必要があります。
学習後の量子化とネイティブな低ビット学習はどう違う?
学習後の量子化は、完成した高精度のチェックポイントから始め、後から圧縮します。一方、ネイティブな低ビット学習は、低ビットの数値形式でモデルを直接学習・デプロイします。GPTQ、AWQ、ほとんどのGGUF変換、読み込み時のbitsandbytesは学習後のカテゴリーに入り、事前学習とアラインメントが終わった後に生じる一定の変換誤差を受け入れます。
ネイティブな低ビット学習では、学習後の変換ステップが不要になります。最近の例は、Thinking Machines Labが2026年11月20日にリリースしたInkling 2 Miniです。公式のInkling 2 Mini発表とモデルカードによると、26.4Bパラメータのこのモデルのメモリ使用量は約20GBで、事前学習から強化学習までのすべての順伝播でエキスパート層に4ビットの NVFP4 を使って学習され、最後の4層の順伝播には8ビットの MXFP8 も使用されました。
Thinking Machines Labは、Inkling 2 Miniの重みは学習時と同じ数値精度、つまり20層がNVFP4、4層がMXFP8でデプロイされるため、量子化による変換損失はないと述べています。これは、完成したBF16チェックポイントを学習後に4ビットへ変換することによる精度損失がないという意味であり、別のBF16版との比較ではありません。チームのハードウェアガイドは、32GB以上のメモリを搭載したApple silicon、32GB以上のVRAMを搭載したGPU、または単一のNVIDIA DGX Sparkを推奨しています。
どの量子化アプローチが自分の作業に合うか?
量子化手法の選択は、ランタイム、ハードウェア、ファインチューニングが必要か推論だけを実行するかによって決まります。各手法はタスクごとにメモリ、速度、精度のトレードオフが異なるため、すべてのワークロードに合う単一のビット幅はありません。
- bitsandbytesを選ぶのは、既存のフル精度チェックポイントを最小限の設定で4ビットまたは8ビットで読み込みたい場合や、QLoRAでファインチューニングする予定の場合です。
- GPTQまたはAWQを選ぶのは、事前にキャリブレーションされた、または活性値を考慮した、推論向けの4ビットチェックポイントが必要な場合です。
- GGUFを選ぶのは、
llama.cppやOllamaなどのローカルランタイム向けに、持ち運びやすい単一ファイルのチェックポイントが必要な場合です。 - ネイティブな低ビットチェックポイントを選ぶのは、モデル開発者がNVFP4、FP8、MXFP8で直接学習した重みを提供している場合です。
量子化済みの重みを変換または再配布する前には必ずモデルのライセンスを確認し、KVキャッシュとランタイムのオーバーヘッドに備えてメモリに余裕を残してください。重みをローカルハードウェアに収めることよりもクラウド推論の請求額を下げることが目的なら、AI APIのコストを削減する方法のガイドでプロンプトとルーティングの戦略を確認してください。
FAQ
4ビット量子化は常に品質を目に見えて下げる?
すべてのモデルとタスクにおける4ビット量子化の正確な品質への影響を予測する単一のルールはありません。Hugging Faceの量子化ドキュメントによると、ビット数を減らすと精度が多少失われ、各手法はメモリ、速度、精度の異なるトレードオフを取ります。AWQやGPTQのような手法は活性値の考慮やキャリブレーションによって誤差を抑えようとしますが、ビット幅、モデルのアーキテクチャ、ワークロードも結果に影響します。
8Bの4ビットモデルに合計で4–5GBを超えるVRAMが必要なのはなぜ?
4ビットの8Bモデルに対する4–5GBという数字は、Hugging Faceによる重みだけの目安であり、モデル提供に必要な全体の予算ではありません。モデルの実行には、活性値、ランタイムのオーバーヘッド、プロンプトと生成の長さに応じて増えるKVキャッシュのためのメモリも必要です。重みの量子化はモデルの静的な使用容量を減らしますが、長いコンテキストには引き続き別途メモリの計画が必要です。
GGUFとGPTQまたはAWQの違いは?
GGUFは重み、設定、トークナイザーをまとめた単一ファイル形式で、llama.cpp やOllamaなどのローカルランタイム向けに、1ビットから8ビットの事前量子化済みチェックポイントをサポートします。GPTQとAWQは4ビット量子化手法で、通常は config.json ファイルを含むディレクトリ形式のチェックポイントに保存されます。GPTQは重み行列の行ごとにキャリブレーションし、AWQは活性値に基づいて重要な重みを保持します。
TransformersでGGUFファイルを読み込むとメモリを節約できる?
ほとんどのGGUFファイルは、Hugging Face Transformers経由で読み込んでもメモリを節約できません。Hugging Faceの量子化の概要によると、ほとんどのGGUFモデルはTransformersでの読み込み時にフル精度へ逆量子化され、量子化されていないモデルと同じだけメモリを消費します。一部のQwen3.5モデルにおける限定的なMPSカーネルの例外はあります。llama.cpp やOllamaなどのローカルアプリは、このTransformersの動作を回避します。
NVFP4はINT4量子化と比べて何が違う?
NVFP4はBlackwellハードウェアでサポートされるNVIDIAの4ビット浮動小数点形式で、INT4は重みを4ビット整数として表します。どちらも各パラメータを0.5バイトで保存し、整数の4ビット量子化と同様に重みの生の保存容量を削減します。NVFP4や8ビットのMXFP8のような浮動小数点形式は、Thinking Machines LabのInkling 2 Miniのように、学習とデプロイの際にも直接使えます。



