モデル蒸留は、より小さなstudentモデルが、より大きい、または高性能なteacherモデルを模倣するよう学習する訓練手法です。teacherの出力の振る舞いをコンパクトなアーキテクチャに移すことで、特定の本番タスクにおけるteacherの能力を大部分維持しながら、推論コストとレイテンシを削減できます。
モデル蒸留とは?Teacherとstudentの仕組み
モデル蒸留(model distillation)は知識蒸留(knowledge distillation)とも呼ばれ、大きく高性能なteacherモデルから、より小さい、または安価なstudentモデルへ振る舞いを移す訓練プロセスです。コンパクトなモデルを人間が注釈した生の例だけで訓練する代わりに、teacherモデルでstudentの更新を導く訓練信号を生成します。目標は、teacherの振る舞いを大部分維持しながら、より高速に動作し、リクエストごとのコストが低い小型モデルです。
Teacherとstudentを使うワークフローでは、teacherはすでに訓練済みで、データセット上で目標値を生成する間は固定されます。studentはteacherの出力に一致するよう重みを更新します。teacherとstudentの内部アーキテクチャは同じである必要はありません。計算負荷の高い大規模なteacherと、高速な提供に適した大幅に軽量なstudentを組み合わせることができます。
LLMの蒸留では、訓練信号は単純なクラスラベルから言語の振る舞いへと変わります。言語モデルの蒸留では、teacherが生成したテキスト、複数の回答を順位付けする選好ラベル、またはteacherから取得できる場合はトークン単位の確率分布でstudentを訓練することがよくあります。後の蒸留手法では、人間がラベル付けしたデータセットだけに頼らず、teacherの中間特徴や推論の軌跡を模倣するようstudentを訓練することもあります。
ソフトターゲットと暗黙知はモデル蒸留をどう生み出したのか?
知識蒸留の現代的な定式化は、Geoffrey Hinton、Oriol Vinyals、Jeff Deanによる2015年の論文Distilling the Knowledge in a Neural Networkに由来します。それ以前、教師あり分類器は一般に、正解クラスを1、その他すべてのクラスを0とするハードラベルで訓練されていました。この単一ラベルの目標値は正解をモデルに伝えますが、teacherが残りの選択肢をどう評価しているかは隠れます。
Hinton、Vinyals、Deanは、訓練済みのteacherがソフトターゲット、つまり各入力に対する全クラスの完全な確率分布を生成することを示しました。画像分類器がピックアップトラックの写真を評価すると、トラックに高い確率、車にゼロではない小さな確率、ニンジンにほぼゼロの確率を与えます。こうした小さな残余確率には、クラス同士の関係について著者らが「暗黙知」と呼んだ情報が含まれます。
ソフトターゲットでstudentを訓練すると、この構造上の類似性に関する情報が伝わり、one-hotラベルだけの場合よりも、例ごとはるかに豊かな教師信号を小型モデルに与えられます。この論文では、蒸留中にteacherの出力分布を滑らかにし、訓練時に二次的な確率をより目立たせる温度パラメータも導入しています。studentは関連する回答にteacherが確信度をどう配分するかを学ぶため、ハードラベルだけでゼロから訓練した小型モデルよりもうまく汎化できる場合があります。
モデル蒸留、ファインチューニング、量子化の比較
モデル蒸留、ファインチューニング、量子化は、いずれもモデル最適化としてまとめられることが多いものの、モデルを変える方法はそれぞれ異なります。モデル蒸留とファインチューニングや重みの圧縮を比較すると、どの手法がどのボトルネックを解消するかが明確になります。
| 手法 | 主な目的 | 変わるもの | 使用する場面 |
|---|---|---|---|
| モデル蒸留 | 大きなteacherの振る舞いを、より小さく高速なモデルに移す | 別のstudentモデルをteacherの出力や確率に合わせて訓練する | teacherに近い振る舞いを維持しながら、レイテンシの削減や小型ハードウェアが必要な場合 |
| ファインチューニング | 既存モデルを特定のタスク、分野、形式に適応させる | 対象モデルの重みをタスクデータで更新し、サイズは通常変わらない | 基盤モデルがすでにレイテンシの要件を満たし、タスクへの特化が必要な場合 |
| 量子化 | メモリ使用量を減らし、重みの演算を高速化する | 既存の重みの数値精度を、例えば16ビットから8ビットや4ビットに下げる | モデルが精度の要件を満たし、より厳しいVRAMやメモリの制限に収まる必要がある場合 |
ファインチューニングは、既存モデルの訓練をタスク固有のデータで続け、そのモデル自体の振る舞いを変えます。通常、パラメータ数は減りません。蒸留の目的は異なり、teacherから別の、通常はより小さなモデルへ振る舞いを移します。量子化も蒸留ではありません。別のstudentをteacherの模倣に向けて訓練するのではなく、訓練済みモデルの重みの数値精度を下げるためです。
同じ話題では、枝刈り、スパース性、Mixture-of-Experts(MoE)アーキテクチャ、検索拡張生成(RAG)も登場します。枝刈り、スパース性、MoEの設計はモデル内の計算量や有効なパラメータ数を変えます。一方、RAGはteacherをstudentに圧縮する代わりに、推論時に外部文書を検索します。訓練、適応、モデルサイズの変更のどれを選ぶか迷っている場合は、まずAIモデルの選び方をご覧ください。
なぜチームは言語モデルを蒸留するのか?
開発チームが言語モデルを蒸留する主な理由は、すべてのリクエストで大きなteacherモデルを実行する場合に比べ、推論コストとレイテンシを下げることです。大量の定型的な分類、抽出、下書きの呼び出しに主力モデルを使うと、多くの計算資源を消費し、応答時間も長くなります。この負荷をteacherの振る舞いで訓練した蒸留済みstudentへ移すと、アプリケーションはより小さなハードウェア上や厳しいレイテンシ要件の下で、より速く回答できます。
AIのトークンとは何かを理解すると、このトレードオフの料金面も分かります。各プロンプトと生成結果はトークン量とモデルサイズに比例する計算資源を消費するため、頻度の高いトラフィックをコンパクトなstudentへ移すと、リクエスト単位のコストが直接下がります。小型モデルと併せて支出を削減する幅広い方法を探すチームは、AI APIコストを削減する方法の施策も活用できます。
私自身が本番AIパイプラインをレビューしてきた経験では、チームが初日から蒸留に取り組むことはまれです。多くはまず大きなteacherで製品の品質を検証し、トラフィックのパターンが安定したら、自社のteacherを本番用studentに蒸留します。AI研究所も自社モデルファミリーの小型版を公開するときに同じパターンをたどります。自社で構築したモデルや適切にライセンスされたモデルを小さなstudentに蒸留することは、標準的な製品開発の実践です。
OpenAIのポリシーはモデル蒸留について何と定めているか?
第三者がホストするAPIの出力でstudentモデルを訓練する行為は、プロバイダーとの契約に従います。以下は2026年11月16日時点で公開されているポリシーの概要であり、2026年11月20日発効と記されたUsage Policiesの更新を含みます。法的助言ではありません。自社所有のモデルや、出力を使った訓練をライセンスで許可されたモデルの蒸留は、商用APIの出力を規約に違反して取り出す行為とは大きく異なります。
Terms of UseとUsage Policies
OpenAI Terms of Useでは、ユーザーによる次の行為が禁止されています。「出力を使用して、OpenAIと競合するモデルを開発すること」。この条項は、OpenAIのサービスが返すモデル出力の顧客による使用を定めた制限の中にあります。
OpenAI Usage Policiesのページには2026年11月20日発効と記されており、更新されたモデルの訓練と開発に関するセクションは、2026年11月16日時点ではまだ発効していない今後の規則です。そのページの今後のポリシー本文では、OpenAIのモデルやサービスの代替となることを目的としたモデル向けに、訓練資料や信号を生成、準備、選択、提供するために、OpenAIのモデルやその出力を使用してはならないとされています。対象には、訓練データ、タスク、評価基準、強化学習環境、ラベル、スコア、順位、選好、報酬、修正などの訓練フィードバックが含まれます。また、この今後の本文には、OpenAIのServices Agreementに基づくPermitted Exceptionを含め、顧客契約で明示的に許可された使用はこれらの制限によって禁止されないと記されています。
許可されていない蒸留キャンペーンへの対処
OpenAIは公開記事Disrupting a coordinated model-distillation campaignで、敵対的な蒸留を「あるモデルの出力や推論を、別のモデルの訓練、再現、改善に役立てるために、体系的かつ無許可で使用すること」と説明しました。OpenAIは、自社モデルから保護された推論を抽出しようとした協調的なキャンペーンに対し、アカウントおよび技術面での措置を講じたと報告しています。
他のホスト型モデルのプロバイダーも、競合モデルの訓練にAPI出力を使用することを制限しています。具体的な許可、企業向けの例外、オープンウェイトのライセンスはベンダーやプランによって異なるため、開発チームは訓練パイプライン用に出力を収集する前に、ホスト型APIやモデルの最新の利用条件を確認する必要があります。
蒸留済みモデルでは何が問題になるか?
蒸留済みstudentモデルは、teacherの出力をコピーすると長所とともに盲点も引き継ぐため、本番環境で失敗する可能性があります。限定的なベンチマークでstudentが説得力のある結果を示しても、デプロイ後には繰り返し見られる3つの失敗パターンがあります。
- 誤りとバイアスの継承:studentはteacherの出力を訓練上の正解として扱うため、teacherが生み出した事実誤認、幻覚、体系的なバイアスを学習し、繰り返す可能性があります。
- 分布外での性能低下:選別された訓練セットでteacherの最終回答に一致しても、実際のユーザーが未知の入力、ノイズの多い入力、分布外の入力を送ったときに、teacherと同じ信頼性を示す保証はありません。
- 網羅性と安全性の欠落:蒸留データセットに一度も現れないスキル、エッジケース、安全上の振る舞いはstudentで著しく低下し、元のteacherが安全に対処できた領域に欠落が生じることがあります。
これらの失敗パターンを軽減するには、studentがteacherのすべての性質を受け継いだと決めつけず、データセットを注意深く網羅し、実際の本番環境におけるエッジケースで独立した評価を行う必要があります。
FAQ
よくある質問を通じて、モデル蒸留の仕組み、チームが利用する場面、ホスト型モデルの出力に適用される規則をまとめます。
モデル蒸留はファインチューニングと同じですか?
モデル蒸留とファインチューニングは目的が異なります。ファインチューニングは既存モデルの重みを更新し、通常はパラメータ数を維持しながら、特定のタスクやスタイルに適応させます。モデル蒸留は、より大きなteacherモデルから、別の、通常はより小さなstudentモデルへ振る舞いを移し、推論を高速かつ低コストで実行できるようにします。
Teacherとstudentのアーキテクチャは同じである必要がありますか?
Teacherとstudentは同じアーキテクチャである必要はありません。蒸留ではteacherの出力、確率分布、中間信号に合わせてstudentを訓練するため、小さなstudentネットワークは内部構造の異なる大きなteacherから学べます。通常は、対象ハードウェアで高速に提供できるよう設計されたコンパクトなstudentアーキテクチャを選びます。
OpenAI APIの出力を使って言語モデルを蒸留できますか?
2026年11月16日時点で、2026年1月1日発効のOpenAIのTerms of Useは、OpenAIと競合するモデルの開発に出力を使用することをすでに禁止しています。これとは別に、OpenAI Usage Policiesのページには、モデルの訓練と開発に関するより詳細なセクションが追加されており、2026年11月20日発効と記され、2026年11月16日時点ではまだ発効していません。プロバイダーの条件に従って蒸留済みモデルを構築したいチームは、自社所有のモデルや出力を使った訓練がライセンスで許可されたモデルを利用します。
モデル蒸留は量子化やRAGとどう違いますか?
モデル蒸留、量子化、検索拡張生成は異なるボトルネックに対処します。モデル蒸留では、新しい小型studentモデルがteacherモデルを模倣するよう訓練します。量子化では、既存モデルの重みの数値精度を、例えば16ビットから8ビットや4ビットに下げ、メモリ使用量を減らします。検索拡張生成はteacherをstudentに圧縮する代わりに、推論中に外部文書を取得します。
蒸留済みstudentモデルにはどのようなリスクがありますか?
蒸留済みstudentモデルは、teacherモデルの出力に含まれる事実誤認やバイアスを引き継ぐ可能性があります。訓練例でteacherの回答に一致しても、分布外のプロンプトに対する信頼性は保証されません。また、蒸留データセットから抜け落ちたスキルや安全上の振る舞いは、実際の運用時に小型studentモデルで著しく弱まる可能性があります。
出典
このガイドの技術的な定義とプロバイダーのポリシーに関する詳細は、以下の原著論文とOpenAIの公式文書に基づいています。



