La distillation de modèle est une technique d’entraînement dans laquelle un modèle student plus petit apprend à imiter un modèle teacher plus grand ou plus performant. En transférant le comportement de sortie du teacher vers une architecture compacte, les équipes réduisent le coût et la latence d’inférence tout en conservant une grande partie de ses capacités pour des tâches de production précises.
Qu’est-ce que la distillation de modèle et comment fonctionne le système teacher-student ?
La distillation de modèle (model distillation), aussi appelée distillation de connaissances (knowledge distillation), est un processus d’entraînement qui transfère le comportement d’un grand modèle teacher performant vers un modèle student plus petit ou moins coûteux. Au lieu d’entraîner le modèle compact uniquement sur des exemples bruts annotés par des humains, l’équipe utilise le teacher pour produire des signaux d’entraînement qui guident les mises à jour du student. L’objectif est un modèle plus petit, plus rapide et moins coûteux par requête, qui conserve une grande partie du comportement du teacher.
Dans un processus teacher-student, le teacher est déjà entraîné et reste figé pendant qu’il produit des cibles sur un jeu de données. Le student met à jour ses poids pour reproduire ce que produit le teacher. Les modèles teacher et student n’ont pas besoin de partager la même architecture interne. Une équipe peut associer un grand teacher gourmand en calcul à un student beaucoup plus léger, adapté à une mise en service rapide.
Dans la distillation de LLM, le signal d’entraînement passe de simples étiquettes de classe au comportement linguistique. Distiller un modèle de langage consiste souvent à entraîner le student sur du texte généré par le teacher, sur des étiquettes de préférence classant plusieurs réponses ou sur des distributions de probabilités par token lorsque le teacher les fournit. Des variantes ultérieures entraînent aussi le student à imiter les caractéristiques intermédiaires ou les traces de raisonnement du teacher, plutôt que de dépendre uniquement de jeux de données étiquetés par des humains.
Comment les cibles souples et les connaissances sombres ont-elles lancé la distillation ?
La formulation moderne de la distillation de connaissances vient de l’article de 2015 Distilling the Knowledge in a Neural Network de Geoffrey Hinton, Oriol Vinyals et Jeff Dean. Avant ces travaux, les classificateurs supervisés étaient généralement entraînés sur des étiquettes dures : la classe correcte recevait un score de un et toutes les autres, zéro. Cette cible à étiquette unique indique au modèle la bonne réponse, mais masque la façon dont le teacher évalue les autres possibilités.
Hinton, Vinyals et Dean ont montré qu’un teacher entraîné produit des cibles souples, c’est-à-dire une distribution complète de probabilités sur toutes les classes possibles pour chaque entrée. Lorsqu’un classificateur d’images évalue une photo de pick-up, il attribue une forte probabilité à camion, une faible probabilité non nulle à voiture et une probabilité pratiquement nulle à carotte. Ces petites probabilités résiduelles portent ce que les auteurs ont appelé des « connaissances sombres » sur les relations entre les classes.
Entraîner un student sur des cibles souples transmet cette information sur les similarités structurelles et fournit au petit modèle une supervision bien plus riche par exemple qu’une simple étiquette one-hot. L’article introduit aussi un paramètre de température qui lisse la distribution de sortie du teacher pendant la distillation afin de faire ressortir ces probabilités secondaires lors de l’entraînement. Puisque le student apprend comment le teacher répartit sa confiance entre des réponses apparentées, il peut mieux généraliser qu’un petit modèle entraîné à partir de zéro avec les seules étiquettes dures.
Distillation de modèle vs fine-tuning vs quantification
La distillation de modèle, le fine-tuning et la quantification sont souvent regroupés sous le terme d’optimisation de modèle, mais chaque méthode modifie le modèle différemment. Comparer la distillation au fine-tuning ou à la compression des poids permet de déterminer quel outil résout quel problème.
| Approche | Objectif principal | Ce qui change | Quand l’utiliser |
|---|---|---|---|
| Distillation de modèle | Transférer le comportement d’un grand teacher vers un modèle plus petit et plus rapide | Un modèle student distinct est entraîné à reproduire les sorties ou les probabilités du teacher | Vous avez besoin d’une latence réduite ou d’un matériel plus compact tout en conservant un comportement proche du teacher |
| Fine-tuning | Adapter un modèle existant à une tâche, un domaine ou un format précis | Les poids du modèle cible sont mis à jour sur des données de la tâche, tandis que sa taille reste généralement identique | Un modèle de base respecte déjà votre budget de latence et doit être spécialisé pour une tâche |
| Quantification | Réduire l’utilisation de mémoire et accélérer les calculs sur les poids | La précision numérique des poids existants diminue, par exemple de 16 bits à 8 bits ou 4 bits | Un modèle répond à vos besoins de précision et doit respecter des limites de VRAM ou de mémoire plus strictes |
Le fine-tuning poursuit l’entraînement d’un modèle existant sur des données propres à une tâche afin de modifier son comportement, généralement sans réduire son nombre de paramètres. La distillation a un autre objectif : transférer le comportement d’un teacher vers un autre modèle, généralement plus petit. La quantification n’est pas non plus une distillation : elle réduit la précision numérique des poids d’un modèle déjà entraîné au lieu d’entraîner un student distinct à imiter un teacher.
Les spécialistes rencontrent aussi l’élagage, la parcimonie, les architectures de mélange d’experts (MoE) et la génération augmentée par récupération (RAG) dans ces discussions. L’élagage, la parcimonie et les architectures MoE modifient le calcul ou le nombre de paramètres actifs dans un modèle, tandis que RAG récupère des documents externes à l’inférence au lieu de compresser un teacher dans un student. Si vous hésitez encore entre entraîner, adapter ou changer de taille, consultez d’abord notre guide sur le choix d’un modèle d’IA.
Pourquoi les équipes distillent-elles les modèles de langage ?
Les équipes techniques distillent avant tout un modèle de langage pour réduire le coût et la latence d’inférence par rapport à l’utilisation d’un grand teacher pour chaque requête. Exécuter des millions d’appels courants de classification, d’extraction ou de rédaction sur un modèle phare consomme beaucoup de calcul et allonge les délais de réponse. Transférer cette charge à un student distillé, entraîné sur le comportement du teacher, permet à une application de répondre plus vite sur un matériel plus petit ou avec des budgets de latence plus serrés.
Comprendre ce qu’est un token en IA aide à expliquer le volet facturation de ce compromis : chaque prompt et chaque complétion consomment du calcul proportionnellement au volume de tokens et à la taille du modèle. Transférer le trafic fréquent vers un student compact réduit donc directement le coût par requête. Les équipes qui cherchent d’autres moyens de réduire les dépenses peuvent associer les modèles plus petits aux techniques de notre guide sur la réduction des coûts d’API d’IA.
Dans mon travail d’examen de pipelines d’IA en production, les équipes commencent rarement par la distillation dès le premier jour. La plupart utilisent d’abord un grand teacher pour valider la qualité du produit, puis distillent leur propre teacher interne en un student de production une fois les profils de trafic stabilisés. Les laboratoires d’IA suivent le même schéma lorsqu’ils publient des versions plus petites de leurs familles de modèles : distiller un modèle développé en interne ou dûment licencié en un student plus petit est une pratique courante de développement produit.
Que disent les règles d’OpenAI sur la distillation de modèle ?
L’entraînement d’un modèle student sur les sorties d’une API hébergée par un tiers est régi par les contrats du fournisseur. Le résumé ci-dessous décrit les règles publiées au 16 novembre 2026, y compris une mise à jour des Usage Policies indiquée comme prenant effet le 20 novembre 2026, et ne constitue pas un conseil juridique. Distiller un modèle que vous possédez, ou dont la licence autorise l’entraînement sur ses sorties, est très différent de collecter les sorties d’une API commerciale en violation de ses conditions.
Terms of Use et Usage Policies
Selon les OpenAI Terms of Use, l’activité suivante est interdite aux utilisateurs : « Utiliser les sorties pour développer des modèles qui concurrencent OpenAI. » Cette clause figure directement parmi les restrictions régissant l’utilisation des sorties de modèles fournies par les services OpenAI.
La page des OpenAI Usage Policies indique une prise d’effet au 20 novembre 2026 : sa section mise à jour sur l’entraînement et le développement de modèles constitue donc une règle à venir, qui n’est pas encore en vigueur au 16 novembre 2026. Sur cette page, le futur texte prévoit que les utilisateurs ne doivent pas utiliser les modèles OpenAI ou leurs sorties pour générer, préparer, sélectionner ou fournir des données ou signaux d’entraînement pour des modèles destinés à remplacer les modèles ou services OpenAI ou à leur servir d’alternative. Cela couvre les données d’entraînement, les tâches, les grilles d’évaluation, les environnements d’apprentissage par renforcement et les retours d’entraînement tels que les étiquettes, scores, classements, préférences, récompenses ou corrections. Ce futur texte indique aussi que ces restrictions n’interdisent pas les usages expressément autorisés par le contrat d’un client, y compris toute Permitted Exception prévue par le Services Agreement d’OpenAI.
Mesures contre les campagnes de distillation non autorisées
Dans une publication intitulée Disrupting a coordinated model-distillation campaign, OpenAI décrit la distillation adversariale comme « l’utilisation systématique et non autorisée des sorties ou du raisonnement d’un modèle pour aider à entraîner, reproduire ou améliorer un autre modèle ». OpenAI a indiqué avoir pris des mesures sur les comptes et des mesures techniques contre une campagne coordonnée qui tentait d’extraire le raisonnement protégé de ses modèles.
D’autres fournisseurs de modèles hébergés limitent également l’utilisation des sorties d’API pour entraîner des modèles concurrents. Les autorisations exactes, les exceptions pour entreprises et les licences de modèles à poids ouverts variant selon le fournisseur et l’offre, les équipes techniques devraient lire les conditions en vigueur de chaque API hébergée ou licence de modèle avant de collecter des sorties pour un pipeline d’entraînement.
Quels problèmes un modèle distillé peut-il rencontrer ?
Un modèle student distillé peut échouer en production, car copier les sorties d’un teacher transmet ses angles morts avec ses points forts. Même si un student paraît convaincant sur un benchmark limité, trois modes de défaillance récurrents apparaissent après son déploiement :
- Erreurs et biais hérités : puisque le student traite les sorties du teacher comme vérité d’entraînement, il peut apprendre et répéter ses erreurs factuelles, hallucinations ou biais systématiques.
- Baisse hors distribution : reproduire les réponses finales du teacher sur un jeu d’entraînement sélectionné ne garantit pas la même fiabilité lorsque de vrais utilisateurs envoient des entrées inhabituelles, bruitées ou hors distribution.
- Lacunes de couverture et de sécurité : les compétences, cas limites ou comportements de sécurité absents du jeu de distillation peuvent se dégrader sensiblement chez le student, laissant des lacunes que le teacher initial gérait sans risque.
Pour atténuer ces défaillances, il faut couvrir soigneusement les cas dans le jeu de données et effectuer une évaluation indépendante sur des cas limites réels de production, plutôt que de supposer que le student a hérité de toutes les propriétés du teacher.
FAQ
Ces questions fréquentes résument le fonctionnement de la distillation de modèle, les raisons de son utilisation et les règles applicables aux sorties des modèles hébergés.
La distillation de modèle est-elle identique au fine-tuning ?
La distillation de modèle et le fine-tuning poursuivent des objectifs différents. Le fine-tuning met à jour les poids d’un modèle existant, généralement sans modifier le nombre de paramètres, afin de l’adapter à une tâche ou à un style précis. La distillation transfère le comportement d’un grand modèle teacher vers un modèle student distinct, généralement plus petit, pour accélérer l’inférence et en réduire le coût.
Les modèles teacher et student doivent-ils avoir la même architecture ?
Les modèles teacher et student n’ont pas besoin de partager la même architecture. La distillation entraînant le student à reproduire les sorties, distributions de probabilités ou signaux intermédiaires du teacher, un réseau student plus petit peut apprendre d’un teacher plus grand dont la structure interne est différente. Les équipes choisissent généralement une architecture student compacte conçue pour une mise en service rapide sur leur matériel cible.
Peut-on distiller un modèle de langage avec les sorties de l’API OpenAI ?
Au 16 novembre 2026, les Terms of Use d’OpenAI, en vigueur depuis le 1er janvier 2026, interdisent déjà d’utiliser les sorties pour développer des modèles qui concurrencent OpenAI. Par ailleurs, la page des OpenAI Usage Policies ajoute une section plus détaillée sur l’entraînement et le développement de modèles, indiquée comme prenant effet le 20 novembre 2026 et qui n’est pas encore en vigueur le 16 novembre 2026. Les équipes souhaitant créer des modèles distillés conformément aux conditions des fournisseurs utilisent leurs propres modèles ou des modèles dont la licence autorise l’entraînement sur les sorties.
En quoi la distillation diffère-t-elle de la quantification et de RAG ?
La distillation de modèle, la quantification et la génération augmentée par récupération répondent à des problèmes différents. La distillation entraîne un nouveau modèle student plus petit à imiter un teacher. La quantification réduit la précision numérique des poids d’un modèle existant, par exemple de 16 bits à 8 bits ou 4 bits, afin de diminuer l’utilisation de mémoire. La génération augmentée par récupération obtient des documents externes pendant l’inférence au lieu de compresser un teacher dans un student.
Quels risques présente un modèle student distillé ?
Un modèle student distillé peut hériter des erreurs factuelles ou des biais présents dans les sorties du teacher. Reproduire les réponses du teacher sur les exemples d’entraînement ne garantit pas non plus sa fiabilité sur des prompts hors distribution. Enfin, les compétences ou comportements de sécurité absents du jeu de distillation peuvent s’affaiblir sensiblement dans le petit modèle student lors de son déploiement réel.
Sources
Les définitions techniques et les détails sur les politiques des fournisseurs dans ce guide proviennent de l’article de recherche original et de la documentation officielle d’OpenAI ci-dessous.



