تقطير النماذج تقنية تدريب يتعلم فيها نموذج student أصغر محاكاة نموذج teacher أكبر أو أكثر قدرة. ومن خلال نقل سلوك مخرجات teacher إلى بنية مدمجة، تخفض الفرق تكلفة الاستدلال وزمن الاستجابة مع الاحتفاظ بقدر كبير من قدرات teacher لمهام إنتاج محددة.
ما تقطير النماذج وكيف يعمل نظام teacher وstudent؟
تقطير النماذج (model distillation)، ويسمى أيضًا تقطير المعرفة (knowledge distillation)، عملية تدريب تنقل السلوك من نموذج teacher كبير وقادر إلى نموذج student أصغر أو أقل تكلفة. وبدلًا من تدريب النموذج المدمج على أمثلة خام وضع البشر تعليقات توضيحية عليها فقط، يستخدم الفريق نموذج teacher لتوليد إشارات تدريب توجه تحديثات student. والهدف نموذج أصغر يعمل بسرعة أكبر وتقل تكلفة كل طلب فيه، مع الاحتفاظ بقدر كبير من سلوك teacher.
في سير عمل نماذج teacher وstudent، يكون teacher مدربًا بالفعل وتبقى أوزانه ثابتة أثناء إنتاج القيم المستهدفة على مجموعة بيانات. ويحدث student أوزانه لمطابقة ما ينتجه teacher. ولا يلزم أن يشترك النموذجان في البنية الداخلية نفسها. ويمكن للفريق الجمع بين teacher كبير يتطلب حسابات كثيفة وتصميم student أخف بكثير يناسب تقديم الخدمة بسرعة.
عند الحديث عن تقطير LLM، تنتقل إشارة التدريب من تسميات الفئات البسيطة إلى السلوك اللغوي. وغالبًا ما يعني تقطير نموذج لغوي تدريب student على نص يولده teacher، أو على تسميات تفضيل ترتب عدة إجابات، أو على توزيعات احتمالية على مستوى الرمز حين يتيح teacher هذه الاحتمالات. وتدرب أساليب التقطير اللاحقة student أيضًا على محاكاة السمات الوسيطة أو آثار استدلال teacher، بدلًا من الاعتماد فقط على مجموعات بيانات صنفها البشر.
كيف أسهمت الأهداف اللينة والمعرفة الخفية في نشأة تقطير النماذج؟
تعود الصياغة الحديثة لتقطير المعرفة إلى بحث عام 2015 بعنوان Distilling the Knowledge in a Neural Network لكل من Geoffrey Hinton وOriol Vinyals وJeff Dean. وقبل ذلك البحث، كان تدريب المصنفات الخاضعة للإشراف يتم عادة باستخدام تسميات صارمة تُعطى فيها الفئة الصحيحة درجة واحد، وتحصل كل فئة أخرى على صفر. يخبر هذا الهدف ذو التسمية الواحدة النموذج بالإجابة الصحيحة، لكنه يخفي كيفية تقييم teacher لجميع الخيارات المتبقية.
أظهر Hinton وVinyals وDean أن teacher المدرب ينتج أهدافًا لينة، أي توزيعًا احتماليًا كاملًا على كل الفئات الممكنة لكل مدخل. فعندما يقيم مصنف صور صورة شاحنة صغيرة، يعطي احتمالًا مرتفعًا للشاحنة، واحتمالًا صغيرًا غير صفري للسيارة، واحتمالًا يقارب الصفر للجزرة. وتحمل هذه الاحتمالات المتبقية الصغيرة ما سماه المؤلفون «المعرفة الخفية» عن علاقة الفئات بعضها ببعض.
ينقل تدريب student على الأهداف اللينة معلومات التشابه البنيوي هذه، فيمنح النموذج الأصغر إشرافًا أغنى بكثير لكل مثال مقارنة بتسمية أحادية الترميز وحدها. ويقدم البحث أيضًا معامل درجة حرارة ينعّم توزيع مخرجات teacher أثناء التقطير حتى تبرز هذه الاحتمالات الثانوية بوضوح أكبر أثناء التدريب. ولأن student يتعلم كيف يوزع teacher ثقته بين الإجابات المرتبطة، فقد يعمم بصورة أفضل من نموذج صغير دُرّب من الصفر على التسميات الصارمة وحدها.
تقطير النماذج مقابل الضبط الدقيق والتكميم
غالبًا ما تُجمع تقنيات تقطير النماذج والضبط الدقيق والتكميم تحت تحسين النماذج، لكن كل طريقة تغير النموذج بطريقة مختلفة. وتساعد مقارنة تقطير النماذج بالضبط الدقيق أو ضغط الأوزان على توضيح الأداة التي تعالج كل عنق زجاجة.
| النهج | الهدف الأساسي | ما الذي يتغير | متى يُستخدم |
|---|---|---|---|
| تقطير النماذج | نقل سلوك teacher كبير إلى نموذج أصغر وأسرع | يُدرّب نموذج student منفصل لمطابقة مخرجات teacher أو احتمالاته | عند الحاجة إلى زمن استجابة أقل أو عتاد أصغر مع الحفاظ على سلوك يشبه teacher |
| الضبط الدقيق | تكييف نموذج موجود مع مهمة أو مجال أو صيغة محددة | تُحدّث أوزان النموذج المستهدف ببيانات المهمة بينما يبقى حجمه عادة كما هو | عندما يلبي نموذج أساسي ميزانية زمن الاستجابة ويحتاج إلى التخصص في مهمة |
| التكميم | تقليل استخدام الذاكرة وتسريع العمليات الحسابية على الأوزان | تنخفض الدقة العددية للأوزان الموجودة، مثل الانتقال من 16 بت إلى 8 بت أو 4 بت | عندما يلبي النموذج متطلبات الدقة ويجب أن يناسب حدودًا أشد لذاكرة VRAM أو الذاكرة |
يواصل الضبط الدقيق تدريب نموذج موجود على بيانات خاصة بمهمة لتغيير سلوك النموذج نفسه، دون تقليل عدد معاملاته عادة. وللتقطير هدف مختلف، فهو ينقل السلوك من teacher إلى نموذج آخر أصغر في الغالب. والتكميم ليس تقطيرًا أيضًا، لأنه يقلل الدقة العددية لأوزان نموذج مدرب بالفعل بدلًا من تدريب student منفصل على محاكاة teacher.
يواجه الممارسون أيضًا التشذيب والندرة وبنى مزيج الخبراء (MoE) والتوليد المعزز بالاسترجاع (RAG) في النقاشات نفسها. يغير التشذيب والندرة وتصميمات MoE مقدار الحساب أو عدد المعاملات النشطة داخل النموذج، بينما يسترجع RAG مستندات خارجية وقت الاستدلال بدلًا من ضغط teacher في student. إذا كنت لا تزال تقرر التدريب أو التكييف أو تغيير حجم النموذج، فابدأ بدليلنا حول كيفية اختيار نموذج ذكاء اصطناعي.
لماذا تقطر الفرق النماذج اللغوية؟
تقطر فرق الهندسة نموذجًا لغويًا أساسًا لتقليل تكلفة الاستدلال وزمن الاستجابة مقارنة بتشغيل نموذج teacher كبير لكل طلب. فاستخدام نموذج رائد في ملايين طلبات التصنيف أو الاستخراج أو صياغة المسودات الروتينية يستهلك موارد حسابية كبيرة ويطيل أوقات الاستجابة. ونقل هذا الحمل إلى student مقطّر ومدرب على سلوك teacher يتيح للتطبيق الإجابة بسرعة أكبر على عتاد أصغر أو ضمن ميزانيات زمن استجابة أكثر ضيقًا.
يساعد فهم ما هو الرمز في الذكاء الاصطناعي على توضيح جانب الفوترة في هذه المفاضلة: يستهلك كل موجّه ونص مكتمل موارد حسابية تتناسب مع حجم الرموز وحجم النموذج، لذا فإن نقل الطلبات المتكررة إلى student مدمج يخفض تكلفة كل طلب مباشرة. ويمكن للفرق التي تبحث عن طرق أوسع لتقليل الإنفاق إلى جانب النماذج الأصغر الاستفادة من أساليب دليلنا حول كيفية خفض تكاليف واجهات الذكاء الاصطناعي.
في عملي الخاص بمراجعة مسارات الذكاء الاصطناعي في الإنتاج، نادرًا ما تبدأ الفرق بالتقطير من اليوم الأول. يبدأ معظمها بنموذج teacher كبير للتحقق من جودة المنتج، ثم يقطر teacher الداخلي الخاص به إلى student للإنتاج بعد استقرار أنماط حركة الطلبات. وتتبع مختبرات الذكاء الاصطناعي النمط نفسه عند إصدار نسخ أصغر من عائلات نماذجها: تقطير نموذج بنيته أو حصلت على ترخيص مناسب له إلى student أصغر ممارسة معتادة في هندسة المنتجات.
ماذا تقول سياسات OpenAI عن تقطير النماذج؟
يخضع تدريب نموذج student على مخرجات واجهة API يستضيفها طرف ثالث لعقود مقدم الخدمة. ويصف الملخص التالي السياسات المنشورة حتى 16 نوفمبر 2026، بما في ذلك تحديث Usage Policies المحدد تاريخ سريانه في 20 نوفمبر 2026، ولا يشكل مشورة قانونية. ويختلف تقطير نموذج تملكه، أو نموذج يسمح ترخيصه بالتدريب على مخرجاته، اختلافًا كبيرًا عن استخراج مخرجات واجهة تجارية بالمخالفة لشروطها.
Terms of Use وUsage Policies
بموجب OpenAI Terms of Use، يُحظر على المستخدمين النشاط التالي: «استخدام المخرجات لتطوير نماذج تنافس OpenAI». ويرد هذا البند مباشرة ضمن القيود التي تحكم كيفية استخدام العملاء لمخرجات النماذج التي تعيدها خدمات OpenAI.
تحدد صفحة OpenAI Usage Policies تاريخ سريانها في 20 نوفمبر 2026، لذا فإن قسمها المحدّث عن تدريب النماذج وتطويرها قاعدة مقبلة لم تدخل حيز التنفيذ بعد حتى 16 نوفمبر 2026. وينص نص السياسة المقبل على تلك الصفحة على أنه يجب ألا يستخدم المستخدمون نماذج OpenAI أو مخرجاتها لتوليد مواد أو إشارات تدريب أو إعدادها أو اختيارها أو توفيرها لنماذج يُقصد بها أن تكون بدائل لنماذج OpenAI أو خدماتها. ويشمل ذلك بيانات التدريب والمهام ومعايير التقييم وبيئات التعلم المعزز وملاحظات التدريب، مثل التسميات والدرجات والترتيبات والتفضيلات والمكافآت أو التصحيحات. وينص النص المقبل أيضًا على أن هذه القيود لا تحظر الاستخدامات التي تسمح بها اتفاقية العميل صراحة، بما في ذلك أي Permitted Exception بموجب Services Agreement الخاص بـ OpenAI.
إجراءات مواجهة حملات التقطير غير المصرح بها
في منشور عام بعنوان Disrupting a coordinated model-distillation campaign، وصفت OpenAI التقطير العدائي بأنه «الاستخدام المنهجي وغير المصرح به لمخرجات نموذج أو استدلاله للمساعدة في تدريب نموذج آخر أو إعادة إنتاجه أو تحسينه». وأفادت OpenAI باتخاذ إجراءات على مستوى الحسابات وإجراءات تقنية ضد حملة منسقة حاولت استخراج استدلال محمي من نماذجها.
يقيد مقدمو النماذج المستضافة الآخرون أيضًا استخدام مخرجات واجهات API لتدريب نماذج منافسة. ونظرًا لاختلاف الأذونات الدقيقة واستثناءات المؤسسات وتراخيص الأوزان المفتوحة حسب المورد والمستوى، ينبغي لفرق الهندسة قراءة الشروط الحالية لأي واجهة مستضافة أو ترخيص نموذج قبل جمع المخرجات لمسار تدريب.
ما الذي قد يفشل في نموذج مقطّر؟
قد يفشل نموذج student مقطّر في الإنتاج لأن نسخ مخرجات teacher ينقل نقاط ضعفه الخفية إلى جانب نقاط قوته. وحتى عندما يبدو student مقنعًا في اختبار معياري محدود، تظهر بعد النشر ثلاثة أنماط فشل متكررة:
- الأخطاء والتحيزات الموروثة: لأن student يتعامل مع مخرجات teacher باعتبارها حقيقة التدريب، فقد يتعلم الأخطاء الواقعية أو الهلوسات أو التحيزات المنهجية التي ينتجها teacher ويكررها.
- تراجع الأداء خارج التوزيع: مطابقة إجابات teacher النهائية على مجموعة تدريب منتقاة لا تضمن مطابقة موثوقيته عندما يرسل مستخدمون حقيقيون مدخلات غير مألوفة أو مشوشة أو خارج التوزيع.
- فجوات التغطية والسلامة: قد تتدهور المهارات أو الحالات الطرفية أو سلوكيات السلامة التي لا تظهر مطلقًا في مجموعة بيانات التقطير بصورة ملحوظة لدى student، فتترك فجوات كان teacher الأصلي يتعامل معها بأمان.
يتطلب الحد من أنماط الفشل هذه تغطية متأنية لمجموعة البيانات وتقييمًا مستقلًا للحالات الطرفية الحقيقية في الإنتاج، بدلًا من افتراض أن student ورث كل خصائص teacher.
FAQ
تلخص هذه الأسئلة الشائعة كيفية عمل تقطير النماذج، ومتى تستخدمه الفرق، والقواعد التي تنطبق على مخرجات النماذج المستضافة.
هل تقطير النماذج هو نفسه الضبط الدقيق؟
يخدم تقطير النماذج والضبط الدقيق هدفين مختلفين. يحدث الضبط الدقيق أوزان نموذج موجود، مع إبقاء عدد المعاملات كما هو عادة، ليتكيف النموذج مع مهمة أو أسلوب محدد. وينقل تقطير النماذج السلوك من نموذج teacher أكبر إلى نموذج student منفصل وأصغر عادة، لكي تتمكن الفرق من تنفيذ الاستدلال بسرعة أكبر وبتكلفة أقل.
هل يحتاج نموذجا teacher وstudent إلى البنية نفسها؟
لا يحتاج نموذجا teacher وstudent إلى البنية نفسها. ولأن التقطير يدرب student على مطابقة مخرجات teacher أو توزيعاته الاحتمالية أو إشاراته الوسيطة، يمكن لشبكة student أصغر أن تتعلم من teacher أكبر ذي بنية داخلية مختلفة. وتختار الفرق عادة بنية student مدمجة مصممة لتقديم الخدمة بسرعة على العتاد المستهدف.
هل يمكن تقطير نموذج لغوي باستخدام مخرجات واجهة OpenAI؟
حتى 16 نوفمبر 2026، تحظر Terms of Use الخاصة بـ OpenAI، السارية منذ 1 يناير 2026، بالفعل استخدام المخرجات لتطوير نماذج تنافس OpenAI. وبشكل منفصل، تضيف صفحة OpenAI Usage Policies قسمًا أكثر تفصيلًا عن تدريب النماذج وتطويرها، محددًا سريانه في 20 نوفمبر 2026 ولم يدخل حيز التنفيذ بعد في 16 نوفمبر 2026. وتعتمد الفرق التي تريد بناء نماذج مقطّرة بما يتوافق مع شروط مقدمي الخدمات على نماذج تملكها أو نماذج مرخصة للتدريب على المخرجات.
كيف يختلف تقطير النماذج عن التكميم وRAG؟
يعالج تقطير النماذج والتكميم والتوليد المعزز بالاسترجاع اختناقات مختلفة. يدرب تقطير النماذج نموذج student جديدًا وأصغر على محاكاة نموذج teacher. ويخفض التكميم الدقة العددية لأوزان نموذج موجود، مثل الانتقال من 16 بت إلى 8 بت أو 4 بت، لتقليل استخدام الذاكرة. أما التوليد المعزز بالاسترجاع فيجلب مستندات خارجية أثناء الاستدلال بدلًا من ضغط teacher في student.
ما مخاطر نموذج student المقطّر؟
قد يرث نموذج student المقطّر أي أخطاء واقعية أو تحيزات موجودة في مخرجات نموذج teacher. كما أن مطابقة إجابات teacher على أمثلة التدريب لا تضمن الموثوقية مع الموجّهات خارج التوزيع. وأخيرًا، قد تضعف المهارات أو سلوكيات السلامة المستبعدة من مجموعة بيانات التقطير بصورة ملحوظة في نموذج student الأصغر عند النشر الفعلي.
المصادر
تستند التعريفات التقنية وتفاصيل سياسات مقدمي الخدمات في هذا الدليل إلى البحث الأصلي ووثائق OpenAI الرسمية المدرجة أدناه.



