أدلة الذكاء الاصطناعي · 9 دقيقة للقراءة

ما هو التكميم في الذكاء الاصطناعي؟ كيف تقلل نماذج 4 بت و8 بت استهلاك الذاكرة

يخزن تكميم نماذج الذكاء الاصطناعي الأوزان باستخدام 4 أو 8 بت لتقليل الذاكرة. تعرف على أثر ذلك في الدقة ودور GGUF وكيفية اختيار الطريقة المناسبة.

شبكة بلورية متوهجة ومتباعدة على اليسار تتجمع في كتلة أكثر تراصًا من المكعبات الكثيفة على اليمين، على خلفية داكنة دون نص أو شعارات

التكميم في الذكاء الاصطناعي تقنية ضغط تخزن أوزان النموذج، وأحيانًا قيم التنشيط فيه، بعدد أقل من البتات حتى يحتاج إلى ذاكرة أقل. عند الانتقال من أوزان بدقة 16 بت إلى تكميم بدقة 8 بت أو 4 بت، تنخفض الذاكرة اللازمة لأوزان نموذج 8B وحدها من نحو 16GB إلى نحو 8GB أو 4–5GB، مقابل التضحية ببعض الدقة للحصول على حجم أصغر.

عندما أراجع بطاقات النماذج للنشر المحلي، تظهر التسميات نفسها مرارًا: 8 بت و4 بت وGPTQ وAWQ وGGUF. تشير كل تسمية إلى طريقة مختلفة لتمثيل الأرقام داخل شبكة عصبية، بحيث يتسع النموذج على وحدة GPU واحدة أو حاسوب محمول أو مثيل خادم أصغر.

كيف يقلل تكميم النموذج استهلاك الذاكرة؟

يقلل تكميم النموذج الذاكرة اللازمة عن طريق خفض عدد البتات المخصصة لكل معامل في مصفوفات أوزانه. في نوفمبر 2026، تشير نظرة Hugging Face العامة على التكميم إلى أن النماذج تُحمّل عادةً بصيغة bf16، التي تستهلك 2 بايت لكل معامل. وفقًا لقاعدة Hugging Face التقريبية للأوزان وحدها، يحتاج نموذج يضم 8B من المعاملات إلى نحو 16GB لأوزانه بصيغة bf16، ونحو 8GB عند 8 بت، ونحو 4–5GB عند 4 بت.

مثال 8B هذا قاعدة تقريبية للأوزان وحدها، وليس تقديرًا كاملًا لذاكرة VRAM اللازمة لتشغيل الاستدلال. تشمل ذاكرة تقديم النموذج الفعلية أيضًا قيم التنشيط والأعباء الإضافية لبيئة التشغيل وذاكرة التخزين المؤقت للمفتاح والقيمة التي تحفظ سجل الانتباه عبر المطالبة والمخرجات. إذا كنت تخطط لخدمة سياقات طويلة، يشرح دليلنا عن ذاكرة KV المؤقتة سبب نمو الذاكرة مع طول التسلسل.

وفق الحساب الأساسي للتخزين، تخفض كل خطوة لتقليل عرض البت عدد البايتات الخام اللازمة لكل معامل:

صيغة الدقة التخزين لكل معامل (حسابيًا) حجم الأوزان النسبي مقارنةً بـ BF16
FP32 4 بايت 2x
FP16 / BF16 2 بايت 1x
FP8 / INT8 1 بايت 0.5x
FP4 / INT4 / 4 بت بأسلوب NVFP4 0.5 بايت 0.25x (إضافةً إلى أعباء الصيغة)

تصف أعداد البايتات هذه حساب التخزين الخام، وليست اختبارًا معياريًا للوقت الفعلي أو جودة المخرجات. مع تساوي بقية الظروف، يخفض الانتقال من BF16 إلى 8 بت ذاكرة الأوزان إلى النصف، بينما يخفضها الانتقال من BF16 إلى 4 بت إلى الربع تقريبًا. ويأخذ نطاق 4–5GB لنموذج 8B في الحسبان بيانات التكميم الوصفية وأعباء الصيغة. وكما توضح Hugging Face، فإن تقليل البتات يكلف بعض الدقة، وتقدم كل طريقة تكميم مفاضلة مختلفة بين الذاكرة والسرعة والدقة.

طريقتان لتحميل النماذج المكمّمة عمليًا

تدخل نقاط التحقق المكمّمة إلى مسار الاستدلال أو الضبط الدقيق عبر آليتي تحميل مختلفتين، بحسب ما إذا كان الضغط يحدث أثناء التحميل أم مسبقًا.

  1. تكميم نقطة تحقق كاملة الدقة أثناء تحميلها. في Hugging Face Transformers، تمرر كائن إعدادات التكميم إلى from_pretrained إلى جانب نقطة تحقق قياسية. تعرض الوثائق الرسمية مثلًا تحميل meta-llama/Llama-3.1-8B-Instruct بدقة 4 بت عن طريق تمرير BitsAndBytesConfig(load_in_4bit=True, ...). تستغني معظم طرق التكميم عند التحميل عن بيانات المعايرة، لكن GPTQ استثناء لأنه يعاير باستخدام مجموعة بيانات أثناء تحميل النموذج.
  2. تحميل نقطة تحقق مكمّمة مسبقًا. عندما تكون نقطة التحقق قد ضُغطت وحُفظت بالفعل، يمكنك تحميلها دون تمرير إعدادات تكميم جديدة. يقرأ Transformers تفاصيل التكميم من ملف config.json في المستودع أو من ملف GGUF محدد بالاسم. لا تدعم طرق مثل AWQ وAutoRound وAQLM وcompressed-tensors وGGUF في Transformers سوى هذه الآلية: تبدأ بنقطة تحقق كُمّمت مسبقًا باستخدام مكتبة الطريقة نفسها. وهكذا تُوزع إصدارات كثيرة من النماذج مفتوحة الأوزان في 2026.

طرق التكميم الشائعة: bitsandbytes وGPTQ وAWQ وGGUF

تختلف طرق تكميم النماذج الشائعة في توقيت تنفيذ الضغط، وعروض البت والأجهزة المستهدفة التي تدعمها، وما إذا كانت تستهدف مسارات Transformers أو بيئات تشغيل محلية مستقلة.

الطريقة / الصيغة آلية العمل في Transformers عروض البت / النوع الرقمي الأجهزة في وثائق HF ملاحظة تشغيلية أساسية
bitsandbytes التكميم عند التحميل أو تحميل نموذج محفوظ 4 بت و8 بت CUDA, XPU, HPU, CPU لا تحتاج إلى معايرة؛ تدعم الضبط الدقيق
GPTQ مكمّم مسبقًا أو معايرة عند التحميل 4 بت (من int4 إلى fp16 أثناء التنفيذ) CUDA, XPU, CPU تحتاج إلى مجموعة بيانات للمعايرة؛ استخدم GPT-QModel
AWQ مكمّم مسبقًا فقط 4 بت CUDA, XPU, CPU تحافظ على الأوزان المهمة باستخدام التنشيطات
GGUF مكمّم مسبقًا فقط (gguf_file) من 1 بت إلى 8 بت CUDA, MPS, XPU, CPU ملف واحد؛ معيار في llama.cpp وOllama
NVFP4 / FP8 دقيق الحبيبات التكميم عند التحميل (بحسب الأجهزة) فاصلة عائمة 4 بت / 8 بت وحدات NVIDIA GPU ‏(NVFP4 على Blackwell) تمثيل بالفاصلة العائمة

bitsandbytes

يوصي دليل اختيار الطريقة من Hugging Face باستخدام bitsandbytes عندما تريد استيعاب نموذج في ذاكرة أقل بأقل قدر من الإعداد. تكمّم هذه الطريقة إلى 4 أو 8 بت أثناء التحميل دون مجموعة بيانات للمعايرة، وتعمل على CUDA وXPU وHPU وCPU، وتدعم الحفظ والضبط الدقيق معًا. وفقًا لـوثائق bitsandbytes، يستخدم وضع 8 بت الدالة LLM.int8() ويخفض استهلاك ذاكرة الأوزان إلى النصف. أما وضع 4 بت فيتيح QLoRA، الذي يضغط الأوزان إلى 4 بت مع إبقاء النموذج قابلًا للتدريب بإضافة مجموعة صغيرة من أوزان التكييف منخفض الرتبة القابلة للتدريب (LoRA).

GPTQ

GPTQ طريقة تكميم بعد التدريب تضغط كل صف من مصفوفة الأوزان بصورة مستقلة لتقليل خطأ إعادة البناء. وفقًا لـوثائق GPTQ من Hugging Face، تُكمّم الأوزان إلى int4 وتُستعاد إلى fp16 أثناء الاستدلال. ويمكن أن يخفض ذلك استهلاك الذاكرة بمقدار 4 مرات لأن أوزان int4 تُفكّ كمّيتها في نواة مدمجة بدلًا من ذاكرة GPU العامة، كما تستغرق عروض البت الأقل وقتًا أقل للنقل. يتطلب تنفيذ تكميم GPTQ مجموعة بيانات للمعايرة ومجزئًا للنص، كما في GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer) في الوثائق. لم يعد Transformers يدعم AutoGPTQ، ويوجه المستخدمين بدلًا منه إلى GPT-QModel.

AWQ

تركز AWQ، وهي اختصار لـ Activation-aware Weight Quantization، على حماية المجموعة الصغيرة من الأوزان الأكثر أهمية لجودة المخرجات. كما تشرح وثائق AWQ من Hugging Face، تحافظ AWQ على جزء صغير من الأوزان المهمة لأداء النموذج اللغوي الكبير لضغط النموذج إلى 4 بت مع تدهور ضئيل في الأداء. في Transformers، تتوفر AWQ مكمّمة مسبقًا فقط، وتحمل نقاط تحقق أُنشئت باستخدام llm-awq أو autoawq.

GGUF

GGUF صيغة ملف واحد تجمع أوزان النموذج وإعداداته ومجزئ النص في ملف واحد بدلًا من استخدام config.json منفصل، ولهذا يطلب Transformers وسيط gguf_file صريحًا. في الأدوات المحلية مثل llama.cpp وOllama، تُستخدم صيغة GGUF في أسماء الملفات التي تحمل تسميات مثل Q4_K_M، وهي تدعم أوزانًا مكمّمة مسبقًا من 1 بت إلى 8 بت على CUDA وMPS وXPU وCPU.

هناك تحفظ مهم يخص Transformers تحديدًا: تشير Hugging Face إلى أن معظم نماذج GGUF تُفكّ كمّيتها إلى الدقة الكاملة عند تحميلها في Transformers، فتستخدم ذاكرة تعادل ما يستخدمه نموذج غير مكمّم، باستثناء محدود يستخدم MPS والنوى على بعض نماذج Qwen3.5. يخص هذا السلوك محمّل GGUF في Transformers؛ أما بيئات التشغيل المحلية مثل llama.cpp وOllama فهي مصممة لتنفيذ أوزان GGUF المكمّمة مباشرةً.

صيغ الفاصلة العائمة منخفضة البت: FP8 وNVFP4 وMXFP8

يشمل التكميم منخفض البت أيضًا صيغ الفاصلة العائمة، التي تختلف عن صيغ الأعداد الصحيحة مثل INT8 وINT4. يسرد دليل الاختيار من Hugging Face صيغ FP8 دقيقة الحبيبات وMXFP4 وNVFP4، التي تكمّم إلى صيغة الفاصلة العائمة ذات 4 بت من NVIDIA على وحدات GPU من Blackwell أثناء التحميل. توجد عشرات المخططات الأخرى أيضًا، منها torchao وHQQ وcompressed-tensors، وجميعها مدرجة في دليل اختيار Transformers.

ما الفرق بين تكميم الأوزان فقط والتكميم الكامل؟

يضغط تكميم الأوزان فقط مصفوفات المعاملات المخزنة، مع إبقاء التنشيطات وذاكرة KV المؤقتة بدقة أعلى ما لم تُكمّم هذه المكونات كل منها على حدة. تخزن كثير من مسارات الاستدلال الشائعة باستخدام GGUF بدقة 4 بت أو تكميم الأوزان فقط الأوزان منخفضة البت في الذاكرة، وتفكّ تكميمها أو تحسب عمليات ضرب المصفوفات بصيغة أوسع.

أثناء توليد نص طويل، تواصل التنشيطات وذاكرة KV المؤقتة استهلاك ذاكرة RAM في وحدة GPU أو النظام إلى جانب الأوزان. توثق Hugging Face تكميم ذاكرة KV المؤقتة بوصفه خطوة تحسين منفصلة للتسلسلات الطويلة. تؤثر البنية أيضًا في إجمالي الذاكرة: حتى في التصاميم المتناثرة التي يغطيها شرح مزيج الخبراء، يجب أن يقيم جميع الخبراء الموجّهين والمشتركين في الذاكرة، رغم تنفيذ جزء منهم فقط لكل رمز.

كيف يختلف التكميم بعد التدريب عن التدريب الأصلي منخفض البت؟

يبدأ التكميم بعد التدريب بنقطة تحقق مكتملة وعالية الدقة ثم يضغطها لاحقًا، بينما يدرب التدريب الأصلي منخفض البت النموذج وينشره مباشرةً بصيغ رقمية منخفضة البت. تنتمي GPTQ وAWQ ومعظم تحويلات GGUF وbitsandbytes عند التحميل إلى فئة ما بعد التدريب، وتقبل بعض خطأ التحويل بعد انتهاء التدريب المسبق والمواءمة.

يلغي التدريب الأصلي منخفض البت خطوة التحويل هذه بعد التدريب. ومن الأمثلة الحالية Inkling 2 Mini، الذي أصدرته Thinking Machines Lab في 20 نوفمبر 2026. وفقًا لـالإعلان الرسمي عن Inkling 2 Mini وبطاقة النموذج، يستهلك النموذج ذو 26.4B من المعاملات نحو 20GB من الذاكرة، وقد دُرب باستخدام NVFP4 بدقة 4 بت في طبقات الخبراء في جميع التمريرات الأمامية من التدريب المسبق حتى التعلم المعزز، وباستخدام MXFP8 بدقة 8 بت في التمريرات الأمامية للطبقات الأربع الأخيرة أيضًا.

تقول Thinking Machines Lab إن أوزان Inkling 2 Mini تُنشر بالدقة الرقمية نفسها التي دُربت بها، أي 20 طبقة بصيغة NVFP4 و4 بصيغة MXFP8، ولذلك لا توجد خسارة تحويل ناتجة عن التكميم. ويعني ذلك عدم وجود فقدان للدقة نتيجة تحويل نقطة تحقق BF16 مكتملة إلى 4 بت بعد التدريب، وليس مقارنةً بنموذج BF16 توأم منفصل. توصي إرشادات الفريق للأجهزة باستخدام Apple silicon بذاكرة 32GB أو أكثر، أو وحدات GPU بذاكرة VRAM تبلغ 32GB أو أكثر، أو جهاز NVIDIA DGX Spark واحد.

أي نهج للتكميم يناسب سير عملك؟

يعتمد اختيار طريقة التكميم على بيئة التشغيل والأجهزة وما إذا كنت تحتاج إلى الضبط الدقيق أو تشغيل الاستدلال فقط. ولأن كل طريقة توازن بين الذاكرة والسرعة والدقة بصورة مختلفة بحسب المهمة، فلا يوجد عرض بت واحد يناسب كل أحمال العمل.

  • اختر bitsandbytes عندما تريد تحميل نقطة تحقق موجودة كاملة الدقة بصيغة 4 بت أو 8 بت بأقل إعداد، أو عندما تخطط للضبط الدقيق باستخدام QLoRA.
  • اختر GPTQ أو AWQ عندما تريد نقطة تحقق بدقة 4 بت مُعايرة مسبقًا أو تراعي التنشيطات ومصممة للاستدلال.
  • اختر GGUF عندما تريد نقطة تحقق محمولة في ملف واحد لبيئات التشغيل المحلية مثل llama.cpp أو Ollama.
  • اختر نقاط التحقق الأصلية منخفضة البت عندما يقدم مطور النموذج أوزانًا دُربت مباشرةً بصيغة NVFP4 أو FP8 أو MXFP8.

تحقق دائمًا من ترخيص النموذج قبل تحويل الأوزان المكمّمة أو إعادة توزيعها، واترك مساحة إضافية في الذاكرة لذاكرة KV المؤقتة وأعباء بيئة التشغيل. إذا كان هدفك خفض فواتير الاستدلال السحابي بدلًا من استيعاب الأوزان على أجهزة محلية، فاطلع على استراتيجيات المطالبات والتوجيه في دليلنا عن كيفية خفض تكاليف واجهات برمجة تطبيقات الذكاء الاصطناعي.

الأسئلة الشائعة

هل يقلل التكميم بدقة 4 بت الجودة دائمًا بصورة ملحوظة؟

لا توجد قاعدة واحدة تتنبأ بالأثر الدقيق للتكميم بدقة 4 بت في الجودة عبر كل نموذج ومهمة. وفقًا لوثائق التكميم من Hugging Face، يكلف تقليل البتات بعض الدقة وتقدم كل طريقة مفاضلة مختلفة بين الذاكرة والسرعة والدقة. تهدف طرق مثل AWQ وGPTQ إلى الحد من الخطأ بمراعاة التنشيطات أو بالمعايرة، بينما يؤثر عرض البت وبنية النموذج وحمل العمل جميعها في النتيجة.

لماذا يحتاج نموذج 8B بدقة 4 بت إلى أكثر من 4–5GB من VRAM إجمالًا؟

يمثل رقم 4–5GB لنموذج 8B بدقة 4 بت قاعدة تقريبية من Hugging Face للأوزان وحدها، وليس تقديرًا كاملًا لذاكرة الخدمة. يتطلب تشغيل النموذج أيضًا ذاكرة للتنشيطات وأعباء بيئة التشغيل وذاكرة KV المؤقتة التي تنمو مع طول المطالبة والتوليد. يقلل تكميم الأوزان الحجم الثابت للنموذج، لكن السياقات الطويلة تظل بحاجة إلى تخطيط منفصل للذاكرة.

ما الفرق بين GGUF وGPTQ أو AWQ؟

GGUF صيغة ملف واحد تجمع الأوزان والإعدادات ومجزئ النص لبيئات التشغيل المحلية مثل llama.cpp وOllama، وتدعم نقاط التحقق المكمّمة مسبقًا من 1 بت إلى 8 بت. أما GPTQ وAWQ فهما طريقتا تكميم بدقة 4 بت تُخزّنان عادةً في نقاط تحقق على هيئة مجلدات تضم ملف config.json؛ تعاير GPTQ كل صف من مصفوفة الأوزان، وتحافظ AWQ على الأوزان المهمة بناءً على التنشيطات.

هل يوفر تحميل ملف GGUF في Transformers الذاكرة؟

لا توفر معظم ملفات GGUF الذاكرة عند تحميلها عبر Hugging Face Transformers. وفقًا لنظرة Hugging Face العامة على التكميم، تُفكّ كمّية معظم نماذج GGUF إلى الدقة الكاملة أثناء تحميلها في Transformers، فتستهلك قدر الذاكرة نفسه الذي يستهلكه نموذج غير مكمّم، باستثناء محدود لنواة MPS على بعض نماذج Qwen3.5. تتجنب التطبيقات المحلية مثل llama.cpp وOllama سلوك Transformers هذا.

ما NVFP4 مقارنةً بتكميم INT4؟

NVFP4 صيغة الفاصلة العائمة ذات 4 بت من NVIDIA والمدعومة على أجهزة Blackwell، بينما تمثل INT4 الأوزان كأعداد صحيحة من 4 بت. تخزن كلتا الصيغتين كل معامل في 0.5 بايت، مما يقلل التخزين الخام للأوزان بطريقة مماثلة لتكميم الأعداد الصحيحة بدقة 4 بت. ويمكن أيضًا استخدام صيغ الفاصلة العائمة مثل NVFP4 وMXFP8 بدقة 8 بت مباشرةً أثناء التدريب والنشر، كما في Inkling 2 Mini من Thinking Machines Lab.

المصادر

بقلم

Chunyu Cai

Chunyu Cai هو الرئيس التنفيذي لشركة Lotook, LLC ورائد أعمال يكتب عن نماذج الذكاء الاصطناعي ووكلائه وكيف تغير العمل اليومي. يحمل Chunyu Cai درجة الماجستير من Imperial College London.