نموذج اللغة كحَكَم (LLM-as-a-judge): كيف يقيّم الذكاء الاصطناعي ومتى يخطئ؟

نموذج اللغة كحَكَم هو طريقة تقييم يُقيّم فيها نموذج لغوي مخرجات نموذج آخر أو تطبيق ذكاء اصطناعي وفق معايير محددة أو إجابة مرجعية أو إجابة منافسة. تستخدم الفرق LLM-as-a-judge لتقييم المهام المفتوحة مثل ردود روبوتات المحادثة وإجابات RAG والملخصات، حيث تفشل فحوص المطابقة التامة بالبرمجيات.

عند بناء تطبيق يعتمد على نماذج اللغة، سرعان ما تصبح الاختبارات أكبر عائق أمام العمل. تستطيع اختبارات الوحدات التحقق من إمكانية تحليل بيانات JSON، وتحسب مقاييس اللغة الطبيعية التقليدية مثل BLEU وROUGE الكلمات المشتركة، لكن أياً من النهجين لا يبيّن ما إذا كان الملخص منطقيًا بالفعل أو ما إذا كان روبوت خدمة العملاء قد أجاب بلباقة. وكما توضح ورقة G-Eval للباحثين Liu et al. المنشورة في مارس 2023، فإن المقاييس القائمة على المراجع مثل BLEU وROUGE ترتبط بدرجة منخفضة نسبيًا بالحكم البشري في المهام الإبداعية والمفتوحة.

المراجعة البشرية هي المعيار الذهبي، لكن مطالبة المهندسين أو خبراء المجال بقراءة 500 مخرج عند كل تعديل لتوجيه النظام تبطئ دورات التطوير بشدة. يسد LLM-as-a-judge الفجوة بين فحوص السلاسل النصية الجامدة والتقييم البشري البطيء. ومع ذلك، للمقيّمين الآليين مواطن إخفاق خاصة بهم، من تفضيل الإجابة المعروضة أولًا إلى مكافأة الحشو المطوّل. إن فهم آلية عمل ترتيبات التقييم ومواضع تعثرها هو ما يميز مسار تقييم يكشف تراجع الأداء عن مسار يمنح ثقة زائفة.

ما نموذج اللغة كحَكَم ولماذا تستخدمه الفرق؟

نموذج اللغة كحَكَم تقنية تقييم آلية تستخدم توجيهًا يطلب من نموذج لغوي منح درجات لمخرجات نموذج أو نظام آخر أو ترتيبها أو التحقق منها. وبدلًا من الاعتماد على المطابقة التامة للسلاسل، يقرأ النموذج الحَكَم توجيه الإدخال والمخرجات المُولّدة وتعليمات التقييم ليقدم تقييمًا منظّمًا.

تتبنى فرق البرمجيات تقييم LLM-as-a-judge لأن تطبيقات الذكاء الاصطناعي الحديثة تنتج إجابات صحيحة بآلاف الطرق المختلفة. إذا كنت تبني نظام توليد معززًا بالاسترجاع، فراجع دليلنا عن ماهية RAG وكيفية عمله. فقد يشترك ملخصان للوثيقة المصدر نفسها في عبارات متطابقة قليلة جدًا، مع أن كليهما دقيق تمامًا. وبالعكس، قد تشترك إجابة في 90% من كلمات نص مرجعي لكنها تعكس نفيًا واحدًا يجعل العبارة خاطئة.

تضع كل من وثائق Graders من OpenAI ودليل التقييم من Anthropic التقييم القائم على النماذج إلى جانب فحوص الشيفرة الحتمية والمراجعة البشرية بوصفها ركائز أساسية للاختبار. عمليًا، تعتمد الفرق على ثلاث طرق رئيسية لتقييم مخرجات الذكاء الاصطناعي.

طريقة التقييم	آلية العمل	أفضل الاستخدامات	أهم القيود
الفحوص القائمة على الشيفرة	تستخدم المطابقة التامة أو التعبيرات النمطية أو التحقق من مخطط JSON أو فحص السلاسل أو تنفيذ Python.	المخرجات المنظمة واستدعاءات الأدوات والتحقق من الصياغة والحقائق الحتمية.	لا تنجح مع الصياغات المفتوحة أو النبرة أو التكافؤ الدلالي الدقيق.
نموذج اللغة كحَكَم	يوجّه نموذجًا للتقييم باستخدام معايير أو نص مرجعي أو اختيار بين إجابتين لمنح الدرجات.	الملخصات ومدى إفادة روبوتات المحادثة والنبرة ومدى وفاء RAG للمصادر المقدمة.	يتطلب استدعاء API إضافيًا لكل عنصر ويتأثر بتحيزات الموضع والإسهاب وتفضيل الذات.
المراجعة البشرية	يمنح خبراء المجال أو العاملون عبر المنصات درجات للمخرجات يدويًا.	إنشاء مجموعات معايرة ذات إجابات مرجعية، وتدقيق الحالات الطرفية عالية المخاطر، والفروق الدقيقة في المجال.	بطيئة ومكلفة ويصعب إجراؤها باستمرار عند كل تغيير في التوجيه أو الشيفرة.

كيف يعمل تقييم LLM-as-a-judge؟

يعمل تقييم LLM-as-a-judge بتمرير سياق المهمة والمخرج المرشح وتوجيه تقييم منظّم إلى نموذج مقيّم، يُصدر بعد ذلك استدلالًا ودرجة نهائية أو تفضيلًا. بحسب ما تختبره، يتبع إعداد التقييم عادة أحد ثلاثة أنماط وردت في ورقة MT-Bench وChatbot Arena للباحثين Zheng et al. من يونيو 2023 وإطار G-Eval من مارس 2023.

1. تقييم إجابة واحدة بصورة مستقلة

في تقييم إجابة واحدة، ينظر الحَكَم إلى توجيه واحد وإجابة واحدة للنموذج بمعزل عن غيرهما، ويمنحها درجة وفق معايير محددة. قد تكون النتيجة قرارًا ثنائيًا بالنجاح أو الإخفاق، مثل إخراج correct أو incorrect فقط، أو مقياسًا من 1 إلى 5. وكما تشير وثائق التقييم من OpenAI، يمكن لنماذج منح الدرجات إعطاء نقاط جزئية بدلًا من الاقتصار على 0 أو 1.

في دراسة G-Eval، جمع Liu et al. بين الاستدلال بسلسلة الأفكار ومنهج ملء النماذج لتقييم المخرجات الفردية. وفي مهام تلخيص النصوص، حقق G-Eval المبني على GPT-4 ارتباط سبيرمان قدره 0.514 مع الدرجات البشرية، متفوقًا على طرق التقييم الآلي السابقة. يناسب التقييم المستقل مراقبة الإنتاج واختبارات تراجع الأداء لأن كل حالة اختبار تحصل على درجة مستقلة.

2. المقارنة الثنائية

تقدم المقارنة الثنائية للحَكَم توجيهًا واحدًا وإجابتين مرشحتين (Answer A وAnswer B)، وتطلب منه اختيار الإجابة الأفضل أو إعلان التعادل. تحاكي هذه الطريقة مقارنة البشر للنماذج على منصات مثل Chatbot Arena، التي قدمها Zheng et al. مع نشر 30,000 محادثة تتضمن تفضيلات بشرية و3,000 تصويت من الخبراء على أسئلة MT-bench.

غالبًا ما تكون المقارنة الثنائية أسهل على النموذج الحَكَم من إسناد رقم مجرد من 1 إلى 10، ما يجعلها مناسبة لاختبار A/B لنسختين من التوجيه أو لتحديد كيفية اختيار نموذج ذكاء اصطناعي يناسب عبء العمل. لكن المقارنات الثنائية لا تتوسع جيدًا مع عشرات المرشحين، كما أنها شديدة التأثر بترتيب عرض الإجابات.

3. التقييم الموجّه بالمرجع

يزوّد التقييم الموجّه بالمرجع الحَكَم بإجابة مرجعية معيارية أو قائمة بالحقائق المطلوبة أو الوثيقة المصدر، إلى جانب الإجابة المرشحة. لا يستطيع نموذج اللغة التحقق من حقائق لا يعرفها، وكما نوضح في تحليلنا لمعدلات هلوسة الذكاء الاصطناعي، تختلق النماذج باستمرار تفاصيل تبدو معقولة عندما تقيّم اعتمادًا على الذاكرة وحدها.

إن تزويد الحَكَم بالحل الصحيح أو مقاطع RAG المسترجعة يحوّل اختبار المعرفة المسموح فيه بالرجوع إلى المصادر إلى اختبار أبسط بكثير لفهم المقروء. وهذا النهج ضروري عند تقييم المسائل الرياضية أو ألغاز الاستدلال أو الوفاء للحقائق.

ما مدى دقة نماذج LLM الحَكَم مقارنة بالبشر؟

تتفق نماذج LLM الحَكَم القوية مع التفضيلات البشرية بنسبة تزيد على 80% في المهام المفتوحة، وهو مستوى الاتفاق نفسه الموجود بين شخصين مختلفين يضعان التصنيفات. يأتي هذا المعيار من Zheng et al. ‏(يونيو 2023، arXiv:2306.05685)، الذين اختبروا GPT-4 حَكَمًا على محادثات MT-bench وChatbot Arena بمقارنته بتصنيفات خبراء مضبوطة وأصوات بشرية جُمعت بالتعهيد الجماعي.

هذه النتيجة سبب رئيسي لجاذبية نماذج LLM الحَكَم: فالتصنيفات البشرية مكلفة وبطيئة، ويمكن لحَكَم يتفق مع الناس بمعدل يقارب اتفاقهم فيما بينهم أن يتولى جزءًا كبيرًا من التقييم الروتيني. لكن الاتفاق متوسط، والمتوسطات تخفي المواضع التي يفشل فيها الحَكَم.

قد يخفي الارتباط الإجمالي المرتفع نقاط ضعف واضحة. فالحَكَم الذي يتفق مع البشر في 80% من المحادثات العامة قد يفشل بصورة منهجية عندما تُنسّق إجابة بطريقة مقنعة أو توضع في موضع مفضل أو تتطلب تحققًا رياضيًا متعدد الخطوات.

أين يخطئ نموذج اللغة كحَكَم؟ شرح التحيزات الشائعة

يحدث تحيز الحَكَم القائم على LLM عندما يفضل نموذج التقييم المخرجات بصورة منهجية بناءً على سمات سطحية مثل ترتيب الإجابة أو طولها أو أسلوب كتابتها بدلًا من صحتها الفعلية. وتشير الأبحاث عبر عدة معايير تقييم، الملخصة في ورقة المسح A Survey on LLM-as-a-Judge الصادرة في نوفمبر 2024 والمفصلة في دراسات Zheng et al. وWang et al. وLiu et al.، إلى عدة صور للإخفاق تستحق الاحتياط منها.

تحيز الموضع والتلاعب بالترتيب

تحيز الموضع هو ميل حَكَم LLM في المقارنات الثنائية إلى تفضيل موضع معين، غالبًا الإجابة المعروضة أولًا، بصرف النظر عن جودة المحتوى. في ورقة Large Language Models are not Fair Evaluators من مايو 2023، أظهر Wang et al. مدى خطورة هذا الخلل: فمن خلال تغيير ترتيب الإجابات، تفوق النموذج الأصغر Vicuna-13B على ChatGPT في 66 من أصل 80 سؤالًا اختُبرت عندما كان ChatGPT نفسه هو المقيّم. إذا أجريت المقارنات الثنائية بترتيب واحد، A ثم B، فقد تنقلب نتائج المعيار بمجرد تغيير النموذج الذي يظهر أولًا.

تحيز الإسهاب

يحدث تحيز الإسهاب عندما يمنح حَكَم LLM درجات أعلى للإجابات الأطول والأكثر تفصيلًا في الظاهر، حتى لو كان النص الإضافي مكررًا أو حشوًا أو خارج الموضوع قليلًا. يدرج Zheng et al. تحيز الإسهاب ضمن القيود الرئيسية لنماذج LLM الحَكَم. ولأن نماذج اللغة تستطيع بسهولة إنتاج حشو مهذب وقوائم نقطية، فكثيرًا ما يكافئ الحَكَم غير المعاير إجابة مسترسلة من 400 كلمة على حساب شرح موجز ودقيق من 80 كلمة.

تحيز تفضيل الذات

يصف تحيز تفضيل الذات ميل نماذج اللغة إلى تفضيل المخرجات التي تولدها بنفسها أو تولدها نماذج من العائلة نفسها. حدد Zheng et al. هذا التحيز ضمن قيود نماذج LLM الحَكَم، ونبّه Liu et al. إلى احتمال تحيز المقيّمين القائمين على LLM نحو النص المُولّد بواسطة LLM. إذا استخدمت نموذجًا لتقييم مقارنة مباشرة بينه وبين منافس، فقد يرى الحَكَم أن صياغته أكثر طبيعية وفائدة.

محدودية القدرة على تقييم الاستدلال والرياضيات

لا يستطيع النموذج الحَكَم تقييم مسألة استدلال أو رياضيات بموثوقية إذا عجز عن حلها بنفسه. يذكر Zheng et al. محدودية الاستدلال ضمن نقاط ضعف نماذج LLM الحَكَم، ويقترحون إجراءات تخفيف لبعض المشكلات، مثل تزويد الحَكَم بإجابة مرجعية. وإذا احتوت الإجابة المرشحة على خطأ حسابي يبدو واثقًا، فقد يُخدع الحَكَم ويصنف الإجابة الخاطئة على أنها صحيحة.

حقن التوجيهات في المخرجات غير الموثوقة

عندما يقيّم الحَكَم نصًا يتأثر بالمستخدمين النهائيين أو بصفحات ويب جُمعت آليًا، قد يحتوي المخرج المرشح نفسه على تعليمات عدائية مصممة للسيطرة على المقيّم، مثل نص يأمره بتجاهل القواعد السابقة وإعطاء درجة كاملة. إذا كان مسار العمل يقيّم مدخلات غير موثوقة، فراجع وسائل الدفاع في دليلنا عن حقن التوجيهات حتى لا تتلاعب سلسلة خبيثة بمجموعة التقييم.

التحيز أو نوع الإخفاق	السبب	طريقة التخفيف
تحيز الموضع	يفضل مقيّمو المقارنة الثنائية موضعًا معينًا، مثل الإجابة الأولى، بصرف النظر عن الجودة.	تقييم كل زوج بالترتيبين (A/B وB/A) باستخدام Balanced Position Calibration، واحتساب الانتصارات التي تصمد في الاتجاهين فقط.
تحيز الإسهاب	يساوي المقيّمون بين النص الأطول والتنسيق المتقن وبين زيادة الفائدة.	النص صراحة في معايير التقييم على أن الطول لا يعني الجودة، ومقارنة مخرجات متقاربة الطول.
تحيز تفضيل الذات	تفضل النماذج النص الموافق لتوزيع تدريبها وعاداتها الأسلوبية.	استخدام حَكَم من عائلة مختلفة عن نموذج التوليد، أو لجنة متنوعة من الحكام.
أخطاء الرياضيات والاستدلال	يفتقر الحَكَم إلى القدرة على التحقق الفوري من المنطق متعدد الخطوات وينخدع بالأخطاء الواثقة.	تقديم إجابة مرجعية متحقق منها، أو اشتراط الاستدلال قبل منح الدرجة، أو استخدام مقيّمين حتميين ينفذون Python.
تحيز المقيّم لأسلوب LLM	يبالغ المقيّمون في مكافأة صياغة LLM المصقولة على حساب الدقة الواقعية الموجزة.	ربط المعايير بشروط نجاح وإخفاق ملموسة وتجريبية، ومعايرة الدرجات بعينات صنفها البشر.

كيف تُعد حَكَم LLM موثوقًا؟

يتطلب إعداد حَكَم LLM موثوق إجراء الفحوص الحتمية أولًا، وكتابة معايير ملموسة تشترط الاستدلال قبل منح الدرجة، وضبط تحيزات الموضع والعائلة، والمعايرة مقابل تصنيفات بشرية. اتبع قائمة الخطوات هذه عند بناء مجموعة التقييم.

1. أجرِ الفحوص الحتمية قبل استدعاء حَكَم LLM. لا تدفع مقابل استخدام LLM للتحقق من أن المخرج JSON صالح، أو يحتوي على كلمة مفتاحية مطلوبة، أو يقل عن 280 حرفًا. استخدم أولًا مقيّمين قائمين على الشيفرة، مثل المطابقة التامة والتعبيرات النمطية والتحقق من مخطط JSON واختبارات الوحدات، وخصص حَكَم LLM للصفات التي لا تقيسها الشيفرة، مثل النبرة والفائدة والوفاء للمصادر.
2. قدم إجابات مرجعية أو وثائق مصدر للتحقق من الحقائق. كلما اعتمدت الصحة على حقائق محددة أو رياضيات أو معرفة داخلية، مرّر المرجع الصحيح أو سياق RAG المسترجع مباشرة إلى توجيه الحَكَم. إذا كان سير العمل يتطلب التحقق من الادعاءات، فاجمع معايير التقييم مع تقنيات دليلنا عن التحقق من إجابات الذكاء الاصطناعي.
3. اكتب معايير ملموسة بمقاييس صغيرة أو ثنائية. تؤدي التعليمات الغامضة مثل «قيّم الجودة من 1 إلى 100» إلى أرقام مشوشة وغير متسقة. كما توصي وثائق التقييم من Anthropic، اجعل المعايير محددة وتجريبية، مثل إخراج correct أو incorrect فقط، أو استخدام مقياس مضبوط من 1 إلى 5 له قواعد نجاح وإخفاق صريحة لكل مستوى. أخبر الحَكَم صراحة أن الإجابات الأطول ليست أفضل بالضرورة.
4. اشترط الاستدلال أو الأدلة قبل الدرجة النهائية. يؤكد كل من Wang et al. عبر Multiple Evidence Calibration وإرشادات Anthropic على جعل النموذج يكتب مبرراته أو يفعّل التفكير قبل إصدار الحكم النهائي. ولأن النماذج ذاتية الانحدار تولد الرموز بالتتابع، فإن إخراج التحليل أولًا يستند بالدرجة اللاحقة إلى أدلة محددة من النص.
5. بدّل ترتيب الإجابات في كل تقييم ثنائي. لتحييد تحيز الموضع، طبّق Balanced Position Calibration: قيّم (Answer A, Answer B) في استدعاء و(Answer B, Answer A) في استدعاء ثانٍ. لا تمنح الفوز إلا إذا اختار الحَكَم الإجابة نفسها في الموضعين؛ وإلا فسجّل تعادلًا.
6. افصل عائلة الحَكَم عن عائلة نموذج التوليد أو استخدم لجنة من حكام LLM. لا تدع نموذجًا يقيّم مخرجاته عند المقارنة بين مزودي النماذج. والأفضل أن تفكر في استبدال حَكَم متقدم واحد ومكلف بلجنة. في ورقة Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models من أبريل 2024، بيّن Verga et al. أن Panel of LLM evaluators (PoLL) المؤلف من نماذج أصغر متعددة من عائلات مختلفة تفوق على حَكَم كبير واحد عبر ثلاثة إعدادات للحَكَم وست مجموعات بيانات، وأظهر تحيزًا أقل داخل النموذج وكانت تكلفته أقل بأكثر من سبعة أضعاف. ولأن كل تقييم يضيف استدعاء API لكل عنصر اختبار، فإن استخدام نماذج أصغر أو إعداد PoLL من الطرق المباشرة أيضًا لخفض تكاليف واجهات الذكاء الاصطناعي.
7. عاير باستخدام أمثلة صنفها البشر وأعد التحقق دوريًا. قبل الوثوق بحَكَم آلي في الإنتاج، أنشئ مجموعة معايرة صغيرة صنفها البشر. اطلب من فريقك تقييم عينة من المدخلات الحقيقية يدويًا، مثل 50 إلى 100 عنصر، وقِس مدى اتفاق حَكَم LLM مع التصنيفات البشرية. حسّن المعايير حيث يختلف الحَكَم مع خبراء المجال، وأعد فحص المعايرة البشرية دوريًا مع تطور استفسارات المستخدمين.

الأسئلة الشائعة

ما الفرق بين تقييم LLM المستقل والمقارنة الثنائية؟

يقيّم التقييم المستقل مخرجًا واحدًا للنموذج بمعزل عن غيره وفق معايير، ويعيد نتيجة نجاح أو إخفاق أو درجة رقمية مثل 1 إلى 5. أما التقييم الثنائي فيعرض للحَكَم مخرجين مرشحين جنبًا إلى جنب للتوجيه نفسه ويسأل أيهما أفضل. يناسب التقييم المستقل مراقبة الإنتاج المستمرة وضوابط تراجع الأداء، بينما تناسب المقارنة الثنائية اختبارات A/B المباشرة بين توجيهين أو نموذجين.

كيف تعالج تحيز الموضع في LLM-as-a-judge؟

أجرِ كل مقارنة ثنائية مرتين مع عكس ترتيب المرشحين: اعرض Model A ثم Model B أولًا، ثم Model B ثم Model A. يسمي Wang et al. ‏(مايو 2023) ذلك Balanced Position Calibration. لا تحتسب الفوز إلا إذا اختار الحَكَم الإجابة نفسها في المرتين، وتعامل مع اختلاف القرارين بوصفه تعادلًا.

هل ينبغي استخدام LLM نفسه لتوليد الإجابات والحكم عليها؟

لا، فاستخدام النموذج أو عائلة النماذج نفسها للتوليد والتقييم يسبب تحيز تفضيل الذات، حيث يفضل الحَكَم المخرجات الموافقة لصياغته وتوزيع تدريبه. للحفاظ على عدالة التقييم، اختر حَكَمًا من عائلة مختلفة عن النماذج المرشحة المختبرة، أو اجمع أصوات لجنة متنوعة من حكام LLM من عائلات مختلفة.

هل يمكن لحَكَم LLM أن يحل محل التقييم البشري تمامًا؟

لا يمكن لحَكَم LLM أن يحل محل التقييم البشري تمامًا، لأن الحكام الآليين يحتاجون إلى تصنيفات بشرية مرجعية لمعايرة معاييرهم واكتشاف أخطاء المجال الدقيقة. ورغم أن Zheng et al. ‏(يونيو 2023) وجدوا أن الحكام الأقوياء مثل GPT-4 يحققون اتفاقًا يزيد على 80% مع التفضيلات البشرية، يظل البشر ضروريين لتصنيف مجموعات المعايرة الأولية، وتدقيق الحالات الطرفية، والتحقق من استدلال المجال في الحالات عالية المخاطر.

كيف يمكن خفض تكلفة تشغيل LLM-as-a-judge على نطاق واسع؟

يمكن خفض تكاليف التقييم بإجراء فحوص شيفرة حتمية مجانية أولًا، بحيث لا يعالج حَكَم LLM إلا المخرجات التي تجتاز قواعد الصياغة والطول الأساسية. كما وجدت دراسة PoLL التي أجراها Verga et al. في أبريل 2024 أن استخدام لجنة من نماذج أصغر من عائلات مختلفة كان أقل تكلفة بأكثر من سبعة أضعاف من استدعاء حَكَم كبير واحد، مع تحقيق دقة أفضل.

المصادر

• Zheng et al., “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena” (arXiv:2306.05685، يونيو 2023)
• Liu et al., “G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment” (arXiv:2303.16634، مارس 2023)
• Wang et al., “Large Language Models are not Fair Evaluators” (arXiv:2305.17926، مايو 2023)
• Verga et al., “Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models” (arXiv:2404.18796، أبريل 2024)
• Gu et al., “A Survey on LLM-as-a-Judge” (arXiv:2411.15594، نوفمبر 2024)
• وثائق Anthropic: تحديد معايير النجاح وبناء التقييمات
• وثائق OpenAI API: دليل أدوات التقييم