الـ reranker هو نموذج يعمل في المرحلة الثانية، يأخذ استعلامًا وقائمة قصيرة من المرشحين الناتجين عن البحث الأولي، ثم يعيد تقييم العناصر ليضع المقاطع الأكثر صلة في المقدمة. في التوليد المعزز بالاسترجاع (RAG)، تحصر إعادة الترتيب نتائج البحث الواسعة في أفضل المقاطع التي تُرسل إلى النموذج اللغوي.
تواجه محركات البحث ومسارات التوليد المعزز بالاسترجاع (RAG) تعارضًا أساسيًا بين السرعة ودقة الترتيب. يتطلب فحص ملايين المقاطع طريقة بحث منخفضة التكلفة، لكن درجات التشابه الرخيصة تضع غالبًا مقاطع ذات صلة هامشية قبل الإجابة الدقيقة. تعالج إعادة ترتيب المقاطع هذا التعارض بتقسيم الاسترجاع إلى بحث واسع وسريع عن المرشحين، تتبعه عملية تقييم أبطأ وأكثر تدقيقًا لقائمة قصيرة.
كيف يعمل الاسترجاع على مرحلتين في البحث وRAG؟
يفصل الاسترجاع على مرحلتين بين توليد المرشحين بسرعة عبر مجموعة المستندات بأكملها وتقييم مجموعة فرعية صغيرة من النتائج بدقة عالية. استخدمت أنظمة استرجاع المعلومات هذا النمط قبل ظهور النماذج اللغوية الحديثة بوقت طويل، وتعتمد أنظمة RAG تقسيم العمل نفسه لحماية نافذة سياق الموجّه من النتائج المشوشة.
يمر مسار RAG القياسي ذو المرحلتين بثلاث خطوات متتالية:
- الاسترجاع الأولي (توليد المرشحين): يبحث نظام استرجاع سريع في المجموعة كاملة ويعيد عشرات إلى بضع مئات من المقاطع المرشحة. تشمل الطرق الشائعة البحث المعجمي في فهارس مقلوبة على نمط BM25، والاسترجاع الكثيف باستخدام تضمينات النصوص والبحث التقريبي عن أقرب الجيران (ANN) في قاعدة بيانات متجهية، أو مزيجًا هجينًا من الطريقتين.
- إعادة ترتيب المقاطع: يقيّم reranker مخصص استعلام المستخدم مع كل مقطع مرشح من المرحلة الأولى ويمنحه درجة صلة جديدة، فيعيد ترتيب القائمة القصيرة.
- التوليد: يحتفظ التطبيق بعد إعادة الترتيب بأعلى n من المقاطع من حيث الدرجة فقط، ويضعها في موجّه النموذج اللغوي إلى جانب سؤال المستخدم.
يركز الاسترجاع الأولي على تحسين الاستدعاء وخفض زمن الاستجابة عبر فهرس كبير. أما إعادة ترتيب المقاطع فتركز على دقة النتائج في مقدمة قائمة قصيرة. لا تؤدي إضافة reranker إلى تغيير النموذج اللغوي اللاحق أو نظام السجلات الأساسي؛ فهي تحدد ببساطة المقاطع المسترجعة التي تستحق مكانًا في الموجّه.
Bi-encoder مقابل cross-encoder: لماذا لا يؤدي نموذج واحد المهمتين؟
تعالج نماذج bi-encoder وcross-encoder الاستعلامات والمستندات عبر مسارات حسابية مختلفة، مما يخلق مفاضلة مباشرة بين الفهرسة المسبقة والمقارنة المشتركة على مستوى الرموز. يوضح فهم بنية bi-encoder vs cross-encoder سبب ندرة تشغيل cross-encoder على قاعدة بيانات كاملة في أنظمة الإنتاج، وسبب إخفاق تشابه المتجهات وحده أحيانًا في ترتيب المرشحين المتقاربين ترتيبًا صحيحًا.
كيف تتيح نماذج bi-encoder استرجاعًا أوليًا سريعًا
يمرر bi-encoder، ويسمى أيضًا المُرمِّز المزدوج أو نموذج التضمين، الاستعلام وكل مستند عبر عمليتي ترميز مستقلتين لإنتاج متجهات منفصلة ثابتة الطول. صاغ Nils Reimers وIryna Gurevych نسخة واسعة الاستشهاد من هذه البنية السيامية للنصوص في Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019).
نظرًا إلى أن ترميز المستند لا يطّلع على استعلام المستخدم، يمكن تحويل كل مقطع في مجموعة المستندات إلى تضمين مسبقًا وخارج وقت التشغيل وتخزينه في فهرس متجهي. عندما يرسل المستخدم استعلامًا، لا يرمّز النظام إلا الاستعلام مرة واحدة، ثم يقارن متجهه بملايين متجهات المستندات المحسوبة مسبقًا باستخدام عملية رياضية خفيفة مثل تشابه جيب التمام أو الضرب الداخلي. يتيح ضغط مقطع كامل في متجه واحد قبل معرفة السؤال إجراء البحث على نطاق واسع عمليًا، رغم أن العلاقات الدقيقة في الصياغة بين الاستعلام والمقطع قد تضيع أثناء الضغط.
كيف تقيّم نماذج cross-encoder أزواج الاستعلام والمستند
يصل cross-encoder الاستعلام بمقطع مرشح واحد في تسلسل إدخال واحد، ويمررهما معًا عبر شبكة محوّل تنتج درجة صلة عددية لذلك الزوج تحديدًا. أظهر Rodrigo Nogueira وKyunghyun Cho فعالية نمط إعادة الترتيب العصبي هذا في Passage Re-ranking with BERT (2019)، وهو نهج يُسمى كثيرًا monoBERT في أدبيات الاسترجاع.
يتيح إدخال النصين معًا إلى النموذج لآلية الانتباه الذاتي العمل بين كل رمز في الاستعلام وكل رمز في المستند عند كل طبقة. ويمكن للنموذج اكتشاف التطابقات الدقيقة للكيانات والنفي والقيود والاعتماد بين عدة كلمات مباشرةً. لكن هذا الانتباه المشترك ينطوي على تكلفة حسابية كبيرة: لا يمكن حساب متجه ثابت للمستند مسبقًا يأخذ في الحسبان استعلامًا مستقبليًا مجهولًا. يحتاج كل زوج (query, candidate) إلى تمرير أمامي عصبي مستقل عند تنفيذ الاستعلام، مما يقصر استخدام cross-encoder على قوائم مرشحين قصيرة.
موقع نماذج التفاعل المتأخر
تقع معماريات التفاعل المتأخر في منطقة وسطى بين bi-encoder ذي المتجه الواحد وcross-encoder الكامل. في ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2020)، يحتفظ Omar Khattab وMatei Zaharia بمتجهات منفصلة على مستوى الرموز لكل مستند ويقارنان رموز الاستعلام برموز المستند وقت البحث. يحفظ الاحتفاظ بتمثيل لكل رمز إشارات تطابق أغنى من متجه مجمّع واحد، مع تجنب تكلفة تشغيل تمرير مشترك كامل عبر المحوّل لكل زوج من الاستعلام والمقطع.
| البنية | كيفية ترميز المدخلات | هل يمكن حساب تمثيلات المستندات مسبقًا؟ | التقييم وقت الاستعلام | الدور المعتاد في المسار |
|---|---|---|---|---|
| Bi-encoder | يُرمّز الاستعلام والمقطع كل على حدة في متجه واحد | نعم (متجه واحد لكل مقطع) | تشابه جيب التمام أو الضرب الداخلي عبر بحث ANN | الاسترجاع الكثيف الأولي عبر المجموعات الكبيرة |
| التفاعل المتأخر (مثل ColBERT) | يُرمّز الاستعلام والمقطع كل على حدة في متجهات على مستوى الرموز | نعم (عدة متجهات للرموز لكل مقطع) | تفاعل على مستوى الرموز بين التمثيلات المخزنة | استرجاع عالي الدقة أو إعادة تقييم في مرحلة وسطى |
| Cross-encoder | يُوصل الاستعلام والمقطع ويُعالجان معًا | لا (يتطلب الاستعلام وقت الاستدلال) | تمرير أمامي كامل للنموذج لكل زوج (query, passage) |
reranker في المرحلة الثانية لقائمة مرشحين قصيرة |
الحد الفاصل لإعادة ترتيب المقاطع: استدعاء المرحلة الأولى
لا يستطيع reranker إعادة ترتيب سوى المرشحين الذين عثر عليهم نظام الاسترجاع الأولي بالفعل، ما يعني أن أي مقطع غاب عن القائمة الأولية يظل غير مرئي لبقية المسار. إذا استعاد البحث المتجهي أو فهرس الكلمات المفتاحية 50 مقطعًا ولم يتضمن أي منها الإجابة، فلن يستطيع حتى cross-encoder مثالي سوى ترتيب 50 مقطعًا غير مفيد بصورة أكثر تنظيمًا بقليل.
عندما أشخّص جودة الاسترجاع في مسار RAG، يكون الفصل بين إخفاقات الاستدعاء وإخفاقات الترتيب دائمًا أول خطوة تشخيصية. تحقق من ظهور المقطع الصحيح في أي موضع ضمن قائمة المرشحين الأولية الخام قبل البحث عن reranker. إذا كان المقطع ذو الصلة مفقودًا تمامًا، فإن الاختناق يقع في مرحلة سابقة:
- تقسيم المستندات بصورة سيئة: يؤدي فصل الجداول أو العناوين أو الشروط عن سياقها إلى إفساد الاسترجاع قبل بدء التقييم. راجع كيفية تقسيم المستندات إلى مقاطع من أجل RAG لإصلاح التقسيمات البنيوية.
- تمثيلات غير متطابقة: غالبًا ما تفوت التضمينات الكثيفة العامة المصطلحات المتخصصة أو أرقام القطع أو الاختصارات ما لم تُقرن بالبحث المعجمي.
- أخطاء الفهارس والمرشحات: تستبعد الفهارس القديمة أو مرشحات البيانات الوصفية شديدة التقييد أو قواعد التحكم في الوصول المعطلة مستندات صالحة قبل تقييمها.
تحل إعادة الترتيب مشكلة ترتيب داخل مجموعة مرشحين تحتوي الإجابة بالفعل. أما إذا عادت المجموعة دون الإجابة، فلا بد من إصلاح الاسترجاع في المراحل السابقة.
متى تستحق إضافة reranker زمن الاستجابة والتكلفة الإضافيين؟
تستحق إضافة reranker خطوة الاستدلال الإضافية عندما تجلب عملية البحث الأولي المقاطع ذات الصلة إلى مجموعة المرشحين باستمرار، لكنها تترك نتائج أضعف قرب أعلى القائمة. ولأن reranker يزيد التعقيد، تظهر فائدته بوضوح أكبر حين تعتمد دقة المراحل اللاحقة بشدة على دقة أعلى k من النتائج.
حالات تؤتي فيها إعادة الترتيب ثمارها
- نتائج عليا مشوشة رغم استدعاء مقبول: يعثر الاسترجاع الأولي على المقطع الصحيح ضمن أول بضع عشرات من النتائج، لكن تشابه المتجهات الخام يضع مقاطع تلخيصية أوسع قبل البند المحدد المطلوب.
- ميزانيات موجّه محدودة: يوفر إرسال مقاطع أقل وأكثر ملاءمة إلى النموذج اللغوي رموز الإدخال، ويمنع النص الهامشي المشتت من توجيه التوليد في مسار خاطئ.
- مهام تتطلب دقة الاستشهاد: تعتمد روبوتات دعم العملاء ومساعدات السياسات الداخلية وأدوات البحث في الوثائق على وضع مقطع المصدر الدقيق بين النتائج الأولى، ويتحمل مستخدمو هذه المهام عادةً انتظارًا معقولًا للحصول على إجابة أفضل.
- دمج نتائج البحث الهجين: ينتج عن الجمع بين نتائج الكلمات المفتاحية من فهرس معجمي والنتائج الدلالية من فهرس متجهي قائمتان بمقاييس درجات غير متوافقة. يؤدي تشغيل cross-encoder على المرشحين المدمجين إلى ترتيب موحد للصلة دون الاعتماد فقط على أوزان استدلالية لدمج المراتب.
حالات تضيف فيها إعادة الترتيب قيمة محدودة
- نتائج أولية جيدة ضمن أعلى k: إذا كان نظام الاسترجاع الحالي يضع المقاطع الصحيحة بالفعل في المراتب الأولى لاستعلاماتك، فإن تمريرًا إضافيًا للنموذج يزيد التكلفة دون تغيير ما يراه النموذج اللغوي.
- حدود صارمة لزمن الاستجابة التفاعلية: نادرًا ما تترك الوكلاء الصوتية الآنية والإكمال التلقائي أثناء الكتابة وتفاعلات الواجهة التي تستغرق أقل من ثانية مجالًا لجولة إضافية من التمريرات الأمامية للمحوّل قبل بدء التوليد.
- مجموعات مرشحين صغيرة جدًا وعالية الدقة: ترسل المسارات التي تسترجع من 3 إلى 5 مقاطع فقط بعد ترشيح صارم باستخدام بيانات وصفية منظمة معظم القائمة القصيرة بالفعل إلى الموجّه.
- سلوك المجال مقابل مشكلات البحث: إذا كان النموذج يواجه صعوبة في أسلوب الإخراج أو تنسيق مهمة متخصصة بدلًا من اختيار المقاطع، فراجع المقارنة بين RAG والضبط الدقيق للتأكد من معالجة الطبقة الصحيحة من النظام.
تكاليف تشغيل reranker والمفاضلات المرتبطة به
يضيف تشغيل reranker عمليات استدلال حسابية لكل مرشح، وزمن استجابة متسلسلًا على المسار الحرج، واعتمادًا إضافيًا على نموذج يجب تشغيله أو شراؤه. يساعد تقييم هذه التكاليف التشغيلية مسبقًا الفرق على تجنب التعامل مع rerank RAG بوصفه مفتاحًا مجانيًا لزيادة الدقة.
- استدعاءات استدلال إضافية: يتزايد عمل cross-encoder مع عدد المرشحين لكل استعلام وطول كل مقطع بالرموز وحجم الاستعلامات الإجمالي. يؤدي تقييم المقاطع الطويلة أو قوائم المرشحين الكبيرة إلى مضاعفة استهلاك الحوسبة بسرعة.
- زمن استجابة متسلسل: تقع إعادة الترتيب مباشرة بين الاسترجاع الأولي وبث رموز النموذج اللغوي الكبير LLM. يجب اكتمال تقييم كل دفعة من المرشحين قبل أن يتمكن النموذج اللغوي من قراءة الموجّه وإصدار أول رمز في مخرجاته.
- نموذج إضافي في بيئة الإنتاج: تستدعي الفرق واجهة API تجارية مستضافة لإعادة الترتيب أو تنشر reranker مفتوح الأوزان على وحدات GPU الخاصة بها. يضيف كلا الخيارين إدارة الإصدارات ومعالجة انتهاء المهلة وسلوكًا بديلًا عند تعذر استخدام نموذج التقييم، إضافة إلى المراقبة.
- تناقص العائد مع القوائم الطويلة: على سبيل المثال التوضيحي لا كقاعدة ثابتة، قد تكفي إعادة تقييم 20 مرشحًا لالتقاط المقاطع ذات الصلة التي أظهرها البحث الأولي بالفعل، بينما تضاعف إعادة تقييم 1,000 مرشح باستخدام cross-encoder ثقيل الحوسبة ووقت الانتظار مقابل مكسب ضئيل إذا كانت المقاطع المفيدة قريبة من القمة أصلًا.
تستغني بعض الفرق عن نماذج cross-encoder المخصصة وتطلب من نموذج لغوي عام تقييم المقاطع المسترجعة أو ترشيحها مباشرةً. لكن استخدام نموذج توليدي للحكم على المقاطع نمط منفصل يكون عادةً أبطأ وأعلى تكلفة لكل مرشح. ولا تضيف تطبيقات RAG البسيطة الكثيرة reranker في المرحلة الثانية أصلًا، وتحقق أهداف الجودة من خلال تقسيم مضبوط للمقاطع ومرشحات البيانات الوصفية والبحث الهجين.
ما الذي لا يفعله reranker؟
الـ reranker نموذج لتقييم قائمة قصيرة، وهو يختلف عن محركات التخزين ومولدات التضمينات وطبقات التحقق من صحة المعلومات. يساعد وضوح حدوده على منع سوء الفهم المعماري الشائع:
- ليس قاعدة بيانات متجهية ولا نموذج تضمين: تحول نماذج التضمين النصوص الفردية إلى متجهات، وتفهرس قواعد البيانات المتجهية هذه المتجهات للبحث السريع. لا يخزن reranker شيئًا وينتج درجات صلة لأزواج المرشحين عند الحاجة.
- لا يضمن الدقة الواقعية أو صلاحية الوصول: يقدّر cross-encoder مدى مطابقة المقطع للاستعلام. وقد تحصل السياسات القديمة أو العبارات غير الدقيقة أو المستندات التي لا يملك المستخدم إذن الاطلاع عليها على درجات مرتفعة إذا طابقت صياغة السؤال؛ أما ترشيح صلاحيات الوصول وحوكمة المحتوى فيجب أن يكونا خارج reranker.
- لا يغني عن تقييم خاص بمجموعة المستندات: لا تعكس معايير النماذج العامة أبدًا بنية مستنداتك الدقيقة أو صياغات استعلاماتك أو حدود زمن الاستجابة لديك. يظل قياس معدلات نجاح الاسترجاع وجودة الإجابة من البداية إلى النهاية باستخدام استعلاماتك الطريقة الوحيدة الموثوقة للتحقق من جدوى reranker.
الأسئلة الشائعة
هل يحتاج كل مسار RAG إلى reranker؟
لا. تعمل مسارات RAG كثيرة في الإنتاج جيدًا بمرحلة استرجاع واحدة عندما تكون مجموعة المرشحين صغيرة، أو تكون دقة المرحلة الأولى مرتفعة بالفعل، أو تنطبق حدود صارمة لزمن الاستجابة كما في الواجهات الصوتية والإكمال التلقائي. تضيف الفرق reranker عادةً فقط بعد التحقق من ظهور المقاطع ذات الصلة في مجموعة المرشحين الأوسع، مع استمرار النتائج الأضعف في شغل المراتب العليا.
هل يستطيع cross-encoder البحث مباشرة في مجموعة مستندات كاملة؟
يكون تشغيل cross-encoder على مجموعة كبيرة وقت الاستعلام غير عملي عمومًا، لأن النموذج يجب أن يعالج كل زوج من الاستعلام والمستند معًا في تمرير أمامي مستقل. تعتمد درجات المستندات على الاستعلام الوارد ولا يمكن حسابها مسبقًا في فهرس ثابت. لذلك تعتمد أنظمة البحث أولًا على الفهارس المعجمية أو المتجهية وتخصص نماذج cross-encoder لإعادة تقييم قائمة صغيرة.
كيف يعمل reranker مع البحث الهجين؟
في البحث الهجين، يعيد نظام استرجاع معجمي مثل فهرس على نمط BM25 ونظام استرجاع متجهي كثيف قائمتين منفصلتين من المرشحين بمقاييس درجات خام غير متوافقة. يتيح تمرير المرشحين المدمجين بعد إزالة التكرار إلى reranker لنموذج واحد تقييم كل مقطع مباشرةً مقابل الاستعلام، وإنتاج ترتيب موحد للصلة قبل إرسال أفضل المقاطع إلى النموذج اللغوي.
ما الفرق بين نموذج التضمين وreranker؟
يرمّز نموذج التضمين الاستعلامات والمستندات بصورة مستقلة إلى متجهات ثابتة، حتى يتمكن الفهرس المتجهي من العثور على مطابقات تقريبية بين ملايين العناصر. يأخذ reranker عصبي، وهو عادةً cross-encoder، استعلامًا واحدًا ومقطعًا مرشحًا واحدًا معًا ويخرج درجة صلة مباشرة لذلك الزوج تحديدًا، مقابل التضحية بإمكانية الفهرسة والسرعة للحصول على ترتيب أدق لقائمة قصيرة.
هل أشغّل reranker مفتوح الأوزان أم أستدعي واجهة API مستضافة لإعادة الترتيب؟
يشغل خيارا النشر الموضع المعماري نفسه بين الاسترجاع الأولي والتوليد. تلغي واجهات API المستضافة لإعادة الترتيب أعمال توفير وحدات GPU والتوسع وتشغيل النموذج، مقابل استدعاءات عبر الشبكة وفوترة من المزوّد لكل طلب. وتحافظ الاستضافة الذاتية لـ reranker مفتوح الأوزان على البيانات داخل بنيتك التحتية وتمنحك تحكمًا مباشرًا في إصدارات النموذج، لكنها تتطلب منك إدارة أجهزة الاستدلال ووقت التشغيل.
المصادر
- Rodrigo Nogueira وKyunghyun Cho، Passage Re-ranking with BERT (2019)
- Nils Reimers وIryna Gurevych، Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019)
- Omar Khattab وMatei Zaharia، ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2020)



