Lotook
لتقسيم المستندات إلى أجزاء فعّالة لـ RAG، ابدأ بتقسيم الملفات وفق بنية المستند الحالية، ثم طبّق حدًا أقصى للطول بالرموز على الأقسام الكبيرة جدًا مع تداخل على مستوى الجمل، وأرفق بيانات المصدر الوصفية بكل مقطع. يعتمد الاختيار بين التقسيم بالرموز أو بالمعنى أو وفق البنية على ما إذا كانت مجموعتك تتكون من نصوص متجانسة أو موضوعات متغيرة أو جداول وعناوين منسّقة.
لماذا يحدد تقسيم مستندات RAG جودة الاسترجاع؟
يقسّم Retrieval-Augmented Generation (RAG) المستندات المصدر إلى مقاطع أصغر قبل تحويلها إلى تضمينات وتخزينها في فهرس بحث. عند الاستعلام، يسترجع النظام الأجزاء الأكثر صلة ويمررها إلى نموذج لغوي مع سؤال المستخدم. يحدد التقسيم وحدة الاسترجاع لأن المستند الكامل يكون عادةً واسع النطاق أكثر من اللازم لمطابقة سؤال محدد، وكبيرًا أكثر من اللازم ليُدرج مع المرشحين الآخرين في نافذة سياق النموذج.
عندما قدّم Patrick Lewis وزملاؤه الإطار في ورقتهم المنشورة في NeurIPS عام 2020 بعنوان (Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks)، قسّمت تجربتهم كل مقالة في Wikipedia إلى أجزاء غير متداخلة من نحو 100 كلمة، فأنتجت نحو 21 مليون مقطع. كان التقسيم إلى أجزاء من 100 كلمة إعدادًا تجريبيًا لـ Wikipedia في عام 2020، وليس إعدادًا افتراضيًا للإنتاج في عام 2026. اعتبارًا من نوفمبر 2026، يعمل RAG الحديث في الإنتاج عادةً كسلسلة معالجة هندسية معيارية (تقسيم وتضمين وفهرسة واسترجاع وتوليد)، بدلًا من إعداد DPR وBART الأصلي القابل للتفاضل من البداية إلى النهاية.
ما طرق التقسيم الثلاث الرئيسية في RAG؟
تنقسم طرق التقسيم في RAG إلى ثلاث فئات: التقسيم بالرموز، والتقسيم الدلالي، والتقسيم المراعي للبنية. تحدد كل فئة بداية المقطع ونهايته باستخدام الطول أو المعنى أو ترميز المستند.
| طريقة التقسيم | إشارة التقسيم | الأنسب لـ | الخطر الرئيسي | تكلفة الفهرسة |
|---|---|---|---|---|
| التقسيم بالرموز (أو الطول) | نافذة ثابتة من الرموز أو المحارف مع تداخل متحرك | النص المتجانس أو النص العادي أو تحديد الطول بعد التقسيم حسب البنية | شطر الجمل أو صفوف الجداول أو كتل الشيفرة أو التعريفات | منخفضة |
| التقسيم الدلالي | انخفاض تشابه التضمينات بين الجمل المتجاورة | النص غير المنسّق الذي تتغير موضوعاته في منتصف المستند دون عناوين | فهرسة أبطأ وأعلى تكلفة؛ وأجزاء متفاوتة الحجم | مرتفعة |
| التقسيم المراعي للبنية | العناوين أو الفقرات أو القوائم أو الجداول أو كتل الشيفرة أو الصفحات | Markdown وHTML ووثائق واجهات البرمجة والبنود القانونية والأدلة المنظمة | ضعف البنية في ملفات PDF الممسوحة ضوئيًا؛ وقد تظل الأقسام المفردة ضخمة | منخفضة إلى متوسطة |
1. التقسيم بالرموز والمحارف
يقسّم التقسيم بالرموز النص إلى نوافذ ثابتة الطول تُقاس بالرموز أو المحارف، وغالبًا ما يقترن بتداخل متحرك. يتوافق القياس بـالرموز مع طريقة عمل النماذج: فنماذج التضمين والنماذج اللغوية الكبيرة لها حدود صارمة للرموز، وتُحتسب تكلفة واجهات البرمجة بالرموز، وقد تُجزّأ الفقرة نفسها إلى رموز بطريقة مختلفة بين عائلات النماذج. أما عدد المحارف فهو تقدير تقريبي فقط.
تبدأ الفرق عادةً بحجم نافذة يقع ضمن حد نموذج التضمين لديها (وغالبًا ما تبدأ الدروس ببضع مئات من الرموز)، ثم تعدّله بعد فحص حالات فشل الاسترجاع. يتمثل الخطر الرئيسي للنافذة الثابتة في تجاهلها النحو والتخطيط، فتقطع جملة أو صف جدول أو كتلة شيفرة أو تعريفًا، وتُسقط العبارة التي تجيب عن السؤال.
2. التقسيم الدلالي
يقسّم التقسيم الدلالي النص عندما يتغير المعنى، مثل انخفاض تشابه التضمينات بين الجمل المتجاورة أو ظهور حد فاصل في السياق، بدلًا من التقسيم عند عدد ثابت من الرموز. ويساعد إبقاء الفكرة كاملة في جزء واحد على الاسترجاع عندما تتغير الموضوعات في منتصف مستند بلا عناوين.
لكن فهرسة التقسيم الدلالي أبطأ وأكثر تكلفة لأن عملية التقسيم نفسها قد تتطلب استدعاءات للتضمين. وقد تؤدي عتبة التشابه المشوشة أيضًا إلى تقسيم النص بإفراط أو بدرجة غير كافية إلى أحجام غير متساوية، كما أن تشابه الجمل ليس أفضل تلقائيًا للجداول أو النماذج أو الشيفرة.
3. التقسيم المراعي للبنية
يستخدم التقسيم المراعي للبنية بنية المستند الحالية للقطع الأول: عناوين Markdown أو HTML، والفقرات، والقوائم، والأقسام، والصفحات، وكتل الشيفرة المحاطة بمحددات، أو حدود الجداول. كما ورد في AWS Prescriptive Guidance بشأن RAG، يحافظ حفظ بنية المستند على السياق المرتبط منطقيًا. فالجزء الذي يبدأ بعنوان سياسة الاسترداد ويحتوي على القسم كاملًا أسهل استرجاعًا واستشهادًا من نافذة تبدأ في منتصف جملة.
نظرًا إلى افتقار كثير من ملفات PDF والمستندات الممسوحة إلى عناوين واضحة (ولأن عنوانًا واحدًا قد يمتد إلى 20 صفحة)، تجمع سلاسل معالجة الإنتاج عادةً بين الطرق:
- قسّم أولًا بطريقة هرمية وفق البنية: قسّم المستند حسب القسم أو العنوان، ثم حسب الفقرة أو الكتلة، مع إبقاء كتل الشيفرة والجداول والقوائم سليمة.
- طبّق بعد ذلك حدًا أقصى للطول بالرموز: إذا ظل القسم كبيرًا جدًا، فقسّمه باستخدام نافذة رموز.
- استخدم تقسيمات بديلة للنص غير المنظم: في ملفات PDF الممسوحة ضوئيًا أو الأقسام الطويلة غير المنظمة، استخدم التقسيم حسب الصفحات أو نوافذ الرموز أو الحدود الدلالية.
كيف تضبط تداخل الأجزاء والبيانات الوصفية في RAG؟
يمنع تداخل الأجزاء والبيانات الوصفية للمقاطع فقدان العبارات عند الحدود ويربط المقتطفات المسترجعة بمستنداتها المصدر.
ضبط تداخل الأجزاء
يكرر تداخل الأجزاء نهاية جزء في بداية الجزء التالي، بحيث تظهر الجملة أو التعريف الواقع عند الحد كاملًا في مقطع مسترجع واحد على الأقل. وهو إجراء احتياطي بسيط عندما تقطع النوافذ الثابتة أو التقسيمات البديلة فكرة في منتصفها.
اضبط التداخل ليغطي جملة نموذجية أو جملتين من مجموعتك، مع إبقائه صغيرًا بما يكفي لتجنب تخزين الجزء نفسه تقريبًا مرتين. يزيد التداخل عدد الرموز التي تُضمّن وتُخزّن وتُسترجع، فيزيد حجم الفهرس ويضيف نتائج متجاورة شبه مكررة. إذا كان الاسترجاع يعيد أجزاء شبه مكررة كثيرًا، فقلّل التداخل أو حجم الأجزاء، أو أضف خطوة لإزالة التكرار بعد الاسترجاع.
إرفاق البيانات الوصفية لـ RAG
تتكون البيانات الوصفية لـ RAG من حقول منظمة تُخزّن بجانب كل جزء، ومنها:
- معرّف المستند المصدر أو عنوان URL وعنوانه
- مسار القسم أو العناوين ورقم الصفحة
- تاريخ الإنشاء أو التحديث ونوع المستند (سياسة أو تذكرة أو مرجع واجهة برمجة)
- تسميات الوصول والأذونات واللغة ومعرّف ثابت للجزء
يمكن للفرق إبقاء البيانات الوصفية خارج التضمين عندما تؤثر المعرّفات الخام أو الطوابع الزمنية سلبًا في التشابه، أو إضافة حقول مختارة، مثل عنوان القسم، إلى بداية النص المُضمّن عندما تحسّن الاسترجاع. تلبي البيانات الوصفية ثلاثة احتياجات في الإنتاج:
- الاستشهادات: تستطيع واجهة المستخدم أو النموذج الاستشهاد بملف وعنوان ورقم صفحة بدلًا من مقطع مجرد.
- مرشحات الأذونات والإصدارات: استرجع أحدث إصدار للسياسة فقط، أو منتجًا محددًا، أو المستندات المسموح للمستخدم برؤيتها. يجب وضع الأذونات في مرشحات الفهرس لا في الموجّه وحده، لأن وضع مستندات خاصة في فهرس RAG غير مرشّح يعرّضها لكل من يستطيع الاستعلام عن النظام.
- تصحيح الأخطاء والتحديثات: عندما يتغير مستند مصدر، أعد تقسيمه وتضمينه واستبعد معرّفات الأجزاء القديمة حتى لا تسبب الحقائق المتقادمة أخطاء واقعية.
كيف تعرف ما إذا كانت الأجزاء كبيرة أو صغيرة أكثر من اللازم؟
يكشف فحص الأجزاء المسترجعة لأسئلة المستخدمين الفعلية ما إذا كانت مقاطعك كبيرة أكثر من اللازم أو مجزأة.
علامات على أن الأجزاء كبيرة أكثر من اللازم
- الإجابات المدفونة: يعيد الاسترجاع قسمًا طويلًا يذكر مصطلح الاستعلام لكنه يخفي الإجابة الفعلية، فيضطر النموذج للبحث عنها أو يفوّتها.
- الموجّهات المزدحمة: لا يتسع الموجّه إلا لأجزاء قليلة، فتزاحم مطابقة متوسطة المطابقات الأفضل.
- ارتفاع التكلفة وزمن الاستجابة: يؤدي إرسال كثير من الرموز غير ذات الصلة إلى زيادة الإنفاق ووقت الاستجابة.
- زيادة التشتيت: تزيد الضوضاء الإضافية من تدهور السياق، حيث يملك النموذج الحقيقة الصحيحة في موجّه كبير لكنه يعتمد على ذاكرة التدريب أو على جملة مجاورة خاطئة.
علامات على أن الأجزاء صغيرة أكثر من اللازم
- مقاطع مبتورة: لا يمكن فهم الجزء المسترجع دون الجملة السابقة، مثل جملة تذكر استثناءً لخطط المؤسسات دون ذكر القاعدة.
- إجابات متعددة الخطوات متفرقة: يقع تعريف واستثناؤه أو دالة ومعاملاتها أو سياسة وتاريخ سريانها في أجزاء منفصلة، ويعيد top-k جزءًا واحدًا فقط.
- مقاطع شبه متطابقة: تسترجع مقتطفات متكررة كثيرة مع استمرار غياب فكرة كاملة، وتصبح الاستشهادات مشوشة لأن كل جملة مصدر مستقل.
لضبط الأحجام عمليًا، راجع الأسئلة الفعلية وافحص الأجزاء المسترجعة واسأل ما إذا كان شخص حصل على تلك المقاطع وحدها يستطيع الإجابة. إذا كانت الجملة المطلوبة في جزء مجاور لم يُسترجع، فعدّل التداخل أو قواعد البنية أو الحجم. وإذا كانت داخل الجزء المسترجع ومحاطة بنص غير ذي صلة، فقسّم إلى أجزاء أصغر أو استرجع أجزاء أقل وأكثر تركيزًا.
كيف يؤثر تقسيم مستندات RAG في تدهور السياق؟
يعد تقسيم مستندات RAG وسيلة مباشرة لمواجهة تدهور السياق، وهو انخفاض جودة استدلال النموذج واتباعه التعليمات وقدرته على استرجاع المعلومات كلما طال الموجّه أو ازداد ازدحامًا، حتى عند مستوى يقل كثيرًا عن حد السياق المعلن.
يوجد RAG كي لا تضطر إلى وضع المجموعة كاملة في الموجّه. لكن استرجاع أجزاء كبيرة جدًا، أو زيادة top-k احتياطًا وحشو الموجّه بأجزاء كثيرة متشابهة على نحو مبهم، يعيد إنشاء سياق طويل ومليء بالضوضاء. لا يعني المزيد من السياق دقة أعلى تلقائيًا. يقلل إبقاء الأجزاء مركزة ازدحام الموجّه، لكن التقسيم الجيد وحده لا يصلح نموذج تضمين سيئًا ولا يزيل هلوسات الذكاء الاصطناعي عندما يتجاهل النموذج النص المسترجع.
الأسئلة الشائعة
هل أقيس حجم أجزاء RAG بالرموز أم بالمحارف؟
قس حجم أجزاء RAG بالرموز كلما أمكن. تفرض نماذج التضمين والنماذج اللغوية حدود السياق بالرموز، وتُحسب تكلفة استخدام واجهات البرمجة لكل رمز. عدد المحارف تقدير تقريبي فقط، لأن الفقرة نفسها قد تتحول إلى أعداد مختلفة من الرموز باختلاف اللغات وكتل الشيفرة وعائلات النماذج. يمنع استخدام مُجزّئ الرموز الخاص بنموذج التضمين اقتطاعًا غير متوقع أثناء الفهرسة.
هل يتفوق التقسيم الدلالي دائمًا على التقسيم بالرموز؟
لا يتفوق التقسيم الدلالي تلقائيًا على التقسيم بالرموز أو التقسيم المراعي للبنية. يساعد التقسيم عند انخفاض تشابه الجمل على إبقاء الأفكار معًا في النص غير المنظم، لكنه يتطلب عمل تضمين إضافيًا أثناء الفهرسة، وينشئ أجزاء متفاوتة الحجم، وقد يقسّم أكثر أو أقل من اللازم عند استخدام عتبة مشوشة. في المستندات المنسّقة، يكون التقسيم وفق العناوين والجداول وكتل الشيفرة أسرع ويتبع الحدود التي قصدها المؤلف.
كيف أقسّم الجداول وكتل الشيفرة لـ RAG؟
تتطلب الجداول والفواتير والبنود القانونية والشيفرة قواعد تراعي البنية وتحافظ على سلامة الكتل. يؤدي التقسيم البسيط بالمحارف أو الرموز عبر جدول Markdown أو متن دالة إلى أجزاء غير صالحة تفصل القيم عن عناوين الأعمدة أو تكسر البنية النحوية للشيفرة. أبقِ كتل الشيفرة والجداول والقوائم كاملة متى أمكن، ولا تطبّق البدائل المراعية للبنية إلا عندما تتجاوز كتلة واحدة حدود النموذج.
هل ينبغي تضمين البيانات الوصفية في تضمين الجزء؟
إدراج البيانات الوصفية داخل النص المُضمّن قرار تصميم يعتمد على الحقل. غالبًا ما تساعد إضافة عنوان المستند أو مسار عناوين الأقسام إلى بداية نص الجزء في الاسترجاع عندما تعتمد الفقرات على العنوان لتوفير السياق. ينبغي إبقاء المعرّفات الخام والطوابع الزمنية وتسميات الوصول في حقول بيانات وصفية منفصلة قابلة للتصفية حتى لا تؤثر سلبًا في تشابه التضمينات.
ماذا يحدث عندما يتغير مستند مصدر؟
عندما يتغير مستند مصدر، يجب أن تعيد سلسلة معالجة الإدخال تقسيمه وتضمينه وأن تستبعد معرّفات الأجزاء القديمة من الفهرس. يؤدي إبقاء الأجزاء المتقادمة نشطة إلى جانب الأجزاء المحدّثة إلى عرض نظام الاسترجاع سياسات قديمة أو مقاطع متعارضة، فيتحول إغفال صيانة الفهرس إلى خطأ واقعي في الإجابة النهائية.
