أدلة الذكاء الاصطناعي · 8 دقيقة للقراءة

ما قاعدة البيانات المتجهية؟ كيف تخزن التضمينات للبحث وRAG

تخزن قاعدة البيانات المتجهية التضمينات وتجد العناصر المتشابهة ببحث الجيران التقريبي. تعرف على اختلافها عن بحث الكلمات ودورها في RAG.

نقاط مضيئة تشكل مجموعات في فضاء متجهي داكن، وخطوط رفيعة تصل شرارة استعلام بأقرب النقاط المجاورة لها، من دون نص أو شعارات

تخزن قاعدة البيانات المتجهية متجهات التضمين (embedding) عالية الأبعاد إلى جانب البيانات الوصفية، وتسترجع العناصر الأقرب إلى متجه الاستعلام باستخدام مقاييس التشابه مثل تشابه جيب التمام أو الضرب الداخلي أو المسافة الإقليدية. وعلى خلاف عمليات البحث العلائقية التي تطابق المفاتيح بدقة، تدعم قواعد البيانات المتجهية البحث الدلالي والتوليد المعزز بالاسترجاع (RAG) في النصوص والصور وغيرها من البيانات غير المهيكلة.

ما قاعدة البيانات المتجهية؟

قاعدة البيانات المتجهية هي قاعدة بيانات، أو فهرس متجهي متخصص داخل منصة بيانات أوسع، صُمم لتخزين متجهات التضمين واسترجاع العناصر الأقرب إلى متجه الاستعلام. تُقاس المسافة أو درجة القرب بين متجهين رياضيًا باستخدام تشابه جيب التمام أو الضرب الداخلي (الضرب القياسي) أو المسافة الإقليدية (L2).

تبحث استعلامات قواعد البيانات التقليدية عن سمات مطابقة تمامًا، مثل إرجاع الصف الذي يساوي معرّفه 55 أو تصفية الصفوف التي حالتها مفتوحة. أما الاستعلام المتجهي فيطرح سؤالًا مختلفًا: بالنظر إلى تمثيل رقمي لطلب مستخدم أو مقطع من مستند أو صورة، أرجع العناصر المخزنة الأقرب من حيث المعنى أو المحتوى.

عمليًا، قد توجد هذه الإمكانية في قاعدة بيانات متجهية متخصصة ومستقلة، أو في قاعدة بيانات علائقية عامة أو محرك بحث أُضيفت إليه فهرسة متجهية. وبغض النظر عن طريقة تقديمها، تظل المهمة الأساسية واحدة: فهرسة المتجهات عالية الأبعاد، ودعم قيود البيانات الوصفية، وإرجاع أقرب الجيران بسرعة تكفي للتطبيقات التفاعلية.

لماذا تواجه الفهارس العلائقية صعوبة في البحث عن التشابه عالي الأبعاد؟

تواجه الفهارس العلائقية، مثل أشجار B وفهارس التجزئة، صعوبة في البحث عن التشابه عالي الأبعاد لأنها مصممة للبحث عن مفاتيح مطابقة تمامًا ونطاقات قيم قياسية وربط الجداول، لا لحساب المسافات عبر مئات أو آلاف الأبعاد.

مع زيادة عدد الأبعاد، يواجه البحث عن أقرب الجيران لعنة الأبعاد. ففي الفضاءات عالية الأبعاد تميل المسافات بين أزواج النقاط إلى التقارب، ما يقلل فاعلية التقسيم المكاني البسيط. ويتطلب المسح الدقيق لأقرب k من الجيران (kNN) مقارنة متجه الاستعلام بكل متجه مخزن، ويصبح ذلك بطيئًا وكثيف الحسابات عندما تصل المجموعة إلى ملايين التضمينات.

يعكس هذا القيد نمط الوصول، لا عجز الأنظمة العلائقية عن تخزين مصفوفات من الأرقام. تدعم عدة قواعد بيانات عامة ومحركات بحث الآن الفهارس المتجهية إلى جانب الجداول القياسية، بحيث يستطيع المطورون إجراء بحث التشابه بجوار بيانات المعاملات. وحتى في هذه الأنظمة، تظل استعلامات التشابه معتمدة على هياكل فهرسة متجهية متخصصة بدلًا من أشجار B القياسية.

كيف تعمل التضمينات والبيانات الوصفية والفهارس المتجهية معًا؟

تعمل التضمينات والبيانات الوصفية والفهارس المتجهية معًا عبر الجمع بين التمثيلات الرقمية للمحتوى غير المهيكل والسمات المهيكلة التي تتحكم في التصفية والوصول. يحول نموذج التضمين النصوص أو الصوت أو الصور إلى متجهات رقمية ثابتة الطول، بحيث تتقارب العناصر المرتبطة دلاليًا في الفضاء المتجهي. وتتناول مادتنا عن التضمينات هذه العملية بالتفصيل.

تخزن قاعدة البيانات المتجهية كل متجه تضمين إلى جانب بيانات وصفية مفيدة تشمل عادةً:

  • معرّف مستند أو سجل يشير إلى الملف المصدر
  • طوابع زمنية أو فئات أو أنواع مستندات لتحديد الحداثة والنطاق
  • معرّفات المستأجرين وسمات التحكم في الوصول للتطبيقات متعددة المستخدمين
  • المقطع النصي نفسه أو مؤشرًا لجلب ذلك النص من وحدة التخزين الأساسية

عند تنفيذ الاستعلام، تحتاج التطبيقات كثيرًا إلى بحث مفلتر، مثل العثور على أقرب المقاطع لعميل محدد ضمن سياسات حُدثت بعد تاريخ معين. تتعامل الفهارس المتجهية مع مرشحات البيانات الوصفية قبل اجتياز أقرب الجيران أو أثناءه أو بعده، وتنطوي كل استراتيجية على مفاضلات بين استدعاء النتائج وزمن استجابة الاستعلام.

ما البحث التقريبي عن أقرب الجيران، وكيف يعمل HNSW؟

يسرّع البحث التقريبي عن أقرب الجيران (approximate nearest neighbor أو ANN) الاسترجاع المتجهي بقبول احتمال صغير لفقدان جار هو الأقرب فعلًا، مقابل تنفيذ الاستعلام بسرعة أكبر بكثير. ولأن عمليات مسح kNN الدقيقة لا تتوسع بكفاءة مع مجموعات البيانات الكبيرة عالية الأبعاد، تعتمد قواعد البيانات المتجهية في الإنتاج على فهارس ANN للحفاظ على سرعة الاستجابة.

HNSW والفهرسة القائمة على الرسوم البيانية

تُعد رسوم Hierarchical Navigable Small World البيانية أو HNSW، التي قدمها Yu. A. Malkov وD. A. Yashunin في عام 2018 (arXiv:1603.09320)، من أكثر تصاميم فهارس ANN شيوعًا. ينظم HNSW المتجهات المخزنة في رسم بياني متعدد الطبقات للجيران.

تكون الطبقات العليا في رسم HNSW متناثرة وتحتوي على روابط بعيدة المدى عبر الفضاء المتجهي، بينما تحتوي الطبقة السفلية على جميع المتجهات مع اتصالات محلية أكثر كثافة. عند وصول استعلام، يبدأ البحث في طبقة عليا متناثرة لاجتياز مناطق واسعة بسرعة، ثم ينزل عبر طبقات تزداد كثافة تدريجيًا، متتبعًا روابط الجيران الأقرب إلى متجه الاستعلام حتى يستقر على أقرب المرشحين.

عائلات أخرى من فهارس ANN

تمثل فهارس الرسوم البيانية فرعًا واحدًا من تصميم ANN. وتتبع عائلات أخرى واسعة الاستخدام، موثقة في مكتبات مثل Faiss، أساليب مختلفة:

  • التجميع بالملف المعكوس (IVF): تُجمع المتجهات في عناقيد، غالبًا باستخدام k-means. وعند الاستعلام يفحص الفهرس العناقيد الأقرب إلى متجه الاستعلام فقط بدلًا من مسح المجموعة كلها.
  • التكميم، بما في ذلك تكميم حاصل الضرب (PQ): تُضغط المتجهات في رموز مدمجة لتتسع الذاكرة لمجموعات أكبر، مع التضحية ببعض دقة المسافة مقابل تقليل استخدام RAM.
  • التجزئة الحساسة للموقع (LSH): تسند دوال التجزئة التقليدية المتجهات المتشابهة إلى الحاويات نفسها باحتمال مرتفع، بحيث تفحص الاستعلامات العناصر الموجودة في الحاويات القريبة فقط.

لا توجد خوارزمية ANN واحدة تناسب كل عبء عمل. يعتمد اختيار الفهرس على متطلبات الاستدعاء، والذاكرة المتاحة، ومدى تكرار إدراج السجلات أو حذفها، ومدى اعتماد الاستعلامات على تصفية البيانات الوصفية.

البحث المتجهي مقابل البحث بالكلمات المفتاحية والبحث الهجين

يعتمد البحث المتجهي والبحث بالكلمات المفتاحية على إشارات مطابقة مختلفة، بينما يجمع البحث الهجين الطريقتين لالتقاط المعنى الدلالي إلى جانب المصطلحات المطابقة تمامًا.

يستخدم البحث بالكلمات المفتاحية أو البحث المعجمي فهارس معكوسة وصيغًا لترجيح المصطلحات مثل BM25 لترتيب المستندات بحسب الكلمات المشتركة وإحصاءات المصطلحات. ويعمل بصورة موثوقة عندما يتضمن الاستعلام رموزًا مطابقة مثل رموز الأخطاء أو وحدات SKU للمنتجات أو أرقام مواد القوانين أو أسماء الأعلام. يقارن البحث المتجهي التضمينات الكثيفة، ما يسمح له باسترجاع مقاطع تناقش المفهوم نفسه بصياغات مختلفة تمامًا. لكن التضمينات الكثيفة قد تتغاضى عن معرّفات نادرة تتطلب مطابقة دقيقة إذا لم يفصل النموذج تلك الرموز بوضوح.

ينفذ البحث الهجين الاسترجاع المعجمي والمتجهي على الاستعلام نفسه، ويدمج قوائم المرشحين الناتجة أو يعيد ترتيبها، ثم يطبق مرشحات البيانات الوصفية.

طريقة الاسترجاع إشارة المطابقة الأساسية أبرز نقاط القوة أهم القيود الدور المعتاد في RAG
البحث بالكلمات المفتاحية المصطلحات المطابقة وتكرارها عبر الفهارس المعكوسة قوي مع وحدات SKU ورموز الأخطاء والأسماء والعبارات المطابقة يفوّت المرادفات والمفاهيم المعاد صياغتها التقاط المعرّفات المطابقة والرموز التقنية
البحث المتجهي المسافة بين متجهات التضمين يجد مقاطع مترابطة مفهوميًا بصياغات مختلفة قد يفوّت الرموز النادرة المطابقة؛ ويتأثر بجودة تقسيم المقاطع استرجاع السياق الدلالي لاستعلامات اللغة الطبيعية
البحث الهجين درجات معجمية ومتجهية مجمعة مع مرشحات البيانات الوصفية يوازن بين دقة المطابقة والاستدعاء الدلالي يضيف خطوات لدمج الدرجات أو إعادة الترتيب نمط استرجاع افتراضي لاستعلامات المستخدمين المتنوعة

دور قواعد البيانات المتجهية في RAG وحدودها

تعمل قاعدة البيانات المتجهية بوصفها طبقة الاسترجاع في التوليد المعزز بالاسترجاع (RAG)، إذ تزود النموذج اللغوي بمقاطع سياق ذات صلة وقت الاستدلال. وبدلًا من الاعتماد فقط على المعرفة الثابتة المدمجة في أوزان النموذج، يجلب خط معالجة RAG الحقائق الخارجية ديناميكيًا. وتتناول مادة مقارنة RAG بالضبط الدقيق هذا الاختلاف المعماري بمزيد من التفصيل.

يتبع سير العمل المفاهيمي المعتاد ست خطوات:

  1. تقسيم المستندات المصدر إلى مقاطع نصية مركزة، وفق الاستراتيجيات الواردة في دليل تقسيم المستندات لـ RAG.
  2. إنشاء متجه تضمين لكل مقطع باستخدام نموذج تضمين.
  3. تخزين المتجهات والبيانات الوصفية ومراجع المقاطع في قاعدة بيانات متجهية أو فهرس متجهي.
  4. ترميز سؤال المستخدم الوارد بنموذج التضمين نفسه أو بمرمّز استعلام متوافق.
  5. استعلام الفهرس المتجهي عن أقرب المقاطع، مع تطبيق مرشحات البيانات الوصفية ومطابقة الكلمات المفتاحية أو إعادة الترتيب اختياريًا.
  6. تمرير المقاطع المسترجعة بوصفها سياقًا في موجّه النموذج اللغوي، كما هو موضح في نظرتنا العامة إلى RAG.

ما الذي لا تمثله قاعدة البيانات المتجهية؟

يساعد فهم الحدود على إبقاء البنية واضحة. لا تحل قاعدة البيانات المتجهية محل النموذج اللغوي الذي يولد الإجابات، أو نموذج التضمين الذي يحول المحتوى إلى متجهات، أو نظام السجلات الأساسي المسؤول عن معاملات الأعمال.

كما أن تخزين التضمينات يختلف عن الحفاظ على مصدر معتمد للحقيقة. لا تزال الفرق بحاجة إلى الوصول إلى النص الأصلي، وتطبيق الأذونات بوضوح، وخط معالجة لتحديث المتجهات أو حذفها كلما تغيرت المستندات المصدر. وإذا تغير النص المصدر أو انتقل الفريق إلى نموذج تضمين جديد، فيجب إعادة إنشاء تضمينات المستندات المتأثرة. علاوة على ذلك، لا يتطلب كل نشر لـ RAG قاعدة بيانات متجهية متخصصة ومستقلة؛ إذ يمكن لفهرس متجهي داخل قاعدة بيانات أو محرك بحث قائم أن يؤدي الدور نفسه عندما تتوافق متطلبات الحجم والتصفية.

قيود يجب التخطيط لها في الإنتاج

تنطوي قواعد البيانات المتجهية على قيود عملية تتعلق بتقريب الفهرس وإعداد البيانات في المراحل السابقة والصيانة المستمرة، ولا يمكن حلها باختيار خوارزمية فهرسة مختلفة.

  • النتائج المفقودة بسبب التقريب: لأن فهارس ANN تقايض الدقة بالسرعة، قد يتجاوز الاستعلام جارًا هو الأقرب فعلًا ما لم تُرفع إعدادات الاستدعاء بتكلفة أعلى للحوسبة أو الذاكرة.
  • جودة المراحل السابقة حاسمة: تؤدي الحدود السيئة للمقاطع أو نموذج التضمين غير المناسب لمجالك إلى نتائج بحث ضعيفة مهما بلغت سرعة الفهرس المتجهي.
  • التشابه ليس حقيقة: تعني درجة التشابه المرتفعة فقط أن متجهين قريبان في فضاء التضمين. وقد تظل المقاطع المسترجعة خاطئة من حيث الوقائع أو قديمة أو غير مصرح بها إذا فشلت مرشحات البيانات الوصفية.
  • الصيانة التشغيلية: يتطلب تغيير نموذج التضمين إعادة إنشاء جميع التضمينات وإعادة بناء الفهارس، بينما تتطلب التعديلات وعمليات الحذف المتكررة والعزل الصارم بين المستأجرين تصميمًا دقيقًا للاتساق والأذونات.

الأسئلة الشائعة

هل أحتاج إلى قاعدة بيانات متجهية مستقلة من أجل RAG؟

لا، لا تتطلب بنية RAG دائمًا قاعدة بيانات متجهية مستقلة. فمع أن قواعد البيانات المتجهية المخصصة مبنية خصيصًا للاسترجاع عالي الأبعاد، تتضمن الآن قواعد بيانات علائقية عامة ومحركات بحث كثيرة إضافات للفهرسة المتجهية. وقد تتناسب المجموعات الصغيرة أو المتوسطة بسهولة مع نظام بيانات قائم إذا كان يدعم احتياجات التصفية والتحديث لديك.

ما مقياس المسافة الذي تستخدمه قاعدة البيانات المتجهية؟

تدعم معظم قواعد البيانات المتجهية ثلاثة مقاييس شائعة: تشابه جيب التمام، والضرب الداخلي (الضرب القياسي)، والمسافة الإقليدية (L2). يعتمد الاختيار المناسب على كيفية تدريب نموذج التضمين وما إذا كانت متجهاته مطبّعة. يقارن تشابه جيب التمام زاوية المتجهات بغض النظر عن مقدارها، بينما تدخل المسافة الإقليدية والضرب الداخلي طول المتجه في الحساب.

لماذا يُستخدم HNSW كثيرًا في الفهارس المتجهية؟

يُستخدم HNSW، أو رسوم Hierarchical Navigable Small World البيانية، على نطاق واسع لأن تصميمه متعدد الطبقات يتنقل بسرعة في مجموعات متجهات كبيرة دون مسح كل متجه مخزن. يبدأ البحث في الطبقات العليا المتناثرة للقفز عبر الفضاء المتجهي، ثم ينقح النتائج في الطبقات السفلى الأكثر كثافة، مما يوفر توازنًا عمليًا بين سرعة الاستعلام والاستدعاء.

هل تستطيع قاعدة البيانات المتجهية أن تحل محل البحث بالكلمات المفتاحية؟

نادرًا ما تحل قاعدة البيانات المتجهية محل البحث بالكلمات المفتاحية تمامًا، لأن التضمينات الدلالية والمصطلحات المعجمية تعالج مشكلات استرجاع مختلفة. يتفوق البحث المتجهي عندما تعيد الاستعلامات صياغة الأفكار بكلمات مختلفة، بينما يتفوق البحث بالكلمات المفتاحية في رموز الأخطاء المطابقة ووحدات SKU والاستشهادات القانونية. وتجمع خطوط استرجاع إنتاجية كثيرة بين الطريقتين في بحث هجين.

المصادر

بقلم

Chunyu Cai

Chunyu Cai هو الرئيس التنفيذي لشركة Lotook, LLC ورائد أعمال يكتب عن نماذج الذكاء الاصطناعي ووكلائه وكيف تغير العمل اليومي. يحمل Chunyu Cai درجة الماجستير من Imperial College London.