Lotook
التضمين في الذكاء الاصطناعي هو متجه عددي، أو قائمة من أعداد الفاصلة العائمة، يمثّل النص أو البيانات الأخرى في فضاء رياضي تتقارب فيه المعاني المتشابهة. تستخدم نماذج التعلم الآلي التضمينات المتجهية لقياس الترابط بين المفاهيم، وتشغيل البحث الدلالي، واسترجاع السياق ذي الصلة في أنظمة RAG.
عندما أشرح التضمينات للمهندسين الذين يبنون أول مسار بحث لهم، أطلب منهم تخيّل خريطة تحل فيها الموضوعات محل الجغرافيا. يتحقق تطابق الكلمات المفتاحية مما إذا كانت سلسلتان تشتركان في الأحرف نفسها تمامًا، وهو ما يفشل عندما يذكر مستند كلمة كلب ويذكر آخر كلمة جرو. يسد التضمين المتجهي هذه الفجوة بتحويل المعنى إلى إحداثيات، حتى تتمكن البرمجيات من مقارنة الأفكار باستخدام الهندسة الأساسية.
كيف يمثّل التضمين المتجهي المعنى؟
يمثّل التضمين المتجهي المعنى بتحويل مدخلات معقدة مثل الكلمات أو العبارات أو الصور إلى إحداثيات داخل فضاء تضمين متعدد الأبعاد. وفقًا لـمسرد تعريفات الذكاء الاصطناعي من Stanford HAI، تضع التضمينات العناصر المتشابهة متقاربة في الفضاء الرياضي، فتحصل كلمات مثل كلب وجرو على متجهات متقاربة، بينما يبتعد الكلب عن الخبز المحمص.
يعرّف دليل التضمينات من OpenAI التضمين بأنه متجه من أعداد الفاصلة العائمة تقيس المسافة بينه وبين متجه آخر مدى ترابط السلاسل النصية. تشير المسافات الصغيرة بين متجهين إلى ترابط قوي، بينما تشير المسافات الكبيرة إلى ترابط ضعيف. ويعرض IBM Think المبدأ نفسه عبر أنواع البيانات: تحوّل التضمينات المتجهية المدخلات غير الرياضية، مثل النص أو الصور، إلى مصفوفات رقمية تستطيع نماذج التعلم الآلي معالجتها، بحيث تحصل العناصر الأكثر تشابهًا في العالم الحقيقي على متجهات أكثر تشابهًا.
تضيف الدورة المكثفة للتعلم الآلي من Google ثلاث خصائص عملية لفضاءات التضمين تؤثر في طريقة عمل المهندسين معها:
- الإسقاط إلى أبعاد أقل: غالبًا ما تسقط النماذج المدخلات الخام عالية الأبعاد في فضاء تضمين أكثر كثافة وأقل أبعادًا، حيث يمكن حساب المسافة رياضيًا بوصفها تشابهًا نسبيًا.
- غموض الإحداثيات الفردية: نادرًا ما يمكن تفسير الأبعاد الفردية في تضمين متعلَّم على أنها مفاهيم واضحة مُعنونة يدويًا. يكمن المعنى في الموضع والاتجاه الناتجين عن اجتماع جميع أعداد المصفوفة.
- الاختصاص بالمهمة: تُدرَّب التضمينات عادةً لمهام محددة، ما يعني أن الفضاء المتجهي المحسّن للاسترجاع الدلالي للنص يختلف عن فضاء دُرّب لتوصيات المنتجات.
لأن المتجهات ترمّز الترابط بدلًا من التهجئة الدقيقة، تذكر OpenAI ست مهام إنتاجية شائعة للتضمينات: البحث (ترتيب النتائج حسب صلتها بالاستعلام)، والتجميع، والتوصيات، واكتشاف الحالات الشاذة، وقياس التنوع، والتصنيف (إسناد السلسلة إلى أقرب تسمية لها).
شرح تضمينات الكلمات والجمل والمستندات
تختلف تضمينات الكلمات والجمل والمستندات في مقدار النص الذي يضغطه النموذج في متجه واحد. ويحدد اختيار مستوى التفصيل المناسب ما إذا كان نظامك يتتبع مصطلحات منفردة أو استعلامات مستخدمين قصيرة أو مقاطع متعددة الفقرات.
تضمينات الكلمات
تضمين الكلمة متجه كثيف يُسند إلى كلمة واحدة أو رمز مميز في الذكاء الاصطناعي. تُسند تضمينات الكلمات الثابتة مثل word2vec، الذي قدّمه Tomas Mikolov وزملاؤه عام 2013، متجهًا عامًا ثابتًا واحدًا لكل كلمة في المفردات. وكما توضح الدورة المكثفة للتعلم الآلي من Google، تفترض النماذج المدرَّبة على توقع السياق المحيط بكلمة أن الكلمات التي تظهر في سياقات متشابهة تحمل معاني مترابطة.
لتضمينات الكلمات الثابتة قيد معروف: يجب أن يمثّل متجه واحد جميع معاني الكلمة في آن واحد، مثل الكلمة الإنجليزية «bank» بمعنى مؤسسة مالية وبمعنى ضفة نهر. وتلاحظ Google أيضًا، نقلًا عن كتاب Deep Learning with Python للمؤلف François Chollet، أن تضمينات الكلمات الثابتة استخدمت عادةً أعداد أبعاد مثل 256 أو 512 أو 1024.
تضمينات الجمل
يحوّل تضمين الجملة عبارة أو جملة كاملة إلى متجه واحد بدلًا من إنتاج متجه منفصل لكل كلمة. وتلاحظ IBM أن تضمينات الجمل تلتقط المعنى الدلالي المشترك لعبارة كاملة، وتُستخدم عادةً لترميز استعلامات المستخدمين في عمليات البحث والإجابة عن الأسئلة. ويساعد ترميز الجملة كاملة على التمييز بين السلاسل التي تتشارك الكلمات نفسها بترتيب مختلف.
تضمينات المستندات
يمثّل تضمين المستند مقطعًا أطول أو قسمًا من مقال أو جزءًا كاملًا من مستند في متجه واحد. يجمع نهج أساسي بسيط متجهات الكلمات بحساب متوسطها، لكن هذه الطريقة تفقد البنية والفروق الدقيقة غالبًا. أما نماذج تضمين النص المصممة خصيصًا فترمّز المقطع كله في خطوة واحدة. وفي أنظمة الاسترجاع الفعلية، نادرًا ما تضغط الفرق كتابًا كاملًا في متجه واحد؛ بل تقسّم الملفات الطويلة إلى أجزاء أصغر وتولّد تضمينًا لكل جزء.
| نوع التضمين | مستوى تفصيل المدخل | وحدة المتجه المعتادة | الدور الأساسي والقيد |
|---|---|---|---|
| تضمين كلمة | كلمة أو رمز مميز واحد | متجه لكل عنصر في المفردات | يلتقط تشابه المصطلحات؛ وتدمج النماذج الثابتة مثل word2vec جميع معاني الكلمة في متجه واحد |
| تضمين جملة | عبارة أو جملة واحدة | متجه لكل استعلام أو سطر | يلتقط القصد على مستوى العبارة؛ ويُستخدم عادةً لاستعلامات البحث والإجابة عن الأسئلة |
| تضمين مستند | مقطع أو جزء من مستند | متجه لكل جزء أو مستند | يدعم الاسترجاع من مجموعة المستندات؛ وتحتاج المستندات الطويلة عادةً إلى تقسيم قبل التضمين |
ماذا تعني أبعاد التضمين؟
تقيس أبعاد التضمين طول المتجه، أي عدد أعداد الفاصلة العائمة التي يخرجها النموذج لكل مدخل. وتوفر المتجهات الأكبر قدرة أكبر على ترميز الفروق الدلالية الدقيقة، بينما تقلل المتجهات الأصغر استخدام الذاكرة وحجم الفهرس وحسابات المقارنة.
توضح نماذج التضمين من الجيل الثالث لدى OpenAI هذه المفاضلة مباشرةً. اعتبارًا من 14 نوفمبر 2026، تحدد وثائق OpenAI الرسمية أطوال المخرجات الافتراضية عند 1536 بُعدًا لـtext-embedding-3-small و3072 بُعدًا لـtext-embedding-3-large. يقبل كلا النموذجين المعامل الاختياري dimensions في طلب API، ما يتيح للمطورين طلب متجه أقصر دون فقدان خصائص التضمين التي تمثّل المفاهيم.
درّبت OpenAI كلا النموذجين من الجيل الثالث بحيث يمكن إزالة الأعداد الأخيرة دون مشكلات. ووفقًا لدليل تضمينات OpenAI اعتبارًا من 14 نوفمبر 2026، فإن تقصير text-embedding-3-large إلى 256 بُعدًا يظل متفوقًا في معيار MTEB على تضمين text-embedding-ada-002 غير مختصر ذي 1536 بُعدًا. وإذا فرضت قاعدة بيانات متجهية حدًا أقصى صارمًا قدره 1024 بُعدًا، تشير OpenAI إلى أن المطورين يستطيعون استدعاء text-embedding-3-large مع ضبط dimensions على 1024، مقابل التضحية بقدر صغير من الدقة للحصول على التوافق وتقليل مساحة التخزين.
يجب على المطورين الذين يقصّرون المتجهات يدويًا بعد استلامها من API تطبيق تطبيع الطول L2 بعد ذلك. ويؤدي تمرير المعامل dimensions مباشرةً عند إنشاء التضمين إلى تجنب المعالجة اللاحقة اليدوية، وهو الأسلوب الذي توصي به OpenAI.
كيف يقارن تشابه جيب التمام بين التضمينات؟
يقارن تشابه جيب التمام بين متجهي تضمين بقياس جيب تمام الزاوية بينهما. ولأنه يقيّم الاتجاه في فضاء التضمين بدلًا من المقدار الخام للمتجه، يحصل مقطعان يشيران إلى الاتجاه الدلالي نفسه على درجة مرتفعة حتى لو اختلف طولاهما.
بالنسبة إلى المتجهات عمومًا، يتراوح تشابه جيب التمام من -1 إلى 1:
- 1: يشير المتجهان إلى الاتجاه نفسه تمامًا، ما يدل على أقصى تشابه.
- 0: يتعامد المتجهان، ما يدل على أن المعنيين غير مترابطين.
- -1: يشير المتجهان إلى اتجاهين متعاكسين.
توفر المسافة الإقليدية مقياسًا بديلًا بقياس المسافة في خط مستقيم بين نقطتين في فضاء التضمين. وعندما يسأل المطورون عن دالة المسافة التي ينبغي اختيارها، توصي الأسئلة الشائعة حول التضمينات من OpenAI صراحةً بتشابه جيب التمام، مع الإشارة إلى أن اختيار المقياس لا يُحدث عادةً فرقًا كبيرًا مع متجهات OpenAI. وكل تضمين تعيده API الخاصة بـOpenAI مطبّع بالفعل إلى طول 1، ما يعني أن تشابه جيب التمام يساوي الضرب النقطي، وأن تشابه جيب التمام والمسافة الإقليدية ينتجان ترتيبًا متطابقًا لنتائج البحث.
كيف تُستخدم التضمينات في RAG؟
تدعم التضمينات التوليد المعزز بالاسترجاع (RAG) بمطابقة سؤال المستخدم مع أجزاء المستندات المخزنة قبل أن يكتب نموذج لغوي إجابة. وبدلًا من الاعتماد فقط على الحقائق المحفوظة أثناء التدريب المسبق، يبحث مسار RAG في مجموعات نصوص خاصة أو حديثة باستخدام التشابه المتجهي.
اتساقًا مع إرشادات OpenAI للإجابة عن الأسئلة والبحث النصي، يتبع مسار RAG القياسي خمس خطوات:
- قسّم مجموعة المستندات: قسّم المستندات المصدر الطويلة إلى مقاطع أصغر بحيث يمثّل كل متجه فكرة محددة. يتناول دليلنا حول كيفية تقسيم المستندات من أجل RAG استراتيجيات تقسيم محددة.
- أنشئ تضمينات الأجزاء وافهرسها: أرسل كل جزء إلى نموذج تضمين وخزّن المتجهات الناتجة مع نصها المصدر. توصي OpenAI بتخزين المتجهات في قاعدة بيانات متجهية عند البحث السريع في مجموعات كبيرة.
- أنشئ تضمين استعلام المستخدم: مرّر السؤال الوارد عبر نموذج التضمين نفسه تمامًا حتى يقع الاستعلام في الفضاء الرياضي نفسه الذي تقع فيه الأجزاء المفهرسة.
- استرجع أقرب الجيران: احسب درجات التشابه، مثل تشابه جيب التمام أو الضرب النقطي للمتجهات المطبّعة، واجلب الأجزاء الأعلى تطابقًا.
- مرّر السياق إلى النموذج: أدرج أجزاء النص المسترجعة في موجّه النموذج اللغوي حتى يتمكن من توليد إجابة مستندة إلى موادك المصدرية.
يختلف حجم الأجزاء وعتبات الاسترجاع كثيرًا حسب بنية المستندات وأنماط الاستعلام، لذا ينبغي للفرق اختبار استراتيجيات التقسيم على مجموعة مستنداتها الفعلية بدلًا من الاعتماد على حجم واحد صالح للجميع.
نماذج تضمين OpenAI والحدود والأسعار
توفر API التضمين من OpenAI ثلاثة نماذج نصية رئيسية بحدود ثابتة للرموز المميزة وأسعار لكل رمز اعتبارًا من 14 نوفمبر 2026. يولّد المطورون المتجهات بإرسال طلب POST https://api.openai.com/v1/embeddings يحتوي على input وmodel، مع dimensions اختياريًا (في نماذج الجيل الثالث) وencoding_format (float افتراضيًا، أو base64).
تشترك نماذج تضمين OpenAI الثلاثة المذكورة في حدود الطلب نفسها: حد أقصى 8,192 رمزًا مميزًا لكل مدخل منفرد، وما يصل إلى 2,048 عنصرًا لكل مصفوفة مدخلات، وبحد أقصى 300,000 رمز مميز في مجموع جميع المدخلات في استدعاء API واحد. تُرفض السلاسل الفارغة. ولعد الرموز محليًا قبل إرسال الطلبات، تنصح OpenAI باستخدام ترميز cl100k_base مع tiktoken. وتدعم النماذج الثلاثة أيضًا Batch API من OpenAI.
| النموذج | الأبعاد الافتراضية | الحد الأقصى لرموز المدخل | السعر لكل مليون رمز (14 نوفمبر 2026) | الصفحات التقريبية لكل دولار (~800 رمز/صفحة) | درجة MTEB المنشورة من OpenAI |
|---|---|---|---|---|---|
text-embedding-3-small |
1536 | 8,192 | $0.02 | 62,500 | 62.3% |
text-embedding-3-large |
3072 | 8,192 | $0.13 | 9,615 | 64.6% |
text-embedding-ada-002 |
1536 | 8,192 | $0.10 | 12,500 | 61.0% |
تأتي هذه الأرقام مباشرةً من صفحة أسعار OpenAI ودليل التضمينات اعتبارًا من 14 نوفمبر 2026. تصف OpenAI نموذج text-embedding-3-small بأنه خليفة محسّن لـtext-embedding-ada-002، وتقدّم text-embedding-3-large بوصفه نموذجها الأكثر قدرة للمهام بالإنجليزية وغيرها. ينبغي اعتبار نسب MTEB أعلاه معايير نشرتها OpenAI في وثائقها في ذلك التاريخ فقط، وليست ترتيبًا مستقلًا ومباشرًا يشمل جميع مقدمي التضمين في القطاع.
الأسئلة الشائعة
ما الفرق بين التضمين المتجهي والرمز المميز؟
الرمز المميز جزء من نص المدخل، مثل كلمة أو جزء من كلمة، يقرأه النموذج ويُحاسب عليه. أما التضمين المتجهي فهو المصفوفة الكثيفة من أعداد الفاصلة العائمة التي يخرجها النموذج لتمثيل معنى رمز مميز واحد أو أكثر. يمكنك تمرير ما يصل إلى 8,192 رمزًا مميزًا إلى نموذج تضمين من OpenAI للحصول على متجه واحد.
هل يقلل معامل dimensions من OpenAI دقة التضمين؟
يؤدي تقصير متجه باستخدام المعامل dimensions إلى التضحية بقدر صغير من الدقة مقابل خفض تكاليف التخزين والحوسبة. وتذكر OpenAI أن نماذجها من الجيل الثالث دُرّبت بحيث يمكن حذف الأعداد الأخيرة مع الحفاظ على تمثيل المفاهيم. واعتبارًا من 14 نوفمبر 2026، تفيد OpenAI بأن متجه text-embedding-3-large ذا 256 بُعدًا لا يزال يتفوق في MTEB على متجه text-embedding-ada-002 غير مختصر ذي 1536 بُعدًا.
هل أستخدم تشابه جيب التمام أم المسافة الإقليدية لتضمينات OpenAI؟
تشابه جيب التمام هو المقياس الذي توصي به OpenAI، رغم أن الدالتين تقدمان ترتيبًا متطابقًا لمتجهات OpenAI. ولأن تضمينات OpenAI مطبّعة إلى طول 1، فإن تشابه جيب التمام يعادل رياضيًا الضرب النقطي، وتحافظ المسافة الإقليدية على الترتيب نفسه تمامًا. أما بالنسبة إلى المتجهات العامة غير المطبّعة من مصادر أخرى، فيعزل تشابه جيب التمام الزاوية بدلًا من المقدار.
هل تعرف نماذج التضمين الأحداث الحديثة؟
لا تعرف نماذج التضمين من الجيل الثالث لدى OpenAI، وهما text-embedding-3-small وtext-embedding-3-large، الأحداث التي وقعت بعد سبتمبر 2021. وتشير OpenAI في أسئلتها الشائعة حول التضمينات إلى أن تاريخ توقف المعرفة هذا أقل تقييدًا للتضمينات عمومًا منه لنماذج توليد النص، وإن كانت بعض الاستعلامات المتخصصة أو اللاحقة لتاريخ التوقف قد تشهد انخفاضًا في جودة المطابقة.
من يملك التضمينات المنشأة عبر OpenAI API؟
وفقًا للأسئلة الشائعة الرسمية من OpenAI، يملك العملاء المدخلات التي يرسلونها ومتجهات المخرجات التي تولّدها نماذج OpenAI، بما في ذلك التضمينات. وتذكر OpenAI أن الملكية تنطبق على نقاط نهاية التضمين لديها، بينما يظل المستخدمون مسؤولين عن ضمان امتثال استخدامهم للـAPI للقانون المعمول به.
