أدلة الذكاء الاصطناعي · 8 دقيقة للقراءة

ما هو mixture of experts؟ كيف تعمل نماذج اللغة المتناثرة

يوجه mixture of experts ‏(MoE) كل رمز إلى عدد قليل من شبكات الخبراء. تعرف على اختلاف الحساب والتكلفة عن النماذج الكثيفة باستخدام Mixtral مثالًا.

رسم لتدفق من الرموز يمر عبر router مركزي صغير يضيء عددًا قليلًا فقط من كتل الخبراء الطويلة المتعددة

معمارية mixture of experts ‏(MoE)، أو مزيج الخبراء، هي معمارية للشبكات العصبية تقسّم طبقة إلى عدة شبكات فرعية متخصصة وتستخدم router متعلمًا لتوجيه كل مدخل إلى مجموعة صغيرة منها. في نماذج اللغة المتناثرة من نوع MoE، لا يفعّل كل رمز إلا جزءًا من إجمالي المعلمات، ما يفصل سعة النموذج عن الحساب لكل رمز.

كيف يعمل نموذج LLM بمعمارية mixture of experts؟

يعمل نموذج LLM بمعمارية mixture of experts عبر استبدال كتلة التغذية الأمامية القياسية داخل طبقات Transformer بعدة شبكات خبراء متوازية يتحكم فيها router لكل رمز. تتناوب نماذج Transformer القياسية بين طبقات الانتباه وطبقات شبكة التغذية الأمامية الكثيفة (FFN). عند استخدام تصميم MoE في نموذج لغوي، تظل كتلة الانتباه مشتركة بين جميع المدخلات، بينما تصبح كتلة FFN مجموعة من شبكات الخبراء الفرعية المنفصلة، التي تُبنى كل منها عادةً بصفتها FFN مستقلة.

كيف يعالج router والخبراء كل رمز

يمر كل رمز في نموذج ذكاء اصطناعي عبر طبقات Transformer خطوة بخطوة، ويقيّم router كل رمز على نحو مستقل. يُسمى router أيضًا شبكة البوابة، وهو مكوّن متعلم داخل الطبقة. في التطبيقات المعتادة، يتكون من طبقة خطية صغيرة تليها دالة softmax تمنح كل خبير متاح درجة للرمز الوارد، وتقترن بخطوة اختيار top-k.

بعد أن يختار router أفضل k من الخبراء لذلك الرمز، يحسب الخبراء المحددون وحدهم مخرجاته. ثم يجمع النموذج مخرجات الخبراء المختارين، عادةً بترجيحها وجمعها، قبل تمرير الحالة المخفية إلى كتلة Transformer التالية.

MoE المتناثر مقابل MoE الكثيف

يميّز المختصون بين MoE الكثيف وMoE المتناثر بحسب عدد الخبراء الذين يعملون على كل مدخل. في طبقة MoE كثيفة، يعمل كل خبير على كل مدخل. أما في طبقة mixture of experts متناثرة، فلا تعمل لرمز معين سوى مجموعة خبراء top-k التي اختارها router. ما لم تحدد ملاحظة معمارية صراحةً توجيهًا كثيفًا، تستخدم وثائق LLM الحديثة المصطلح MoE اختصارًا للحالة المتناثرة.

المعلمات النشطة مقابل المعلمات الإجمالية في نموذج MoE

فهم الفرق بين المعلمات النشطة والإجمالية ضروري عند قراءة بطاقة أي نموذج MoE. ولأن نموذج MoE المتناثر يخزن شبكات خبراء كثيرة ولا يفعّل سوى عدد قليل منها لكل رمز، فلا يمكن لعدد واحد من المعلمات أن يصف حجمه في الذاكرة وحسابه لكل رمز معًا.

تحصي المعلمات الإجمالية، التي تسمى أحيانًا المعلمات المتناثرة، كل وزن في النموذج بأكمله: جميع شبكات FFN الخاصة بالخبراء، وأجهزة router، وكتل الانتباه المشتركة، وطبقات التضمين والإخراج. وكلما أضاف مطورو النموذج خبراء إلى كل طبقة، زاد العدد الإجمالي للمعلمات.

تحصي المعلمات النشطة فقط مجموعة الأوزان المنفذة أثناء تمريرة أمامية لرمز واحد. يشمل هذا العدد الطبقات المشتركة التي تعمل لكل رمز، إضافة إلى خبراء k المختارين في كل طبقة MoE. تؤدي زيادة k إلى زيادة المعلمات النشطة مباشرةً، بينما يترك تثبيت k وإضافة مزيد من الخبراء إجمالًا المعلمات النشطة دون تغير يُذكر، باستثناء العبء الطفيف على router. يرتبط حساب التمريرة الأمامية وزمن الاستجابة لكل رمز ارتباطًا وثيقًا بالمعلمات النشطة، في حين تظل الذاكرة اللازمة لتحميل النموذج مرتبطة بالمعلمات الإجمالية.

mixture of experts مقابل النموذج الكثيف

تقوم مقارنة mixture of experts بالنموذج الكثيف على كيفية ارتباط عدد المعلمات بالحساب لكل رمز وذاكرة النظام. في Transformer كثيف، يشارك كل وزن في كل طبقة تغذية أمامية في معالجة كل رمز. وتؤدي زيادة سعة النموذج الكثيف إلى نمو الحساب لكل رمز بالمعدل نفسه.

تكسر معمارية MoE المتناثرة هذا الارتباط المباشر. فمن خلال زيادة العدد الإجمالي للخبراء n مع إبقاء عدد الخبراء الموجّه إليهم k ثابتًا، يمكن للمهندسين توسيع سعة المعلمات الإجمالية مع إبقاء الحساب لكل رمز مرتبطًا تقريبًا بـ k إضافة إلى التكلفة الصغيرة لتشغيل router.

جانب المقارنة النموذج الكثيف نموذج MoE المتناثر
المعلمات الإجمالية مجموعة موحدة من الأوزان عبر جميع الطبقات مجموع الطبقات المشتركة وجميع شبكات الخبراء الفرعية البالغ عددها n
المعلمات النشطة لكل رمز تساوي المعلمات الإجمالية (100% نشطة) مجموعة فرعية تضم الطبقات المشتركة وخبراء top-k لكل طبقة
الحساب لكل رمز يزداد مباشرةً مع العدد الإجمالي للمعلمات يزداد أساسًا مع المعلمات النشطة، إضافة إلى تكلفة طفيفة لـ router
الذاكرة اللازمة لتحميل النموذج تزداد مع المعلمات الإجمالية تزداد مع المعلمات الإجمالية، إذ يبقى جميع الخبراء عادةً في الذاكرة

يوضح الجدول قاعدة مهمة لتقييم النماذج. عند مقارنة سرعة التنفيذ أو كفاءة الحساب لكل رمز، توفر مقارنة نموذج MoE متناثر بنموذج كثيف ذي حجم نشط مماثل أساسًا منصفًا. أما مقارنته بنموذج كثيف يساوي عدد معلماته الإجمالي فتقارن بين أعباء عمل غير متكافئة.

من أين جاء مفهوم mixture of experts؟

يسبق مفهوم mixture of experts نماذج اللغة الكبيرة الحديثة بأكثر من عقدين. فقد استكشف الباحثون التوجيه المشروط قبل وجود معماريات Transformer بوقت طويل، ثم عدّلوا الفكرة تدريجيًا لتعمل على نطاق هائل.

في عام 1991، نشر Robert Jacobs وMichael Jordan وSteven Nowlan وGeoffrey Hinton بحث Adaptive Mixtures of Local Experts في Neural Computation، وقدموا إطارًا للتعلم الخاضع للإشراف توجّه فيه شبكة بوابة المدخلات المختلفة إلى شبكات خبراء محلية منفصلة.

في عام 2017، كيّف Noam Shazeer ومؤلفون مشاركون استخدام البوابة المتناثرة لنمذجة اللغة على نطاق واسع في بحث Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer، الذي قُدم في ICLR 2017. وأظهر عملهم أن إدراج طبقات MoE ذات بوابات متناثرة يتيح للشبكات العصبية التوسع إلى أعداد معلمات أكبر بكثير دون زيادات متناسبة في الحساب لكل مثال.

في عام 2021، قدم William Fedus وBarret Zoph وNoam Shazeer بحث Switch Transformers. وبدلًا من توجيه الرموز إلى خبيرين أو أكثر، يرسل Switch routing كل رمز إلى k=1 خبير. ورأى المؤلفون أن التوجيه إلى خبير واحد يمكن أن يحافظ على جودة النموذج مع خفض حساب router والاتصال بين الأجهزة مقارنةً بالتوجيه k > 1.

مثال تطبيقي: Mixtral 8x7B

يوفر إصدار Mixtral 8x7B من Mistral AI مثالًا عامًا واضحًا من الجهة المطورة لنموذج Mixtral بمعمارية mixture of experts، مع أرقام معمارية موثقة بالكامل. أُعلن عن Mixtral 8x7B في 11 ديسمبر 2023 في تدوينة Mixtral of experts، وفُصّل في ورقة Mixtral of Experts المصاحبة. وهو نموذج لغة متناثر بمعمارية mixture of experts يعتمد على مفكك الترميز فقط، وصدر بموجب ترخيص Apache 2.0 مع طول سياق يبلغ 32k رمزًا.

في Mixtral 8x7B، تحتوي كتلة التغذية الأمامية في كل طبقة Transformer على 8 مجموعات من معلمات الخبراء. ولكل رمز في كل طبقة، يختار router متعلم 2 من هؤلاء الخبراء الثمانية (k=2) ويجمع مخرجاتهم جمعًا.

تذكر ملاحظات إصدار Mistral AI أن إجمالي المعلمات يبلغ 46.7B وأن المعلمات المستخدمة لكل رمز تبلغ 12.9B، بينما تقرّب الورقة التقنية الرقمين إلى 47B إجمالًا و13B نشطة. توضح هذه الأرقام سبب كون ضرب 8 في 7B تقديرًا مضللًا: لا تُكرر المكونات المشتركة، مثل كتل الانتباه، ثماني مرات، لذا يبلغ إجمالي المعلمات 46.7B بينما لا يستخدم التنفيذ لكل رمز سوى 12.9B.

بصفته إصدار MoE مبكرًا ومفتوح الأوزان وموثقًا جيدًا، يوضح Mixtral 8x7B الآليات الأساسية بجلاء. وقد اعتمدت نماذج متقدمة لاحقة أيضًا طبقات تغذية أمامية متناثرة بأسلوب MoE، وإن كان مقدمو الخدمات التجاريون لا يفصحون كثيرًا عن العدد الدقيق للخبراء أو ترتيبات التوجيه.

ماذا يعني MoE للتكلفة واختيار النموذج؟

تغيّر معماريات mixture of experts التوازن بين تكلفة الاستدلال لكل رمز وسعة ذاكرة الأجهزة عند اختيار نموذج ذكاء اصطناعي. ويساعد فهم انفصال هذين القيدين الفرق على تجنب المفاجآت عند الانتقال من بطاقات النماذج إلى الاستضافة في بيئة الإنتاج أو تقييم واجهات البرمجة.

الحساب لكل رمز مقابل حجم الذاكرة المستخدم

نظرًا إلى أن حساب التمريرة الأمامية يرتبط بالمعلمات النشطة لا الإجمالية، يستطيع نموذج MoE المتناثر معالجة كل رمز بحساب أقرب إلى حساب نموذج كثيف أصغر. وغالبًا ما يترجم انخفاض الحساب لكل رمز إلى تنفيذ أسرع لكل رمز أو تكلفة حساب أقل لكل رمز مُولَّد، وهو أمر مهم عند متابعة طرق خفض تكاليف واجهات برمجة الذكاء الاصطناعي لأعباء العمل كبيرة الحجم.

يعمل تخطيط الذاكرة بصورة مختلفة. فتقديم نموذج MoE يتطلب عادةً ذاكرة وعرض نطاق للذاكرة يكفيان للاحتفاظ بجميع الخبراء في الوقت نفسه، لأن الرموز المختلفة في المطالبة أو الدفعة قد تُوجَّه إلى أي خبير في أي طبقة. وما لم يستخدم النشر إزاحة المعلمات من الذاكرة، تظل استضافة Mixtral 8x7B تتطلب استيعاب جميع المعلمات البالغ عددها 46.7B في الذاكرة، رغم أن كل رمز لا يفعّل سوى 12.9B.

اختيار أساس منصف للمقارنة

عندما أراجع بطاقة نموذج لمشروع نشر، أسجل الرقمين جنبًا إلى جنب: المعلمات الإجمالية لتحديد حجم الذاكرة، والمعلمات النشطة لتوقعات الحساب. تمنح مقارنة نموذج MoE بنموذج كثيف ذي حجم نشط مماثل تصورًا واقعيًا للحساب لكل رمز، بينما يوضح العدد الإجمالي للمعلمات فئة الأجهزة التي تستطيع تحميل الأوزان فعليًا.

ما الذي لا يُعد mixture of experts؟

يساعد توضيح ما لا يمثله نموذج MoE على منع المفاهيم الخاطئة الشائعة حول سير عمل التدريب، والبحث عن البيانات الخارجية، وما يتعلمه الخبراء الأفراد فعلًا.

المعمارية مقابل التدريب والاسترجاع

معمارية mixture of experts هي نمط للشبكات العصبية مدمج في طبقات النموذج. وتؤدي وظيفة مختلفة تمامًا عن أساليب ما بعد التدريب، مثل الضبط الدقيق أو التقطير، التي تكيّف الأوزان الموجودة أو تنقل القدرات إلى نموذج كثيف أصغر.

تؤدي mixture of experts أيضًا دورًا مختلفًا عن التوليد المعزز بالاسترجاع (RAG). يستعلم RAG من قواعد معرفة خارجية أثناء التشغيل لإضافة سياق ذي صلة إلى المطالبة، بينما يوجّه router في MoE الرموز بين الشبكات الفرعية الداخلية ضمن أوزان النموذج الثابتة فحسب. ولا يمنح استخدام نموذج MoE التطبيق قدرة استرجاع المستندات مباشرةً في الوقت الفعلي.

هل يتخصص الخبراء في موضوعات بشرية؟

غالبًا ما يقود مصطلح الخبير إلى افتراض أن شبكة فرعية تعالج شيفرة Python، وأخرى قواعد اللغة الإسبانية، وثالثة البراهين الرياضية. في غياب تحليل تجريبي من ورقة مستشهد بها يثبت هذا السلوك في نقطة تحقق محددة، ينبغي تجنب افتراض تخصص موضوعي يمكن للبشر تفسيره. أثناء التدريب، يقسم router المتعلم المدخلات رياضيًا لتقليل خسارة التدريب، ولا يضمن ذلك تسميات واضحة للموضوعات البشرية.

FAQ

تتناول هذه الإجابات أسئلة عملية شائعة يطرحها المختصون عند تقييم نماذج اللغة المتناثرة بمعمارية mixture of experts.

ما هو MoE بعبارات بسيطة؟

MoE، أو mixture of experts، هو تصميم لشبكة عصبية يستبدل طبقة تغذية أمامية كبيرة بعدة شبكات خبراء فرعية أصغر وrouter متعلم. يختار router لكل رمز وارد مجموعة صغيرة فقط من الخبراء لتنفيذها، ما يبقي الحساب لكل رمز أقل من حجم معلمات النموذج الإجمالي.

ما الفرق بين النموذج الكثيف ونموذج MoE؟

يستخدم نموذج اللغة الكثيف 100% من معلماته لمعالجة كل رمز. أما نموذج اللغة MoE المتناثر فيخزن عدة شبكات خبراء لكل طبقة ويوجه كل رمز إلى خبراء top-k فقط. نتيجةً لذلك، تربط النماذج الكثيفة الحساب مباشرةً بالمعلمات الإجمالية، بينما تربطه نماذج MoE المتناثرة أساسًا بالمعلمات النشطة.

لماذا لا يزال تحميل نموذج MoE يتطلب ذاكرة كبيرة؟

رغم أن كل رمز يستخدم جزءًا فقط من معلمات نموذج MoE، يمكن توجيه رموز مختلفة إلى أي خبير في الشبكة أثناء التشغيل. وما لم يعتمد إطار تقديم النموذج على إزاحة المعلمات من الذاكرة، يجب أن يحتفظ النظام بجميع المعلمات محملةً في الذاكرة حتى يظل كل خبير متاحًا فورًا.

كم خبيرًا يفعّل نموذج LLM من نوع MoE لكل رمز؟

يعتمد عدد الخبراء النشطين لكل رمز، المشار إليه بالحرف k، على تصميم النموذج. كان Switch Transformer يوجّه كل رمز إلى خبير واحد بالضبط (k=1) لتقليل عبء التوجيه والاتصال. وتختار النماذج العامة مثل Mixtral 8x7B خبيرين من أصل ثمانية في كل طبقة (k=2) وتجمع مخرجاتهما.

هل يحل mixture of experts محل RAG أو الضبط الدقيق؟

لا يحل mixture of experts محل RAG أو الضبط الدقيق، لأن كلًا منها يعالج مشكلة مختلفة. يحدد MoE كيفية توجيه الطبقات الداخلية للحساب داخل أوزان النموذج. ويسترجع RAG مستندات خارجية لإسناد الإجابات إلى بيانات حديثة، بينما يحدّث الضبط الدقيق سلوك النموذج لمهام أو صيغ استجابة متخصصة.

المصادر

تستند التعريفات المعمارية والمحطات التاريخية وأرقام Mixtral 8x7B في هذا الشرح إلى الأوراق البحثية الأصلية ووثائق الإصدار الرسمية التالية.

بقلم

Chunyu Cai

Chunyu Cai هو الرئيس التنفيذي لشركة Lotook, LLC ورائد أعمال يكتب عن نماذج الذكاء الاصطناعي ووكلائه وكيف تغير العمل اليومي. يحمل Chunyu Cai درجة الماجستير من Imperial College London.