التكلفة الحقيقية لنماذج الخبراء المتناثرة: التوجيه وقيود السعة والاتصال الموزّع

Codex (AI)

الملخص

توسّع نماذج الخبراء المتناثرة سعة المعلمات باختيار مجموعة جزئية من الخبراء لكل رمز، لكن الاختيار نفسه يُدخل مسائل تتعلق بالأحمال والسعة والاتصال بين الأجهزة. يحلل هذا المقال العلاقة بين أوزان التوجيه ومعامل السعة والهدف المساعد للموازنة وتوزيع الخبراء على الأجهزة، ويقترح خطة تحقق تسجّل بصورة مشتركة الحوسبة الفعلية والإسقاط أو إعادة التوجيه وزمن الانتظار والجودة. يجري الشكل المرفق حسابًا حتميًا للسعة باستخدام 8 خبراء و1000 رمز؛ وجميع الأحمال منشأة صراحةً، ولا تمثل توزيعات توجيه أو قياسات أداء لأي نموذج مدرَّب.[1] Switch Transformers: Scaling to Trillion Parameter Mode [2] GShard: Scaling Giant Models with Conditional Computati [3] Attention Is All You Need

ترجمة الملخص الإنجليزي

تخصّص نماذج مزيج الخبراء المتناثرة حوسبة الرموز من خلال توجيه متعلَّم. تميّز هذه المراجعة بين السعة الإجمالية والحوسبة المُفعَّلة وتجاوز سعة الخبراء والاتصال. يقارن حساب حتمي للأحمال بين التوجيه المنتظم والتوجيه المنحرف في ظل معامل سعة معلن؛ ولا يمثل تجربة على موجّه مدرَّب. يجب أن يعرض التقييم بصورة مشتركة جودة النموذج والرموز المُسقَطة أو المُعاد توجيهها والاتصال واستغلال الأجهزة.

1. السعة الإجمالية والحوسبة المُفعَّلة في كل خطوة ميزانيتان منفصلتان

بعد استبدال طبقة تغذية أمامية كثيفة بعدة خبراء، لا يدخل كل رمز إلا إلى عدد قليل من الخبراء، مما يتيح زيادة إجمالي المعلمات دون زيادة متناسبة في الحوسبة المُفعَّلة. لكن عمليات الانتباه والتوجيه والتطبيع والطبقات المشتركة الأخرى تظل بحاجة إلى التنفيذ. يؤثر إجمالي المعلمات في التخزين ونقاط التحقق وحالات المُحسِّن، بينما تقترب المعلمات المُفعَّلة أكثر من تمثيل جزء من التكلفة الحسابية؛ ولا يمكن لأي منهما بمفرده أن يمثّل إنتاجية التدريب. عند المقارنة، ينبغي تحديد عدد الطبقات وحجم الخبراء وtop-k والخبراء المشتركين وخط الأساس الكثيف، لتجنّب إرجاع المكاسب الناتجة عن موارد تدريب إضافية بالكامل إلى آلية التناثر.[1] Switch Transformers: Scaling to Trillion Parameter Mode [2] GShard: Scaling Giant Models with Conditional Computati

2. يحوّل التوجيه الاختيار المحلي إلى مسألة اصطفاف عامة

ينتج الموجّه درجات للخبراء استنادًا إلى المدخل، ثم يختار خبيرًا أو أكثر ويدمج النتائج. ارتفاع درجة رمز معين لدى خبير ما لا يعني أن ذلك الخبير لا يزال يمتلك سعة متاحة في هذه الدفعة. تُحدَّد السعة عادةً وفق العدد الإجمالي للرموز ضمن مجموعة توجيه واحدة وtop-k وعدد الخبراء؛ وتؤثر حدود المجموعات وتقسيم الأجهزة والحشو جميعها في الاستغلال الفعلي. إذا اختارت رموز كثيرة الخبير نفسه، فقد يحدث تجاوز للسعة أو انتظار، في حين قد يبقى خبراء آخرون خاملين. لذلك فإن عرض متوسط الحمل وحده يخفي بؤر الازدحام؛ وينبغي أيضًا، كحد أدنى، الإبلاغ عن الحمل الأقصى والمئينات الطرفية وعدد حالات تجاوز السعة.[1] Switch Transformers: Scaling to Trillion Parameter Mode

3. يحسّن هدف الموازنة الاستغلال لكنه يغيّر مسألة التحسين

تشجّع خسارة الموازنة المساعدة على توزيع أكثر انتظامًا لنسب استخدام الخبراء واحتمالات التوجيه، ويمكنها تخفيف الازدحام المزمن لدى عدد قليل من الخبراء؛ لكنها تقيّد أيضًا قدرة الموجّه على تشكيل تقسيم للعمل بحرية وفق البيانات. يؤثر معامل الموازنة والضوضاء وقواعد الاختيار ومرحلة التدريب في هذه المفاضلة. لا يثبت انتظام الأحمال أن الخبراء تعلّموا فروقًا مفيدة، ولا يثبت بلوغ أعلى جودة. ينبغي إجراء مسح لقيم معامل الموازنة باستخدام البيانات نفسها وميزانية الحوسبة نفسها، مع قياس جودة المهام وتجاوز السعة واستخدام الخبراء معًا، للتحقق مما إذا كانت المكاسب ناتجة عن تقليل الإسقاط، أم أن التغير يقتصر على إحصاءات التوجيه.[1] Switch Transformers: Scaling to Trillion Parameter Mode [2] GShard: Scaling Giant Models with Conditional Computati

4. قد يبدّد الاتصال من الكل إلى الكل الوفورات الحسابية

عندما يُوزَّع الخبراء على أجهزة متعددة، يجب إعادة ترتيب تمثيلات الرموز وفق التوجيه، ثم إرسالها وإجراء الحسابات عليها وإعادتها. يرتبط حجم الاتصال ببُعد التمثيل المخفي والدقة وtop-k وتوزيع الخبراء على الأجهزة، كما تؤثر الرسائل الصغيرة والدفعات ذات الأطوال المختلفة وعرض النطاق بين الأجهزة في زمن الاستجابة. قد يختلف انتظار الاتصال اختلافًا كاملًا بين إعدادَي نشر لهما العدد نفسه من العمليات الحسابية. ينبغي تسجيل أزمنة التوزيع وحوسبة الخبراء والدمج والمزامنة كلًّا على حدة، والإبلاغ عن طوبولوجيا الاتصال الفعلية واستراتيجية التوازي؛ فلا يمكن لنتائج الضرب المتناثر على بطاقة واحدة أن تمثّل مباشرةً أداء التدريب على أجهزة متعددة أو الخدمة عبر الإنترنت.[2] GShard: Scaling Giant Models with Conditional Computati [1] Switch Transformers: Scaling to Trillion Parameter Mode

5. يجب أن يصبح تجاوز السعة جزءًا من سجل الجودة

عندما تبلغ سعة خبير حدها الأقصى، قد يُسقط التنفيذ ذلك المسار، أو يُبقي المسار المتبقي فقط، أو يعيد التوجيه إلى خبير تالٍ في ترتيب الاختيار. تغيّر الاستراتيجيات المختلفة الحوسبة الفعلية للنموذج، وقد تؤثر بصورة غير متساوية في اللغات الأقل شيوعًا أو المهام النادرة أو التسلسلات الطويلة. وقد يخفي انخفاض معدل الإسقاط الإجمالي ارتفاعًا في الإسقاط لدى فئات معينة. ينبغي تقسيم التقييم بحسب المهمة والطول واللغة، وحفظ الفروق بين مسارات التوجيه المرشحة والمسارات المنفَّذة فعليًا. وإذا استُخدمت سعات أو خوارزميات اختيار مختلفة في التدريب والاستدلال، فينبغي اعتبارها ظروف تشغيل مختلفة؛ ولا تكفي المقارنة استنادًا إلى تطابق ملفات الأوزان وحده.[1] Switch Transformers: Scaling to Trillion Parameter Mode

6. ينبغي أن تتضمن استنتاجات التكلفة قيودًا مشتركة للنظام والجودة

السؤال المناسب للمقارنة هو: ما مقدار حوسبة التدريب وذاكرة الأجهزة والاتصال وزمن الاستجابة الذي يتطلبه النهج المتناثر عند بلوغ أهداف الجودة والخدمة نفسها؟ لا تثبت زيادة المعلمات تلقائيًا تحسّن كفاءة العينات، كما لا يثبت التفعيل المتناثر تلقائيًا انخفاض التكلفة الإجمالية. يهدف مخطط الأحمال المنشأ في هذا المقال فقط إلى توضيح كيفية حدوث تجاوز السعة؛ أما الموجّهات الفعلية، فينبغي الاحتفاظ بإحصاءات مجموعات التوجيه لكل طبقة دون تسجيل النص الفعلي للرموز الخاصة، ثم تأكيد الاختناقات بتكرار التشغيل والقياس على مستوى الأجهزة. ولا يمكن تفسير فروق الأداء إلا بالفصل بين العدّ القابل للتحقق والقياسات الفعلية للنظام.[1] Switch Transformers: Scaling to Trillion Parameter Mode [2] GShard: Scaling Giant Models with Conditional Computati [3] Attention Is All You Need

الصيغ الأساسية والاشتقاقات

y(x)=\sum_{e\in\operatorname{TopK}(g(x))}p_e(x)E_e(x)

(1) تُدمج مخرجات الخبراء وفق الأوزان بعد الاختيار؛ ويحدّد التنفيذ على نحو منفصل طريقة التطبيع ومعالجة تجاوز السعة والمسارات المشتركة.

LaTeX

y(x)=\sum_{e\in\operatorname{TopK}(g(x))}p_e(x)E_e(x)

C_e=\left\lceil c\frac{Tk}{E}\right\rceil,\qquad O=\sum_e\max(0,L_e-C_e)

(2) يمثّل T عدد الرموز في مجموعة التوجيه نفسها، وk عدد مرات إرسال كل رمز، وE عدد الخبراء، وc معامل السعة؛ ويحسب O عمليات الإرسال التي تتجاوز السعة، ولا يساوي تلقائيًا عدد الرموز المُسقَطة نهائيًا.

LaTeX

C_e=\left\lceil c\frac{Tk}{E}\right\rceil,\qquad O=\sum_e\max(0,L_e-C_e)

\rho_{\max}=\frac{\max_e L_e}{Tk/E}

(3) تُقاس بؤر الازدحام بنسبة حمل الخبير الأكثر انشغالًا إلى متوسط الحمل المثالي. وقد تختلف بؤر الازدحام بين دفعتين لهما متوسط حمل متطابق تمامًا.

LaTeX

\rho_{\max}=\frac{\max_e L_e}{Tk/E}

مسار المنهج والأدلة

الرموز ومجموعات التوجيه → درجات الموجّه / top-k → فحص سعة الخبراء → التوزيع والاصطفاف بين الأجهزة → حوسبة الخبراء / دمج النتائج → تقييم مشترك للجودة وتجاوز السعة والنظام — **الشكل 1 · مسار المنهج والأدلة**مخطط مفاهيمي مرسوم استنادًا إلى بنية هذا المقال، يوضح الخطوات التي يلزم التمييز بينها؛ ولا يعني أن هذه التجارب قد أُنجزت.

رسوم تحليلية وأمثلة عددية

**الشكل 2 · قد يخفي تساوي متوسط الحمل تجاوز سعة الخبراء**8 خبراء؛ 1000 عملية إسناد للرموز؛ top-k=1؛ معامل السعة 1.25، مع تقريب السعة إلى أعلى لتصبح 157. لم يُدرَّب أي نموذج توجيه. JSON · الصيغ والمدخلات والقيم العددية

مثال محلول قابل لإعادة الحساب

يبلغ عدد عمليات الإرسال في كلتا المجموعتين 1000، وتبلغ السعة في كلتيهما 157. لا يوجد تجاوز للسعة في المجموعة المنتظمة؛ أما المجموعة المنحرفة فيبلغ مجموع عمليات الإرسال المتجاوزة للسعة فيها 286. يعتمد الإسقاط النهائي وإعادة التوجيه والجودة على التنفيذ، ولا تتحدد تلقائيًا من العدّ.

مقارنة المناهج

المنهج أو الحكم	المتغيرات المضبوطة والقياسات	شروط الإخفاق وتفسيرها
إجمالي المعلمات	عرض جميع الخبراء والطبقات المشتركة وحالات المُحسِّن كلًّا على حدة	لا يساوي الحوسبة المُفعَّلة لكل رمز
موازنة التوجيه	تسجيل حمل كل خبير وتجاوز السعة بحسب الفئات	لا يضمن الانتظام تقسيمًا فعالًا للعمل بين الخبراء
معامل السعة	تثبيت مجموعات التوجيه وقواعد معالجة تجاوز السعة	تزيد زيادة السعة أيضًا من الذاكرة أو الحشو
الإنتاجية الموزّعة	قياس التوزيع والحوسبة والدمج وزمن الاستجابة عند المئينات العليا من توزيعه.	لا تستطيع FLOPs وصف الاتصال والانتظار

خطة التحقق والتجارب

تثبيت خط الأساس الكثيف وبنية الطبقات وحجم الخبراء وtop-k وبيانات التدريب، والإفصاح عن قواعد مطابقة الميزانيات.
تحديد مجموعات توجيه الرموز ومعامل السعة وتطبيع الأوزان وطريقة المعالجة عند بلوغ السعة القصوى.
حفظ حمل كل خبير ونسبة الحمل الأقصى إلى المتوسط وتجاوز السعة لكل طبقة، مع التقسيم بحسب اللغة والطول.
إجراء مسح لقيم معامل الموازنة والسعة، ومقارنة الجودة ومسارات الرموز المنفَّذة فعليًا معًا.
تسجيل طوبولوجيا الأجهزة وحجم الاتصال بالبايت ونسبة الحشو وذروة استخدام الذاكرة والزمن المستغرق في كل مرحلة.
إعادة القياس باستخدام أحجام الدفعات وتوزيعات الأطوال الخاصة بالخدمة الفعلية، مع التمييز بين مثال العدّ التوضيحي في هذا المقال والإنتاجية في بيئة الإنتاج.

نطاق الانطباق والقيود

الأحمال التوضيحية ليست مستمدة من نموذج مدرَّب.
تعتمد صيغة السعة على تعريف مجموعات التوجيه.
لا يمثّل إجمالي المعلمات والحوسبة المُفعَّلة التكلفة الإجمالية.
يجب قياس الموازنة والتخصص وجودة المهام فعليًا وبصورة مشتركة.

المصادر الأولية وما يقابلها من ادعاءات

Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, , · 2021-01-11Abstract; 原文方法、理论和实验章节见作者原始论文链接
GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding, , , , , , , , · 2020-06-30Abstract; 原文方法、理论和实验章节见作者原始论文链接
Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)

الاستشهاد وتصدير المقال

BibTeX RIS CSL JSON TXT المقال JSON

المؤلف والإصدار والمصادر

مراجعة بحثية بمساعدة الذكاء الاصطناعي؛ أعدّها Codex (ذكاء اصطناعي) وأجرى اشتقاقاتها التحليلية استنادًا إلى الأدبيات الأولية المذكورة. لا يتضمن هذا الموقع سجلًا لمراجعة أقران مستقلة أو لتجارب أصلية على النماذج تخص هذا المقال.

تعديل أداء القارئ: تُعاد أيضًا الاستفادة من الصفحات المقروءة عندما يعيد طلب HEAD حديث الحالة 200 وتكون قيمة ETag مطابقة. يحتفظ المتن والصيغ والمصادر وبيانات الرسوم العلمية بمحتوى الإصدار السابق.

الغلاف المفاهيمي منفصل عن الرسوم العلمية؛ وتُحسب الرسوم العلمية باستخدام صيغ معلنة وافتراضات صريحة، مع إسناد جميع نتائج الأوراق الأصلية إلى مصادرها.

المؤلف والإصدار وسجل التصحيحات · /guides/sparse-mixture-experts/v1/

مصادر الغلاف والرسوم العلمية · البيانات والمصادر والافتراضات · سجل النشر والإصدارات

مراجعة المصدر: 6251a250b27bb8b449f59b392f81abd355383770

[ref-arxiv-2101.03961] Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, , · 2021-01-11Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-arxiv-2006.16668] GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding, , , , , , , , · 2020-06-30Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-attention] Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)