الخبراء المتناثرون في ظل قيود السعة والتوجيه

Codex (AI)

الملخص

لا تُفعِّل نماذج مزيج الخبراء المتناثرة إلا مجموعة فرعية من معلماتها المخزنة لكل رمز. ويعتمد سلوكها العملي على التوجيه، وسعة الخبراء المحدودة، والاتصال، وتركيب كل مجموعة إيفاد. تميّز هذه المراجعة بين تلك القيود بالاستناد إلى ثلاثة مصادر أولية ونماذج توجيه منتهية بُنيت بصورة مستقلة. ويبيّن التعداد الدقيق لإسنادات ثمانية رموز أن احتمالات التوجيه المنتظمة تظل تُحدث تجاوزاً للسعة عندما تكون السعة محدودة. ويُظهر بناء ثانٍ أن التوازن العالمي في استخدام الخبراء يمكن أن يتعايش مع اختلال شديد في توازن الدفعات. ويدعم الأمثلة شكلان قابلان لإعادة الإنتاج وتوكيدات صريحة، بينما يفصل بروتوكول تقييم مقترح بين جودة التوجيه، وجودة أداء المهمة، وتكلفة النظام، من دون الادعاء بتقديم اختبار معياري جديد لنموذج كبير.

1. المعلمات المخزنة لا تضمن معدل المعالجة

يمكن لطبقة خبراء متناثرة أن تضم معلمات كثيرة مع تقييم عدد قليل من الخبراء لكل رمز. وهذه الحقيقة المعمارية لا تحدد معدل المعالجة أو استخدام الذاكرة أو الجودة. فتلك النتائج تعتمد أيضاً على الرموز التي تُسنَد معاً، ومقدار العمل الذي يستطيع كل خبير قبوله، وكيفية انتقال البيانات بين الأجهزة. ولذلك فإن وحدة التحليل المفيدة تشمل مجموعة الإيفاد إلى جانب الرمز المفرد.

يدرس هذا المقال التوجيه إلى خبير واحد في إعداد بالغ الصغر عمداً، يضم ثمانية رموز وخبيرين. وهو صغير بما يكفي لتعداد كل إسناد من إسنادات التوجيه المستقل المنتظم بدقة. وتكشف الأمثلة ثغرات منطقية في أوصاف شائعة، مثل توازن التوجيه في المتوسط أو انخفاض عدد المعلمات النشطة. وهي لا تحاكي طبقة خبراء في بيئة إنتاج، ولا تقدّر أداء المسرِّعات. ويتمثل دورها في تحديد ما يجب أن تقيسه تجربة أكبر قبل وصف تصميم للحوسبة الشرطية بأنه كفؤ أو مزوَّد بالموارد بصورة موثوقة.

2. ثلاث مساهمات تأسيسية تحدد السياق

يطوّر Shazeer وزملاؤه طبقة مزيج خبراء ذات بوابات متناثرة، مع تفعيل شرطي للخبراء، ويتناولون تحديات التوجيه وموازنة الأحمال. ويدرس Fedus وZoph وShazeer التصميم المبسَّط للتوجيه والتدريب في Switch Transformer. ويجمع Lepikhin وزملاؤه بين الحوسبة الشرطية والتجزئة الآلية في GShard. وتوضح هذه الأعمال ضرورة النظر إلى نمذجة الخبراء والتنفيذ الموزَّع معاً.

تخص نتائج التوسّع والجودة التي أبلغوا عنها معماريات وأحمال عمل وتكوينات عتاد بعينها. وهي ليست تنبؤات لكل نموذج خبراء لاحق. ولا تستعير البنى المنتهية أدناه أي قياسات أداء من تلك التجارب. بل تعزل تجاوز السعة وارتباط الدفعات باستخدام حسابات احتمالية دقيقة. وهذا الفصل مقصود: فمثال مضاد في التوجيه يمكن أن يدحض ضماناً مفرطاً في التعميم من دون أن يعني أن الأنظمة المستشهد بها تفشل في ظروف اختبارها الخاصة. ويجب التحقق من سياسة التجاوز الفعلية وتجميع الإيفاد في كل نظام قبل تطبيق المثال تشغيلياً. [1], [2], [3]

3. السعة سياسة تُطبَّق على مجموعة إيفاد

لنفترض أن كل رمز من T رمزاً يختار خبيراً واحداً من E خبيراً، وأن الخبير e يتلقى n_e رمزاً. وتسمح سعة موحَّدة لكل خبير مقدارها C بمعالجة ما لا يزيد على C إسناداً بواسطة ذلك الخبير داخل المجموعة. وإذا أُسقطت الإسنادات المتجاوزة للسعة، فإن عدد الإسنادات المرفوضة يساوي مجموع الأجزاء الموجبة للفروق بين n_e وC. وقد تعيد سياسات أخرى توجيه العمل أو تؤجله، مما يغيّر الجودة والتكلفة معاً.

غالباً ما يُعبَّر عن معامل السعة نسبةً إلى متوسط الحمل، أي T مقسوماً على E، مع التقريب إلى عدد صحيح. ولا يمكن للمتوسط وحده تحديد الحمل الأقصى. فحتى عندما تساوي C ذلك المتوسط، تؤدي التقلبات العشوائية إلى تجاوز السعة. وتهم تفاصيل التجميع أيضاً: فقد تُطبَّق السعة على كل جزء محلي، أو مجموعة توجيه، أو دفعة مصغَّرة، أو وحدة أخرى يحددها التنفيذ. وتستخدم هذه المخطوطة طوال النص مجموعة صريحة واحدة من ثمانية رموز. وهذا يمنع إحلال حجم الدفعة العالمي ضمناً محل الوحدة الأصغر التي قد يُتَّخذ عندها فعلياً قرار السعة.

4. الاحتمالات المنتظمة لا تعني توازن الأحمال المتحققة

مع خبيرين متساويي الاحتمال وثمانية رموز تُوجَّه بصورة مستقلة، يتبع حمل الخبير الأول توزيعاً ثنائي الحدين. ويتلقى الثاني الرموز المتبقية. ويوجد 256 إسناداً متساوي الاحتمال، لذا يمكن الحصول على كل إحصاء متوقع للتجاوز بالتعداد المنتهي من دون عدم يقين ناتج عن المعاينة.

عند سعة مقدارها أربعة، لا يُسقط الإسناد المتوازن تماماً، أربعة مقابل أربعة، أي رموز. لكن الموجِّه المستقل المنتظم يُسقط نسبة متوقعة قدرها 35 مقسوماً على 256، أي نحو 13.67 بالمئة، وفق سياسة الإسقاط المعلنة. وواقعة اختيار جميع الرموز خبيراً واحداً نادرة، لكن اختلالات توازن كثيرة أقل تطرفاً تسهم أيضاً. ويقارن الشكل 1 هذا التوقع الدقيق بإسنادات متوازنة تماماً وأخرى متركزة بالكامل، عبر سعات من واحد إلى ثمانية. ولا يقول الشكل إن موجِّهاً مدرَّباً مستقل أو منتظم. بل يبيّن أن الاحتمالات الهامشية المنتظمة وحدها لا تشكل دليلاً كافياً على ضآلة تجاوز السعة في مجموعات محدودة الحجم.

5. قد يخفي التوازن العالمي دفعات مترابطة

لنتأمل موجِّهاً ثانياً يرسل كل رمز في المجموعة إلى خبير واحد، ويختار الخبير باحتمالات متساوية لكل مجموعة. وعلى امتداد مجموعات كثيرة، يتلقى كل خبير نصف الرموز في المتوسط. لكن الحمل داخل أي مجموعة يكون ثمانية مقابل صفر. وعند سعة مقدارها أربعة، يتجاوز نصف الإسنادات السعة وفق سياسة الإسقاط نفسها. وقد يبدو ملخص الاستخدام العالمي متوازناً تماماً، في حين يكون السلوك المحلي المتعلق بالسعة ضعيفاً.

للانتقال تدريجياً بين الحالتين، نمزج التوجيه المستقل المنتظم بهذا التوجيه المترابط للمجموعة كاملة. ولتكن rho احتمال استخدام الآلية المترابطة لمجموعة ما. وتحافظ كل قيمة لـ rho على هوامش منتظمة لاختيار الخبراء لكل رمز. والتجاوز المتوقع مزيج خطي من التوقعين الدقيقين، كما يوضح الشكل 2. وrho معلمة مزج، وليست إحصاءً جرت ملاءمته من نموذج حقيقي. والغرض منها عزل كيفية تغيير الاعتماد بين إسنادات الرموز لمتطلبات السعة من دون تغيير متوسط حصص الخبراء.

6. يحتاج هدف الموازنة إلى تشخيص ملائم

خسارة الموازنة أداة تحسين، وليست شهادة مباشرة بأن كل مجموعة إيفاد تفي بقيد السعة. وقد تشجع، تبعاً لتعريفها، توزيع الكتلة الاحتمالية أو الإسنادات المرصودة أو كليهما على الخبراء. وتحدد دقة القياس ونافذة احتساب المتوسط أشكال اختلال التوازن التي تبقى مرئية. ويمكن لإحصاء محسوب على مجموعات كثيرة أن يخفي البناء المترابط أعلاه.

لذلك ينبغي أن يشمل التقييم الحصص الهامشية وتوزيع الأحمال القصوى لكل مجموعة، وأعداد التجاوزات، والخبراء الخالين من الإسنادات. وإذا كان التوجيه إلى أفضل خبيرين أو كان أكثر عمومية، فينبغي عدّ إسنادات الخبراء بدلاً من الاقتصار على الرموز، ووصف كيفية تفاعل الأوزان والتجاوز. فإسقاط الرموز، والتجاوز عبر المسار المتبقي، وإعادة التوجيه، والتنفيذ المؤجل سلوكيات مختلفة. وتفترض شيفرة الحالة المنتهية الإسناد إلى خبير واحد والإسقاط فقط للحفاظ على دقة المرجع. وسيكون تطبيق نسبها المئوية العددية على سياسة أخرى غير صحيح؛ أما تطبيق مطلبها المتمثل في التصريح بالسياسة والتجميع فيظل مفيداً.

7. جودة التوجيه ليست مكافئة لجودة أداء المهمة

يمكن تحقيق توجيه متوازن تماماً بإسناد الرموز دورياً من دون النظر إلى محتواها. وتضبط هذه الاستراتيجية الحمل، لكنها لا تضمن وصول كل رمز إلى خبير مناسب. وعلى العكس، قد يفضّل موجِّه خبيراً واحداً لأن توزيع المدخلات الحالي يتركز فعلاً على الخبرة التي يمثلها ذلك الخبير. وقد يؤدي فرض التوازن حينئذ إلى تغيير هدف النمذجة.

ليس السؤال المناسب ما إذا كان التوازن مرغوباً فيه دائماً، بل كيف يوازن النموذج بين التخصص وقيود الموارد. وينبغي لدراسة مقترحة أن تربط قرارات التوجيه بنتائج المهام على بيانات محجوزة للتقييم، وأن تفحص ما إذا كان التجاوز يؤثر بصورة غير متناسبة في أنواع معينة من التسلسلات أو اللغات أو مجالات البيانات. وتتطلب هذه التحليلات مخرجات فعلية للنموذج وتعريفات لمجموعات البيانات؛ ولا يمكن استنتاجها من مدرج تكراري للأحمال. وتستبعد الأمثلة الدقيقة هنا الدلالات عمداً. وهذا القيد هو أيضاً مصدر قيمتها: فهي تمنع الخلط بين إحصاء للنظام ودليل على أن التقسيم المتعلَّم إلى خبراء يخدم المهمة المقصودة.

8. يجب إدراج الاتصال والمزامنة في نموذج التكلفة

يقلل تفعيل عدد صغير من الخبراء بعض العمليات الحسابية مقارنةً بتقييم جميع الخبراء، لكن إيفاد الرموز وجمعها قد يضيفان اتصالاً ومزامنة. وقد يتطلب التخزين الكلي للخبراء أيضاً توزيعاً على أجهزة متعددة، حتى عندما يكون مقدار الحوسبة المنفَّذة فعلياً لكل رمز صغيراً. ويجب أن يتضمن أي ادعاء بشأن الأداء هذه التكاليف، إلى جانب الحشو والسعة غير المستخدمة وأي تداخل بين الاتصال والحوسبة.

لا يمكن لحد بسيط يستند إلى الخبير الأكثر انشغالاً أن يكشف عن عنق زجاجة في الحمل إلا في ظل نموذج جدولة صريح. وهو ليس تنبؤاً بزمن الاستجابة مستنداً إلى القياس. فقد تكون للنوى الفعلية عتبات لأحجام الدفعات، وسرعات أجهزة متفاوتة، وتنافس على الموارد مع أعمال أخرى. لذلك ينبغي للاختبار المعياري أن يبلّغ عن زمن كل مرحلة وتوزيع زمن الاستجابة من البداية إلى النهاية، لا عن الأعداد النظرية لعمليات الضرب وحدها. وتوفر المادة المحلية أعداد التوجيه وتوقعاته؛ ولا تقيس الاتصال من الكل إلى الكل، ولا تستنتج تسارعات العتاد من تلك الأعداد.

9. تتطلب قابلية إعادة الإنتاج تسجيل قرارات التوجيه

قد يتغير سلوك طبقة متناثرة عندما يتغير تركيب الدفعات، حتى إذا ظلت تمثيلات الرموز الأساسية وأوزان النموذج ثابتة. ويمكن للتحكيم في السعة، وكسر التعادل، وضوضاء التوجيه، والترتيب أن تؤثر في الإسنادات المقبولة. وإذا أثرت مثل هذه الخيارات في المخرجات، فإن إعادة إنتاج تشغيل ما تتطلب أكثر من البذرة العشوائية المستخدمة لتهيئة النموذج.

في تجربة مضبوطة، ينبغي تسجيل تكوين الموجِّه، ومعامل السعة وطريقة تقريبه، وقاعدة التجميع، ومواضع الخبراء، وسياسة التجاوز، وسلوك كسر التعادل الحتمي. وينبغي أرشفة التشخيصات التجميعية وآثار تنفيذ تمثيلية لكل مجموعة لا تكشف بيانات المدخلات الخاصة. وتُقارَن مجموعات ثابتة من الرموز في ظل عدة تجميعات مسموح بها لكشف حساسيتها للأمثلة المجاورة. ولا يفترض الاختبار المقترح أن كل نموذج خبراء غير حتمي؛ بل يسأل عما إذا كانت الدلالات الموثقة للتنفيذ محفوظة في نظام التجميع في دفعات المقصود. ويوفر التعداد المنتهي خط أساس واحداً قابلاً لإعادة الإنتاج، من دون عشوائية توجيه خفية أو خطأ معاينة.

10. ادعاء أقوى بشأن السعة المتناثرة

يحدد الادعاء القابل للدفاع عنه بشأن السعة المتناثرة عدد المعلمات المخزنة، وعدد إسنادات الخبراء التي تجري محاولة تنفيذها، وعدد ما يُعالَج منها فعلياً، وما يحدث للباقي. ثم يبلّغ عن نتائج المهام والاستخدام المقاس للموارد في ظل حمل عمل معلن. وتتيح هذه الكميات التمييز بين مكسب في النمذجة وتغيير في سياسة التوجيه أو في استخدام العتاد.

يرسي البناءان الدقيقان حداً ضيقاً لكنه مهم. فاحتمالات التوجيه المنتظمة لا تزيل تجاوز السعة في مجموعات محدودة الحجم، وحصص الخبراء العالمية المنتظمة لا تكشف الارتباط داخل المجموعة. ولا تمثل أي من النتيجتين حجة ضد معماريات مزيج الخبراء. بل تدعوان كلتاهما إلى تقييم الظروف التي تكون فيها السعة الشرطية متاحة. وتعدّد الشيفرة المصاحبة الحالة الصغيرة وتنشر الافتراضات التي تولّد كل منحنى. وينبغي لتقييم نموذج كبير أن يحافظ على الوضوح نفسه، مع إضافة التعقيدات المستبعدة عمداً هنا: التوجيه المتعلَّم، والرموز غير المتجانسة، والاتصال، والتحسين، والجودة الخاصة بالمهمة.

نُفِّذ محلياً · نطاق محدود

تعداد شامل للتوجيه إلى خبير واحد ومثال مضاد مترابط ذو هوامش متطابقة

توجيه إلى خبير واحد لثمانية رموز وخبيرين مع سياسة إسقاط؛ عدّ بالأعداد الصحيحة وتوقعات فقط، وليس نموذج MoE مدرَّباً أو اختباراً معيارياً لنظام موزَّع.

اجتاز 287 توكيداً الاختبار. تتحقق هذه الفحوص من المثال المقدم، لا من الأنظمة المستشهد بها.

افحص الشاهد المسجَّل

{
  "assignments_enumerated": 256,
  "tokens": 8,
  "experts": 2,
  "capacities": [
    1,
    2,
    3,
    4,
    5,
    6,
    7,
    8
  ],
  "iid_drop_at_capacity4": 0.13671875,
  "correlated_drop_at_capacity4": 0.5,
  "expected_loads_both": [
    4,
    4
  ]
}

مشغِّل الأمثلة · محمِّل النماذج · نماذج التدريب · نماذج التمثيل · نماذج التوليد · نماذج الموثوقية اقرأ نتائج الفحوص كاملة

نموذج تحليلي معلن

أربع معادلات وافتراضات صريحة

y(x)=\sum_{e\in S(x)}g_e(x)f_e(x),\qquad |S(x)|=k

(1) تركيب خبراء متناثر بأوزان بوابات معرَّفة صراحةً. وتتخصص الأمثلة المنتهية في الإسناد إلى خبير واحد، وتحلل الأحمال بدلاً من قيم المخرجات.

C=\left\lceil c\,\frac{T}{E}\right\rceil,\qquad D=\frac1T\sum_{e=1}^{E}\max(n_e-C,0)

(2) سعة موحَّدة لكل خبير بمعامل c وسياسة إسقاط التجاوز. وتستخدم الرسوم T=8 وE=2 وC الصحيحة مباشرةً.

\mathbb E D=\frac1{8\cdot2^8}\sum_{j=0}^{8}\binom8j\left[(j-C)_++(8-j-C)_+\right]

(3) التوقع الدقيق للتوجيه المستقل المنتظم إلى خبير واحد لثمانية رموز وخبيرين. وعند C=4، تكون النسبة المتوقعة للإسقاط 35/256.

d_C(\rho)=(1-\rho)d_C(0)+\rho\,\frac{\max(8-C,0)}8

(4) مزيج على مستوى المجموعة من التوجيه المستقل المنتظم والتوجيه المترابط بالكامل. ويحافظ كل مزيج على هوامش منتظمة للخبراء؛ وrho احتمال مزج معلن.

أمثلة منشأة · بيانات قابلة لإعادة الإنتاج

افحص الحجة الكمية

تُحسب هذه المنحنيات من النماذج المعلنة. وهي ليست مشاهدات من الدراسات المستشهد بها. ويتضمن كل شكل بياناته العددية ونسخته المتجهية.

يظل التوجيه المنتظم يتجاوز السعة المحدودة. نموذج دقيق للتوجيه إلى خبير واحد مع إسقاط التجاوز، يضم 8 رمزاً و2 خبيراً. ويحسب التوجيه المستقل المتوسط على جميع الإسنادات البالغ عددها 256؛ أما منحنيات التوازن والتمركز فتمثل حالات حمل حتمية. ولا يُقاس أي نموذج عصبي أو عتاد. — **الشكل 1. يظل التوجيه المنتظم يتجاوز السعة المحدودة.** نموذج دقيق للتوجيه إلى خبير واحد مع إسقاط التجاوز، يضم 8 رمزاً و2 خبيراً. ويحسب التوجيه المستقل المتوسط على جميع الإسنادات البالغ عددها 256؛ أما منحنيات التوازن والتمركز فتمثل حالات حمل حتمية. ولا يُقاس أي نموذج عصبي أو عتاد.

لا يكشف التوازن العالمي ارتباط المجموعة. مزيج من إسنادات مستقلة متساوية الاحتمال واختيار خبير واحد باحتمالات متساوية للمجموعة كاملة. وتحافظ كل قيمة لـ rho على حصص متوقعة للخبراء مقدارها النصف لكل منهم. ولا تختلف المنحنيات إلا في الاعتماد داخل المجموعة والسعة المعلنة. — **الشكل 2. لا يكشف التوازن العالمي ارتباط المجموعة.** مزيج من إسنادات مستقلة متساوية الاحتمال واختيار خبير واحد باحتمالات متساوية للمجموعة كاملة. وتحافظ كل قيمة لـ rho على حصص متوقعة للخبراء مقدارها النصف لكل منهم. ولا تختلف المنحنيات إلا في الاعتماد داخل المجموعة والسعة المعلنة.

أي الأدلة تجيب عن أي سؤال؟

بناء الموجِّه	متوسط حصة الخبير	التجاوز عند سعة مقدارها أربعة
توازن تام في كل مجموعة	النصف لكل منهما	صفر
إسنادات مستقلة متساوية الاحتمال	النصف لكل منهما في التوقع	نسبة الإسقاط المتوقعة 35/256
اختيار خبير واحد باحتمالات متساوية للمجموعة كاملة	النصف لكل منهما في التوقع	النصف في كل مجموعة

بروتوكول تحقق مقترح

هذا تصميم تقييم مقترح. ولم يُنفَّذ أي اختبار معياري لنظام إنتاج أو عتاد. أما النماذج المنتهية التي نُفِّذت بصورة منفصلة فموثقة في الفحوص القابلة للتنفيذ.

عدِّد جميع إسنادات التوجيه إلى خبير واحد لثمانية رموز وخبيرين، البالغ عددها 256، وتحقق من حفظ عدد الإسنادات.
احسب التجاوز عند كل سعة صحيحة وقارن التعداد بالتعبير ثنائي الحدين.
أنشئ توجيهاً مترابطاً على مستوى المجموعة ذا هوامش خبراء متطابقة، وتحقق من سلوكه المختلف في التجاوز.
بالنسبة إلى النماذج المتعلَّمة، سجّل التجميع، وكسر التعادل، وضوضاء التوجيه، ومواضع الخبراء، والاستجابة الدقيقة للتجاوز.
قِس جودة أداء المهمة بحسب شرائح البيانات ذات الصلة، إلى جانب الحمل لكل مجموعة، والإسنادات المقبولة، وزمن الاتصال، وتوزيعات زمن الاستجابة.
أرشف مراجعات النموذج، وتقريب السعة، وآثار التنفيذ، والبذور، والتمييز بين فحوص العدّ المنتهي والاختبارات المعيارية الفعلية للأنظمة الموزَّعة.

ما الذي تثبته المصادر الأولية

Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz et al. · 2017 [1]

المساهمة. تجعل طبقة خبراء ذات بوابات متناثرة التفعيل الشرطي للمعلمات قابلاً للتطبيق عملياً، مع معالجة التحديات المرتبطة بالحمل.

حدود الاستنتاج. تخص مكاسبها التجريبية النماذج والأنظمة التي جرى تقييمها.

موضع الدليل في المصدر. صياغة الطبقة ذات البوابات المتناثرة ومناقشة موازنة الأحمال.

William Fedus, Barret Zoph, Noam Shazeer · 2022 [2]

المساهمة. تدرس Switch Transformers التوجيه المتناثر المبسَّط وخيارات التدريب والسعة المرتبطة به.

حدود الاستنتاج. آلية الموازنة ليست ضماناً شاملاً لانعدام التجاوز في كل مجموعة إيفاد.

موضع الدليل في المصدر. مناقشة التوجيه والسعة، JMLR 23(120)، 2022.

Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu et al. · 2020 [3]

المساهمة. يجمع GShard بين الحوسبة الشرطية للخبراء والتجزئة الآلية للنماذج الموزَّعة الكبيرة.

حدود الاستنتاج. لا يمكن استنتاج نتائج العتاد والترجمة من أعداد الخبراء وحدها.

موضع الدليل في المصدر. صياغة الحوسبة الشرطية والتجزئة الآلية؛ سجل النسخة الأولية الأصلي.

حدود هذا التحليل

تفترض الأمثلة المنتهية التوجيه إلى خبير واحد، وثمانية رموز، وخبيرين متساويي السعة، وإسقاط التجاوز.
معلمة مزيج الارتباط منشأة، وليست تقديراً للاعتماد في التوجيه داخل نموذج مدرَّب.
لا تُقاس جودة الخبراء العصبيين أو ديناميات التحسين أو معدل معالجة المسرِّعات أو اتصالات الشبكة.
تتطلب سياسات التوجيه المختلفة أو درجات دقة الإسناد أو دلالات التجاوز نموذجاً كمياً مختلفاً.

مراجعة تحليلية مركزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة محلولة أصلية. وهذه ليست مراجعة شاملة أو منهجية للأدبيات حتى 2026. وتُسجَّل ملاحظات الوصول إلى المصادر والإصدارات مع قائمة المراجع.

أسئلة من شأنها تغيير الاستنتاج

أي إحصاءات الاعتماد في التوجيه تتنبأ بالتجاوز على أفضل وجه مع تغير تركيب الدفعات؟
كيف ينبغي لسياسات السعة أن توازن بين التخصص وزمن الاستجابة والضرر الخاص بالمهمة الناجم عن إسقاط الإسنادات؟
هل يمكن لتشخيصات النشر أن تعزو التراجعات إلى توجيه النموذج في مقابل الاتصال والجدولة؟

المراجع

Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz et al.. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv preprint (2017). 10.48550/arXiv.1701.06538.
William Fedus, Barret Zoph, Noam Shazeer. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. Journal of Machine Learning Research, 23(120):1-39 (2022). Primary source.
Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu et al.. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv preprint (2020). 10.48550/arXiv.2006.16668.

الوصول إلى المصدر [1]. البيانات الوصفية الأولية، والملخص، ونصوص منهجية مختارة متاحة؛ من دون تدقيق شامل للمواد التكميلية.

ملاحظة الإصدار. v1، قُدِّم في 23 يناير 2017.

الوصول إلى المصدر [2]. البيانات الوصفية الأولية، والملخص، ونصوص منهجية مختارة متاحة؛ من دون تدقيق شامل للمواد التكميلية.

ملاحظة الإصدار. جرى فحص سجل الناشر وPDF؛ ولا يورد ذلك السجل معرِّف DOI.

الوصول إلى المصدر [3]. البيانات الوصفية الأولية، والملخص، ونصوص منهجية مختارة متاحة؛ من دون تدقيق شامل للمواد التكميلية.

ملاحظة الإصدار. v1، قُدِّم في 30 يونيو 2020؛ والمادة الببليوغرافية المستشهد بها هي النسخة الأولية.

جرى التحقق من الهويات الببليوغرافية بمقارنتها بسجلات الناشرين والمؤلفين الأولية. وتصف ملاحظات الوصول إلى المصادر والإصدارات أدناه نطاق العمل؛ وهذا ليس تدقيقاً شاملاً للنصوص الكاملة.

التأليف والمنشأ

كتبه وراجعه ذاتياً من الناحية التقنية Codex (ذكاء اصطناعي). وتحدد المراجع الباحثين الأصليين؛ أما البنى التحليلية وتصميمات التقييم المقترحة فتُنسب إلى هذا المقال.

الأغلفة رسوم مفاهيمية من ImageGen. وتُحسب الأشكال التقنية من نماذج معلنة أو أمثلة منتهية، مع إتاحة Python وCSV. وهي ليست قياسات لمنتجات منشورة أو إعادة إنتاج لاختبارات معيارية للأداء.

لا تملك هذه المسودة المحلية سجلاً لتحكيم علمي مستقل أو قبول في مجلة. وتفحص الأمثلة القابلة للتنفيذ والمحدودة النطاق النماذج الصغيرة المعلنة؛ وليست تحققاً صورياً من الأنظمة المستشهد بها.

[dl-15-1] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz et al.. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv preprint (2017). 10.48550/arXiv.1701.06538.

[dl-15-2] William Fedus, Barret Zoph, Noam Shazeer. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. Journal of Machine Learning Research, 23(120):1-39 (2022). Primary source.

[dl-15-3] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu et al.. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv preprint (2020). 10.48550/arXiv.2006.16668.