التطبيع يغيّر هندسة التعلّم

Codex (AI)

الملخص

التطبيع أكثر من مجرد وسيلة لتيسير الحساب العددي. فمحاور اختزاله تحدّد تحويلاً للمعلومات، وثابت التثبيت فيه يحدّ من الثبات التام تجاه المقياس، وإحصاءات تدريبه قد تربط التنبؤات عبر الأمثلة. نقارن تطبيع الدفعة وتطبيع الطبقة باستخدام إنشاءات صريحة ذات مثالين وأخرى محدودة الأبعاد. يفصل حساب مصفوفة جاكوبي بين اتجاه المتوسط الذي يُزال والاتجاه الشعاعي الذي يُكبَت، بينما يبيّن مثال مضاد كيف تتغيّر قيمة عينة بعد تطبيع الدفعة حين تتغيّر العينات المصاحبة لها. يستند النقاش إلى الأوراق التأسيسية في التطبيع بوصفها مرتكزات تاريخية وتقنية، ثم يطوّر اشتقاقات جبرية قابلة لإعادة الإنتاج بصورة مستقلة بدلاً من تكرار ادعاءات الاختبارات المرجعية. والنتيجة إطار عملي لتشخيص اختيارات التطبيع دون إرجاع كل تحسّن في التدريب إلى تفسير سببي واحد.

1. طبقة التطبيع هي مواصفة

لتحديد مواصفة التطبيع، يجب بيان شكل الموتر، ومحاور الاختزال، واصطلاح التباين، وثابت التثبيت، ومعلمات التحويل التآلفي، والسلوك أثناء التدريب مقارنة بالاستدلال. فالصيغة التي لا تنص إلا على طرح المتوسط والقسمة على الانحراف المعياري تُغفل معظم هذه المواصفة. وقد يشترك تنفيذان في الصيغة نفسها ولكنهما يمثّلان دالتين مختلفتين لأنهما يحسبان المتوسط عبر إحداثيات مختلفة.

لهذا أهمية علمية وتشغيلية على السواء. فالمحور الممتد عبر الأمثلة يُدخل اعتماداً على تركيب الدفعة؛ أما المحور الواقع داخل المثال فلا يُدخل هذا الاعتماد بعينه. وقد يمحو التطبيع إزاحة مشتركة لا صلة لها بالمهمة، أو يمحو إزاحة تحمل المعلومة المستهدفة. ومن ثم فالسؤال المعني ليس ما إذا كان التطبيع مفيداً عموماً، بل أي التحويلات ينبغي أن تترك التمثيل دون تغيير، وأي المعلومات يجب أن تظل قابلة للاسترجاع.

2. ينبغي إبقاء الادعاءات التاريخية قابلة للتمييز

قدّم Ioffe وSzegedy تطبيع الدفعة، وبرّرا الدافع إليه بتغيّر توزيعات التنشيطات الداخلية. وقدّم Ba وKiros وHinton تطبيع الطبقة باستخدام إحصاءات داخل حالة تدريب واحدة. وجادل Santurkar وزملاؤه بأن فوائد تطبيع الدفعة للتحسين تُفسَّر على نحو أفضل بسلوك تحسين أكثر نعومة، لا بالاستقرار التوزيعي وحده.

تؤسس هذه الأوراق طرائق وتطرح أوجه تركيز تفسيرية متنافسة، ولا تقدّم تفسيراً سببياً عاماً لكل بنية. ولا نعيد إنتاج نتائج السرعة أو الدقة التي أبلغت عنها. بل نسأل ما الذي يترتب بدقة على دالة التطبيع. وتظل هذه المتطابقات قابلة للفحص حتى حين تبقى التفسيرات التجريبية المتنافسة دون حسم. كما تبيّن التدخلات التي تحتاج إليها التجربة قبل إرجاع تحسّن مرصود إلى الثبات أو التكييف أو العشوائية أو تغيّر معدل التعلّم الفعّال. [1], [2], [3]

3. التمركز يزيل اتجاهاً

بالنسبة إلى متجه ذي d من الأبعاد، فإن طرح متوسط إحداثياته يطبّق الإسقاط P=I-11 منقولاً/d. ويقع المتجه الذي جميع عناصره واحد في فضائه الصفري. لذلك يكون لـ x وx+b1 تمثيلان متمركزان متطابقان لكل عدد قياسي b. ولا يمكن لمعامل كسب وانحياز تآلفيين لاحقين يُطبَّقان على كل إحداثي استرجاع قيمة b الخاصة بالعينة من مدخل مطبَّع متطابق.

مثال ملموس هو x=(1,2,4) وx+10=(11,12,14). فالطبقة التي لا تتلقى إلا صيغتيهما المطبَّعتين لا تستطيع التمييز بين مستوييهما الإجماليين. وهذا ملائم إذا كان المستوى عاملاً مزعجاً، لكنه غير ملائم إذا كانت التسمية تتحدد بذلك المستوى ولم يكن هناك مسار آخر يحفظه. وقد تغيّر الوصلات المتبقية أو السمات الإضافية غير المطبَّعة وضع المعلومات. فالاستنتاج يتعلق بالتحويل المعزول، لا بشبكة كاملة قد تتجاوزه.

4. ثابت التثبيت يجعل الثبات تجاه المقياس تقريبياً

بعد التمركز، ليكن v متوسط مربعات قيم الإحداثيات، وليُعرَّف المقام بأنه sqrt(v+epsilon). بالنسبة إلى مقياس موجب a، تكون النتيجة المطبَّعة هي المتجه المتمركز مضروباً في a ومقسوماً على sqrt(a مربعاً v+epsilon). إذا كانت epsilon صفراً وكان v موجباً، يُختزل a تماماً. وإذا كانت epsilon موجبة، فلا يكتمل الاختزال.

عندما تكون a صغيرة جداً، تهيمن epsilon على المقام وتتناقص سعة الخرج نحو الصفر. وعندما تكون a كبيرة، يقترب التمثيل المطبَّع من حده الثابت تجاه المقياس. كما أن التحجيم السالب يعكس إشارة المتجه المتمركز، لذا لا ينبغي وصفه بأنه ثبات تجاه أي تحجيم غير صفري. يحسب الشكل الأول هذا الانتقال لتباين ثابت وثابتَي تثبيت. وهو منحنى حساسية رياضي، وليس مقارنة بين القيم الافتراضية لأطر العمل.

5. مصفوفة جاكوبي تفصل بين اتجاهين مكبوتين

نكتب c=Px وs=sqrt(cᵀ c/d+epsilon). يعطي الاشتقاق J=P/s-ccᵀ/(d·s·s·s). لاتجاه الإزاحة المشتركة قيمة ذاتية تساوي صفراً. وعلى طول الاتجاه الشعاعي المتمركز c، تكون القيمة الذاتية epsilon/(s·s·s). أما الاتجاهات المتعامدة مع كل من c والمتجه الذي جميع عناصره واحد، فقيمتها الذاتية 1/s.

يفيد هذا التفكيك في التمييز بين اتجاه يُزال بنيوياً واتجاه يكبته ثابت التثبيت ومقدار الإشارة. عند epsilon=0 ومع تباين غير صفري، يختفي الاتجاه الشعاعي محلياً أيضاً: فالحركة عبر التحجيم الموجب وحده لا تغيّر الخرج. وعند epsilon>0، يظل قابلاً للرصد بدرجة ضعيفة. يقارن الفحص المرافق مصفوفة جاكوبي التحليلية هذه بالفروق المنتهية المركزية بعيداً عن الحالة المفردة ذات التباين الصفري، ويتحقق من علاقاتها الذاتية.

6. يمكن للدفعة أن تغيّر خرج مثال واحد

لننظر في سمة قياسية واحدة ودفعة قيمها (0,2). باستخدام تباين المجتمع وثابت تثبيت صغير، تكون القيمة المطبَّعة للمثال الأول قريبة من -1. نستبدل القيمة الثانية بـ -2 مع إبقاء الأولى صفراً؛ فتصبح القيمة المطبَّعة الأولى قريبة من +1. لم تتغيّر العينة الأولى، لكن تمثيلها في وضع التدريب انعكست إشارته.

هذا ليس خطأً في الحساب، بل نتيجة استخدام إحصاءات تشترك فيها الدفعة. ويعني أيضاً أن التجربة التي تغيّر تركيب الدفعة مع وصف النموذج بأنه لم يتغيّر قد غيّرت الدالة المُقيَّمة عند تلك العينة. ويمكن للأمثلة المتكررة أو المترابطة أن تغيّر الإحصاءات أكثر. وينبغي للتقييم الصارم تحديد ما إذا كانت الإحصاءات تُعاد حسابها، أو تُجمَّد، أو تُزامَن عبر الأجهزة، أو تُراكَم وفق قاعدة أخرى معلنة.

7. إحصاءات الاستدلال تُدخل حالة إضافية

إذا كان الاستدلال يستخدم متوسطات وتباينات مخزَّنة، فإن النموذج يتضمن تلك الكميات المخزَّنة بوصفها حالة. وعندئذ لا يكفي حفظ المعلمات التآلفية المتعلَّمة وحدها لإعادة إنتاج التنبؤات. وقد تؤدي الإحصاءات الجارية المقدَّرة على توزيع معين إلى مخرجات مزاحة بصورة منهجية على توزيع آخر. أما إعادة حساب الإحصاءات عند النشر فتغيّر بروتوكول التقييم، وقد تربط التنبؤات بين المستخدمين أو الطلبات.

يتمثل تشخيص بسيط في تثبيت الأوزان المتعلَّمة وتقييم مدخل مختار باستخدام مجموعتين صريحتين من الإحصاءات. ويقيس الفرق المرصود الحساسية لتلك الحالة، ولا يدل بالضرورة على إخفاق في تعلّم التمثيلات. وينبغي لأي تكييف للإحصاءات المخزَّنة أن يستخدم مجموعة بيانات مصرَّحاً بها ذات عملية اختيار معلنة، وأن يُقارَن بمرجع مجمَّد. ويجب ألا تؤثر تسميات الاختبار خفيةً في ذلك التكييف. وهذا يفصل التكييف المشروع عند النشر عن تسرّب معلومات التقييم.

8. تناظر المقياس يغيّر معنى حجم المعلمات

لنفترض أن متجه أوزان في مرحلة سابقة لا يظهر إلا من خلال دالة مطبَّعة ثابتة تماماً تجاه المقياس. يمكن لضربه في ثابت موجب أن يُبقي التنبؤات دون تغيير، مع تغيير معياره الإقليدي ومقدار تدرجه بالنسبة إلى المعلمات. ومن ثم فإن النموذج الوظيفي وتمثيله الإحداثي لهما مفهومان مختلفان للمسافة.

تفسّر هذه الملاحظة لماذا يُعد مقدار الأوزان وحده أداة تشخيص ضعيفة للتعقيد الوظيفي في مثل هذا المكوّن. وتعني أيضاً أن عقوبة على معيار المعلمات يمكن أن تؤثر في التحسين حتى حين لا يغيّر إعادة التحجيم التنبؤات إلا بالكاد. وتعتمد العلاقة الدقيقة على ثابت التثبيت والمعلمات التآلفية ومسارات التجاوز وخوارزمية التحسين. لذلك نتجنب الجزم بأن لإعداد معين لاضمحلال الأوزان تفسيراً عاماً. وينبغي لدراسة مضبوطة أن تفحص التغيرات الوظيفية وتغيرات المعلمات بصورة منفصلة، بدلاً من اعتبار أي منهما بديلاً كاملاً عن الآخر.

9. المقارنة السببية تحتاج إلى أكثر من مجرد استبدال

يغيّر استبدال تطبيع الدفعة بتطبيع الطبقة محاور الاختزال، والاقتران بين الأمثلة، وأوجه الثبات الممكنة، والحالة المخزَّنة، وأحياناً بث المعلمات، في آن واحد. وإذا تغيّر الأداء، فلا يحدّد الاستبدال الآلية التي سببت الفرق. ولا تكفي مطابقة عدد المعلمات القابلة للتدريب وحده.

المقارنة الأكثر إفادة تُعدّل خاصية واحدة في كل مرة حيثما أمكن: تجميد الإحصاءات، أو تغيير تركيب الدفعة مع تثبيت الأمثلة، أو تغيير epsilon ضمن نطاق مبرَّر، أو حفظ سمة مستوى غير مطبَّعة عبر مسار منفصل. ويجب أن تقترن هذه التدخلات بنتائج خاصة بالمهمة وتشخيصات للتحسين. وإذا غيّر تدخلٌ كلاً من مقياس التدرج وتوافر المعلومات، فينبغي قياس التغيرين معاً. يتطلب هذا التصميم عملاً أكثر من استبدال مكوّن، لكنه ينتج استنتاجاً يمكن أن يصمد أمام التفسيرات البديلة.

10. ما الذي تثبته الأشكال والاختبارات فعلياً

تُظهر الرسوم المقدَّمة الحساسية للتحجيم الموجب والاعتماد بين الأمثلة في تطبيع ذي عينتين. وتتحقق الاختبارات من الثبات تجاه الإزاحة، والاستجابة الشعاعية المعتمدة على epsilon، ومصفوفة جاكوبي بمقارنتها بالفروق المنتهية، وانعكاس الإشارة عند تغيير العينة المصاحبة في الدفعة. وجميع المدخلات واصطلاحات التباين وثوابت التثبيت والسماحات العددية محددة صراحةً.

تثبت هذه الفحوص خصائص الدوال المحدودة المعلنة. وهي لا تحدّد أفضل تطبيع لنموذج لغوي أو مصنّف صور. وتكمن القيمة العلمية في الفصل بين الجبر الدقيق والاختيار التجريبي للبنية. وبعد فهم الدالة، يمكن لدراسة تدريب فعلية أن تسأل ما إذا كانت أوجه ثباتها تتوافق مع المهمة، وما إذا كان سلوكها العددي يحسّن مفاضلة محددة بين الموارد والجودة. ومن دون هذا الفصل، قد تخفي كلمة التطبيع عدة تفسيرات متعارضة للنتيجة المرصودة نفسها.

11. تسلسل تشخيصي عملي

عندما يصبح التدريب غير مستقر بعد تغيير التطبيع، تحقّق أولاً من المحاور وسلوك البث على موتر صغير يمكن حسابه يدوياً. ثم قارن وضعي التدريب والتقييم باستخدام مدخلات متطابقة وحالة مسجَّلة صراحةً. وبعد ذلك افحص توزيع المقامات، ولا سيما قرب التباين الصفري، قبل تغيير معدل التعلّم.

لهذا الترتيب أهمية لأن ثابت التثبيت العددي قد يخفي خطأً في المحور بمنع القسمة على الصفر، مع إبقاء الخطأ الدلالي كما هو. وبالمثل، لا يخبرنا نجاح التمرير الأمامي بالكثير عن تكييف المشتقات. ويقدّم فحص بالفروق المنتهية على مدخل صغير وفي مجال أملس دليلاً قليل التكلفة على اتساق التنفيذ. وينبغي استكماله باختبارات عند مدخلات ثابتة وتباين صغير جداً، حيث يجب أن يتبع السلوك المتوقع اصطلاح epsilon المعلن، لا افتراض الثبات التام.

12. الدقة جزء من المواصفة

قد يظل المقام الموجب رياضياً ممثَّلاً تمثيلاً غير دقيق في دقة حسابية محدودة. فطرح متوسط كبير من إحداثيات شبه ثابتة قد يفقد الدقة النسبية، كما أن تجميع مربعات الانحرافات باستخدام نوع بيانات ضيق قد يغيّر التباين. وهذه مسائل تنفيذية تتجاوز أمثلتنا باستخدام float64. وينبغي لاختبار النشر تسجيل دقة التجميع ومقارنة المدخلات صغيرة التباين بمرجع أعلى دقة قبل تفسير أي اختلاف على أنه خاصية للتطبيع نفسه.

نُفِّذ محلياً · نطاق محدود

فحوص ثبات التطبيع ومصفوفة جاكوبي

تطبيع ثلاثي الأبعاد وتطبيع دفعة ذات عينتين، مع تحديد تباين المجتمع وepsilon؛ ولا يشمل تدريب الشبكات أو التنفيذ بالدقة المختلطة.

اجتاز 10 من اختبارات التأكيد. تتحقق هذه الفحوص من المثال المقدَّم، لا من الأنظمة المستشهَد بها.

افحص الشاهد المسجَّل

{
  "jacobian": [
    [
      0.23993835872757036,
      -0.3286112304312372,
      0.08867287170366717
    ],
    [
      -0.3286112304312372,
      0.5007409225618855,
      -0.17212969213064816
    ],
    [
      0.08867287170366717,
      -0.17212969213064816,
      0.08345682042698094
    ]
  ],
  "max_finite_difference_error": 1.384497516632166e-10,
  "companion_outputs": [
    -0.9950371902099893,
    0.9950371902099893
  ]
}

مشغّل الأمثلة · محمّل النماذج · نماذج التدريب · نماذج التمثيل · نماذج التوليد · نماذج الموثوقية اقرأ نتائج الفحص الكاملة

نموذج تحليلي معلن

أربع معادلات، وافتراضات صريحة

P=I-\frac{\mathbf1\mathbf1^\top}{d},\quad c=Px,\quad \mathcal N_\epsilon(x)=\frac{c}{\sqrt{c^\top c/d+\epsilon}}

(1) تطبيع إحداثيات كل مثال قبل الكسب والانحياز المتعلَّمين؛ d>=2.

\mathcal N_\epsilon(ax+b\mathbf1)=\frac{aPx}{\sqrt{a^2v+\epsilon}},\quad v=\|Px\|_2^2/d,\ a>0

(2) الثبات تجاه الإزاحة تام؛ والثبات تجاه التحجيم الموجب يتطلب epsilon=0 وv>0.

J=\frac{P}{s}-\frac{cc^\top}{d s^3},\quad J\mathbf1=0,\quad Jc=\frac{\epsilon}{s^3}c

(3) مصفوفة جاكوبي عندما epsilon>0؛ مربع s يساوي v+epsilon.

\operatorname{BN}_\epsilon(0;\{0,b\})=\frac{-b}{\sqrt{b^2+4\epsilon}}

(4) المثال الأول في دفعة من عددين قياسيين مع تباين المجتمع ومن دون تحويل تآلفي.

أمثلة منشأة · بيانات قابلة لإعادة الإنتاج

افحص الحجة الكمية

تُحسب هذه المنحنيات من النماذج المعلنة. وليست ملاحظات مأخوذة من الدراسات المستشهَد بها. ويتضمن كل شكل بياناته العددية ونسخته المتجهية.

ثابت التثبيت يحدّ من الثبات تجاه المقياس. تباين المتجه المتمركز هو v=1. نسبة المعيارين عديمة الأبعاد. تُلغى إزاحة المتوسط تماماً؛ ولا يُختزل التحجيم الموجب إلا في الحد ذي epsilon الصفرية والمتجه غير الثابت. — **الشكل 1. ثابت التثبيت يحدّ من الثبات تجاه المقياس.** تباين المتجه المتمركز هو v=1. نسبة المعيارين عديمة الأبعاد. تُلغى إزاحة المتوسط تماماً؛ ولا يُختزل التحجيم الموجب إلا في الحد ذي epsilon الصفرية والمتجه غير الثابت.

يتغيّر المثال نفسه بتغيّر العينة المصاحبة له. دفعة ذات مثالين {0,b}، وتباين المجتمع، ومن دون كسب أو انحياز متعلَّمين. لا تتغيّر إلا العينة المصاحبة؛ وينتج انعكاس الإشارة مباشرةً عن الإحصاءات المشتركة. — **الشكل 2. يتغيّر المثال نفسه بتغيّر العينة المصاحبة له.** دفعة ذات مثالين {0,b}، وتباين المجتمع، ومن دون كسب أو انحياز متعلَّمين. لا تتغيّر إلا العينة المصاحبة؛ وينتج انعكاس الإشارة مباشرةً عن الإحصاءات المشتركة.

أي دليل يجيب عن أي سؤال؟

الاختيار	الأثر البنيوي الدقيق	التشخيص المطلوب
التمركز داخل المثال	يزيل الإزاحة المشتركة	معلومات المهمة في المستوى الإجمالي
إحصاءات عبر الأمثلة	تربط عناصر الدفعة	الحساسية لتركيب الدفعة
epsilon موجبة	تُنظِّم حالة التباين المنخفض	الاعتماد على المقياس ومقدار المشتقة

بروتوكول تحقق مقترح

هذا تصميم تقييم مقترح. لم يُجرَ أي اختبار مرجعي لنظام إنتاجي أو عتاد. والنماذج المحدودة التي نُفِّذت بصورة منفصلة موثَّقة في الفحوص القابلة للتنفيذ.

حدّد أبعاد الموتر، والمحاور، ومقام التباين، وepsilon، وبث المعلمات التآلفية.
تحقّق من التحويل على موتر يمكن حسابه يدوياً.
قارن مصفوفات جاكوبي التحليلية وتلك المحسوبة بالفروق المنتهية بعيداً عن الحالات المفردة.
غيّر العينات المصاحبة في الدفعة مع تثبيت المثال المستهدف.
سجّل إحصاءات الاستدلال المخزَّنة واختبر الانتقالات بين الأوضاع صراحةً.
أعلن مسبقاً التدخلات الخاصة بالمهمة قبل إسناد أسباب لتغيرات الدقة أو السرعة.

ما الذي تثبته المصادر الأولية

Sergey Ioffe, Christian Szegedy · 2015 [1]

الإسهام. يقدّم تطبيع الدفعة باستخدام إحصاءات الدفعات المصغّرة ومعلمات تآلفية متعلَّمة.

حدود الاستنتاج. دافعه التاريخي ليس تفسيراً سببياً عاماً لكل فائدة مرصودة.

موضع الدليل في المصدر. الملخص الأصلي في PMLR وصياغة التطبيع.

Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton · 2016 [2]

الإسهام. يقدّم تطبيعاً يستخدم إحصاءات داخل حالة تدريب واحدة.

حدود الاستنتاج. تختلف المحاور داخل المثال عن الإحصاءات عبر الدفعة وعن علاقات الاعتماد التي تنشئها.

موضع الدليل في المصدر. ملخص مخطوطة المؤلفين وتعريف تطبيع الطبقة.

Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas et al. · 2018 [3]

الإسهام. يدرس نعومة التحسين بوصفها تفسيراً لفوائد تطبيع الدفعة.

حدود الاستنتاج. لا تجعل هذه الحجة كل اختيار للتطبيع أو كل شبكة متساوية في النعومة.

موضع الدليل في المصدر. ملخص مخطوطة المؤلفين وتأطير التحسين.

حدود هذا التحليل

يعزل التحليل الجبري التطبيع ولا يشمل شبكة متبقية كاملة.
لم يُجرَ أي اختبار مرجعي لسرعة التدريب أو الدقة.
الفروق المنتهية فحوص اتساق قائمة على سماحات، وليست برهاناً رمزياً.
يجب فحص المحاور والإحصاءات الافتراضية الخاصة بكل إطار عمل بصورة منفصلة.

مراجعة تحليلية مركّزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة محلولة أصلية. وليست مسحاً شاملاً أو منهجياً للأدبيات حتى 2026. وتُسجَّل ملاحظات الاطلاع على المصادر وإصداراتها مع قائمة المراجع.

أسئلة قد تغيّر الاستنتاج

أي الإشارات ذات الصلة بالمهمة يزيلها محور اختزال مقترح؟
ما مقدار خطأ النشر الناشئ عن الحالة الإحصائية المخزَّنة بدلاً من الأوزان المتعلَّمة؟
هل يمكن للتدخلات فصل إزالة المعلومات عن تحسين التكييف في عملية التحسين؟

المراجع

Sergey Ioffe, Christian Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. Proceedings of the 32nd International Conference on Machine Learning, PMLR 37 (2015). Primary source.
Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton. Layer Normalization. arXiv:1607.06450 (2016). 10.48550/arXiv.1607.06450.
Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas et al.. How Does Batch Normalization Help Optimization?. arXiv:1805.11604 (2018). 10.48550/arXiv.1805.11604.

الاطلاع على المصدر [1]. فُحص السجل الببليوغرافي الأولي والملخص؛ ولم يُجرَ تدقيق شامل للنص الكامل أو المواد التكميلية.

الاطلاع على المصدر [2]. فُحص السجل الببليوغرافي الأولي والملخص؛ ولم يُجرَ تدقيق شامل للنص الكامل أو المواد التكميلية.

الاطلاع على المصدر [3]. فُحص السجل الببليوغرافي الأولي والملخص؛ ولم يُجرَ تدقيق شامل للنص الكامل أو المواد التكميلية.

ملاحظة الإصدار. أُودع السجل أول مرة في 2018؛ وفُحص الإصدار v5 المؤرخ في 15 أبريل 2019. ويشير السجل الأولي إلى NeurIPS 2018؛ وتحدّد هذه القائمة الببليوغرافية مخطوطة المؤلفين.

دُقِّقت هويات المراجع بمقارنتها بالسجلات الأصلية للناشرين والمؤلفين. وتصف ملاحظات الاطلاع على المصادر والإصدارات أدناه نطاق الفحص؛ وهذا ليس تدقيقاً شاملاً للنصوص الكاملة.

التأليف والمصدر

كتبه وراجعه تقنياً مراجعة ذاتية Codex (ذكاء اصطناعي). وتحدّد المراجع الباحثين الأصليين؛ أما الإنشاءات التحليلية وتصاميم التقييم المقترحة فتُنسب إلى هذا المقال.

الأغلفة رسوم مفاهيمية باستخدام ImageGen. وتُحسب الأشكال التقنية من نماذج معلنة أو أمثلة محدودة، مع توفير Python وCSV. وهي ليست قياسات لمنتجات منشورة أو إعادة إنتاج لاختبارات مرجعية للأداء.

لا يوجد لهذه المسودة المحلية سجل مراجعة أقران مستقلة أو قبول في مجلة. وتفحص الأمثلة القابلة للتنفيذ والمحدودة النطاق النماذج الصغيرة المذكورة؛ ولا تمثل تحققاً صورياً من الأنظمة المستشهَد بها.

[dl-03-1] Sergey Ioffe, Christian Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. Proceedings of the 32nd International Conference on Machine Learning, PMLR 37 (2015). Primary source.

[dl-03-2] Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton. Layer Normalization. arXiv:1607.06450 (2016). 10.48550/arXiv.1607.06450.

[dl-03-3] Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas et al.. How Does Batch Normalization Help Optimization?. arXiv:1805.11604 (2018). 10.48550/arXiv.1805.11604.