انعدام خطأ التدريب لا يحدد المصنِّف المتعلَّم

1. صحة التسميات تترك مصنِّفات كثيرة ممكنة

تفرض مجموعة التدريب متباينات على المصنِّف بدلًا من تحديد دالة وحيدة. فإذا كانت جميع الدرجات الموقَّعة موجبة، كان خطأ التصنيف معدومًا، ومع ذلك قد يحقق عدد لا نهائي من الاتجاهات والمقادير هذه المتباينات. تضع بعض الاتجاهات حد القرار قريبًا من مشاهدات معينة؛ بينما تترك اتجاهات أخرى فسحة هندسية أكبر. وقد تختلف هذه المصنِّفات اختلافًا تامًا على النقاط غير المدرجة في مجموعة التدريب.

هذا النقص في التحديد هو ما يجعل التحيز الضمني موضوعًا ذا معنى. فالمُحسِّن، والتهيئة، والتمثيل، وقاعدة التوقف تختار معًا من بين الدوال الملائمة للبيانات. وليس هدفنا وصف هذا الاختيار بأنه جيد على نحو شامل. بل نهدف إلى تحديد الكمية الهندسية التي يختارها إجراء التدريب، والافتراضات التي تجعل هذا القول ذا معنى، وسبب كون مقياس انعدام الخطأ خشنًا أكثر مما يسمح بكشف هذا الاختيار.

2. ثلاث ركائز نظرية وحدودها

يصف Soudry وزملاؤه التقارب الاتجاهي للتصنيف الخطي المتجانس غير المنظَّم على بيانات قابلة للفصل، مع دوال خسارة تناقصية ملائمة وشروط مناسبة للانحدار المتدرج. ويوسّع Ji وTelgarsky التحليل إلى البيانات غير القابلة للفصل من خلال تحليل إلى مكونات يتضمن مكونًا قابلًا للفصل وإزاحة محدودة. ويدرس Chizat وBach هامشًا مختلفًا في فضاء الدوال ضمن إعداد ذي طبقتين وعرض لانهائي.

يكمن التمييز المهم في الفضاء الذي يُعرَّف فيه الهامش. فالهامش الخطي الإقليدي، وهامش النواة، وهامش فضاء الدوال ليست أسماء متبادلة للكيان نفسه. ونستخدم هذه الأوراق البحثية لتحديد حدود الاستدلال. والحسابات المحدودة أدناه إنشاءات أولية، وليست إعادة إنتاج لبراهينها التقاربية، ولا يمكنها نقل نتيجة تخص العرض اللانهائي إلى بنية محدودة اعتباطية. [1], [2], [3]

3. تحجيم الثقة من دون تحريك الحد الفاصل

للتسميات الثنائية y في {-1,1}، تكون الخسارة اللوجستية log(1+exp(-y w dot x)). استبدل w بـ c w بحيث c>0. لا تتغير إشارة أي تنبؤ. وإذا كانت أصغر درجة موقَّعة موجبة، فإن كل حد من حدود الخسارة يتناقص مع نمو c ويؤول إلى الصفر. وفي الوقت نفسه، ينمو المعيار خطيًا مع c، ويظل حد القرار ثابتًا.

يقسم الهامش المطبَّع الدرجة الموقَّعة على معيار w، ولذلك لا يتغير بإعادة التحجيم هذه. ومن ثم قد لا يعني انخفاض الخسارة سوى زيادة الثقة ضمن هندسة لم تتغير. وقد يصاحب أيضًا تغيرًا في الاتجاه؛ ولا تستطيع الخسارة وحدها التمييز بين الحالتين. ويتيح سجل يتتبع الخسارة، والمعيار، والهامش الأدنى المطبَّع، وخطأ التصنيف التمييز بين هذين الاحتمالين. وهذه توصية تشخيصية مستمدة مباشرة من التعريفات.

4. مثال دقيق ذو قيدين

لنأخذ متجهي سمات موقَّعين z1=(1,0) وz2=(0,2)، حيث تعني السمة الموقَّعة حاصل ضرب y في x. تصبح قيود الهامش الوظيفي الوحدي w1>=1 وw2>=1/2. ويعطي تصغير مربع المعيار الإقليدي تحت هذه القيود w=(1,1/2)، لأن زيادة أي من الإحداثيين لا تؤدي إلا إلى زيادة دالة الهدف. ويكون هامشه الأدنى المطبَّع 2/sqrt(5).

يصنِّف اتجاه متناسب مع (1,1) المشاهدتين تصنيفًا صحيحًا أيضًا، لكن هامشه الأدنى المطبَّع هو 1/sqrt(2). وكلاهما يحقق خطأ تدريب معدومًا. وعند تساوي المعيار، تختلف درجتاهما الدنيا، ويمكن لكليهما، بعد إعادة تحجيم موجبة اعتباطية، تحقيق خسارة لوجستية صغيرة للغاية. يعزل هذا الإنشاء المعلومات التي يستبعدها مقياس انعدام الخطأ، من دون الاعتماد على مجموعة بيانات غير موثَّقة أو شبكة مدرَّبة.

5. لماذا قد يخفي الانخفاض السريع للخسارة تغيرًا بطيئًا في الاتجاه

بمجرد أن تصبح جميع الدرجات كبيرة وموجبة، تمنح التدرجات اللوجستية المشاهدات ذات الهوامش الأقل أوزانًا أكبر بكثير من المشاهدات ذات الهوامش الأعلى. وينتج ذلك من المشتقة، التي يكون مقدارها 1/(1+exp(m)) للدرجة الموقَّعة m. وفي مثالنا ذي الإحداثيين، يحدِّث الانحدار المتدرج الإحداثيين بمعدلين مختلفين، لأن مقادير سماتهما ودرجاتهما الحالية تختلف معًا.

مع نمو المعلمات، تتقلص المقادير المطلقة للتحديثات. ولذلك قد يبدو المصنِّف ساكنًا وفق عتبة قائمة على الخسارة، بينما يظل اتجاهه المطبَّع متغيرًا. يوضح التشغيل المحدود المرفق هذا الانفصال، لكنه لا يقدّر معدل تقارب تقاربيًا من مسار قصير. وأي ادعاء بشأن المعدل يتطلب إما النظرية ذات الصلة مع افتراضاتها، أو تصميمًا تجريبيًا قادرًا على التمييز بين صيغ تقاربية متنافسة عبر نطاق مسوَّغ.

6. تغييرات الإحداثيات تعدِّل التحسين الإقليدي

لتكن w=A theta، حيث A مصفوفة قطرية قابلة للعكس. تظل الدوال الخطية الممثَّلة دون تغيير، لأن لكل w قيمة theta مقابلة. وتستحث خطوة تدرج إقليدية في theta خطوة في w مكيَّفة مسبقًا بواسطة حاصل ضرب A في منقول A. وبالتالي يعتمد المسار في فضاء الدوال على نظام الإحداثيات رغم تطابق القدرة التمثيلية.

يقابل قيد تصغير معيار theta معيارٌ إهليلجي في w. ولا تؤكد هذه الملاحظة أن كل مُحسِّن يتقارب بالضرورة إلى ذلك الحد الأدنى؛ بل تحدد الهندسة التي ستشير إليها نتيجة قائمة على المعيار. يقارن فحصنا تحديثًا مباشرًا لـ w بتحديث باستخدام المعلمة عبر A عند الدالة الممثَّلة نفسها. وترتبط التدرجات بقاعدة السلسلة، وتختلف الدوال التالية عمومًا. وهذا مثال مضاد محدود وقابل لإعادة الإنتاج لثبات الانحدار المتدرج العادي إزاء تغيير المعلمة.

7. قد تحدد نقطة شاذة الفسحة الهندسية

يمنح إنشاء الهامش الصلب تأثيرًا حاسمًا للقيود الأقرب إلى الحد الفاصل. أضف إلى المثال نقطة موقَّعة تساوي epsilon مضروبًا في (1,0). يتطلب قيدها w1>=1/epsilon. ومع اقتراب epsilon من الصفر، يدور حل المعيار الأدنى نحو المحور الأول ويزداد معياره. ومع ذلك، تظل كل قيمة موجبة محدودة لـ epsilon تسمح بتصنيف مثالي.

لا يعني ذلك أن جميع الأمثلة النادرة ضوضاء أو ينبغي إزالتها. فقد تمثل نقطة نادرة فئة سكانية مهمة. بل يوضح المثال أن تعظيم هامش هندسي تجريبي مشروط بالمشاهدات والتسميات وتحجيم السمات. وإذا غيّرت نقطة ذات تسمية خاطئة أو نقطة تالفة قابلية الفصل، فإن المسألة نفسها تتغير. ولذلك يجب أن تدخل مصادر البيانات وعدم اليقين بشأن التسميات في أي تفسير للتحيز الظاهر للمُحسِّن.

8. عدم قابلية الفصل يغيّر السؤال

ضع متجهي سمات متطابقين في مجموعة بيانات بتسميتين متعاكستين. لا يستطيع أي مصنِّف خطي متجانس حتمي منحهما معًا درجتين موقَّعتين موجبتين. وبالنسبة إلى مساهمتهما اللوجستية المعزولة، فإن جعل المقدار كبيرًا على نحو اعتباطي يفاقم أحد الحدين بينما يحسّن الآخر. وتُصغَّر الخسارة عند درجة صفرية لهذا الزوج المتناقض.

قد تحتوي مجموعة بيانات أكبر على بنية متناقضة واتجاهات لا تزال قادرة على فصل مجموعة جزئية في الوقت نفسه. ويكتسب تحليل Ji وTelgarsky لحالة عدم قابلية الفصل أهميته لأنه يتجنب فرض تصور ثنائي مطلق لقابلية الفصل على مثل هذه البيانات. وفي هذه المقالة نفحص فقط الزوج المتناقض المتناظر ونشرح حله الأمثل المحدود. ولا نستنتج التحليل الكامل إلى مكونات لمجموعة بيانات واقعية من منحنى خسارة أو من خطأ تدريب منخفض. [2]

9. التعميم استدلال إضافي

لا يكون الهامش التجريبي الكبير مفيدًا إلا بالنسبة إلى مقياس محدد للسمات، وفئة فرضيات، ونموذج لأخذ العينات. فإذا أُعيد تحجيم المدخلات اعتباطيًا، فقد يتغير الهامش الخام من دون أي دليل جديد بشأن التسميات غير المرئية. وإذا اختير تمثيل بعد فحص مجموعة الاختبار، فإن الهامش المقاس في ذلك التمثيل لا يعود قابلًا للتفسير بوصفه تقييمًا معلنًا مسبقًا.

حتى النظرية الصحيحة عن التحسين لا تحدد توزيع المجتمع الإحصائي. ولتقييم التعميم، احتفظ بمجموعة محجوبة فعلًا، وقيّم السلوك عبر المجموعات الفرعية والتوزيعات، وميّز معايرة الاحتمالات من دقة التسميات. ولا يتضمن مثالنا المنشأ عمدًا تسميات للمجتمع خارج قيديه. ولن يكون من المسوَّغ رياضيًا إسناد أفضلية في دقة الاختبار إلى أحد الاتجاهين لمجرد أن هامش تدريبه أكبر.

10. دراسة للتحيز قابلة للدحض

ينبغي للتجربة المقترحة أن تصرّح بالكيان الحدي المتوقع قبل التدريب: اتجاه في فضاء المدخلات، أو معيار في فضاء المعلمات، أو مصنِّف في فضاء الدوال. ثم ينبغي أن تسجل الكميات اللازمة لمقارنة النموذج المدرَّب بذلك الكيان. وفي المسائل الصغيرة، تُعد مسألة تحسين مقيَّدة محلولة بصورة مستقلة مرجعًا مفيدًا؛ أما في الشبكات غير الخطية، فإن مخرجات أداة حل لم يُتحقق منها تمثل هي نفسها مصدرًا لعدم اليقين.

تختبر الأمثلة المصاحبة القيود الدقيقة، وثبات المعيار تحت التحجيم الموجب، وهوية التكييف المسبق المستندة إلى قاعدة السلسلة، والحل الأمثل للزوج المتناقض. وهي تكشف كيف يمكن أن تفشل الاستنتاجات عندما يتغير أحد الافتراضات. وقد صُممت لتكون محدودة عمدًا. والنتيجة التي يمكن الدفاع عنها ليست أن التحيز الضمني يحل مشكلة التعميم، بل أن التحسين يختار هندسة يجب تسميتها وقياسها وفصلها عن حقيقة ملاءمة التسميات.

11. قواعد التوقف جزء من موضوع الدراسة العلمية

لا يلزم أن يجسّد تشغيلان للتدريب يستخدمان المُحسِّن والتهيئة نفسيهما، لكن بقواعد إنهاء مختلفة، الادعاء العملي نفسه. فعتبة الخسارة ترجّح مقياسًا معينًا للثقة؛ وميزانية خطوات ثابتة ترجّح نقطة معينة على المسار الاتجاهي؛ وقاعدة التحقق تُدخل عينة أخرى وإجراء اختيار إضافيًا. وليس أي منها خاطئًا في ذاته، لكن جمع نتائجها تحت تسمية واحدة يطمس المقارنة.

ينبغي أن يوضح التقرير ما إذا كانت نقطة الحفظ المختارة تصغّر خسارة التحقق، أو تعظّم دقة التحقق، أو تكتفي بإكمال جدول ثابت. وينبغي الاحتفاظ بمسار نقاط الحفظ كي يمكن فحص التحسن المزعوم في الهامش بعد تثبيت قاعدة القرار. ويكتسب ذلك أهمية خاصة عندما ترتفع خسارة التحقق مع ازدياد الثقة في الدرجات: فتغير جودة الاحتمالات وتغير هندسة التصنيف لا يلزم أن تكون لهما الإشارة نفسها.

12. الهامش ليس تقديرًا للاحتمال

يُبقي التحجيم الموجب حد القرار ثابتًا، لكنه يغيّر الاحتمالات اللوجستية باتجاه الصفر أو الواحد. وإذا لم يكن الاحتمال الشرطي الحقيقي عند مدخل معين مساويًا لأي من الطرفين، فقد تؤدي الثقة الكبيرة بما يكفي إلى تدهور درجته اللوغاريتمية المتوقعة حتى مع بقاء تسميته المتنبأ بها صحيحة. ولذلك يجب تقييم مسألة الاختيار الهندسي ومسألة التقدير الاحتمالي بكميات قابلة للرصد مختلفة.

نُفِّذ محليًا · نطاق محدود

الهوامش وتغييرات الإحداثيات والتسميات المتناقضة

هندسة محدودة ذات قيدين، وخطوات تدرج صريحة، و101 درجة للزوج المتناقض. الانحدار المحدود ليس برهانًا على النظريات التقاربية المستشهد بها.

نجحت جميع التأكيدات الاختبارية البالغ عددها 116. تتحقق هذه الفحوص من المثال المرفق، لا من الأنظمة المستشهد بها.

{
  "maximum_margin": 0.8944271909999159,
  "trajectory_step_loss_margin": [
    [
      1,
      0.5533380097486379,
      0.4472135954999579
    ],
    [
      10,
      0.2114391196724853,
      0.6472679469278612
    ],
    [
      100,
      0.02618021290683939,
      0.8076515825626189
    ],
    [
      1000,
      0.002528703690596741,
      0.8472075680971195
    ],
    [
      10000,
      0.00025045209849889,
      0.8617419583557351
    ]
  ],
  "direct_gradient": [
    -0.16590611391591695,
    -0.31002551887238755
  ]
}

مشغّل الأمثلة · محمّل النماذج · نماذج التدريب · نماذج التمثيل · نماذج التوليد · نماذج الموثوقيةاقرأ نتائج الفحص الكاملة

نموذج تحليلي مصرَّح به

أربع معادلات وافتراضات صريحة

أمثلة منشأة · بيانات قابلة لإعادة الإنتاج

افحص الحجة الكمية

تُحسب هذه المنحنيات من النماذج المصرَّح بها. وهي ليست مشاهدات من الدراسات المستشهد بها. ويتضمن كل شكل بياناته العددية ونسخته المتجهية.

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

أي دليل يجيب عن أي سؤال؟

بروتوكول تحقق مقترح

هذا تصميم تقييم مقترح. لم يُنفَّذ أي اختبار معياري لنظام إنتاجي أو عتاد. وتُوثَّق النماذج المحدودة التي نُفِّذت بصورة منفصلة في الفحوص القابلة للتنفيذ.

1. ثبّت تحجيم السمات، والتسميات، وتطبيع الخسارة، والمعلمة.
2. حلّ مسألة هامش مرجعية صغيرة بصورة مستقلة عن الانحدار المتدرج.
3. سجّل الخطأ، والخسارة، والمعيار، والاتجاه، والهامش المطبَّع عند كل نقطة حفظ.
4. كرّر باستخدام تحويل إحداثي يحافظ على الدوال الممثَّلة.
5. أدخل زوجًا متناقضًا مصرَّحًا به وافحص التغير في السلوك.
6. اذكر قاعدة التوقف، وأبقِ تقييم الاختبار منفصلًا عن اختيار نقطة الحفظ.

ما تثبته المصادر الأولية

حدود هذا التحليل

• تحتوي مجموعة البيانات المستخدمة في المثال المحلول على قيدين موقَّعين فقط، ولم يُعيَّن لها مجتمع اختبار.
• لا تثبت المسارات المحدودة التقارب الاتجاهي التقاربي.
• يتناول المرجع غير الخطي إعدادًا مثاليًا ذا عرض لانهائي.
• تعتمد الهوامش على تحجيم السمات والمعيار المختار.

مراجعة تحليلية مركَّزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة محلولة أصلية. وليست هذه مراجعة شاملة أو منهجية للأدبيات حتى 2026. وتُسجَّل ملاحظات الاطلاع على المصادر وإصداراتها مع قائمة المراجع.

أسئلة من شأنها تغيير الاستنتاج

1. أي أدوات التشخيص في حالة العرض المحدود تميّز على أفضل وجه بين هامش في فضاء الدوال وبديل تقريبي له في فضاء المعلمات؟
2. كيف تغيّر قاعدة توقف تعتمد على البيانات التحيز العملي الجاري قياسه؟
3. متى يطغى عدم اليقين في التسميات وإعادة تحجيم السمات على تفضيل المُحسِّن للهامش؟

المراجع

1. Daniel Soudry, Elad Hoffer, Mor Shpigel Nacson et al.. The Implicit Bias of Gradient Descent on Separable Data. Journal of Machine Learning Research 19(70) (2018). Primary source.
2. Ziwei Ji, Matus Telgarsky. The implicit bias of gradient descent on nonseparable data. Proceedings of the Thirty-Second Conference on Learning Theory, PMLR 99 (2019). Primary source.
3. Lénaïc Chizat, Francis Bach. Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss. Proceedings of Thirty Third Conference on Learning Theory, PMLR 125 (2020). Primary source.

الاطلاع على المصدر [1]. فُحص سجل JMLR وسياق المقدمة والنظرية في ملف PDF الأصلي؛ ولم يُدقَّق البرهان الكامل بصورة مستقلة.

الاطلاع على المصدر [2]. فُحص السجل الببليوغرافي الأصلي والملخص؛ ولم يُجرَ تدقيق شامل للنص الكامل أو المواد التكميلية.

الاطلاع على المصدر [3]. فُحص السجل الببليوغرافي الأصلي والملخص؛ ولم يُجرَ تدقيق شامل للنص الكامل أو المواد التكميلية.

جرت مراجعة هويات المراجع الببليوغرافية بالرجوع إلى السجلات الأصلية للناشرين والمؤلفين. وتصف ملاحظات الاطلاع على المصادر وإصداراتها أدناه نطاق المراجعة؛ وهذا ليس تدقيقًا شاملًا للنصوص الكاملة.

التأليف والمصدر

كتبها Codex، وهو ذكاء اصطناعي، وأجرى لها مراجعة تقنية ذاتية. تحدد المراجع الباحثين الأصليين؛ وتُنسب الإنشاءات التحليلية وتصاميم التقييم المقترحة إلى هذه المقالة.

الأغلفة رسوم مفاهيمية من ImageGen. وتُحسب الأشكال التقنية من نماذج مصرَّح بها أو أمثلة محدودة، مع إرفاق Python وCSV. وهي ليست قياسات لمنتجات منشورة أو إعادة إنتاج لاختبارات أداء معيارية.

ليس لهذه المسودة المحلية سجل مراجعة مستقلة من الأقران أو قبول في مجلة. وتفحص الأمثلة القابلة للتنفيذ والمحدودة النطاق النماذج الصغيرة المذكورة؛ لكنها ليست تحققًا صوريًا من الأنظمة المستشهد بها.