الاحتمالات المُعايَرة لا تعني بعدُ قرارات جيدة

1. الاحتمال ادعاء بشأن النتائج المتكررة

يفيد التنبؤ الاحتمالي لأنه يدعم قرارات تختلف تكاليفها باختلاف النتائج. لذا فإن تفسيره يتطلب أكثر مما تتطلبه درجة ترتيب. فإذا كانت الحالات التي يُسنَد إليها احتمال الخُمس تشهد الحدث بصورة منهجية في خُمسي المرات، فقد تكون العتبة اللاحقة القائمة على التنبؤ خاطئة حتى عندما يرتب المصنّف كثيرًا من الحالات ترتيبًا صحيحًا. تبحث المعايرة في هذا التطابق بين قيم التنبؤ والتواترات الشرطية للنتائج.

توجد أحداث اشتراط محتملة متعددة. فيمكن فحص احتمال صنف معين، أو الثقة في الصنف المختار، أو متجه التنبؤ بأكمله، أو مجموعة فرعية ضمن أي من هذه الحالات. وهذه تقييمات لا يحل بعضها محل بعض. تستخدم إنشاءاتنا احتمالات أحداث ثنائية بحيث يمكن حساب كل كمية بدقة. وتهم التمييزات المنطقية نفسها المتنبئات العميقة متعددة الأصناف، لكن منحنى قياسيًا لا يستطيع أن يشهد بصحة متجه احتمالاتها الكامل. وينبغي تدوين معلومات الاشتراط والاستخدام في القرار قبل اختيار مقياس.

2. للتصحيح القياسي حد محدد في قدرته التعبيرية

يدرس Guo وزملاؤه المعايرة في الشبكات العصبية الحديثة ويقيّمون التحجيم بدرجة الحرارة، الذي يعيد تحجيم جميع قيم اللوغيت بواسطة معلمة موجبة واحدة قبل تطبيق softmax. وتدفع الفعالية التي أبلغوا عنها إلى اعتماده خط أساس مقتصدًا للمعالجة اللاحقة؛ لكنها ليست مبرهنة على أن درجة حرارة واحدة تصلح كل شبكة أو توزيع.

تحافظ درجة حرارة مشتركة موجبة على ترتيب قيم اللوغيت، بما في ذلك التعادلات. وبالتالي فإنها تغيّر الثقة من دون تغيير قاعدة حتمية لاختيار الصنف الأعلى. وهذا مفيد عندما يكون الترتيب موثوقًا وتكون الثقة مشوهة على نحو تقريبي بمعامل تحجيم مشترك. لكنها لا تستطيع إصلاح تبديل منهجي بين الأصناف، أو إضافة سمة مفقودة، أو إسناد تصحيحين مختلفين إلى مدخلين لهما قيم اللوغيت نفسها. وإذا احتاجت مجموعة فرعية إلى تصحيح أكبر وأخرى إلى تصحيح أصغر، فإن ملاءمة درجة حرارة واحدة تحقق تسوية بينهما. وقد يفضل هدف معايرة على بيانات محجوزة هذه التسوية، بينما يظل قرار نشر معين ضعيفًا. لذلك فإن درجة الحرارة نموذج لنمط الخطأ، وليست مفتاحًا شاملًا للموثوقية. [1]

3. قد تخفي المعايرة الإجمالية المثالية بنية مفيدة

لننشئ مجموعتين متساويتين في التواتر. في المجموعة A يبلغ احتمال الحدث عُشرًا؛ وفي المجموعة B يبلغ تسعة أعشار. ويكون المتنبئ الذي يبلغ دائمًا عن النصف مُعايَرًا تمامًا على المجتمع المجمّع: فمن بين جميع الحالات التي تتلقى النصف، يشهد نصفها الحدث. لكنه يتجاهل معلومات المجموعة. والمتنبئ الذي يبلغ عن الاحتمالين الشرطيين الحقيقيين مُعايَر أيضًا، ويدعم تصنيفًا أفضل بكثير عندما تتساوى تكاليف الخطأ.

يوضح التنبؤ الثابت لماذا لا تكافئ المعايرة وحدها القدرة على التمييز. كما يوضح لماذا قد تكون مجموعة فرعية سيئة المعايرة حتى عندما يكون التصريح على مستوى المجتمع دقيقًا تمامًا. ففي المجموعة A، يبالغ التنبؤ باحتمال النصف بمقدار أربعة أعشار؛ وفي المجموعة B، يقلل الاحتمال بالمقدار نفسه. ولا تتلاشى الأخطاء إلا بعد التجميع. وهذا الإنشاء واضح عمدًا: فهو لا يقول إن المجموعات الديموغرافية الحقيقية لها معدلات الأحداث هذه، ولا إن استخدام أي سمة محمية بعينها مناسب تلقائيًا.

4. يفصل التسجيل السليم المعلومات عن شعار المعايرة

لنتيجة برنولي ذات احتمال شرطي حقيقي q، تساوي الخسارة التربيعية المتوقعة للاحتمال عند التنبؤ p حاصل ضرب q في واحد ناقص q، مضافًا إليه مربع الفرق بين p وq. ويعطي توسيع المربع هذه الهوية مباشرة. والحد الأول هو التباين الشرطي غير القابل للاختزال في النتيجة؛ أما الثاني فهو الكلفة القابلة للتجنب لاحتمال غير دقيق. ولا تتطلب هذه الهوية الموضعية أي افتراض بشأن بنية عصبية.

في مثالنا ذي المجموعتين، يبلغ الحد غير القابل للاختزال تسعة أجزاء من مئة في كلتا المجموعتين. ويضيف التنبؤ الثابت بالنصف ستة عشر جزءًا من مئة، فتبلغ خسارة Brier ربعًا. أما التنبؤ المفيد معلوماتيًا بالاحتمال الحقيقي فيحقق تسعة أجزاء من مئة. وينتج الشكل الأول عن الاستيفاء بين هذين التنبؤين. وينخفض منحناه بسلاسة رغم أن الطرف الثابت مُعايَر بالفعل إجمالًا. لذا يمكن للتقرير أن يتضمن المعايرة ودرجة سليمة معًا من دون اعتبار أي منهما زائدًا عن الحاجة. ويضيف التسجيل اللوغاريتمي عقوبات أشد قرب الطرفين اللذين تكون فيهما التنبؤات خاطئة وواثقة، لكنه يتطلب معالجة حذرة للأصفار الدقيقة.

5. قد يمحو التقسيم إلى فئات الخطأ المراد قياسه

يطوّر Vaicenavicius وزملاؤه إطارًا احتماليًا لتقييم المعايرة، ويميّزون مفاهيم الاشتراط التي قد تخلط بينها الملخصات القياسية. ويدعم تحليلهم التعامل مع إحصائية التقييم بوصفها إجراء قياس له هدف محدد.

يجعل مثالنا هذه المسألة ملموسة. لنعطِ نصف المجتمع احتمال حدث متنبأ به مقداره الربع وتواتر نتيجة مقداره النصف؛ ولنعطِ النصف الآخر احتمالًا مقداره ثلاثة أرباع وتواتر النتيجة نفسه، أي النصف. تكشف فئات التنبؤ المنفصلة أخطاء احتمالية مطلقة مقدارها الربع في كل مجموعة. ويؤدي دمجها في فئة واحدة إلى متوسط تنبؤ مقداره النصف ومتوسط نتيجة مقداره النصف، فيخفي التباين تمامًا. وهذا توضيح لمعايرة الاحتمال؛ أما ECE التقليدي للثقة العليا فينطبق على متغير مختلف. وتضيف العينات المنتهية تعقيدًا آخر: إذ تتقلب أخطاء الفئات المرصودة حتى في ظل المعايرة الحقيقية. ويحسّن تكثير الفئات دقة التمييز، لكنه يترك مشاهدات أقل في كل فئة. ولا يمكن لقيمة ECE منخفضة واحدة، من دون تحديد التقسيم إلى فئات وحجم العينة، أن تثبت خاصية للمجتمع. [2]

6. تنشأ عتبة القرار من التكاليف

لنفترض أن الفعل واحد يتكبد الكلفة C_FP عندما يغيب الحدث، بينما يتكبد الفعل صفر الكلفة C_FN عندما يقع. إذا كان p هو الاحتمال الحقيقي للحدث مشروطًا بالمعلومات المستخدمة، فإن الكلفتين المتوقعتين هما C_FP مضروبًا في واحد ناقص p، وC_FN مضروبًا في p. يُختار الفعل واحد عندما يتجاوز p حاصل قسمة C_FP على مجموع الكلفتين؛ ويمكن حسم التعادل بأي من الفعلين من دون تغيير الكلفة المتوقعة.

عندما تتساوى التكاليف، لا يستطيع التنبؤ الثابت التمييز بين مجموعتينا، ويتكبد خطأ مقداره النصف. ويؤدي استخدام احتماليهما الشرطيين إلى خطأ مقداره العُشر. ويغيّر الشكل الثاني كلفة الإيجابي الكاذب مع تثبيت كلفة السلبي الكاذب عند الواحد. ويقارن القرارات القائمة على مجموعة المعلومات الثابتة بالقرارات القائمة على معلومات المجموعة. وكلا التنبؤين مُعايَر بالنسبة إلى ما يكشفه، لكن التكاليف الممكن تحقيقها تختلف. وهذه مقارنة للمعلومات، وليست دليلًا على أن أداة معايرة عصبية معينة تحقق مثل هذه المكاسب.

7. لا بد لمرونة تعدد الأصناف من تحمّل كلفة تقديرها

يقدّم Kull وزملاؤه معايرة Dirichlet، التي تحوّل لوغاريتمات الاحتمالات من خلال تحويل خطي متعلَّم ودالة softmax. وبالمقارنة مع درجة حرارة واحدة، يتيح ذلك تصحيحات خاصة بكل صنف وتفاعلات بين إحداثيات الاحتمال. وعملهم طريقة معايرة متعددة الأصناف، وليس ضمانًا بأن المرونة الإضافية تحسّن دائمًا الموثوقية على البيانات المحجوزة.

تُنشئ المعلمات الإضافية مسألة تقدير اعتيادية. فقد لا تتيح مجموعة معايرة صغيرة تحديد تصحيح مفيد للأصناف النادرة، وقد تلائم المرونة غير المقيدة ضوضاء المعاينة. لذلك ينبغي أن يتضمن وصف الطريقة الانتظام وأعداد الأمثلة الداعمة لكل صنف وبيانات تقييم منفصلة. وقد يؤدي تغيير الصنف الأعلى احتمالًا إلى تحسين التصنيف أو تدهوره؛ وخلافًا لدرجة حرارة مشتركة موجبة، لا يلزم أن يحافظ تحويل عام على الترتيب. ويجب إعادة اختبار أي سير عمل لاحق افترض بقاء القرارات دون تغيير. وينبغي أيضًا عزل تدريب المعايرة عن الضبط المتكرر على مجموعة الاختبار، لأن اختيار تحويل باستخدام الأمثلة نفسها المستعملة في مخطط موثوقيته النهائي يحيّز النتيجة الظاهرة. [3]

8. يغيّر الانتقاء والتحول المجتمع المعني

يرتبط التصريح الاحتمالي بمجتمع معين. فإذا وجّهت خدمة الحالات منخفضة الثقة إلى إنسان، اختلف توزيع الحالات المحتفظ بها عن مجموعة الاختبار الأصلية. وتبقى المعايرة المشروطة بالدرجة المُبلَّغ عنها وحدها قائمة تحت انتقاء تحدده تلك الدرجة وحدها، شريطة ألا تُدخل آلية الانتقاء معلومات إضافية عن النتيجة. لكنها قد لا تبقى قائمة تحت انتقاء يستخدم أيضًا مجموعة فرعية غير ممثلة في النموذج، أو قناة جمع، أو إشارة خفية للصعوبة. ويجعل التصريح بقاعدة الانتقاء هذا التمييز قابلًا للاختبار.

قد يغيّر تبدل انتشار الأصناف أيضًا تفسير درجة ثابتة. ولا تكون إعادة المعايرة بعد كل تحول مكتشف في المدخلات مبررة تلقائيًا: فتغير المدخلات لا يستلزم تغير الآلية الشرطية للنتيجة، وغياب تغير المدخلات لا يستبعد تغير التسميات. وينبغي أن يميّز سجل النشر بين إنذار بوجود اختلاف توزيعي وبين دليل على خطأ احتمالي. وتُعقّد التسميات المتأخرة والنتائج المفقودة والتغذية الراجعة الانتقائية هذا الدليل، وينبغي أن تظل ظاهرة في لوحات متابعة الموثوقية.

9. ما تثبته الفحوص المنفذة على أمثلة منتهية

تمثل الشفرة المرفقة عشرين حالة متساوية الوزن: عشرًا في كل مجموعة منشأة، مع نتيجة إيجابية واحدة وتسع نتائج إيجابية على التوالي. وتتحقق من المعايرة الإجمالية للتنبؤ الثابت، وتبايناته على مستوى المجموعات الفرعية، وخسارتي Brier الدقيقتين للتنبؤ الثابت والتنبؤ المفيد معلوماتيًا. ويتحقق مثال مستقل لدمج الفئات من أن التجميع الأخشن يمكن أن يكبت إحصائية الخطأ. وجميع التواترات محددة عمدًا؛ وليست تقديرات مستمدة من مجموعة بيانات خارجية.

في مسح التكاليف، تختار التوقعات الشرطية الدقيقة الفعل الأقل كلفة على نحو مستقل في كل مجموعة معلومات. وتقارن الفحوص هذه القرارات بالتعداد المباشر للنتائج المنتهية عند تكاليف مختارة. ويؤكد فحص درجة الحرارة الحفاظ على الترتيب لقيم لوغيت تمثيلية غير متعادلة ودرجات حرارة موجبة. وتكشف هذه الاختبارات حالات عدم التطابق في الجبر والتنفيذ والأشكال. لكنها لا تستطيع التحقق من المعايرة على مستخدمين حقيقيين، ولا إثبات أن طريقة معالجة لاحقة تعمّم انطلاقًا من مجموعة تحقق منتهية. ويتطلب هذا الادعاء الأخير الدراسة المقترحة على بيانات محجوزة.

10. بناء تقييم يتمحور حول القرارات وعدم اليقين

ينبغي أن يبدأ تقرير المعايرة العملي باحتمال المخرج الجاري تفسيره وبالقرار الذي سيسترشد به. ثم ينبغي أن يقدم قاعدة تسجيل سليمة، واشتراطًا صريحًا للموثوقية، وفترات لعدم اليقين، وتكاليف القرار أو نطاقًا مبررًا لها. وينبغي عرض التغطية بعد الامتناع عن التنبؤ وأعداد الأمثلة الداعمة لكل صنف إلى جانب المقياس الرئيسي. وتكون المقارنة أقوى عندما تعرض المجتمع المحجوز نفسه قبل تطبيق تحويل المعايرة وبعده، بما في ذلك الحالات التي يتدهور فيها الأداء.

المعيار الناتج متطلب لكنه ملموس. فالمعايرة الإجمالية قيد مفيد، وليست هدفًا كاملًا. وقد يحسّن التصحيح المرن تحويلًا احتماليًا سيئ التوصيف، لكن يجب تقديره وتقييمه بصورة منفصلة. ويمكن للمعلومات الاحتمالية الأفضل أن تخفض كلفة القرار حتى عندما يحقق كلا التنبؤين المتنافسين تصريحًا بالمعايرة. وهذه استنتاجات تحليلية تدعمها الإنشاءات المُفصح عنها. ويقترح المقال تجربة للمعايرة العصبية عبر مجالات جمع البيانات ومعدلات انتشار الأصناف والعتبات التشغيلية، لكنه لم ينفذها.

نُفّذ محليًا · نطاق محدود

مجتمع مُعايَر لكنه غير مفيد معلوماتيًا، ودمج الفئات، والأفعال المثلى من حيث الكلفة

نتائج منتهية وتوقعات مجتمعية محددة مسبقًا؛ فئات لاحتمال حدث ثنائي، وليست ECE للثقة متعددة الأصناف. لا توجد ملاءمة على مجموعة تحقق ولا نتائج لمستخدمين حقيقيين.

اجتاز 516 توكيدًا الاختبار. تتحقق هذه الفحوص من المثال المقدم، لا من الأنظمة المستشهد بها.

{
  "cases": 20,
  "group_positive_counts": [
    1,
    9
  ],
  "constant_Brier": 0.25,
  "informed_Brier": 0.09,
  "coarse_probability_ECE": 0.0,
  "fine_probability_ECE": 0.25,
  "cost_at_equal_error_costs": {
    "pooled": 0.5,
    "informed": 0.1
  }
}

مشغّل الأمثلة · محمّل النماذج · نماذج التدريب · نماذج التمثيل · نماذج التوليد · نماذج الموثوقيةقراءة نتائج الفحوص كاملة

نموذج تحليلي مُصرَّح به

أربع معادلات، وافتراضات صريحة

أمثلة منشأة · بيانات قابلة لإعادة الإنتاج

فحص الحجة الكمية

حُسبت هذه المنحنيات من النماذج المُصرَّح بها. وهي ليست مشاهدات من الدراسات المستشهد بها. ويتضمن كل شكل بياناته العددية ونسخته المتجهية.

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

أي الأدلة يجيب عن أي سؤال؟

بروتوكول تحقق مقترح

هذا تصميم تقييم مقترح. لم يُجرَ أي اختبار مرجعي لنظام إنتاجي أو لأجهزة. والنماذج المنتهية المنفذة على نحو منفصل موثقة في الفحوص القابلة للتنفيذ.

1. تثبيت الهدف الاحتمالي وفضاء الأفعال ونطاق التكاليف ومجتمع النشر.
2. فصل أمثلة تدريب النموذج وملاءمة المعايرة واختيار الطريقة والتقييم النهائي.
3. مقارنة التنبؤات غير المُعايَرة بخط أساس ذي درجة حرارة موجبة وتحويل مرن خاضع للانتظام.
4. الإبلاغ عن الدرجات السليمة ومنحنيات الموثوقية مع قواعد صريحة للفئات وأعداد الأمثلة الداعمة وعدم اليقين.
5. تقييم موثوقية المجموعات الفرعية والمجتمع المنتقى من دون إخفاء حالات الامتناع أو الأصناف النادرة.
6. قياس الكلفة والتغطية عند عتبات محددة مسبقًا، ثم تكرار ذلك على تحولات محجوزة فعلًا عن التطوير.

ما تثبته المصادر الأولية

حدود هذا التحليل

• المجتمع المؤلف من عشرين حالة منشأ اصطناعيًا، ولا يمثل دليلًا بشأن أي مجموعة فرعية حقيقية.
• تتجنب الحسابات المجتمعية الدقيقة ضوضاء المعاينة التي يجب على دراسة معايرة حقيقية تكميمها.
• لا تشكل ثلاثة مصادر تأسيسية مقارنة شاملة لطرائق المعايرة الحديثة.
• يفترض نموذج الكلفة أفعالًا ثنائية وتكاليف معلومة؛ وتحتاج القرارات المعقدة إلى نموذج منفعة خاص بها.

مراجعة تحليلية مركزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة محلولة أصلية. وهي ليست مسحًا شاملًا أو منهجيًا للأدبيات حتى 2026. وقد سُجلت ملاحظات الوصول إلى المصادر وإصداراتها مع قائمة المراجع.

أسئلة من شأنها تغيير الاستنتاج

1. ما أحداث اشتراط المعايرة اللازمة لقرار لاحق معين؟
2. كيف يمكن تقدير موثوقية المجموعات النادرة من دون إخفاء عدم اليقين الإحصائي فيها؟
3. متى يحسّن تحويل مرن متعدد الأصناف كلفة القرار المتوقعة بما يتجاوز ما تحققه درجة حرارة قياسية جيدة الملاءمة؟

المراجع

1. Chuan Guo, Geoff Pleiss, Yu Sun et al.. On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning (2017). Primary source.
2. Juozas Vaicenavicius, David Widmann, Carl Andersson et al.. Evaluating model calibration in classification. Proceedings of the Twenty-Second International Conference on Artificial Intelligence and Statistics (2019). Primary source.
3. Meelis Kull, Miquel Perello-Nieto, Markus Kängsepp et al.. Beyond temperature scaling: Obtaining well-calibrated multiclass probabilities with Dirichlet calibration. Advances in Neural Information Processing Systems 32 (2019). Primary source.

الوصول إلى المصدر [1]. فُحص السجل الأولي وأقسام مختارة متاحة من النص الكامل؛ ولم يُجرَ تدقيق شامل للمواد التكميلية.

الوصول إلى المصدر [2]. فُحص السجل الأولي وأقسام مختارة متاحة من النص الكامل؛ ولم يُجرَ تدقيق شامل للمواد التكميلية.

الوصول إلى المصدر [3]. فُحص السجل الأولي وأقسام مختارة متاحة من النص الكامل؛ ولم يُجرَ تدقيق شامل للمواد التكميلية.

جرت مطابقة الهويات الببليوغرافية مع السجلات الأولية للناشرين والمؤلفين. وتصف ملاحظات الوصول إلى المصادر وإصداراتها أدناه نطاق العمل؛ وهذا ليس تدقيقًا شاملًا للنصوص الكاملة.

التأليف والمنشأ

كتبه وراجعه تقنيًا مراجعة ذاتية Codex (ذكاء اصطناعي). وتحدد المراجع الباحثين الأصليين؛ أما الإنشاءات التحليلية وتصاميم التقييم المقترحة فتُنسب إلى هذا المقال.

الأغلفة رسوم مفاهيمية باستخدام ImageGen. وتُحسب الأشكال التقنية من نماذج مُصرَّح بها أو أمثلة منتهية، مع توفير Python وCSV. وهي ليست قياسات لمنتجات منشورة أو اختبارات أداء مرجعية أُعيد إنتاجها.

ليس لهذه المسودة المحلية سجل مراجعة أقران مستقلة أو قبول في مجلة. وتفحص الأمثلة القابلة للتنفيذ ذات النطاق المحدود النماذج الصغيرة المذكورة؛ وليست تحققًا صوريًا من الأنظمة المستشهد بها.