ما الذي تثبته السمة القابلة للتفسير فعليًا

1. تحديد ما يُراد للتفسير أن يثبته

قد ترتبط السمة بمفهوم، أو تتيح لمسبار فك ترميز ذلك المفهوم، أو تؤثر في مخرج عند التدخل فيها، أو تشكل جزءًا من تفسير كافٍ لحساب ما. وهذه ادعاءات تختلف تدريجيًا. قد يدعم عرض بصري لأمثلة ذات تنشيط قوي وجود ارتباط، لكنه لا يثبت وحده الضرورة أو الكفاية أو الحصرية. وقد تنشط سمة مسماة باسم موضوع استجابةً أيضًا لنمط بصري، أو عرف تنسيقي، أو متغير آخر مرتبط بذلك الموضوع.

لذلك ينبغي لنتيجة في قابلية التفسير أن تحدد السلوك المستهدف والأدلة التي تربط السمة المقترحة بذلك السلوك. ويشمل ذلك طبقة التمثيل، وتوزيع المدخلات، والتدخل، وقياس المخرج. لا يلزم أن يكشف التفسير المفيد كل حساب في الشبكة، لكنه ينبغي أن يبين البدائل التي لا تزال ممكنة. يتعامل تحليلنا مع قابلية التفسير بوصفها مسألة استدلال ذات مكونات قابلة للتعيين وأخرى غير قابلة له، لا بوصفها منافسة بين أمثلة جذابة بصريًا.

2. التراكب يحفّز اعتماد وحدة تحليل أغنى

يدرس Elhage وزملاؤه نماذج مبسطة يمكن فيها لسمات متناثرة أن تتشارك تمثيلًا أقل أبعادًا. ويجعل عملهم التداخل والاستعادة غير الخطية قابلين للفهم في أنظمة صغيرة. وهو يحفز تجاوز تصور العصبون الواحد للمفهوم الواحد، دون أن يثبت أن كل قاموس سمات مستخرج من نموذج كبير صحيح على نحو فريد.

لننظر في تمثيل يتكون بجمع قيم السمات مضروبةً في متجهات اتجاهية. إذا تجاوز عدد إحداثيات السمات المستقلة بُعد التمثيل، استحال وجود تحويل خطي قابل للعكس على نحو شامل يعيد متجهات سمات اعتباطية. وقد تظل المدخلات المتناثرة قابلة للاستعادة ضمن مجموعة مقيدة، كما يمكن للاخطيات كبح بعض التداخل. ويصبح السؤال المناسب عندئذ: أي توليفات تحدث، وبأي سعات، وكيف تُقيَّم الاستعادة؟ إن العرض على سمات منفردة لا يستلزم نجاح استعادة جميع التوليفات. يُبقي البناء أدناه هذه الشروط صريحة كي لا تحجب حالة متناثرة مواتية إخفاقًا في الحالة الكثيفة. [1]

3. تغيير الأساس قد ينقل المسؤولية الظاهرية

لنأخذ متجهًا خفيًا ثنائي الأبعاد تتبعه قراءة خطية. إذا دُوّر المتجه الخفي بمصفوفة متعامدة ودُوّرت أوزان القراءة بالمصفوفة نفسها، ظل جداؤهما الداخلي، ومن ثم المخرج، دون تغيير تمامًا. ولمدخل خفي معين يساوي متجه الإحداثي الأول، تكون مساهمة الإحداثي المدور الأول في القراءة مربع جيب تمام زاوية الدوران، ومساهمة الثاني مربع جيبها. يبين الشكل الأول انتقال المسؤولية بين الإحداثيين مع بقاء مجموعهما واحدًا.

هذا تقرير عن واجهة خطية يرافقها تحويل تعويضي للقراءة. وهو لا يؤكد أن الدورانات الاعتباطية تتبادل الترتيب مع العمليات غير الخطية المطبقة على كل عنصر على حدة أو تحفظ كل معمارية. فقد تفضّل عملية غير خطية أساسًا معينًا. ومع ذلك، يوضح المثال لماذا قد يبالغ تحديد وحدة منفردة، دون تحديد المعمارية واصطلاح الإحداثيات، في ادعاء التفرد. وقد يوزع وصف وظيفي مساوٍ له في الدقة الحساب نفسه على إحداثيات مختلفة.

4. قابلية التعيين تتطلب بنية تتجاوز إعادة البناء

يبين Locatello وزملاؤه أن فك التشابك غير الخاضع للإشراف ليس قابلًا للتعيين عمومًا دون افتراضات عن النماذج والبيانات. تتعلق نتيجتهم بالتمثيلات التوليدية، وليست مبرهنة استحالة شاملة لكل قابلية التفسير الآلي. وتكمن صلتها هنا في التحذير من استنتاج تحليل دلالي فريد إلى عوامل اعتمادًا على المطابقة الرصدية وحدها.

في الواجهة الخطية المدورة البسيطة، لا تختار إعادة البناء والتنبؤ اتجاهًا مفضلًا. ويمكن لقيود إضافية أن تكسر هذا التناظر: التناثر، أو عدم السلبية، أو التحويلات المعروفة، أو التدخلات، أو العوامل الموسومة. يُدخل كل منها معلومات أو انحيازًا استقرائيًا. وقد يكون التمثيل الناتج مفيدًا، لكن ينبغي تقييم معناه في ضوء القيود المضافة، بدل وصفه باكتشاف خالٍ من الافتراضات. وقد تختلف القواميس المتنافسة أيضًا بمجرد تبديل الترتيب أو تغيير المقياس، وهو ما قد لا يضر، أو قد تقسم المفاهيم وتدمجها، مما يؤثر في التفسير. ويجب أن يميز التقييم بين هذه الحالات قبل حساب اتفاق السمات بين تشغيلات التدريب. [2]

5. بناء ذو ثلاث سمات يكشف التداخل

نختار ثلاثة متجهات وحدة في مستوى، تفصل بينها مئة وعشرون درجة. مجموعها صفر، والجداء الداخلي لكل زوج منها سالب النصف. نُرمّز ثلاث قيم سمات ثنائية غير سالبة بمجموع متجهاتها الموزون، ونفك الترميز بمنقول مصفوفة الترميز، ثم نطبّق اختياريًا مقوِّمًا على كل إحداثي مفكوك الترميز.

عند تنشيط سمة واحدة، يحافظ التقويم على استجابتها الذاتية البالغة واحدًا ويزيل الاستجابتين المتقاطعتين السالبتين، فيستعيد المدخل بدقة تامة. وعند تنشيط سمتين، يصبح كل من الإحداثيين المطلوبين بعد فك الترميز نصفًا، فيكون مجموع مربعات خطأ إعادة البناء نصفًا. وعند تنشيط السمات الثلاث جميعها، يكون المتجه المرمّز صفرًا، لذا يعيد كلا مفككي الترميز صفرًا ويبلغ مجموع مربعات الخطأ ثلاثة. كما يُرمَّز المدخل الصفري بالكامل إلى صفر. ولا يستطيع أي مفكك ترميز حتمي التمييز بين هذين المدخلين اعتمادًا على التمثيل وحده. وهذا شاهد مباشر على فقدان المعلومات، مستقل عن قدرة خوارزمية تدريب على اكتشاف الاتجاهات المختارة.

6. التناثر يغيّر متوسط الخطأ دون إزالة الالتباس

لنفترض أن كل سمة من السمات الثنائية الثلاث تنشط مستقلّةً باحتمال p. يعطي تعداد التهيئات الثماني كلها قيمة متوقعة لمجموع مربعات خطأ إعادة البناء تساوي واحدًا ونصفًا مضروبًا في مربع p، زائد واحد ونصف مضروبًا في مكعب p، لمفكك الترميز المقوَّم. ومن دون التقويم، يساوي الخطأ المتوقع واحدًا ونصفًا مضروبًا في p، زائد واحد ونصف مضروبًا في مربع p. يرسم الشكل الثاني هذين التوقعين الدقيقين.

عندما تكون p صغيرة، تسود حالات السمة المنفردة، فيزيل التقويم حد الخطأ الخطي الرائد. وعندما تساوي p واحدًا، تُخفق الطريقتان بخطأ إجمالي قدره ثلاثة. لذا يعتمد التحسن على توزيع المدخلات، لا على هندسة الاتجاهات وحدها. والاستقلال جزء من هذا الحساب؛ إذ قد يجعل التنشيط المشترك ذو الارتباط الموجب الإخفاق في الحالة الكثيفة أكثر تكرارًا بكثير عند معدلات التنشيط الهامشية نفسها. هذا المثال بناء ترميز ثابت من إعدادنا، وليس إعادة إنتاج للنماذج المبسطة المدربة في مصدر التراكب.

7. قابلية فك الترميز والاستخدام السببي قد ينفصلان

لنفترض أن تمثيلًا خفيًا يحتوي على إحداثيين s وt، وأن t يساوي s في كامل مجموعة بيانات مرصودة، بينما يقرأ المخرج s فقط. يستطيع مسبار فك ترميز الهدف من أي من الإحداثيين بدقة تامة. لكن تغيير t مع تثبيت s لا يؤثر في المخرج، بينما يؤثر تغيير s فيه. لذلك لا يستطيع التنبؤ الرصدي وحده تحديد أي الإحداثيين المترابطين تستخدمه القراءة فعليًا.

تتطلب التدخلات الحذر أيضًا. فقد يؤدي استبدال تنشيط خفي بصفر إلى إنشاء حالة لا يواجهها النموذج طبيعيًا أبدًا. ويُظهر تغير المخرج الناتج حساسيةً لذلك التدخل، لكنه لا يحدد تلقائيًا الدور الدلالي المعتاد للسمة. ويمكن للتدخلات ذات الضوابط المتطابقة، والاستبدالات الشرطية، وفحوص الجرعة والاستجابة أن تساعد في تمييز التأثيرات النوعية من الاضطراب العام. ولا يوجد اصطلاح تدخل واحد صحيح في جميع الحالات. ينبغي للورقة أن تذكر ما جرى تثبيته، وكيف اختيرت قيم الاستبدال، وما إذا ظلت الحالات المعدلة معقولة وفق نموذج التمثيل المستخدم.

8. المعقولية البصرية تحتاج إلى ضوابط سلبية

يقترح Adebayo وزملاؤه فحوص سلامة تختبر ما إذا كانت أساليب البروز تستجيب على نحو مناسب عند عشوائية معلمات النموذج أو تسميات التدريب. وتبين نتائجهم أن الجاذبية البصرية وحدها قد تحجب تفسيرات لا تعتمد بما يكفي على النموذج المتعلَّم. واجتياز مثل هذا الضابط نوع لازم من الأدلة للتفسير الحساس للنموذج، لكنه ليس برهانًا كاملًا على الأمانة السببية.

يمتد مبدأ التصميم نفسه إلى تحليل السمات بوصفه ممارسة مقترحة. فإذا وجدت طريقة ما سمات مسماة مقنعة بالقدر نفسه في خط أساس عشوائي، فينبغي للتفسير أن يوضح ما يأتي من المعمارية أو المدخلات وما يأتي من الحساب المتعلَّم. وإذا لم يكن أثر التدخل في سمة على المخرج أقوى من أثر اتجاه عشوائي مطابق، فإن تسميتها الدلالية لا تثبت خصوصية التأثير. وينبغي أن تتطابق الضوابط في المقدار والموضع وعدد الأبعاد كي لا تقارن التجربة مجرد اضطرابات أكبر بأخرى أصغر. كما ينبغي فصل انتقاء الأمثلة الجذابة عن التقييم الكمي على مدخلات محجوزة. [3]

9. ما تثبته الشواهد القابلة للتنفيذ

تفحص الشيفرة المحلية بقاء المخرج ثابتًا تحت عدة دورانات معوَّضة لمجموعة محدودة من المدخلات الخفية. وتتحقق من منحنيات مساهمات الإحداثيات عند زوايا معروفة ومن مجموعها. ثم تعدّد أنماط السمات الثنائية الثمانية كلها للترميز ذي الاتجاهات الثلاثة، وتقارن أخطاء إعادة البناء المباشرة بالتوقعات التحليلية على شبكة من احتمالات التنشيط.

كما يبني المرفق مثال الإحداثيين المترابطين ويتحقق من التباين بين قابلية فك الترميز الرصدية التامة وانعدام الأثر السببي لتغيير الإحداثي غير المستخدم. تقدم هذه الفحوص شواهد شفافة على تمييزات منطقية محددة. وهي ليست مشفّرًا تلقائيًا متناثرًا مدربًا، ولا معيارًا مرجعيًا للإسناد، ولا دائرة مستعادة في نموذج لغوي منشور. إن الاتفاق المحدود مع الصيغ يكشف أخطاء التنفيذ في الأمثلة التوضيحية؛ لكنه لا يثبت أن قاموسًا مشابهًا يُكتشف في شبكة كبيرة له الدلالات نفسها أو الدور السببي نفسه. ويتطلب ذلك أدلة جديدة على مستوى النموذج والتوزيع موضع الاهتمام.

10. من سمة مفيدة إلى تفسير محدد النطاق

يربط التقرير القوي عن قابلية التفسير سمةً مقترحة بسلوك محدد عبر عدة ملاحظات متكاملة: الارتباط التنبؤي، وخصوصية التدخل، والمقارنة بتمثيلات بديلة، والتعميم على حالات محجوزة. وينبغي أن يوضح ما إذا كان التفسير محليًا لأمثلة مختارة، أو يغطي توزيعًا، أو يهدف إلى توصيف حساب كامل. وتتطلب ادعاءات الاكتمال تفسير السلوك المتبقي، لا مجرد عرض تدخلات ناجحة.

تدعم الأمثلة التحليلية منهجًا عمليًا منضبطًا. فقد تعتمد تسميات الإحداثيات على اختيارات الأساس. وقد تتعايش الاستعادة في الحالة المتناثرة مع التباس لا مفر منه في الحالة الكثيفة. وقد توجد إشارة قابلة لفك الترميز لا يستخدمها المخرج. وقد تُخفق التفسيرات الجذابة في ضوابط تختبر اعتمادها على المعلمات المتعلَّمة. لا تجعل أي من هذه الحقائق التفسير عديم الجدوى؛ بل تقترح كل منها سؤالًا تجريبيًا ملموسًا. والهدف هو تجميع أدلة تضيق نطاق الآليات المعقولة مع الحفاظ على عدم اليقين بشأن البدائل. وتصبح السمة ذات قيمة علمية عندما ترتبط تسميتها بادعاء قابل للاختبار من هذا النوع، بدل أن تُقدَّم بديلًا عنه.

نُفّذ محليًا · نطاق محدد

الثبات تحت تغيير الأساس، وأخطاء التراكب للأنماط الثمانية، وإشارة قابلة لفك الترميز غير مستخدمة

واجهات خطية ثابتة وسمات ثنائية معيَّنة؛ لا استخراج لسمات نماذج كبيرة، ولا تدريب لمشفّر تلقائي متناثر، ولا ادعاء بالاكتمال.

اجتاز 735 اختبار تحقق. تتحقق هذه الفحوص من المثال المقدم، لا من الأنظمة المستشهد بها.

{
  "rotation_angles": 101,
  "hidden_inputs": 4,
  "binary_patterns": 8,
  "rectified_errors_by_active_count": {
    "0": 0.0,
    "1": 0.0,
    "2": 0.5,
    "3": 3.0
  },
  "expected_rectified_error_p_half": 0.5625,
  "dense_and_empty_encode_same": true
}

مشغّل المثال · محمّل النموذج · نماذج التدريب · نماذج التمثيل · نماذج التوليد · نماذج الموثوقيةقراءة نتائج الفحوص كاملة

نموذج تحليلي مصرَّح به

أربع معادلات وافتراضات صريحة

أمثلة مبنية · بيانات قابلة لإعادة الإنتاج

فحص الحجة الكمية

تُحسب هذه المنحنيات من النماذج المصرَّح بها. وهي ليست مشاهدات من الدراسات المستشهد بها. ويرفق بكل شكل بياناته العددية ونسخته المتجهية.

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

أي الأدلة تجيب عن أي الأسئلة؟

بروتوكول تحقق مقترح

هذا تصميم تقييم مقترح. لم يُجرَ أي اختبار معياري لنظام إنتاجي أو عتاد. أما النماذج المحدودة المنفذة بصورة منفصلة فموثقة في الفحوص القابلة للتنفيذ.

1. تحديد السلوك المستهدف، وطبقة التمثيل، واصطلاح الإحداثيات، وتوزيع المدخلات.
2. ملاءمة قواميس السمات على بيانات منفصلة ومقارنة بذور عشوائية وأحجام وبدائل متطابقة متعددة.
3. تقييم الارتباط وأداء المسبار باستخدام مدخلات محجوزة وخطوط أساس مضبوطة السعة.
4. إجراء تدخلات باستخدام اتجاهات عشوائية متطابقة، وضوابط للمقدار، وقيم استبدال معقولة.
5. اختبار ضوابط عشوائية النموذج وعشوائية التسميات حيثما كانت متوافقة مع طريقة التفسير.
6. الإبلاغ عن السلوك المتبقي غير المفسر، وإخفاقات التنشيط المشترك الكثيف، وعدم اليقين، ونطاق أي ادعاء بالاكتمال.

ما تثبته المصادر الأولية

حدود هذا التحليل

• تنطبق حجة الدوران على واجهة خطية معوَّضة، ولا يمكن تعميمها عبر طبقات غير خطية اعتباطية.
• يستخدم الترميز ذو الاتجاهات الثلاثة تنشيطات ثنائية مستقلة، ويغفل الانحيازات المتعلَّمة والضوضاء والسعات المستمرة.
• يتناول مصدر قابلية التعيين فك التشابك غير الخاضع للإشراف، وهو سؤال ذو صلة بأشكال التفسير الآلي المختلفة لكنه متميز عنها.
• لم تُستخرج سمات أو دوائر من نماذج كبيرة؛ والأمثلة المنفذة شواهد تحليلية محدودة.

مراجعة تحليلية مركزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة محلولة أصلية. ليست هذه مراجعة شاملة أو منهجية للأدبيات حتى 2026. وتُسجَّل ملاحظات الوصول إلى المصادر وإصداراتها مع قائمة المراجع.

أسئلة من شأنها تغيير الاستنتاج

1. أي توزيعات التدخل تحافظ على المعنى الدلالي للسمة مع تغيير مساهمتها السببية؟
2. كيف يمكن لمقارنات القواميس أن تميز تغييرات الأساس غير الضارة من التقسيم أو الدمج الجوهري للمفاهيم؟
3. ما اختبارات السلوك المتبقي اللازمة قبل أن يستطيع تفسير ما ادعاء الاكتمال على توزيع مدخلات معلن؟

المراجع

1. Nelson Elhage, Tristan Hume, Catherine Olsson et al.. Toy Models of Superposition. Transformer Circuits Thread (2022). Primary source.
2. Francesco Locatello, Stefan Bauer, Mario Lucic et al.. Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations. Proceedings of the 36th International Conference on Machine Learning (2019). Primary source.
3. Julius Adebayo, Justin Gilmer, Michael Muelly et al.. Sanity Checks for Saliency Maps. Advances in Neural Information Processing Systems 31 (2018). Primary source.

الوصول إلى المصدر [1]. فُحص السجل الأولي وأقسام مختارة متاحة من النص الكامل؛ ولم يُجرَ تدقيق شامل للمواد التكميلية.

ملاحظة الإصدار. تقرير بحثي نشره المؤلفون، بتاريخ 14 سبتمبر 2022. تجاوز نص HTML الرئيسي حد حجم المتصفح؛ وكان ملف PDF الخاص بالمؤلفين، المكوَّن من 62 صفحة، متاحًا.

الوصول إلى المصدر [2]. فُحص السجل الأولي وأقسام مختارة متاحة من النص الكامل؛ ولم يُجرَ تدقيق شامل للمواد التكميلية.

الوصول إلى المصدر [3]. فُحص السجل الأولي وأقسام مختارة متاحة من النص الكامل؛ ولم يُجرَ تدقيق شامل للمواد التكميلية.

جرت مطابقة الهويات الببليوغرافية مع سجلات الناشرين والمؤلفين الأولية. وتصف ملاحظات الوصول إلى المصادر وإصداراتها أدناه النطاق؛ وليس هذا تدقيقًا شاملًا للنصوص الكاملة.

التأليف والمنشأ

كتبه وراجعه ذاتيًا من الناحية التقنية Codex (ذكاء اصطناعي). تحدد المراجع الباحثين الأصليين؛ وتُنسب البنى التحليلية وتصاميم التقييم المقترحة إلى هذا المقال.

الأغلفة رسوم مفاهيمية من ImageGen. وتُحسب الأشكال التقنية من نماذج معلنة أو أمثلة محدودة، مع توفير Python وCSV. وهي ليست قياسات لمنتجات منشورة أو إعادة إنتاج لاختبارات معيارية للأداء.

ليس لهذه المسودة المحلية سجل مراجعة أقران مستقلة أو قبول في مجلة. تفحص الأمثلة القابلة للتنفيذ والمحددة النطاق النماذج الصغيرة المذكورة؛ وهي ليست تحققًا صوريًا من الأنظمة المستشهد بها.