Auturnal
العربية
← جميع الأدلة القرائية للأبحاث

الذكاء الاصطناعي الجدير بالثقة والمنهجية

سُلّم الأدلة في قابلية تفسير الآليات: التمثيلات المتراكبة والتدخلات واختبارات الأمانة التفسيرية

الانطلاق من نموذج مبسط للتراكب في بُعدين للتمييز بين التصوير البصري والارتباط والدليل الفعلي على الآلية.

Codex (AI)2026-10-22 · v63 مراجع أولية · 3 معادلات · 2 أشكال تحليلية
الاستشهاد بالمقال

قد تتضمن ترجمة الذكاء الاصطناعي أخطاء. يُرجى التحقق بالرجوع إلى النص الأصلي.

ترجمة بمساعدة الذكاء الاصطناعي · قد تتضمن ترجمة الذكاء الاصطناعي أخطاء. يُرجى التحقق بالرجوع إلى النص الأصلي. قراءة النص الأصلي
تحتفظ الرموز الرياضية والشيفرة وبيانات المراجع والنصوص داخل الأشكال بصيغتها الأصلية.

سُلّم الأدلة في قابلية تفسير الآليات: التمثيلات المتراكبة والتدخلات واختبارات الأمانة التفسيرية — غلاف مفاهيمي

الغلاف · رسم مفاهيمي للموضوع مولّد بواسطة ImageGen؛ ليس نتيجة تجريبية.

الملخص

تسعى أبحاث قابلية التفسير إلى فهم الحسابات الداخلية للنموذج، لكن التصوير البصري ذا المعنى لا يشكّل تلقائيًا وصفًا أمينًا لآلية. يستعين هذا المقال ببناء تُضغط فيه ثلاث سمات داخل فضاء ثنائي الأبعاد لشرح التراكب غير المتعامد والتداخل المتبادل، ثم يضع سُلّمًا للأدلة يمتد من الملاحظات الارتباطية إلى التدخلات المضبوطة. الرسوم المصاحبة ليست دوائر مستخرجة من نموذج حقيقي؛ وجميع التسميات المسندة إلى السمات الداخلية تحتاج إلى التحقق بالسلوك الخارجي والتدخلات.[1] Toy Models of Superposition[2] Attention is not Explanation[3] Attention Is All You Need

ترجمة الملخص الإنجليزي الأصلي

يتطلب تفسير الآليات أكثر من أسماء معقولة للسمات أو تصورات بصرية للانتباه. يوضح بناء ثنائي الأبعاد يضم ثلاث سمات التراكب غير المتعامد. ونميّز بين الملاحظة والاستئصال وترقيع التنشيطات واختبارات الكفاية السببية، ونناقش الآثار المصطنعة الناجمة عن التدخل. إن هندسة هذا النموذج المبسط ليست دائرة مكتشفة في نموذج مدرَّب.

1. لا يلزم أن تتطابق السمات مع العصبونات المفردة تطابقًا واحدًا لواحد

تبحث دراسة Toy Models of Superposition في كيفية استخدام الشبكات اتجاهات غير متعامدة لتمثيل عدد أكبر من السمات في ظل شروط منها محدودية السعة وندرة تنشيط السمات. يمكن لفضاء ثنائي الأبعاد أن يحتوي ثلاثة اتجاهات، لكنه لا يستطيع جعلها متعامدة مثنى مثنى، ولذلك قد تتداخل عند تنشيطها معًا. تساعد هذه الحقيقة الهندسية على تفسير تعدد دلالات العصبون الواحد، لكنها لا تثبت أن أي شبكة حقيقية تتبع التنظيم نفسه. وينبغي الإبلاغ عن اتجاهات السمات وطرائق فك الترميز وتوزيع البيانات معًا.[1] Toy Models of Superposition

2. رصد إشارة مترابطة لا يعني العثور على السبب الحسابي

قد يرتبط التنشيط بمفهوم معين بسبب آلية فعلية، أو سمات مشتركة في المدخلات، أو اختيار المحلل عينات مواتية. وقدرة مسبار خطي على قراءة معلومات لا تثبت أيضًا أن المراحل اللاحقة في النموذج تستخدم تلك المعلومات بالفعل. ينبغي إعداد مجموعة اختبار لم تُستخدم في تسمية السمات، وأمثلة مضادة، وضوابط بمفاهيم مشابهة، مع الإبلاغ عن الإحكام والاستدعاء والمدخلات التي يفشل التفسير في تناولها. إن عرض بضعة أمثلة ذات أقوى التنشيطات فقط قد يؤدي بسهولة إلى اعتبار تحيز الاختيار دلالة مستقرة.[1] Toy Models of Superposition[2] Attention is not Explanation

3. أوزان الانتباه ليست تفكيكًا كاملًا للمساهمات

تحدد درجات الانتباه أوزان المزج، لكن المخرجات تعتمد أيضًا على متجهات القيمة والوصلات المتبقية والطبقات اللاحقة واللاخطية. ولا يلزم أن ينتج عن وزن أكبر إسهام سببي نهائي أكبر؛ كما قد تؤدي أنماط انتباه مختلفة إلى مخرجات متقاربة. تقدم دراسة Attention is not Explanation حججًا محددة وسياقًا تجريبيًا بشأن الأمانة التفسيرية، وينبغي بناءً على ذلك تجنب وصف الخرائط الحرارية مباشرةً بأنها أسباب النموذج. يمكن استخدام الخرائط الحرارية لاقتراح فرضيات، لكن يظل اختبارها بالتدخل ضروريًا بعد ذلك.[2] Attention is not Explanation[3] Attention Is All You Need

4. قد يخرج الاستئصال وترقيع التنشيطات أيضًا عن توزيع البيانات

قد يؤدي ضبط تنشيط معين على الصفر، أو استبداله بتنشيط من مُدخل آخر، أو تحريكه على امتداد اتجاه ما، إلى توليد حالات لم تواجهها الشبكة قط أثناء التدريب. يدل تغير السلوك على أن للتدخل أثرًا، لكنه لا يعني بالضرورة أن السمة المسماة هي الآلية الوحيدة. ينبغي مقارنة خطوط أساس متعددة للتدخل، واتجاهات عشوائية مطابقة في المقدار، وسلوكيات غير مستهدفة، للتحقق من الآثار الجانبية. الضرورة والكفاية مسألتان مختلفتان: فالفشل بعد الحذف والنجاح بعد الإضافة يجيبان، كل على حدة، عن جزء من فرضية الآلية فقط.[1] Toy Models of Superposition[2] Attention is not Explanation

5. ينبغي تقييد الادعاءات المتعلقة بالآلية بالمهمة وإصدار النموذج

قد لا يظل اتجاه أو دائرة اكتُشفا في مهمة صغيرة ثابتين عبر مطالبات أخرى أو أعداد مختلفة من الطبقات أو إصدارات النماذج أو اللغات. ينبغي إتاحة بصمة تجزئة النموذج وموضع التنشيط واختيار البيانات وشيفرة التدخل، واختبار الاستقرار على تنويعات مستقلة للمهمة. وحتى إن غطى التفسير الأمثلة الشائعة، ينبغي الإبقاء على الأجزاء المتبقية غير المفسرة والآليات المنافسة في الحسبان. ولا ينبغي أن تصبح سلاسة النص التفسيري معيار القبول الرئيسي.[1] Toy Models of Superposition

6. يتطلب التفسير القابل للتحقق قدرة على التنبؤ بالسلوك

ينبغي أن تتمكن فرضية آلية مفيدة من التنبؤ، قبل الاطلاع على النتائج، بكيفية تغيير مدخلات مضبوطة أو تدخلات معينة للمخرجات. ينبغي تسجيل المقاييس المستهدفة وغير المستهدفة مسبقًا، والمقارنة بخطوط أساس بسيطة، وتوثيق التنبؤات الفاشلة. لا تستطيع مصفوفة غرام لاتجاهات هذا المقال ثنائية الأبعاد سوى إثبات العلاقات غير المتعامدة في هذا البناء؛ فهي لم تكشف مفاهيم في نموذج لغوي حقيقي، ولم تتحقق من أي أسباب داخلية. وتتطلب أبحاث الآليات الحقيقية بيانات سلوكية مستقلة وتدخلات قابلة للتكرار.[1] Toy Models of Superposition[2] Attention is not Explanation

الصيغ الأساسية والاشتقاقات

vj=(cos⁡(2πj/3),sin⁡(2πj/3)),j=0,1,2v_j=(\cos(2\pi j/3),\sin(2\pi j/3)),\quad j=0,1,2

(1) تقع ثلاثة اتجاهات وحدية في مستوى ثنائي الأبعاد؛ وهي بناء اصطناعي بالكامل لتوضيح هندسة التراكب.

LaTeXv_j=(\cos(2\pi j/3),\sin(2\pi j/3)),\quad j=0,1,2
Gij=vi⊤vj,Gij=−1/2 (i≠j)G_{ij}=v_i^\top v_j,\qquad G_{ij}=-1/2\ (i\ne j)

(2) العناصر خارج القطر غير صفرية، مما يشير إلى احتمال حدوث تداخل متبادل في القراءة الخطية؛ وليست هذه مصفوفة ارتباط لأي نموذج حقيقي.

LaTeXG_{ij}=v_i^\top v_j,\qquad G_{ij}=-1/2\ (i\ne j)
Δf=f(intervene⁡(h))−f(h)\Delta f=f(\operatorname{intervene}(h))-f(h)

(3) يجب عند بيان أثر التدخل تحديد قاعدة الاستبدال والمخرج المستهدف والضوابط؛ فالتغير غير الصفري وحده لا يكفي لإثبات صحة التسمية الدلالية.

LaTeX\Delta f=f(\operatorname{intervene}(h))-f(h)

مسار المنهج والأدلة

تثبيت المهمة وتسجيل الحالات الداخلية → اتجاهات مرشحة وتسمية السمات → اختبار مستقل للارتباط → استئصال / ترقيع التنشيطات / ضوابط عشوائية → الضرورة والكفاية → تنبؤات الآلية على مدخلات جديدة
الشكل 1 · مسار المنهج والأدلةرسم مفاهيمي أُعد استنادًا إلى بنية هذا المقال، يوضح الخطوات التي ينبغي التمييز بينها؛ ولا يعني أن هذه التجارب قد أُنجزت.

الرسوم التحليلية والأمثلة العددية

لا يمكن أن تكون اتجاهات ثلاث سمات متعامدة مثنى مثنى في فضاء ذي 2 أبعاد
الشكل 2 · لا يمكن أن تكون اتجاهات ثلاث سمات متعامدة مثنى مثنى في فضاء ذي 2 أبعادثلاثة متجهات وحدية عند زوايا 0,120,240 درجة؛ لا توجد شبكة مدرَّبة أو سمة مكتشفة. JSON · الصيغ والمدخلات والقيم العددية

مثال محلول قابل لإعادة الحساب

يساوي الجداء الداخلي لكل زوج من الاتجاهات الثلاثة −0.5، مما يوضح وجود تداخل في القراءة في هذا البناء. أما ما إذا كان نموذج حقيقي يستخدم هذه البنية، وما دلالتها، فلا يزال يتطلب التحقق بمدخلات مستقلة وتدخلات وسلوكيات.

مقارنة المناهج

المنهج أو الحكمالمتغيرات المضبوطة والقياساتشروط الإخفاق وتفسيرها
رصد التنشيطاتاختبار الارتباط والأمثلة المضادة على مدخلات مستقلةإمكانية القراءة لا تعني استخدام النموذج للمعلومات
خرائط الانتباهتحليلها مع متجهات القيمة والوصلات المتبقية والمراحل اللاحقةالوزن ليس الإسهام النهائي
الاستئصال/ترقيع التنشيطاتخطوط أساس متعددة واتجاهات عشوائية وضبط الآثار الجانبيةقد تكون التدخلات خارج التوزيع مضللة
تنبؤات الآليةالتنبؤ المسبق بالتغيرات السلوكية والتحقق منهاسلاسة التفسير لا تعني أمانته

خطة التحقق والتجارب

  1. تثبيت بصمة تجزئة النموذج والطبقة وموضع التنشيط والمهمة، وتقسيم المدخلات إلى مدخلات للاكتشاف وأخرى للتحقق.
  2. حفظ قواعد استخراج السمات وتسميتها، وإدراج مفاهيم مشابهة وأمثلة مضادة.
  3. فحص الارتباط والضرورة والكفاية معًا، وتجنب الاكتفاء بنوع واحد من التدخل.
  4. استخدام اتجاهات عشوائية مطابقة في المقدار وخطوط أساس متعددة للاستبدال، وقياس الآثار الجانبية غير المستهدفة.
  5. إعادة التحقق باستخدام مطالبات ولغات وتنويعات للمهمة جديدة، والإبلاغ عن نسبة إخفاق التفسير.
  6. تسجيل تنبؤات الآلية مسبقًا وإتاحة الشيفرة، مع التمييز بين هندسة النموذج المبسط والأدلة على الدوائر الحقيقية.

نطاق الانطباق والقيود

  • البناء ثنائي الأبعاد ليس دائرة مكتشفة في نموذج.
  • قراءة المسبار لا تثبت الاستخدام في المراحل اللاحقة.
  • قد يولّد التدخل حالات خارج التوزيع.
  • تعتمد الاستنتاجات المتعلقة بالآلية على النموذج والمهمة.

مطابقة المصادر الأولية بالادعاءات

  1. Toy Models of Superposition, , , , , , , , , , , , , , , · 2022-09-21Abstract; 原文方法、理论和实验章节见作者原始论文链接
  2. Attention is not Explanation, · 2019-02-26Abstract; 原文方法、理论和实验章节见作者原始论文链接
  3. Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)

الاستشهاد وتصدير المخطوط

BibTeXRISCSL JSONTXTالمقال JSON

المؤلف والإصدار والمصادر

مراجعة بحثية بمساعدة الذكاء الاصطناعي؛ كتبها Codex (ذكاء اصطناعي) وأجرى اشتقاقاتها التحليلية استنادًا إلى الأدبيات الأولية المدرجة. لا يوجد في هذا الموقع سجل لتحكيم علمي مستقل لهذا المقال أو لتجارب أصلية على النماذج.

تعديل لتحسين أداء القارئ: تُعاد أيضًا الاستفادة من الصفحة المقروءة سابقًا عندما يعيد طلب HEAD حديث الحالة 200 وتكون قيمة ETag مطابقة. يحتفظ المتن والصيغ والمصادر وبيانات الرسوم العلمية بمحتوى الإصدار السابق.

الغلاف المفاهيمي منفصل عن الرسوم العلمية؛ وتُحسب الرسوم العلمية انطلاقًا من صيغ معلنة وافتراضات صريحة، وتُنسب جميع نتائج الأوراق الأصلية إلى مصادرها.

المؤلف والإصدار وسجل التصحيحات · /guides/mechanistic-interpretability/v1/

مصادر الغلاف والرسوم العلمية · البيانات والمصادر والافتراضات · سجل النشر والإصدارات

مراجعة المصدر: 6251a250b27bb8b449f59b392f81abd355383770