أين تضع محوّلات الرؤية تحيزها الاستقرائي

Codex (AI)

الملخص

تُوصَف محوّلات الرؤية أحيانًا بأنها معماريات بلا تحيز استقرائي. تستبدل هذه المراجعة ذلك الوصف بحصر صريح لمواضع دخول القيود: إسقاط الرقع، وترميز الموضع، واتصالية الانتباه، والبنية الهرمية، وإشراف المعلّم. وتوفّر ViT وDeiT وSwin ثلاثة مراجع معمارية أساسية. يطوّر المقال اختبارًا قائمًا على الرتبة وبُعد النواة لضغط الرقع غير القابل للعكس، وهوية للتكافؤ تحت التبديل في الانتباه القائم على المحتوى وحده، ومقارنة شفافة لعدد العمليات بين الانتباه الشامل والانتباه ذي النوافذ الثابتة. تفصل هذه الإنشاءات بين إمكان التمثيل والتفضيل الإحصائي وكلفة التنفيذ. وتميّز التجارب المقترحة بين التغييرات في المعمارية والتغييرات في بيانات التدريب والإشراف. تمثّل الأشكال أعدادًا تحليلية وأمثلة من الجبر الخطي، وليست قياسات عتادية أو اختبارات معيارية لتصنيف الصور أُعيد تنفيذها. والخلاصة المركزية هي أن المقارنة القابلة للدفاع عنها ينبغي أن تسمّي المعلومات والتناظرات التي يحفظها كل مسار معالجة أو يتخلّص منها أو يتعلّمها من البيانات، بدلًا من اعتبار الانتباه غيابًا للبنية القبلية.

1. التحيز خاصية لمسار المعالجة بأكمله

التحيز الاستقرائي هو تفضيل بين علاقات ممكنة بين المدخلات والمخرجات، ينشأ من المعمارية أو البيانات أو التحسين أو الإشراف. فالشبكة التي تعالج شبكة ثابتة من الرقع تلتزم بالفعل بتمثيل معيّن للصورة. ويكتسب النموذج المدرَّب باستخدام تعزيزات مكانية للبيانات تفضيلات إضافية حتى لو كانت طبقة الانتباه فيه مرنة جبريًا. ويمكن لمعلّم مدرَّب مسبقًا أن يزوّده بمزيد من البنية.

لذلك، ليس السؤال العلمي المعني هو ما إذا كان لمحوّل الرؤية تحيز، بل أين يُنفَّذ تحيز بعينه وكيف يؤثر في المهمة المقصودة. فقد تجعل القيود البنيوية قاعدة مفيدة أسهل تعلّمًا، أو تستبعد تمييزًا تحتاج إليه المهمة. وقد تتكيّف التفضيلات المستمدة من البيانات مع توزيع تدريبي غني، أو ترث انتظامًا زائفًا. يفصل هذا المقال بين ثلاث مسائل كثيرًا ما تختلط: أي الدوال قابلة للتمثيل، وأيها يفضّلها التعلّم، وما كلفة حسابها.

2. ‏ViT بوصفه مرجعًا معماريًا

يطبّق Dosovitskiy وزملاؤه محوّلًا على تسلسل من رقع الصور المضمّنة خطيًا، مع تضمينات للموضع وإعداد للتصنيف. وتقيّم ورقتهم التدريب المسبق واسع النطاق والنقل، وتبيّن أن هذا التصميم يمكن أن يحقّق أداءً قويًا ضمن الظروف المبلّغ عنها. وهي لا تبيّن أن بنية الصورة قد اختفت من مسار المعالجة أو أن حجم بيانات التدريب غير ذي صلة.

الإنشاء المدروس هنا هو الواجهة التي تحوّل الرقعة إلى رمز. فبمجرد تحويل الرقعة إلى تضمينها، تعتمد جميع الحسابات اللاحقة على المعلومات المحتفَظ بها عند تلك الواجهة. وحساب الرتبة أدناه أداة تشخيص مستقلة من الجبر الخطي لهذه الخطوة. وهو ليس ادعاءً بأن تهيئات ViT الفعلية في المصدر تضغط الرقع بالضرورة إلى أقل من بُعدها. [1]

3. يغيّر DeiT صورة الإشراف

يدرس Touvron وزملاؤه تدريب المحوّلات بكفاءة من حيث البيانات، ويقدّمون رمز تقطير يتعلّم الطالب من خلاله من المعلّم. ويصف سجل الناشر الأصلي تدريبًا ذا قدرة تنافسية باستخدام ImageNet واستراتيجية معلّم–طالب خاصة بالمعمارية.

التمييز المعني هو أن الشكل المعماري للطالب لا يصف إشرافه وصفًا كاملًا. إذ يمكن لمعلّم التفافي التأثير في محوّل من خلال أهدافه من دون وضع طبقات التفاف في الطالب المنشور. ولا يجعل ذلك التقطير غير مشروع؛ بل يعني أن المقارنة المتعلقة بالتحيز الاستقرائي يجب أن تراعي المعلّم وتاريخ تدريبه. لا تعيد هذه المراجعة إنتاج وصفة التحسين أو النتائج العددية للاختبارات المعيارية الواردة في المصدر. وهي تستخدم تصميم المعلّم–الطالب سببًا ملموسًا لتتبّع مصادر المعرفة خارج الرسم البياني للطالب. [2]

4. يجعل Swin المحلية صريحة

ينظّم Liu وزملاؤه الانتباه داخل نوافذ محلية، ويزيحون تقسيم النوافذ بين الكتل، ويستخدمون بنية هرمية تغيّر الدقة المكانية. وتشرح المسودة الأولية للمؤلفين كيف يتيح ذلك التواصل عبر النوافذ مع ضبط كلفة الانتباه. ويفترض تصريحها بشأن التدرّج الحسابي ثبات حجم النافذة عند زيادة دقة الصورة.

إذًا لم تُلغَ المحلية؛ بل أُدرجت في تصميم نمط التواصل. ويمكن لتقسيم مزاح أن يصل مناطق كانت منفصلة في كتلة سابقة، لكنه لا يجعل كتلة واحدة مكافئة للانتباه الشامل غير المقيّد. تعزل أعداد العمليات في هذا المقال أزواج الاستعلام–المفتاح المرشحة. وهي لا تعيد إنتاج أرقام الاختبارات المعيارية في المصدر ولا تقدّر زمن الاستجابة الفعلي للمسرّع. والتمييز بين الاتصالية وزمن التنفيذ الفعلي أساسي عند تفسير المنحنيات الناتجة. [3]

5. لإسقاط الرقع حدّ معلوماتي دقيق

تُسطَّح رقعة من P في P بكسل ذات C قناة إلى D إحداثي، حيث يساوي D مربع P مضروبًا في C. ويحوّل تضمين خطي بعرض d هذه الإحداثيات عبر مصفوفة. إذا كان d أصغر من D، فإن مبرهنة الرتبة وبُعد النواة تضمن نواة غير صفرية حتى عندما تكون رتبة المصفوفة قصوى. وتنتج رقعتان تختلفان بمتجه من النواة الرمز نفسه.

لا تستطيع أي شبكة حتمية لاحقة التمييز بين هاتين الرقعتين اعتمادًا على ذلك الرمز وحده. وهذه استحالة تتعلق بالواجهة، لا بتدريب الانتباه. ولا تعني أن الاتجاهات المفقودة مهمة لمجموعة بيانات معيّنة، ولا أن كل تضمين عملي للرقع ضاغط. تعرض اللوحة 2 الحد الأدنى لبُعد النواة لرقعة معلَن أن بُعدها 48 مع تغيّر العرض. وينشئ المثال القابل للتنفيذ تصادمًا مباشرة ويتحقق من تطابق التضمينات. وينبغي لدراسة معمارية سليمة أن تسأل ما إذا كان التغيّر الذي أزاله الإسقاط غير ذي صلة بالتسميات المقصودة أم يحتوي سمات نادرة لكنها حاسمة.

6. يوازن حجم الرقعة بين الأعداد ودقة التفصيل

لصورة مربعة طول ضلعها H يقبل القسمة على طول ضلع الرقعة P، يكون عدد الرقع مربع حاصل قسمة H على P. ولذلك فإن زيادة حجم الرقعة تغيّر عدد الرموز والأبعاد الخام لكل رقعة معًا. ولا ينبغي وصف هذين الأثرين بأنهما مقبض واحد للتحكم في الكفاءة.

عندما يساوي H القيمة 224، تقارن اللوحة 1 أعداد الأزواج لرقع أطوال أضلاعها أربعة وثمانية وستة عشر واثنان وثلاثون بكسلًا. ويستخدم حد الانتباه الشامل جميع أزواج الرموز. أما المقارنة القائمة على النوافذ فتستخدم تسعة وأربعين مفتاحًا على الأكثر لكل استعلام، وتساوي الانتباه الشامل عندما تتسع نافذة واحدة لشبكة الرموز كاملة ذات الأبعاد سبعة في سبعة. وهذه أعداد دقيقة للأزواج المرشحة وفق التقسيم المعلن، مع استبعاد رموز التصنيف والحشو والطبقات الأخرى. تقلّل شبكة الرقع الأخشن عدد درجات الانتباه، لكنها قد تنقل عبء حفظ التفاصيل الدقيقة إلى التضمين. ويتوقف بقاء تلك التفاصيل على عرض الإسقاط والأوزان المتعلّمة، لا على عدد الرموز وحده.

7. يحترم الانتباه القائم على المحتوى وحده تبديلات الرموز

لتُبدَّل صفوف مصفوفة رموز بواسطة مصفوفة تبديل. إذا حُسبت الاستعلامات والمفاتيح والقيم بتحويلات خطية مشتركة تُطبَّق صفًا صفًا، ولم يوجد حد يعتمد على الموضع، فإن خرج الانتباه يُبدَّل بالطريقة نفسها. وتحترم softmax المطبَّقة صفًا صفًا تبديل الصفوف والأعمدة المناظر في مصفوفة الدرجات. ويمكن التحقق من الهوية مباشرة باستخدام مصفوفات صغيرة.

يتعلق هذا التكافؤ بإعادة ترتيب الرموز الكاملة، لا بإزاحات البكسلات الاعتباطية أو تدوير الصورة. فتبديل الرقع يغيّر الترتيب البصري مع الحفاظ على المجموعة المتعددة لمحتويات الرموز. ولا تستطيع آلية قراءة ثابتة تحت التبديل للانتباه القائم على المحتوى وحده التمييز بين ترتيبات لا تختلف إلا بمثل هذا التبديل. وتكسر إشارات الموضع المكاني ذلك التناظر عمدًا، مما يمكّن النموذج من استخدام الترتيب. إن وصف كسر التناظر هذا بأنه تفصيل تنفيذي يغفل دوره الوظيفي. فهو يحدّد التمييزات التي يستطيع النموذج التعبير عنها وتلك التي يجب توفيرها باتفاق خارجي بشأن الإحداثيات.

8. تحمل إشارات الموضع افتراضات بشأن الإحداثيات

تُلحق تضمينات الموضع المطلق معرّفات متعلّمة بخانات محددة. وتصف حدود الموضع النسبي العلاقات بين المواضع. وكلاهما يوفّر معلومات مكانية، لكن ليس بالضرورة أن يتصرفا بالطريقة نفسها عند تغيّر الدقة أو اقتصاص الصورة أو إزاحة الإطار الإحداثي.

يجب أن تصرّح تجربة تغيير الدقة بكيفية استيفاء معاملات الموضع أو تحويلها بطريقة أخرى. فقد تُدخل هذه العملية سلوكًا لم يُتعلَّم مباشرة في المواقع الجديدة. ويجب أن تميّز تجربة الإزاحة بين إزاحة المشهد الكامن وتغيير محاذاته مع الرقع: فقد تنقل إزاحة بكسلية صغيرة المحتوى عبر حدود الرقع حتى عندما تبقى هويته الدلالية دون تغيير. ولا تستلزم الهويات الدقيقة لتبديل الرموز تكافؤًا دقيقًا تحت تلك العمليات البكسلية. ويبيّن المثال المرافق المنتهي أن إشارة موضع مطلق لم تُبدَّل يمكن أن تكسر التكافؤ تحت التبديل للانتباه القائم على المحتوى وحده، بينما يعيد تبديل المحتوى والموضع معًا الهوية الجبرية. وهذا فحص رياضي للواجهة، وليس تصريحًا بأن استراتيجية موضع واحدة مفضّلة على نحو مطلق.

9. ينبغي قياس عمق التواصل صراحة

تتيح طبقة الانتباه الشامل لكل رمز أن يسنِد وزنًا مباشرة إلى كل رمز آخر، مع أن الأوزان المتعلّمة قد تظل تجعل التواصل المفيد صعبًا. وتقيّد الطبقة القائمة على النوافذ مجموعة التفاعلات الفورية الممكنة. ويوسّع تناوب التقسيمات قابلية الوصول عبر العمق، وتغيّر البنية الهرمية معنى الرمز مع دمج المناطق.

قابلية الوصول شرط لازم لبعض الحسابات، وليست دليلًا على تعلّم الحساب أو استقراره. ويمكن لتجربة أن تميّز هذه المفاهيم بإنشاء مهام تتطلب تسمياتها علاقة معروفة بين مناطق متباعدة، وتغيير المسافة الفاصلة مع تثبيت الإحصاءات البصرية المحلية. وينبغي أن تبلّغ عن عدد الطبقات اللازمة لانتقال المعلومات في ظل القناع الفعلي، بدلًا من الاعتماد على اسم المعمارية. ويجب إدراج الرموز الشاملة الإضافية أو المسارات العابرة للنوافذ في الرسم البياني. ومن شأن هذا التشخيص أن يختبر ما إذا كانت فائدة بعيدة المدى مزعومة ناتجة عن التواصل المتاح أو عن اختلافات أخرى في البيانات والتحسين.

10. للمقارنة العادلة ميزانيات متعددة

لا تعني مطابقة عدد المعاملات مطابقة حساب التدريب أو مقدار التعرّض للبيانات أو ذاكرة التنشيطات أو إشراف المعلّم. ولا تعني مطابقة الزمن المنقضي على مسرّع واحد مطابقة عدد تحديثات التحسين. وقد يحوّل إجراء مقارنة بين المعماريات دون تسجيل هذه الفروق ميزةً في الموارد إلى تفسير معماري.

ينبغي لتقييم مفيد أن ينشر، على الأقل، عدد معاملات الطالب، ومقدار التعرّض لرموز الصور، وعمليات التدريب وفق قاعدة حساب معلنة، وخطوات المُحسِّن، وأي معلّم خارجي أو بيانات تدريب مسبق. وإذا كان العتاد جزءًا من الادعاء، فينبغي الإبلاغ عن معدل المعالجة الفعلي والذاكرة بصورة منفصلة عن الأعداد التحليلية. وينبغي استخدام تقسيم البيانات نفسه وسياسة التعزيز نفسها عند اختبار تدخل معماري، إلا إذا كان الغرض صراحة مقارنة مسارات معالجة كاملة. والمقارنات بين المسارات الكاملة قيّمة، لكن تفسيرها مختلف: فهي تحدّد أي حزمة تعمل ضمن نطاق معين من الموارد، لا أي آلية معزولة سبّبت التحسن. ويكتسب هذا التمييز أهمية خاصة عندما تكون إحدى الحزم قد ورثت معلومات عبر التقطير.

11. سلّم للتحقق من النماذج البصرية

يبدأ التقييم المقترح باختبارات دقيقة للواجهة: تصادمات النواة، وهويات تبديل الرموز، وقابلية الوصول في أقنعة الانتباه. وهذه الاختبارات قليلة الكلفة وتجعل الادعاءات المعمارية دقيقة. ويستخدم المستوى التالي مهام بصرية مضبوطة ذات متغيرات معروفة الصلة وعدم الصلة، مما يتيح تغيير محاذاة الرقع والمقياس والموضع كلًا على حدة.

بعد ذلك فقط ينبغي استخدام اختبارات الصور الطبيعية المعيارية لتقييم الأهمية العملية. وينبغي أن تتضمن نتائجها مجموعات فرعية محددة مسبقًا، وبذور تدريب متعددة، وسياسة واضحة للضبط باستخدام بيانات التحقق. فقد يتعايش انخفاض متوسط الخطأ مع إخفاقات في الأجسام الصغيرة أو الترتيبات المكانية غير المعتادة. وعلى العكس، قد يتعلق إخفاق اصطناعي بتمييز لا يوجد ضمن نطاق النشر. وينبغي توثيق الحقيقتين. تفحص الشيفرة المرافقة الجبر المنتهي وأعداد الأزواج فقط؛ فهي لا تدرّب محوّلًا، ولا تقيس أداء وحدة معالجة رسومية، ولا تعيد تنفيذ الأنظمة الثلاثة المستشهد بها بصورة مستقلة. وتظل حدود كل مستوى من الأدلة منفصلة.

12. من الشعارات إلى الادعاءات المعمارية

أفضل وصف لمعمارية بصرية يكون من خلال المعلومات التي تحتفظ بها، والتحويلات التي تحترمها، والتواصل الذي تتيحه بكلفة معينة. ويسهم إسقاط الرقع وإشارات الموضع وبنية النوافذ وأهداف المعلّم، كلٌّ منها، في ذلك الوصف. ولا يلزم تصنيف آثارها على أنها مفيدة أو ضارة على نحو مطلق.

يفضي التحليل إلى ثلاث عبارات قابلة للدحض: تساوي الواجهة الخطية الضاغطة للرقع بين بعض المدخلات المختلفة؛ والانتباه القائم على المحتوى وحده متكافئ تحت تبديل الرموز عند استخدام تحويلات مشتركة؛ والنوافذ ثابتة الحجم تغيّر كيفية تدرّج أعداد الأزواج المرشحة مع عدد الرموز. وهذه العبارات دقيقة ضمن افتراضاتها. أما ما إذا كان أي منها يحسّن مهمة تعرّف واقعية فيظل مسألة تجريبية. ويمنح الإبلاغ عن المستويين القرّاء تفسيرًا أقوى من التصريح بأن نموذجًا ما أكثر تحيزًا أو أقل. كما يوجّه التصميم: الحفاظ على التمييزات المهمة، وتقييد التحويلات بما تسوّغه المهمة، وتخصيص الحساب للعلاقات التي يتطلبها القرار فعلًا.

نُفّذ محليًا · نطاق محدود

تصادم الرقع، وجميع تبديلات ثلاثة رموز، والأعداد التحليلية للانتباه

جبر منتهٍ لانتباه الرموز وأعداد عمليات محددة؛ دون اختبارات معيارية للصور أو قياس أداء المسرّعات.

نجحت التأكيدات البرمجية البالغ عددها 71. تتحقق هذه الفحوص من المثال المقدَّم، لا من الأنظمة المستشهد بها.

افحص الشاهد المسجَّل

{
  "patch_input": [
    1.0,
    2.0,
    3.0,
    4.0
  ],
  "collision_input": [
    1.0,
    2.0,
    4.0,
    3.0
  ],
  "shared_embedding": [
    1.0,
    2.0
  ],
  "fixed_position_defect": 2.177542430560174,
  "global_pairs_at_P16": 38416
}

مشغّل المثال · محمّل النماذج · نماذج التدريب · نماذج التمثيل · نماذج التوليد · نماذج الموثوقية اقرأ نتائج الفحوص كاملة

نموذج تحليلي معلَن

أربع معادلات وافتراضات صريحة

D=P^2C,\qquad z=E x,\quad E\in\mathbb R^{d\times D},\qquad \dim\ker E=D-\operatorname{rank}(E)\geq\max(0,D-d)

(1) بُعد الرقعة المسطّحة D وعرض التضمين d؛ ينطبق الحد الأدنى على تحويل خطي دون قنوات جانبية.

\operatorname{Attn}(\Pi Q,\Pi K,\Pi V)=\Pi\operatorname{Attn}(Q,K,V),\qquad \operatorname{Attn}(Q,K,V)=\operatorname{softmax}_{\rm row}(QK^\top/\sqrt{d_k})V

(2) تعمل مصفوفة التبديل Pi على صفوف الرموز؛ مع إسقاطات مشتركة ودون أي حد يعتمد على الموضع ويُترك دون تحويل.

N=(H/P)^2,\qquad C_{\rm global}=N^2,\qquad C_{\rm window}=N\min(N,w^2)

(3) أعداد أزواج الاستعلام–المفتاح لشبكات صور قابلة للقسمة، ونوافذ من w في w رمزًا، دون رموز تصنيف أو حشو.

\dim\ker E_{\rm maximal\ rank}=\max(0,48-d)

(4) تستخدم اللوحة 2 رقعة RGB افتراضية من 4 في 4 بكسلًا (48 إحداثيًا)؛ وهذا ليس ادعاءً بشأن أبعاد تهيئات ViT المنشورة.

أمثلة مُنشأة · بيانات قابلة لإعادة الإنتاج

افحص الحجة الكمية

تُحسب هذه المنحنيات من النماذج المعلنة. وهي ليست مشاهدات من الدراسات المستشهد بها. ويتضمن كل شكل بياناته العددية ونسخته المتجهية.

**الشكل 1. يغيّر حجم الرقعة أعداد أزواج الانتباه.** أعداد تحليلية لصورة من 224 في 224، مع شبكات رقع قابلة للقسمة، ودون رمز تصنيف أو حشو. يحصي الانتباه الشامل N^2 زوجًا؛ وتحصي نوافذ الرموز من 7 في 7 عددًا قدره 49N. وتُستبعد تكاليف الإسقاط والتغذية الأمامية والعتاد.

**الشكل 2. لا بد لواجهة خطية ضيقة من فقدان اتجاهات.** الرتبة وبُعد النواة لرقعة RGB افتراضية من 4 في 4 ذات D=48 إحداثيًا للمدخلات. ويكون بُعد نواة تضمين خطي ذي رتبة قصوى هو max(0,48-d). ولا يؤكد هذا أن تضمينات ViT المنشورة تستخدم هذه الأبعاد.

أي الأدلة يجيب عن أي سؤال؟

خيار التصميم	الأثر البنيوي	الادعاء الذي يحتاج إلى أدلة إضافية
الإسقاط الخطي للرقع	يمكن أن يساوي بين رقع مختلفة عبر النواة	ما إذا كانت الاتجاهات المفقودة مهمة للهدف
تضمينات الموضع	تتيح استخدام الترتيب المكاني	التعميم إلى ظروف إحداثية غير مشهودة
النوافذ المحلية أو المزاحة	تقيّد التواصل الفوري	الاستخدام المتعلَّم للاعتماديات بعيدة المدى
التقطير	يضيف إشرافًا مستمدًا من المعلّم	عزو التحسينات إلى معمارية الطالب وحدها

بروتوكول تحقق مقترح

هذا تصميم تقييم مقترح. لم يُجرَ أي اختبار معياري لنظام إنتاجي أو للعتاد. وتوثَّق النماذج المنتهية المنفَّذة بصورة منفصلة في الفحوص القابلة للتنفيذ.

فحص بُعد الرقعة ورتبة التضمين وأمثلة التصادم الصريحة.
التحقق من هويات تبديل الرموز بوجود إشارات الموضع وبدونها.
حساب قابلية الوصول في أقنعة الانتباه وأعداد الأزواج وفق قواعد الحشو المعلنة.
بناء مهام مضبوطة تتغيّر فيها مقاييس الأجسام ومحاذاة الرقع والعلاقات بعيدة المدى.
إجراء المقارنة مع مطابقة مقدار التعرّض للبيانات والحساب، مع تسجيل المعلّمين ومنشأ التدريب المسبق.
الإبلاغ عن أداء الصور الطبيعية بصورة منفصلة عن الجبر الدقيق والكلفة التحليلية وسلوك العتاد المقاس.

ما تثبته المصادر الأولية

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov et al. · 2021 [1]

الإسهام. يطبّق ViT محوّلًا على رقع صور مضمّنة ويدرس التدريب المسبق والنقل.

الحدود. تعتمد نتائجه التجريبية على ظروف البيانات والتحسين المحددة.

موضع المعلومة في المصدر. وصف النموذج والملخص.

Hugo Touvron, Matthieu Cord, Matthijs Douze et al. · 2021 [2]

الإسهام. يقدّم DeiT رمز تقطير بين معلّم وطالب في تدريب محوّلات الصور بكفاءة من حيث البيانات.

الحدود. إشراف المعلّم جزء من المقارنة؛ ولم تُعَد برمجة تفاصيل التدريب كاملة.

موضع المعلومة في المصدر. ملخص الناشر الأصلي.

Ze Liu, Yutong Lin, Yue Cao et al. · 2021 [3]

الإسهام. يجمع Swin بين الانتباه القائم على النوافذ والتقسيمات المزاحة والتمثيلات الهرمية.

الحدود. يفترض التدرّج الخطي ثبات حجم النافذة؛ والنسخة المفحوصة هي المسودة الأولية للمؤلفين.

موضع المعلومة في المصدر. الملخص ونظرة عامة على المعمارية.

حدود هذا التحليل

تبيّن مبرهنة الرتبة وبُعد النواة أي التصادمات لا بد أن توجد، لا ما إذا كانت الصور الطبيعية تشغل تلك الاتجاهات.
تستبعد أعداد الأزواج الإسقاطات وطبقات التغذية الأمامية ونقل الذاكرة وتأثيرات العتاد.
لا تستنفد ثلاث معماريات تأسيسية تصاميم محوّلات الرؤية اللاحقة.
لا تعيد هذه الفحوص المنتهية إنتاج أي نتيجة منشورة للدقة أو للزمن الفعلي المنقضي.

مراجعة تحليلية مركّزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة محلولة أصلية. وهي ليست مسحًا شاملًا أو منهجيًا للأدبيات حتى 2026. وتُسجَّل ملاحظات الوصول إلى المصادر وإصداراتها مع قائمة المراجع.

أسئلة من شأنها تغيير الخلاصة

ما التغيّرات ذات الصلة بالمهمة التي تُفقَد باستمرار عند واجهة الرقع قبل بدء الانتباه؟
هل يمكن التنبؤ بالتعميم الإحداثي انطلاقًا من تعاقد صريح لتحويل الموضع؟
كيف ينبغي مقارنة الكفاءة المعمارية عندما يختلف إشراف المعلّم ومقدار التعرّض للبيانات؟

المراجع

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov et al.. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations (2021). Primary source.
Hugo Touvron, Matthieu Cord, Matthijs Douze et al.. Training data-efficient image transformers & distillation through attention. Proceedings of the 38th International Conference on Machine Learning (2021). Primary source.
Ze Liu, Yutong Lin, Yue Cao et al.. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. arXiv (2021). 10.48550/arXiv.2103.14030.

الوصول إلى المصدر [1]. فُحص نص PDF للورقة الأصلية وصفحتها الببليوغرافية الأصلية.

ملاحظة الإصدار. جرت مراجعة ورقة ICLR 2021 بصيغة arXiv v2، المنقّحة في 3 يونيو 2021؛ وكان أول نشر لها على arXiv في 2020.

الوصول إلى المصدر [2]. فُحصت صفحة الناشر الأصلي والملخص وقائمة المراجع الكاملة؛ ولم تُعَد برمجة وصفة التدريب التفصيلية.

الوصول إلى المصدر [3]. فُحص نص PDF للورقة الأصلية وصفحتها الببليوغرافية الأصلية.

ملاحظة الإصدار. فُحصت المسودة الأولية للمؤلفين v2. وأعاد طلب صفحة HTML للمؤتمر لدى CVF الرمز 403، لذلك يستشهد هذا السجل صراحة بنسخة arXiv.

جرت مطابقة الهويات الببليوغرافية مع سجلات الناشرين الأصليين والمؤلفين. وتصف ملاحظات الوصول إلى المصادر وإصداراتها أدناه نطاق الفحص؛ وهذا ليس تدقيقًا شاملًا للنصوص الكاملة.

التأليف والمنشأ

كتبه وراجعه تقنيًا ذاتيًا Codex (ذكاء اصطناعي). تحدّد المراجع الباحثين الأصليين؛ وتُنسب الإنشاءات التحليلية وتصاميم التقييم المقترحة إلى هذا المقال.

الأغلفة رسوم مفاهيمية باستخدام ImageGen. وتُحسب الأشكال التقنية من نماذج معلنة أو أمثلة منتهية، مع إتاحة Python وCSV. وهي ليست قياسات لمنتجات منشورة أو اختبارات معيارية للأداء أُعيد إنتاجها.

لا يملك هذا المسوّد المحلي سجلًا لتحكيم مستقل أو قبول في مجلة. وتفحص الأمثلة القابلة للتنفيذ ذات النطاق المحدود النماذج الصغيرة المعلنة؛ وهي ليست تحققًا صوريًا من الأنظمة المستشهد بها.

[dl-08-1] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov et al.. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations (2021). Primary source.

[dl-08-2] Hugo Touvron, Matthieu Cord, Matthijs Douze et al.. Training data-efficient image transformers & distillation through attention. Proceedings of the 38th International Conference on Machine Learning (2021). Primary source.

[dl-08-3] Ze Liu, Yutong Lin, Yue Cao et al.. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. arXiv (2021). 10.48550/arXiv.2103.14030.