الملخص
يوفر الترميز الموضعي معلومات الترتيب للتسلسلات، لكن القدرة على قبول مدخلات أطول لا تعني القدرة على استخدام المعلومات الأبعد بصورة موثوقة. يشتق هذا المقال الجداء الداخلي للمواضع النسبية في RoPE، ويشرح تغيرات الطور عند ترددات مختلفة، ويقارنها بانحياز المسافة في ALiBi وبالانتباه المحلي المتناثر. تعرض الرسوم المرفقة أطوارًا جيبية تمامية عند ترددات محددة، لا دقة نموذج؛ وتقيس خطة التحقق دعم الأطوال، والاسترجاع بحسب الموضع، ودمج أدلة متعددة كلًّا على حدة.[1] RoFormer: Enhanced Transformer with Rotary Position Emb[2] Train Short, Test Long: Attention with Linear Biases En[3] Longformer: The Long-Document Transformer
ترجمة الملخص الإنجليزي
نشتق الجداء الداخلي للمواضع النسبية في التضمينات الدورانية، ونقارنه بانحيازات الانتباه الخطية. توضح منحنيات الطور سلوك الترددات فقط. ويُقيَّم قبول السياق والاسترجاع ودمج الأدلة بصورة منفصلة، مع ضوابط صريحة لطول التدريب والاقتطاع. لا تترتب على الجبر الموضعي أي دقة مضمونة في السياقات الطويلة أو أي ضمان عام للاستقراء خارج نطاق التدريب.
1. كيف ينشأ الموضع النسبي من الدوران المطلق
عند تدوير الفضاءات الجزئية ثنائية الأبعاد للاستعلامات والمفاتيح بحسب مواضعها، يمكن دمج الموضعين المطلقين في الجداء الداخلي في دوران يقابل فرق الموضع. يوفر ذلك بنية جبرية لعلاقة المواضع النسبية، لكن درجات الانتباه تظل معتمدة على محتوى المدخلات والترددات والتمثيلات المتعلَّمة. لا تثبت هذه المتطابقة أن النموذج يعمم على أطوال اعتباطية، ولا تضمن إمكان تمييز فروق المواضع المختلفة تمييزًا فريدًا ومستقرًا. ينبغي التحقق في التنفيذ من اقتران الأبعاد واتجاه الدوران وإزاحات المواضع ومواصلة التوليد باستخدام الذاكرة المخبأة، مع إيلاء اهتمام خاص للفهارس بعد الملء المسبق المجزأ.[1] RoFormer: Enhanced Transformer with Rotary Position Emb
2. الطور متعدد الترددات والاستقراء خارج نطاق التدريب ليسا الشيء نفسه
تدور الترددات الأعلى بسرعة أكبر مع المسافة، بينما تتغير الترددات المنخفضة ببطء أكبر؛ ويُظهر التردد المفرد تشابهًا دوريًا. يمكن لدمج ترددات متعددة أن يوفر تمثيلات أغنى، لكن التدريب لا يغطي سوى نطاق محدود من المواضع والعلاقات بين البيانات. يغيّر تحجيم المواضع أو تعديل الترددات توزيع الأطوار المقدَّمة إلى النموذج، ولذلك يتطلب إعادة التحقق. اختيرت في الشكل الترددات الثلاثة 1 و0.1 و0.01، المقاسة بالراديان، لغرض توضيح مقاييس التغير فقط؛ ولا يمكن الاستناد إليها لتحديد الحد الأقصى لسياق النموذج، فضلًا عن تفسير تقارب المنحنيات على أنه التباس دلالي حتمي.[1] RoFormer: Enhanced Transformer with Rotary Position Emb
3. يضيف انحياز المسافة الخطي تفضيلًا استقرائيًا آخر
يضيف ALiBi حدًّا خطيًا مرتبطًا بالمسافة إلى درجات الانتباه، ويحدد ميولًا مختلفة لرؤوس الانتباه المختلفة. يختلف سلوكه في الاستقراء خارج نطاق التدريب عن سلوك الترميز الدوراني، لكن كليهما يعتمد على التدريب والمهمة. قد يناسب التفضيل الأقوى للجوار بعض مهام التنبؤ اللغوي، وقد يزيد أيضًا صعوبة استخدام الأدلة البعيدة. ينبغي تثبيت حجم النموذج وعدد رموز التدريب وطول التقييم عند المقارنة، والإفصاح عن تنفيذ الانحياز والقناع؛ ولا يجوز تعميم نتائج اختبار نموذج بعينه لتصبح ترتيبًا لمخططات الترميز الموضعي على جميع المهام.[2] Train Short, Test Long: Attention with Linear Biases En
4. تغيّر الاتصالات المتناثرة مسارات الوصول والحساب
يمكن للنوافذ المحلية أو المواضع العالمية أن تقلل كلفة الانتباه الكامل، كما تغيّر المسارات التي يتعين على المعلومات اجتيازها للانتقال من موضع إلى آخر. قد لا تكون المعلومات الواقعة خارج النافذة قابلة للوصول المباشر ضمن طبقة واحدة، وتؤثر زيادة عدد الطبقات والرموز العالمية وبنية المهمة في النتائج. يتولى الترميز الموضعي تمثيل المواضع، بينما يحدد نمط التناثر التفاعلات المسموح بها، ولذلك ينبغي إجراء دراسات استئصال منفصلة لكليهما. لا يضمن القناع الذي يدعم نظريًا مدخلات طويلة تلقائيًا دمج المعلومات الحاسمة بفعالية ضمن العدد الفعلي للطبقات.[3] Longformer: The Long-Document Transformer
5. يتطلب التحقق من دعم السياق الطويل ثلاثة مستويات
يُتحقق أولًا مما إذا كانت الخدمة تقبل الطول المحدد وتحافظ عليه بصورة صحيحة، لاستبعاد الاقتطاع الصامت؛ ثم يُختبر استرجاع الأدلة من مواضع محددة؛ وأخيرًا يُختبر الاستدلال عبر مواضع متعددة أو اكتشاف التناقضات بينها. ينبغي أن تغطي الاختبارات مواضع الأدلة وأعداد المشتتات ودرجات تشابهها، مع ضبط احتمال إمكان تخمين الإجابة مسبقًا من المعرفة العامة للنموذج. لا يدعم نجاح واحد في اختبار استرجاع الإبرة سوى قدرة تحديد الموضع ضمن توزيع المدخلات ذلك، ولا يمثل القدرة على تحليل أي نص طويل. ينبغي أن يتضمن التقرير نطاق المواضع الأسوأ أداءً وحالات ضابطة خالية من الأدلة.[1] RoFormer: Enhanced Transformer with Rotary Position Emb[3] Longformer: The Long-Document Transformer
6. قد تبدو المشكلات الهندسية وكأنها مشكلات في قدرات النموذج
تؤثر أخطاء مواضع مواصلة التوليد باستخدام ذاكرة KV المخبأة، والاقتطاع بالنافذة المنزلقة، واختلافات تقسيم النص إلى رموز، والحشو في المعالجة على دفعات، جميعها في نتائج المدخلات الطويلة. ينبغي أولًا مقارنة الدرجات بتنفيذ مرجعي صغير، ثم التحقق من اتساق التنفيذ المتصل والمجزأ، وبعد ذلك فقط قياس جودة أداء المهمة. عند إجراء أي تعديل للاستقراء خارج نطاق التدريب، يجب الاحتفاظ باختبارات عدم تراجع القدرات عند الطول الأصلي ومنحنيات استخدام الموارد، وتجنب الاقتصار على الإبلاغ عن عدد قليل من الأمثلة الناجحة عند أطول المدخلات. يقدم هذا المقال الجبر الموضعي والرسوم التحليلية، ولا يقدم استنتاجات عن تمديد طول سياق نماذج فعلية.[1] RoFormer: Enhanced Transformer with Rotary Position Emb[2] Train Short, Test Long: Attention with Linear Biases En[3] Longformer: The Long-Document Transformer
المعادلات الأساسية واشتقاقاتها
(1) تحقق عائلة الدورانات ثنائية الأبعاد نفسها العلاقة: منقول R_m مضروبًا في R_n يساوي R_(n−m)؛ ويطبق التنفيذ الكامل هذه العلاقة على كل فضاء جزئي.
LaTeX
(R_mq)^\top(R_nk)=q^\top R_{n-m}k(2) يعرض الطور الموافق للتردد، لا أوزان الانتباه أو معدل الاسترجاع أو جودة النموذج.
LaTeX
\phi_j(\Delta)=\cos(\theta_j\Delta)(3) توضيح لانحياز المسافة الخطي في الحالة السببية؛ ويجب توثيق التحجيم الفعلي وميول الرؤوس بحسب التنفيذ.
LaTeX
s_{ij}=q_i^\top k_j-m_h(i-j),\quad j\le iسير عمل المنهج والأدلة
رسوم تحليلية وأمثلة عددية
مثال محلول قابل لإعادة الحساب
عند المسافة 32، تبلغ مركبات جيب التمام الثلاث نحو 0.834 و−0.998 و0.949، على الترتيب. إنها مجرد أطوار؛ وليست أوزان انتباه النموذج، ولا تثبت وجود خطأ في الاسترجاع أو حد أعلى للطول.
مقارنة المناهج
| المنهج أو الحكم | المتغيرات المضبوطة والقياسات | شروط الإخفاق وتفسيرها |
|---|---|---|
| RoPE | التحقق من أبعاد الدوران والترددات ومواضع مواصلة التوليد | لا تضمن العلاقة الجبرية التعميم على أطوال غير محدودة |
| ALiBi | توثيق ميول الرؤوس والقناع السببي | يختلف أثر تفضيل الجوار باختلاف المهمة |
| الانتباه المتناثر | قياس النافذة والمواضع العالمية والمسارات بين الطبقات | لا يجوز الخلط بين تمثيل المواضع وبنية الاتصالات |
| القدرة على معالجة النصوص الطويلة | فصل اختبارات القبول والاسترجاع والدمج | لا يمثل النجاح في استرجاع إبرة واحدة جميع مهام النصوص الطويلة |
خطة التحقق والتجارب
- توثيق طول التدريب ومخطط الترميز الموضعي والترددات ومجزئ الرموز واستراتيجية الاقتطاع.
- التحقق عنصرًا عنصرًا من الجداء الداخلي الدوراني والقناع السببي باستخدام موترات صغيرة.
- مقارنة التنفيذ المتصل والملء المسبق المجزأ ومواصلة التوليد باستخدام الذاكرة المخبأة، لاستبعاد أخطاء الفهرسة.
- تغطية نطاقات الطول والموضع والمشتتات وعدد الأدلة المدمجة، وإضافة حالات ضابطة خالية من الأدلة.
- فحص القدرات عند الطول الأصلي، وذاكرة المسرّع الرسومي، وزمن الاستجابة، ونطاق المواضع الأسوأ أداءً في الوقت نفسه.
- إجراء دراسات استئصال منفصلة للتعديلات الموضعية والنافذة وعدد الطبقات وحجم النموذج، والاحتفاظ بجميع أمثلة الإخفاق.
نطاق الانطباق والقيود
- مخطط الطور لا يمثل دقة النموذج.
- لا يمثل المثال ذو التردد الواحد RoPE كاملًا.
- لم تُجرَ تجارب تدريب لتمديد سياق النموذج.
- لا تحل قدرة الاسترجاع محل فهم الأدلة المتعددة.
مطابقة المصادر الأولية بالادعاءات
- RoFormer: Enhanced Transformer with Rotary Position Embedding, , , , , · 2021-04-20Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, , · 2021-08-27Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Longformer: The Long-Document TransformerBeltagy et al. · 2020-04-10v2 abstract and architecture description
الاستشهاد وتصدير المقال
BibTeXRISCSL JSONTXTالمقال JSON
المؤلف والإصدار والمصادر
مراجعة بحثية بمساعدة الذكاء الاصطناعي؛ كتبها Codex، وهو نظام ذكاء اصطناعي، وأجرى اشتقاقاتها التحليلية استنادًا إلى المصادر الأولية المدرجة. لا يتوفر على هذا الموقع سجل لمراجعة أقران مستقلة لهذا المقال أو لتجارب أصلية على نماذج.
تعديل أداء القارئ: يُعاد أيضًا استخدام الصفحات المقروءة عندما تعيد استجابة HEAD حديثة الحالة 200 ويكون ETag مطابقًا. يحتفظ النص والمعادلات والمصادر وبيانات الأشكال العلمية بمحتوى الإصدار السابق.
الغلاف المفاهيمي منفصل عن الرسوم العلمية؛ وتُحسب الرسوم العلمية من معادلات منشورة وافتراضات مصرَّح بها، وتُنسب جميع نتائج الأوراق الأصلية إلى مصادرها.
المؤلف والإصدار وسجل التصحيحات · /guides/positional-long-context/v1/
مصادر الغلاف والأشكال العلمية · البيانات والمصادر والافتراضات · سجل النشر والإصدارات
مراجعة المصدر: 6251a250b27bb8b449f59b392f81abd355383770