من الانتباه إلى التنفيذ الواعي بالإدخال والإخراج: البنية الحسابية لـ Transformer وتعقيده وتحليل قابل للتحقق

1. تحديد عنق الزجاجة الذي يجري تغييره أولًا

تحتاج نماذج التسلسل التكرارية عادةً، داخل العينة الواحدة، إلى تحديث الحالة تباعًا عبر المواضع الزمنية. ويستكمل Transformer الأصلي معلومات الترتيب بتمثيلات الموضع، ثم يتيح لمواضع متعددة تبادل المحتوى عبر الانتباه. وهو يقصّر مسارات المعلومات بين المواضع المتباعدة، ويوسّع إمكانات التوازي بين المواضع أثناء التدريب. ومع ذلك، يظل فك الترميز ذاتي الانحدار معتمدًا على الرموز المولّدة سابقًا؛ فإمكان موازاة التدريب لا يعني إمكان توليد الإجابة كاملةً في الوقت نفسه.[1] Attention Is All You Need

2. تمثل Q وK وV أدوارًا حسابية

يمكن كتابة انتباه الجداء النقطي المُحجَّم على الصورة $$\operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right)V$$تُنتج Q وK درجات المطابقة، وتطبّع softmax هذه الدرجات، ثم تُستخدم لترجيح V. وتتيح آلية تعدد الرؤوس إجراء هذه العملية بصورة منفصلة في فضاءات إسقاط فرعية مختلفة، ثم دمج النتائج. تصف هذه الأسماء أدوار المتجهات في الحساب، ولا تعني أن النموذج يمتلك وحدات «أسئلة» أو «ذاكرة» أو «فهم» تقابل الإدراك البشري مباشرةً.[1] Attention Is All You Need

3. يجب الحفاظ على السياق التجريبي لأرقام الأداء

أفادت تجارب الترجمة من الإنجليزية إلى الألمانية في WMT 2014 في الورقة الأصلية بأن Transformer big حقق 28.4 BLEU. يرتبط هذا الرقم بإعدادات محددة للبيانات وتجزئة النص إلى رموز والتدريب وفك الترميز والتقييم، ولا يمثل دليلًا على قدرات النماذج اللغوية الحديثة العامة الأغراض. ولا تقارن هذه المقالة درجات الترجمة من الإنجليزية إلى الفرنسية بين أوراق مختلفة: إذ تختلف الصياغات في ملخصات النسخ المتاحة وجداولها ومتونها، وخلطها سيولّد استنتاجات تبدو دقيقة دون أساس.[1] Attention Is All You Need

4. لماذا يكون السياق الطويل مكلفًا

ينشئ الانتباه الكامل، على تسلسل طوله n،$n\times n$من الأزواج. وإذا خُزِّنت درجات float32 صراحةً لطبقة واحدة ورأس واحد، فإن عدد البايتات هو$n^2\times4$، وتؤدي مضاعفة الطول إلى زيادة هذا الحد أربعة أضعاف. ويستخدم الشكل 2 في هذه النسخة إعدادًا آخر محددًا بوضوح: درجات FP16 لعدد 32 من الرؤوس، مع مقارنتها بصورة منفصلة بذاكرة مؤقتة لعدد 32 من الطبقات و8 من رؤوس KV؛ ولا يجوز دمج هذين الحسابين بوصفهما ذروة واحدة لاستخدام ذاكرة المسرّع. ويجب احتساب التدرجات والإسقاطات والتنشيطات ومساحات عمل النواة بصورة منفصلة.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

5. نوعان من التحسين يجيبان عن سؤالين مختلفين

يغيّر Longformer المواضع التي تحتاج إلى التفاعل، ويعالج المستندات الطويلة باستخدام نوافذ محلية وانتباه عالمي انتقائي. أما FlashAttention فيعيد ترتيب الحساب وفق التسلسل الهرمي للذاكرة، ويستخدم التقسيم إلى كتل والدمج لتقليل الوصول إلى ذاكرة المسرّع ذات النطاق الترددي العالي، مع الحفاظ على الانتباه الدقيق وفق تعريفه. يعدّل الأول بنية الاتصالات؛ ويحسّن الثاني طريقة تنفيذ الحساب نفسه. ولا يجوز وصف تحسين الإدخال والإخراج بأنه أزال جميع العمليات ذات النمو التربيعي.[3] Longformer: The Long-Document Transformer[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

6. مثال تحليلي قابل للتحقق

كمثال لحساب تخزين درجات float32 لطبقة واحدة ورأس واحد، تتطلب الأطوال 512 و1024 و2048 و4096 على الترتيب 1 و4 و16 و64 MiB،$1\,\mathrm{MiB}=2^{20}$بايت. يختلف هذا عن إعداد الشكل 2 في هذه النسخة؛ فالأرقام مشتقة من الصيغ وليست قياسات فعلية على GPU. وإذا عالج التنفيذ البيانات على شكل كتل دون إعادة كتابة جميع الدرجات إلى الذاكرة ذات النطاق الترددي العالي، فستتغير الذروة الفعلية، ولذلك يجب التحقق من استراتيجية التنفيذ قبل تفسير الاتجاه.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

7. كيف ينبغي مقارنة طريقة «أسرع»

توصي هذه المقالة بالإبلاغ بصورة منفصلة عن طول عينات التدريب، وحجم الدفعة، والدقة، والجهاز، والإحماء، والإنتاجية، وزمن الاستجابة حتى أول رمز، وذروة استخدام ذاكرة المسرّع، وإجراء المقارنة تحت هدف جودة واحد. فإذا اقتطعت إحدى الطريقتين السياق بينما احتفظت الأخرى بكامل المدخلات، فإن فرق السرعة يتضمن تغيرًا في المهمة؛ وإذا استخدمت إحداهما نواة مدمجة والأخرى تنفيذًا مباشرًا، فلا يمكن أيضًا إرجاع الفرق كله إلى البنية. وهذه توصية لتصميم التجارب، وليست نتيجة تجريبية جديدة لهذه المقالة.作者分析与复核建议 / Author analysis

حد حسابي يسهل إغفاله

بالنسبة إلى درجات الانتباه، $n^2$ لا يصف هذا الحد إلا التفاعلات بين المواضع؛ أما الإسقاطات وشبكات التغذية الأمامية لكل موضع فلها تكاليفها الحسابية الخاصة. وعند تثبيت طول التسلسل، تؤدي زيادة البعد الخفي إلى تغيير الأوزان النسبية لهذه الحدود؛ وعند تثبيت البعد، تجعل إطالة التسلسل أزواج المواضع أكثر أهمية. ولذلك لا تكفي عبارة «الانتباه ذو تعقيد تربيعي» وحدها للتنبؤ بنسبة الزمن التي يستغرقها كل جزء من النموذج بأكمله. ينبغي أولًا تحديد أبعاد النموذج ومدخلاته، ثم تفسير نتائج تحليل الأداء الفعلية.作者分析与复核建议 / Author analysis

8. الإحصاءات الكافية لدالة softmax على مستوى الكتل

بالنسبة إلى صف من الدرجات، قد يؤدي حساب مجموع القيم الأسية مباشرةً بسهولة إلى تجاوز النطاق العددي؛ وطرح القيمة العظمى يغيّر تمثيل التطبيع فقط، ولا يغيّر الاحتمالات. وعند معالجة كتلة جديدة، لا يلزم الاحتفاظ بجميع الدرجات السابقة، بل يكفي الاحتفاظ بالقيمة العظمى الجارية m، ومقام التطبيع l، والمجموع الموزون u قبل القسمة على المقام. وبعد توحيد الكتلتين الجديدة والسابقة وفق القيمة العظمى الجديدة m′، تُعاد موازنة المقادير المتراكمة السابقة بعامل exp(m−m′). ويتحول البسط والمقام معًا، ثم تعطي u/l مخرج هذا الصف. يفسّر هذا الاشتقاق لماذا لا يستلزم تقليل التنقل إلى ذاكرة المسرّع ومنها تغيير اتصالات الانتباه؛ لكن ترتيب جمع أعداد الفاصلة العائمة يتغير، ولذلك يجب مع ذلك التحقق من التكافؤ العددي ضمن السماحية المتفق عليها.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

9. ينبغي نمذجة ذاكرة التدريب والذاكرة المؤقتة لفك الترميز بصورة منفصلة

ينمو التخزين الصريح للدرجات مع عدد أزواج المواضع؛ أما ذاكرة KV المؤقتة فتحتفظ بمفاتيح المواضع السابقة وقيمها لكل طبقة. وبافتراض L من الطبقات، وn من المواضع، وh_kv من رؤوس KV، وبُعد d_h لكل رأس، وb بايت لكل قيمة قياسية، يبلغ حجم الذاكرة المؤقتة تقريبًا 2Lnh_kv d_h b. ولا تشمل هذه الصيغة الأوزان ومساحات العمل وتجزؤ ذاكرة المُخصِّص. ويمكن لتقليل عدد رؤوس KV أن يخفض هذا الحد، لكن لا يجوز الاستناد إلى ذلك للقول إن عمليات الانتباه أثناء التدريب تنخفض بالنسبة نفسها. وينبغي تحليل أداء الملء المسبق للموجّهات الطويلة، وفك الترميز ذي الخطوات القصيرة، والطلبات المتزامنة كلًّا على حدة، بدل الاكتفاء بمتوسط واحد بوحدة رمز/ثانية.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

10. لماذا تنتقل اختناقات الحساب مع تغير عبء العمل

في نموذج roofline المثالي، لا يمكن أن يقل زمن التشغيل عن max(F/القدرة الحسابية,B/عرض النطاق)، حيث F هو عدد العمليات وB هو عدد البايتات المنقولة فعليًا. ويؤثر الدمج والتقسيم إلى كتل أساسًا في B؛ أما تقليل الاتصالات فيؤثر أساسًا في F وفي القدرة التمثيلية للنموذج. وتخضع النوى الفعلية أيضًا لقيود الإطلاق والمزامنة والإشغال وأشكال الموترات، لذا فإن هذا الحد الأدنى ليس أداة للتنبؤ بالأداء. فقد تؤدي زيادة حجم الدفعة مثلًا إلى توزيع كلفة قراءة الأوزان على عناصر أكثر، لكنها قد تستنفد سعة KV أولًا؛ كما قد يغيّر ازدياد طول التسلسل التقسيم الأمثل إلى كتل. وينبغي الاستناد إلى تحليل أداء الجهاز لدعم الحكم بأن «عنق الزجاجة قد انتقل»، بدل استنتاج عامل التسريع مباشرةً من التعقيد التقاربي.[2] FlashAttention: Fast and Memory-Efficient Exact Attenti[3] Longformer: The Long-Document Transformer

11. تمثيل المدى البعيد لا يعني تلقائيًا إمكان الاستفادة منه

يحدد ترميز الموضع كيفية دخول المواضع النسبية في درجات المطابقة، ويحدد نمط الاتصالات ما إذا كان وصول المعلومات ممكنًا، بينما تحدد بيانات التدريب والمهمة ما إذا كان النموذج يستخدم الأدلة فعلًا. ويمكن للبناء الدوراني في RoPE تمثيل الإزاحة النسبية في الجداء الداخلي، لكن ذلك وحده لا يضمن الموثوقية عند تجاوز أطوال التدريب. وينبغي، كحد أدنى عند التحقق باستخدام نصوص طويلة، تغيير موضع الدليل، وعدد العناصر المشتتة، والمسافة بين الأدلة المطلوب دمجها كلٌّ على حدة، وفحص ظهور اختصارات تعتمد فقط على قرائن محلية. ويجب الإبلاغ بصورة منفصلة عن الحد الأقصى للطول، والقدرة على استقبال المدخلات، والسياق الفعّال اللازم لإتمام المهمة.[4] RoFormer: Enhanced Transformer with Rotary Position Emb[3] Longformer: The Long-Document Transformer

الصيغ الأساسية والاشتقاقات

سير المنهج والأدلة

رسوم تحليلية وأمثلة عددية

مثال محلول يمكن إعادة حسابه

عند 8192 رمز، تشغل مصفوفة الدرجات لطبقة واحدة تضم 32 رأسًا 4 GiB؛ وتشغل الذاكرة المؤقتة لعدد 32 من الطبقات و8 من رؤوس KV مقدار 1 GiB. وهما يرتبطان بدورتي حياة مختلفتين، لذلك لا يجوز اعتبار هذا الشكل قياسًا لذروة استخدام ذاكرة المسرّع أو لاختبار سرعة FlashAttention.

مقارنة الطرق

خطة التحقق والتجارب

1. ثبّت مجموعة من الأوزان وتسلسل الرموز والقناع والبذرة العشوائية؛ وسجّل الدقة والجهاز وإصدار النواة، وعطّل الانتقال التلقائي إلى تنفيذ بديل إذا كان سيغيّر موضوع المقارنة.
2. قارن أولًا الأخطاء المطلقة والنسبية في مخرجات المرور الأمامي والخسارة والتدرجات، واستخدم عند الحاجة حسابًا صغير الأبعاد بدقة أعلى مرجعًا.
3. اختبر نطاقًا من أطوال التسلسل وأحجام الدفعات كلًّا على حدة؛ وعند كل نقطة، أجرِ الإحماء أولًا، ثم قِس الزمن مع مزامنة الجهاز، وسجّل كلفة الترجمة البرمجية الأولى بصورة منفصلة.
4. سجّل بصورة منفصلة زمن الاستجابة حتى أول رمز في الملء المسبق وتوزيع زمن الاستجابة لكل رمز في فك الترميز، ولا تستخدم المتوسط العام لإخفاء الفروق بين المراحل.
5. قِس بالتزامن ذروة استخدام العملية لذاكرة المسرّع، والذاكرة التي يحتفظ بها المُخصِّص، وإشغال KV؛ فالرسوم التحليلية لا توفر سوى مرجع لرتبة مقدار كل مكوّن على حدة.
6. أدرج مهام يقع فيها الدليل في البداية والوسط والنهاية؛ وإذا غيّرت الطريقة الأسرع الاتصالات، وجب الإبلاغ كذلك عن التغير في جودة أداء المهمة.

نطاق التطبيق والقيود

• لا تشمل أحجام التخزين التحليلية التدرجات والأوزان وتجزؤ ذاكرة المُخصِّص.
• يجب قياس زمن التشغيل فعليًا على الجهاز المستهدف؛ ولا يمكن استخراجه مباشرةً من منحنيات الشكل.
• ينبغي مقارنة أنماط الاتصالات المختلفة تحت قيود الجودة نفسها.
• لم تُدرِّب هذه المقالة نموذجًا جديدًا ولم تضف اختبارًا معياريًا جديدًا للأداء.

مطابقة الادعاءات بالمصادر الأولية

1. Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)
2. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessDao et al. · 2022-05-27v1; sections 2-3
3. Longformer: The Long-Document TransformerBeltagy et al. · 2020-04-10v2 abstract and architecture description
4. RoFormer: Enhanced Transformer with Rotary Position Embedding, , , , , · 2021-04-20Abstract; 原文方法、理论和实验章节见作者原始论文链接