نماذج فضاء الحالة الانتقائية: التحديث التكراري والمسح وحدود الذاكرة في Mamba

Codex (AI)

الملخص

تلخّص نماذج فضاء الحالة التاريخ باستخدام حالة تكرارية، وتتيح الآليات الانتقائية لمعاملات التحديث أن تتغير تبعًا للمدخلات، مما يوفر تنظيمًا لنمذجة التسلسلات الطويلة يختلف عن الانتباه الكامل. تنطلق هذه المقالة من تقطيع الأنظمة المستمرة، وتحلل كيف يغيّر الاعتماد على المدخلات تفسير الالتفاف، ثم تناقش الفروق بين المسح المتوازي وحالة فك الترميز وذاكرة التدريب. تقارن الرسوم فقط بين عدد عناصر الحالة ونمو المفاتيح والقيم KV وفق الأبعاد المعلنة، ولا يمكن اعتبارها دليلًا على السرعة الفعلية للعتاد أو القدرة على التعامل مع السياقات الطويلة.[1] Mamba: Linear-Time Sequence Modeling with Selective Sta [2] Transformers are SSMs: Generalized Models and Efficient [3] Attention Is All You Need

ترجمة الملخص الإنجليزي

تُدرَس نماذج فضاء الحالة الانتقائية من خلال تحديث حالتها التكراري وقيود تنفيذها. يُبطل الانتقاء المعتمد على المدخلات منظور الالتفاف الثابت، مع إتاحة حساب قائم على المسح. نميّز بين حالة فك الترميز المحدودة وتنشيطات التدريب، ونقارن فقط صيغ حجم الحالة المعلنة. ولا تُستنتج من الرسوم التحليلية أي دقة لنماذج اللغة أو معدل معالجة أو تفوق في السياقات الطويلة.

1. الحالة التكرارية عنق زجاجة لمعلومات الماضي

تضغط أنظمة فضاء الحالة الخطية المدخلات السابقة في حالة محدودة الأبعاد، ثم تولّد المخرجات من تلك الحالة. تُستخرج معاملات التحديث التكراري بعد تقطيع نظام الزمن المستمر؛ وتحدد الخطوة الزمنية المتقطعة وبنية المعلمات والاستقرار، مجتمعةً، كيفية اضمحلال المعلومات أو الاحتفاظ بها. وعلى خلاف الانتباه الذي يحتفظ بالمفاتيح والقيم KV لكل موضع، لا تتزايد الحالة ذات الأبعاد الثابتة باستمرار مع الطول الذي فُك ترميزه، لكنها لا تستطيع أيضًا الاحتفاظ كما هي بعدد غير محدود من التفاصيل التاريخية المستقلة. صغر الحالة خاصية بنيوية، أما كفايتها لإنجاز المهمة فلا تزال تتطلب اختبارًا؛ ولا يمكن استنتاج جودة الذاكرة من التعقيد وحده.[1] Mamba: Linear-Time Sequence Modeling with Selective Sta [3] Attention Is All You Need

2. الانتقاء المعتمد على المدخلات يغيّر تفسير الالتفاف الثابت

عندما تكون معاملات التحديث التكراري ثابتة، يمكن بسط النظام الخطي في صورة التفاف على المدخلات السابقة. تجعل آلية الانتقاء الأساسية في Mamba بعض المعلمات معتمدة على المدخل الحالي، مما يسمح للنموذج بضبط الاحتفاظ والنسيان بحسب المحتوى؛ وعندئذ لا يعود من الممكن وصف التسلسل كله ببساطة باستخدام نواة التفاف ثابتة واحدة. ينبغي التمييز بين التحديث التكراري الرياضي للحالة وبين الإسقاطات والبوابات والالتفاف المحلي والتطبيع في الشبكة الفعلية. ولا يكفي استخلاص صيغة خطية واحدة لتمثيل البنية الكاملة تمثيلًا تامًا، كما ينبغي أن تُجرى المقارنات مع مطابقة العدد الإجمالي للمعلمات وميزانية التدريب.[1] Mamba: Linear-Time Sequence Modeling with Selective Sta

3. المسح ينظّم التحديث التكراري في صورة حساب قابل للتوازي

لا تعني الصيغة التكرارية أن التدريب يجب بالضرورة أن يُنفّذ تسلسليًا رمزًا بعد رمز. يمكن تنظيم تحويلات الحالة التآلفية في عملية مسح وفق قواعد التركيب، لكن السرعة الفعلية تعتمد أيضًا على النوى المدمجة وقراءة الذاكرة وكتابتها والجهاز. يجب أن يتجنب تصميم المسح الانتقائي إعادة كتابة الحالات الوسيطة الضخمة في الذاكرة عالية عرض النطاق، ولذلك يجب تحليل التعقيد الخوارزمي وتنظيم الإدخال والإخراج معًا. ويدرس Mamba-2 بمزيد من التفصيل الروابط البنيوية بين فضاء الحالة والانتباه، لكن ذلك لا يعني تكافؤهما التام في جميع المعلمات أو القدرات التعبيرية أو المهام.[1] Mamba: Linear-Time Sequence Modeling with Selective Sta [2] Transformers are SSMs: Generalized Models and Efficient

4. ثبات حجم حالة فك الترميز لا يعني ثبات ذاكرة التدريب

يمكن أن تكون الحالة التكرارية الآنية لبنية ثابتة مستقلة عن طول التاريخ؛ أما التدريب فيتعين عليه أيضًا معالجة المدخلات والمخرجات والتدرجات في كل موضع، فضلًا عن الكميات الوسيطة التي قد تُحفَظ أو يُعاد حسابها. كما يزيد حجم الدفعة وعدد الطبقات وبُعد القنوات من حجم الحالة. تقارن الرسوم حالة ذات 128 بُعدًا بعدد عناصر KV لكل موضع، بهدف عزل متغير الطول فقط. وإذا وُصف ذلك مباشرةً بأنه «ذاكرة النموذج ثابتة»، فسيُغفل المعلمات وتنشيطات التدريب ومساحة العمل المؤقتة ومخزن المخرجات. ويجب قياس الذروة الفعلية على نحو منفصل في مراحل الملء المسبق والتدريب وفك الترميز.[1] Mamba: Linear-Time Sequence Modeling with Selective Sta

5. ينبغي لتقييم التسلسلات الطويلة أن يميّز بين الذاكرة والاسترجاع والتركيب

إن معالجة مدخلات طويلة جدًا بتكلفة منخفضة لا تعني القدرة على استخدام كل ما فيها من معلومات بصورة موثوقة. فالتنبؤ المحلي وتتبع الحالة عبر مسافات طويلة والاسترجاع من مواضع اعتباطية وتركيب أدلة متعددة تفرض متطلبات مختلفة على بنية الذاكرة. ويجب ضبط موضع المعلومات ومقدار التشويش وتشابه القيم وطول التدريب، والإبلاغ عن منحنيات تغير الجودة مع الطول. كما ينبغي للبنى الهجينة توضيح أي الطبقات يستخدم الانتباه وأيها يستخدم التحديث التكراري، ولا يجوز إرجاع نتائج البنية الهجينة كلها إلى أحد نوعي الوحدات.[1] Mamba: Linear-Time Sequence Modeling with Selective Sta [2] Transformers are SSMs: Generalized Models and Efficient [3] Attention Is All You Need

6. يجب أن يتوافق تفسير التجارب مع مستوى تفصيل البنية

تشمل دراسات الاستئصال المناسبة المعلمات الثابتة مقابل المعلمات المعتمدة على المدخلات، وبُعد الحالة، وآلية الانتقاء، وتنفيذ النوى؛ ويُغيَّر عامل واحد في كل مرة ثم تُراقَب الجودة والتكلفة النظامية. وفيما يتعلق بالاستقرار العددي، ينبغي فحص نطاق الحالة والدقة وتراكم الأخطاء في التسلسلات الطويلة. تتيح الصيغ والأعداد الواردة في هذه المقالة التحقق من معنى التحديث واعتماده على الطول، لكن المقالة لم تدرّب نموذجًا ولم تثبت تفوق الطرق التكرارية على الانتباه عمومًا. وينبغي حصر الاستنتاجات البحثية في المهام والأطوال والعتاد التي اختُبرت فعليًا.[1] Mamba: Linear-Time Sequence Modeling with Selective Sta [2] Transformers are SSMs: Generalized Models and Efficient

الصيغ الأساسية والاشتقاقات

h_t=\bar A_t h_{t-1}+\bar B_t x_t,\qquad y_t=C_t h_t

(1) هذا تجريد للتحديث الأساسي لفضاء الحالة؛ ويشمل النموذج الكامل أيضًا وحدات مثل الإسقاطات والبوابات. وقد تعتمد المعاملات الانتقائية على المدخلات.

LaTeX

h_t=\bar A_t h_{t-1}+\bar B_t x_t,\qquad y_t=C_t h_t

\bar A=\exp(\Delta A),\qquad\bar B=\left(\int_0^\Delta\exp(sA)\,ds\right)B

(2) تعبير للتقطيع مع افتراض ثبات المدخل خلال خطوة واحدة؛ ولا تتطلب الصيغة التكاملية أن تكون A قابلة للعكس. وعند وجود اعتماد على المدخلات، يجب تفسيره وفق التمثيل الفعلي بالمعلمات.

LaTeX

\bar A=\exp(\Delta A),\qquad\bar B=\left(\int_0^\Delta\exp(sA)\,ds\right)B

(A_2,b_2)\circ(A_1,b_1)=(A_2A_1,A_2b_1+b_2)

(3) تدعم خاصية التجميع في التحويلات التآلفية تنظيم المسح؛ لكنها لا تضمن بحد ذاتها أن يحقق تنفيذ بعينه تسريعًا عتاديًا.

LaTeX

(A_2,b_2)\circ(A_1,b_1)=(A_2A_1,A_2b_1+b_2)

مسار المنهج والأدلة

النظام المستمر وتقطيعه → معلمات الانتقاء المعتمدة على المدخلات → تحديث الحالة محدودة الأبعاد → المسح وتنظيم الإدخال والإخراج → التحديث التكراري الآني / تفصيل مكونات التدريب → التحقق من الطول والجودة والذاكرة — **الشكل 1 · مسار المنهج والأدلة**رسم مفاهيمي مبني على بنية هذه المقالة يوضح الخطوات التي ينبغي التمييز بينها؛ ولا يشير إلى أن هذه التجارب قد أُنجزت.

الرسوم التحليلية والأمثلة العددية

**الشكل 2 · محدودية الحالة التكرارية لا تعني محدودية ذاكرة التدريب**حالة تكرارية مجردة واحدة ذات بُعد 128 مقابل رأس انتباه واحد ذي بُعد 128، مع احتساب المفاتيح والقيم. لا يشمل ذلك الطبقات أو القنوات أو الأوزان أو تنشيطات التدريب. JSON · الصيغ والمدخلات والقيم العددية

مثال محلول قابل لإعادة الحساب

عند 8192 موضعًا، تتألف KV في هذا المثال المحدد من 2097152 قيمة قياسية، وتتألف الحالة التكرارية من 128 قيمة قياسية. ويختلف الاثنان في التمثيل والبنية، لذلك لا يمكن استخدام هذه النسبة لمقارنة ذاكرة النموذج الكامل أو قدراته.

مقارنة الطرق

الطريقة أو الحكم	المتغيرات المضبوطة والقياسات	شروط الإخفاق وتفسيرها
نموذج فضاء حالة SSM ذو معاملات ثابتة	التحقق من شروط التقطيع والبسط الالتفافي	مع الاعتماد على المدخلات، لا تعود نواة الالتفاف ثابتة
حالة فك الترميز	حساب العدد مع تثبيت عدد الطبقات والقنوات وبُعد الحالة	لا يشمل تنشيطات التدريب أو الذاكرة بأكملها
المسح المتوازي	قياس النوى والإدخال والإخراج على الجهاز الفعلي	لا يمكن تحويل التعقيد الخطي مباشرةً إلى زمن استجابة
القدرة على التعامل مع السياقات الطويلة	فصل مهام الاسترجاع والتتبع والتركيب	القدرة على معالجة مدخل طويل لا تعني استخدامه بفاعلية

خطة التحقق والتجارب

ثبّت العدد الإجمالي للمعلمات والبيانات وميزانية التدريب ومجزّئ الرموز، ووضّح ما إذا كانت البنية هجينة.
سجّل بُعد الحالة والتمثيل بالمعلمات للخطوة الزمنية المتقطعة والبوابات وإصدار النواة.
قارن التحديث التكراري خطوة بخطوة على تسلسلات قصيرة بنتائج المسح، وقِس الأخطاء عند مستويات دقة مختلفة.
احسب بصورة منفصلة ذروة استهلاك الذاكرة والزمن للتدريب والملء المسبق وفك الترميز الآني.
قِس منحنيات الجودة بحسب الطول وموضع المعلومات ومقدار التشويش ونوع المهمة.
أجرِ دراسات استئصال للانتقاء المعتمد على المدخلات وبُعد الحالة والوحدات، واحتفظ بسجلات المهام الفاشلة والاستقرار.

نطاق التطبيق والقيود

عدد عناصر الحالة ليس استهلاك ذاكرة المسرّع للنموذج بأكمله.
لم يُجرَ تدريب لنموذج لغوي أو قياس لسرعة الأجهزة.
قد تشكّل الحالة الثابتة عنق زجاجة للمعلومات.
لا يمكن ترتيب الأداء في المهام المختلفة استنادًا مباشرةً إلى التعقيد.

المصادر الأولية ومطابقتها للادعاءات

Mamba: Linear-Time Sequence Modeling with Selective State Spaces, · 2023-12-01Abstract; 原文方法、理论和实验章节见作者原始论文链接
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality, · 2024-05-31Abstract; 原文方法、理论和实验章节见作者原始论文链接
Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)

الاستشهاد وتصدير المقال

BibTeX RIS CSL JSON TXT المقال JSON

المؤلف والإصدار والمصادر

مراجعة بحثية بمساعدة الذكاء الاصطناعي؛ كتبها Codex، وهو نظام ذكاء اصطناعي، وأجرى اشتقاقاتها التحليلية استنادًا إلى الأدبيات الأولية المدرجة. لا يملك هذا الموقع سجلًا لتحكيم علمي مستقل لهذه المقالة أو لتجارب أصلية على النماذج.

تعديل أداء القارئ: يُعاد أيضًا استخدام الصفحات المقروءة عندما يُرجع طلب HEAD حديث 200 وتبقى ETag مطابقة. يحتفظ المتن والصيغ والمصادر وبيانات الرسوم العلمية بمحتوى الإصدار السابق.

الغلاف المفاهيمي منفصل عن الرسوم العلمية؛ وتُحسب الرسوم العلمية من صيغ منشورة وافتراضات مصرّح بها، وتُنسب نتائج الأوراق الأصلية جميعها إلى مصادرها.

سجل المؤلف والإصدارات والتصحيحات · /guides/state-space-mamba/v1/

مصادر الغلاف والرسوم العلمية · البيانات والمصادر والافتراضات · سجل النشر والإصدارات

مراجعة المصدر: 6251a250b27bb8b449f59b392f81abd355383770

[ref-arxiv-2312.00752] Mamba: Linear-Time Sequence Modeling with Selective State Spaces, · 2023-12-01Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-arxiv-2405.21060] Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality, · 2024-05-31Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-attention] Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)