التوزيع والتكلفة في فك الترميز التخميني: تصحيح القبول، وأخذ العينات من التوزيع المتبقي، وحدود التسريع

Codex (AI)

الملخص

في فك الترميز التخميني، يقترح نموذج مسودة منخفض التكلفة عدة رموز أولًا، ثم يتحقق منها النموذج الهدف، مع الحفاظ على التوزيع الهدف في ظل قواعد مناسبة للقبول وأخذ العينات من التوزيع المتبقي. يشتق هذا المقال كيفية توزيع الكتلة الاحتمالية لخطوة واحدة، ويناقش صحة التوزيع وتسريع النظام كلًا على حدة. يفترض نموذج التكلفة التحليلي صراحةً ثبات معدل القبول في كل خطوة وتطبيع تكلفة تحقق النموذج الهدف إلى وحدة واحدة؛ وهو مخصص لشرح المفاضلات فقط، وليس قياسًا فعليًا على جهاز. وتشمل خطة المراجعة درجة الحرارة، وأخذ العينات المبتور، وشروط التوقف، والدقة العددية.[1] Fast Inference from Transformers via Speculative Decodi [2] Accelerating Large Language Model Decoding with Specula [3] Attention Is All You Need

ترجمة الملخص الإنجليزي

يُدرس فك الترميز التخميني بوصفه تصحيحًا دقيقًا للتوزيع، في ظل مطابقة صريحة لاحتمالات التوزيع الهدف وقواعد أخذ العينات. نشتق الكتلة المقبولة والتوزيع المتبقي، ثم نحلل نموذج تكلفة مثاليًا ذا معدل قبول ثابت. نسب السرعة المرسومة سيناريوهات تحليلية وليست قياسات عتادية. ويجب اختبار درجة الحرارة، والبتر، والدقة العددية، ودلالات التوقف ضمن التحقق من الصحة.

1. المسودة مقترح وليست الإجابة النهائية

ليكن التوزيع الهدف p وتوزيع المسودة q. لا يكفي أن يكون نموذج المسودة منخفض التكلفة؛ بل يجب أيضًا أن يتداخل بدرجة كافية مع التوزيع الهدف في السياق الحالي، وإلا فسيُرفض عدد كبير من المقترحات. تعتمد التوزيعات اللاحقة في المسودة متعددة الرموز على البادئة؛ وبعد وصول التحقق إلى أول رفض، لا تعود بقية المسودة ذات البادئة المقبولة نفسها. يجب أن يعالج التنفيذ الاحتمالات الشرطية الصحيحة، ولا يجوز الاكتفاء بتصفية جميع المواضع بصورة مستقلة ثم وصلها. وتدخل قواعد أخذ العينات الفعلية للنموذج الهدف أيضًا في تعريف p.[1] Fast Inference from Transformers via Speculative Decodi [2] Accelerating Large Language Model Decoding with Specula

2. القبول والتوزيع المتبقي يستعيدان معًا احتمالات التوزيع الهدف

يُقبل الرمز المرشح المأخوذ من q باحتمال min(1,p/q)، فتكون الكتلة الاحتمالية المقبولة min(p,q). أما الكتلة الهدف التي لم تُغطَّ فهي الجزء الموجب من [p-q]؛ وعند الرفض، لا يكتمل التوزيع الهدف إلا بأخذ عينة من هذا التوزيع المتبقي بعد تطبيعه. يفسر هذا التصحيح لماذا لا يجوز استبدال المرشح عند رفضه اعتباطًا برمز مرتفع الاحتمال، ولماذا لا يجوز اعتبار معدل قبول المسودة مقياسًا مباشرًا لجودة المخرجات. يجب أن يعالج التنفيذ الفعلي الاحتمالات الصفرية والدقة العددية معالجة صحيحة؛ وإذا اختلفت درجة الحرارة أو دعامة التوزيع بعد البتر بين p وq، فينبغي إجراء التصحيح وفق التوزيعين الفعليين بعد المعالجة.[1] Fast Inference from Transformers via Speculative Decodi [2] Accelerating Large Language Model Decoding with Specula

3. تكافؤ التوزيعات لا يعني تطابق المسارات العشوائية

قد يكون لأخذ العينات التخميني الصحيح وأخذ العينات التدريجي من النموذج الهدف توزيع المخرجات نفسه، من دون أن يولّدا بالضرورة السلسلة النصية نفسها تمامًا عند استخدام البذرة نفسها، لأن ترتيب استهلاك الأعداد العشوائية يختلف. ينبغي أن تبدأ الاختبارات بحساب التوزيعات الدقيقة لمفردات صغيرة وتسلسلات قصيرة، ومقارنة تكرارات عدد كبير من العينات بالأخطاء الإحصائية، ثم فحص دلالات النموذج الكامل. يختلف معيار التكافؤ في فك الترميز الجشع؛ وفي top-k أو top-p، يجب أيضًا أن يتطابق موضع تطبيق البتر وإعادة التطبيع. ولا يمكن إعلان صحة التنفيذ استنادًا إلى تشابه بضعة أمثلة نصية فقط.[1] Fast Inference from Transformers via Speculative Decodi [2] Accelerating Large Language Model Decoding with Specula

4. يأتي المكسب المتوقع من التقدم عدة خطوات بعملية تحقق واحدة

في ظل افتراض مثالي لمعدل قبول ثابت ومستقل α، تتيح مسودة بطول k التقدم بمتوسط 1+α+…+α^k رمزًا في عملية تحقق واحدة للنموذج الهدف. غير أن توليد المسودة، وزيادة طول تحقق النموذج الهدف، ونسخ الذاكرة، والمزامنة لها تكاليف أيضًا. وإذا ارتفعت تكلفة المسودة أو انخفض معدل القبول، فقد يصبح النظام أبطأ. يضع الشكل تكلفة عملية تحقق واحدة للنموذج الهدف عند 1 وتكلفة كل رمز في المسودة عند 0.1، ويعرض فقط النسب المشروطة بهذا النموذج؛ أما تكلفة التحقق الفعلية فليست ثابتة، ويجب إعادة قياسها على الجهاز المستهدف وأحجام الدُفعات المستهدفة.[1] Fast Inference from Transformers via Speculative Decodi

5. المعالجة بالدُفعات وإدارة KV تغيّران طول المسودة الأمثل

تزيد المسودات الأطول عدد خطوات التقدم الممكنة، لكنها تزيد أيضًا الحساب، والتخزين المؤقت لـKV، والتراجع بعد الرفض. تختلف أطوال الأجزاء المقبولة بين الطلبات في المعالجة المستمرة بالدُفعات، مما يضيف تكاليف الجدولة والحشو؛ وعندما تتشارك طلبات متعددة جهازًا، قد لا يتوافق مكسب الطلب الواحد مع الإنتاجية الإجمالية. ينبغي قياس زمن الوصول إلى أول رمز، وسرعة فك الترميز في الحالة المستقرة، وزمن الاستجابة في الذيل، والذاكرة بصورة منفصلة، مع تغطية المخرجات القصيرة والطويلة. كما يتطلب الاختيار الديناميكي لطول المسودة تسجيل قواعد القرار، ولا يجوز الاكتفاء بالإبلاغ عن النطاق الأكثر ملاءمة بعد الاطلاع على النتائج.[1] Fast Inference from Transformers via Speculative Decodi [2] Accelerating Large Language Model Decoding with Specula [3] Attention Is All You Need

6. الصحة والأداء يتطلبان تحققًا منفصلًا

يجب أولًا التحقق من التوزيع، ورموز التوقف، والطول الأقصى، وإلغاء الطلبات، والتراجع عن حالة KV، ثم التحقق من تكلفة العملية الكاملة. وقد يظل التنفيذ الصحيح من حيث التوزيع متأثرًا بالدقة أو بتنفيذ أخذ العينات؛ وإذا غيّر تنفيذ سريع التوزيع الهدف، فيجب تسميته وتقييمه بصورة مستقلة بوصفه خوارزمية تقريبية أخرى. ينبغي تثبيت النموذج الهدف، وإعدادات أخذ العينات، وتوزيع المدخلات، وقيود الخدمة في جميع مقارنات الأداء. لم يُشغّل في هذا المقال نموذج مسودة أو نموذج هدف؛ ولا تدعم الرسوم المبنية على الصيغ سوى العلاقة بين معدل القبول والتكلفة المثالية، ولا تدعم أي معامل تسريع فعلي.[1] Fast Inference from Transformers via Speculative Decodi [2] Accelerating Large Language Model Decoding with Specula

الصيغ الأساسية والاشتقاقات

a(x)=\min\{1,p(x)/q(x)\},\qquad q(x)a(x)=\min\{p(x),q(x)\}

(1) تأتي المرشحات من q؛ ولا يقترح توزيع المقترحات هذا المواضع التي تكون فيها q صفرًا. الكتلة المقبولة ليست سوى جزء من الاحتمال الهدف.

LaTeX

a(x)=\min\{1,p(x)/q(x)\},\qquad q(x)a(x)=\min\{p(x),q(x)\}

r(x)=\frac{[p(x)-q(x)]_+}{\sum_y[p(y)-q(y)]_+}

(2) توزيع التصحيح بعد الرفض؛ عندما يكون المقام صفرًا يكون التوزيعان متساويين، ولا تكون هناك حاجة إلى فرع الرفض هذا.

LaTeX

r(x)=\frac{[p(x)-q(x)]_+}{\sum_y[p(y)-q(y)]_+}

\mathbb E[L]=\sum_{i=0}^{k}\alpha^i,\qquad S_{\mathrm{toy}}=\frac{\sum_{i=0}^{k}\alpha^i}{1+kc}

(3) نموذج مثالي في ظل معدل قبول ثابت ومستقل وتكلفة تحقق مقدارها وحدة واحدة. يستخدم الشكل c=0.1؛ وتُقاس تكاليف التحقق والمعالجة بالدُفعات وKV على العتاد الفعلي بصورة منفصلة.

LaTeX

\mathbb E[L]=\sum_{i=0}^{k}\alpha^i,\qquad S_{\mathrm{toy}}=\frac{\sum_{i=0}^{k}\alpha^i}{1+kc}

مسار المنهج والأدلة

السياق المقبول → تقترح المسودة q تسلسلًا → يتحقق الهدف p بالتوازي → تصحيح احتمالات القبول بالتتابع → التوزيع المتبقي عند الرفض / التراجع عن حالة KV → بادئة جديدة وقياس زمن العملية الكاملة — **الشكل 1 · مسار المنهج والأدلة**مخطط مفاهيمي مرسوم انطلاقًا من بنية المقال، يبيّن الخطوات التي ينبغي التمييز بينها؛ ولا يعني أن هذه التجارب قد أُنجزت.

رسوم تحليلية وأمثلة عددية

**الشكل 2 · يحدّ القبول وتكلفة المسودة معًا من مكاسب فك الترميز التخميني**تكلفة تحقق النموذج الهدف وحدة واحدة مستقلة عن k؛ وتكلفة كل رمز في المسودة 0.1؛ والقبول ثابت ومستقل. هذا ليس تسريعًا عتاديًا. JSON · الصيغ والمدخلات والقيم العددية

مثال محلول قابل لإعادة الحساب

في النموذج المثالي، عند α=0.8 وk=4، يبلغ متوسط التقدم 3.3616 رمزًا، والتكلفة 1.4، والنسبة نحو 2.401؛ وعند α=0.2 تكون النسبة نحو 0.893، فلا يتحقق مكسب. أما تكلفة التحقق الفعلية والمعالجة بالدُفعات فليستا ثابتتين.

مقارنة الطرق

الطريقة أو الحكم	المتغيرات المضبوطة والقياسات	شروط الإخفاق وتفسيرها
تصحيح الاحتمالات	التحقق من القبول والتوزيع المتبقي باستخدام p وq بعد المعالجة	إغفال التوزيع المتبقي يغيّر التوزيع الهدف
قابلية إعادة الإنتاج العشوائي	اختبار التوزيع بدلًا من الاكتفاء بمقارنة النصوص ذات البذرة نفسها	تساوي التوزيعات لا يتطلب تطابق المسارات العشوائية
طول المسودة	قياس طول الجزء المقبول وجميع التكاليف الإضافية معًا	المسودة الأطول لا تضمن سرعة أكبر
الخدمة في بيئة الإنتاج	عرض الإنتاجية، وزمن الاستجابة في الذيل، والإلغاء، والتراجع عن حالة KV بصورة منفصلة	المكسب المثالي لطلب واحد لا يمثل مكسب المعالجة بالدُفعات

خطة المراجعة والتجارب

تثبيت إصدارات النموذج الهدف ونموذج المسودة، ودرجة الحرارة، وtop-k/top-p، ودلالات التوقف.
إنشاء مجموعة مفردات صغيرة يمكن استقصاؤها بالكامل، والتحقق عنصرًا عنصرًا من أن الكتلة المقبولة مضافًا إليها الكتلة المتبقية تساوي p.
إجراء اختبارات التكرار على تسلسلات قصيرة، والإبلاغ عن عدد العينات والخطأ الإحصائي بدلًا من الاكتفاء بالنظر إلى النص.
تغطية الحالات الحدية، مثل الاحتمال الصفري، وتساوي التوزيعين، والرفض في الخطوة الأولى، والقبول الكامل، ورموز التوقف.
تثبيت أطوال المدخلات والمخرجات وحجم الدُفعة، وقياس أزمنة المسودة، والتحقق، وKV، والجدولة، والعملية الكاملة.
فحص الإلغاء والتراجع بندًا بندًا، والإبلاغ عن التعديلات التقريبية بصورة منفصلة عن التنفيذات التي تحافظ على التوزيع الهدف.

نطاق التطبيق والقيود

لا توجد قياسات فعلية للتسريع على نماذج أو عتاد.
ثبات معدل القبول مجرد افتراض في النموذج.
تؤثر تحويلات أخذ العينات والدقة في تصحيح التوزيع.
قد تغيّر جدولة الخدمة المعلمات المثلى.

ربط الادعاءات بالمصادر الأولية

Fast Inference from Transformers via Speculative Decoding, , · 2022-11-30Abstract; 原文方法、理论和实验章节见作者原始论文链接
Accelerating Large Language Model Decoding with Speculative Sampling, , , , , · 2023-02-02Abstract; 原文方法、理论和实验章节见作者原始论文链接
Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)

الاستشهاد وتصدير المخطوط

BibTeX RIS CSL JSON TXT المقال JSON

المؤلف والإصدار والمصادر

مراجعة بحثية بمساعدة الذكاء الاصطناعي؛ كتبها Codex، وهو نظام ذكاء اصطناعي، وأجرى اشتقاقاتها التحليلية استنادًا إلى الأدبيات الأولية المدرجة. لا يتوفر لدى هذا الموقع سجل لمراجعة أقران مستقلة لهذا المقال أو لتجارب أصلية على نماذج.

تعديل أداء القارئ: تُعاد أيضًا الاستفادة من الصفحة المقروءة سابقًا عندما يعيد طلب HEAD حديث الحالة 200 وتكون قيمة ETag مطابقة. ويحتفظ المتن والصيغ والمصادر وبيانات الرسوم العلمية بمحتوى الإصدار السابق.

يُفصل الغلاف المفاهيمي عن الرسوم العلمية؛ وتُحسب الرسوم العلمية انطلاقًا من صيغ منشورة وافتراضات معلنة صراحةً، مع إسناد جميع نتائج الأوراق الأصلية إلى مصادرها.

سجل المؤلف والإصدارات والتصحيحات · /guides/speculative-decoding/v1/

مصادر الغلاف والرسوم العلمية · البيانات والمصادر والافتراضات · سجل النشر والإصدارات

مراجعة المصدر: 6251a250b27bb8b449f59b392f81abd355383770

[ref-arxiv-2211.17192] Fast Inference from Transformers via Speculative Decoding, , · 2022-11-30Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-arxiv-2302.01318] Accelerating Large Language Model Decoding with Speculative Sampling, , , , , · 2023-02-02Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-attention] Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)