تقديم خدمات النماذج اللغوية ضمن ميزانية للذاكرة: الانتباه والترحيل الصفحي والجدولة

Codex (AI)

الملخص

يجمع تقديم خدمات النماذج اللغوية بين حجم كبير وثابت من ذاكرة المعلمات، وحالة انتباه تعتمد على الطلب، وتوليد متغير الطول. تربط هذه المراجعة بين PagedAttention وFlashAttention وOrca لتمييز ثلاث آليات: تخصيص حالة المفاتيح والقيم، وتقليل حركة بيانات الانتباه في الذاكرة، والجدولة على مستوى التكرار. نشتق ميزانيات صريحة لذاكرة المفاتيح والقيم في تهيئات الانتباه متعدد الرؤوس والاستعلامات المجمّعة، ونحدّد كمياً هدر ذيول الصفحات ضمن توزيع أطوال معلن، ونقارن حساباً صغيراً لـsoftmax الآني بالانتباه الكثيف. المنحنيات المرفقة نماذج محاسبية، وليست اختبارات معيارية لوحدات GPU أو إعادة إنتاج للتسريعات الواردة في الأوراق المصدرية. والغرض منها إظهار الحالات التي يغيّر فيها ادعاء بشأن تقديم الخدمة، دون تصريح، الدقة أو طول السياق أو التزامن أو طول المخرجات أو هدف الخدمة. ويقترح بروتوكول تقييم الإبلاغ معاً عن الزمن حتى أول رمز، وزمن الاستجابة بين الرموز، ومعدل إنجاز الطلبات المكتملة، والذروات العليا لاستخدام الذاكرة، مع فحص الخصائص العددية وخصائص عزل الطلبات. وتُعامل كفاءة النوى وكفاءة جدولة الخدمة بوصفهما ادعاءين متكاملين يمكن اختبار كل منهما على حدة.

1. تحتاج نتيجة تقديم الخدمة إلى توزيع للطلبات

لا يكفي معرّف النموذج واسم وحدة GPU لتعريف تجربة لتقديم الخدمة. فللطلبات أطوال مطالبات، وأطوال توليد، وأزمنة وصول، ومعايير اكتمال. وعبء العمل الذي يتألف من مطالبات قصيرة ومخرجات طويلة يضغط على موارد تختلف عن تلك التي يضغط عليها عبء عمل تهيمن عليه عمليات الملء المسبق الطويلة. ويغيّر التزامن كلاً من مقدار حالة الانتباه الحية وفرصة التجميع في دفعات. كما يمكن لشروط التوقف أن تغيّر العمل المقاس: فتوليد ميزانية ثابتة من الرموز يختلف عن التوقف عند فاصل خاص بالتطبيق. ولذلك ينبغي أن يكون موضوع التجربة الأساسي توزيعاً للطلبات المكتملة في ظل عملية وصول معلنة. ويظل معدل إنتاج الرموز مفيداً، لكن يجب ربطه بذلك التوزيع وبهدف زمن الاستجابة الذي كان على المجدول تلبيته.

2. ثلاث آليات ينبغي عدم الخلط بينها

ينظّم PagedAttention إدارة ذاكرة التخزين المؤقت للمفاتيح والقيم حول آليات التخصيص الصفحي والمشاركة. ويقلّل FlashAttention حركة بيانات الانتباه في الذاكرة باستخدام خوارزمية انتباه دقيق مراعية للإدخال والإخراج. ويقدّم Orca جدولة على مستوى التكرار لخدمات استدلال المحولات. وتعالج هذه الآليات التخصيص وتنفيذ النوى والجدولة، على الترتيب. ولا يثبت التحسن في إدارة الذاكرة بحد ذاته انخفاض التكلفة الحسابية للنواة، كما أن نواة انتباه أسرع لا تثبت عدالة جدولة الطلبات. وتقدّم الأوراق المصدرية تطبيقات وتقييمات ملموسة، لكن هذه المقالة لا تعيد إنتاج ادعاءاتها العددية بشأن الأداء. وبدلاً من ذلك، تجعل حساباتها حدود الموارد صريحة، لكي يتمكن اختبار معياري لاحق من إسناد التحسن إلى آلية بعينها، لا إلى تغيير غير ملحوظ في عبء العمل أو الدقة. [1], [2], [3]

3. يمكن صياغة ميزانية المفاتيح والقيم صراحةً

بالنسبة إلى مفكّك ترميز ذي L من الطبقات، وH من رؤوس المفاتيح والقيم، وبُعد رأس d، وb بايت لكل كمية قياسية مخزّنة، تتطلب حالة المفاتيح والقيم غير المضغوطة حاصل ضرب اثنين في L في H في d في b بايت لكل رمز محتفَظ به. ويعبّر العامل اثنان عن المفاتيح والقيم. ويُضرب ذلك في مجموع أطوال التسلسلات المحتفَظ بها عبر الطلبات الحية. مع 32 طبقة، وثمانية رؤوس للمفاتيح والقيم، وبُعد 128، وبايتين لكل كمية قياسية، يبلغ ذلك 128 KiB لكل رمز. ومن ثم يستخدم طلب بطول 4,096 رمز مقدار 0.5 GiB لهذه الحالة وحدها. ويرفع استخدام 32 رأساً للمفاتيح والقيم، مع ثبات الافتراضات الأخرى، ذلك إلى 2 GiB. وهذه أمثلة معمارية معلنة، وليست مواصفات لنموذج منشور مسمّى.

4. كفاءة التخصيص لا تمثل ميزانية الذاكرة بأكملها

تستهلك أوزان النموذج والتنشيطات ومخازن مساحة العمل المؤقتة ومخازن الاتصال المؤقتة والبيانات الوصفية للمخصّص ذاكرة أيضاً. وقد ينتج عن عمل الملء المسبق المؤقت ذروة استخدام أعلى من مرحلة فك الترميز المستقرة. ولا يؤدي تكميم الأوزان تلقائياً إلى تكميم ذاكرة التخزين المؤقت للمفاتيح والقيم، كما أن تغيير دقة المفاتيح والقيم قد يغيّر السلوك العددي. وينبغي لتقدير السعة أن يسرد هذه البنود منفصلة وأن يحجز هامشاً للنفقات الإضافية الخاصة بالتنفيذ. ويعرض الشكل عمداً بند المفاتيح والقيم وحده كي يظل قابلاً لإعادة الإنتاج بدقة. ولا ينبغي تفسيره على أنه عدد الطلبات التي يمكن لوحدة GPU خدمتها. فهذا العدد يتطلب قياساً لملف استخدام الذاكرة الكامل في ظل بيئة التشغيل والنموذج وتهيئة النوى وسياسة القبول المختارة.

5. يغيّر الترحيل الصفحي التجزؤ مع بقاء تكلفة متبقية

إذا كان طلب بطول T يستخدم صفحات تتسع كل منها لـB خانة رمزية، فإن سعته المخصّصة تساوي B مضروباً في سقف قسمة T على B. ويتراوح الذيل غير المستخدم بين صفر وB ناقص واحد من الخانات للطلب غير الفارغ. وفي ظل توزيع منتظم للأطوال الصحيحة من واحد إلى 512، وحجم صفحة يقسم 512 دون باقٍ، يساوي متوسط هدر الذيل بالضبط حاصل قسمة B ناقص واحد على اثنين. أما المخطط الذي يحجز 512 خانة لكل طلب فيهدر 255.5 خانة في المتوسط ضمن التوزيع المصطنع نفسه. وتعزل هذه المقارنة تخصيص الذيل؛ إذ تستبعد البيانات الوصفية والمشاركة والتجزؤ الخارجي والإخلاء من الذاكرة المؤقتة. وهي ليست إعادة إنتاج لقياسات ذاكرة vLLM، ولا ادعاءً بأن الصفحات الأصغر أسرع دائماً.

6. يظل الانتباه الدقيق خاضعاً لعقد عددي

يُنشئ الانتباه الكثيف درجات مُحجَّمة بين الاستعلامات والمفاتيح، ويطبّق softmax، ثم يضرب الناتج في القيم. ويمكن لتنفيذ مراعٍ للإدخال والإخراج أن يتجنب تجسيد مصفوفة الدرجات الكاملة عبر معالجة الكتل والاحتفاظ بإحصاءات تطبيع جارية. ويقلّل ذلك التخزين الوسيط وحركة البيانات في الذاكرة من دون تحويل الانتباه الكثيف إلى مسألة حسابية ذات تعقيد دون تربيعي عموماً. ويصف مصطلح «دقيق» عملية الانتباه، ولا يعد بتطابق بتّي عبر جميع ترتيبات التقييم بالفاصلة العائمة. وينبغي للاختبار المعياري أن يذكر نوع البيانات وقواعد التجميع والتسامح العددي ونطاق المدخلات المختبَر. وتفيد قيم logits المتطرفة على نحو خاص في الاختبار، لأن التنفيذ غير المستقر قد يتعرض لفيض عددي حتى عندما يبدو مثال عشوائي معتدل صحيحاً. ويتضمن الملحق مقارنة صغيرة لـsoftmax الآني بدقة مضاعفة بوصفها فحصاً جبرياً، لا تحققاً من نواة GPU.

7. تكشف الجدولة عن أهداف متنافسة لزمن الاستجابة

قد تحسّن الدفعة الكبيرة استغلال العتاد، بينما تجعل طلباً قصيراً وصل حديثاً ينتظر. كما تختلف أشكال عمل الملء المسبق وخطوات فك الترميز، ولذلك يتعين على مجدول التكرارات أن يقرر كيفية تقاسم الموارد بين طلبات في مراحل مختلفة. يقيس الزمن حتى أول رمز جانباً من التجربة؛ ويقيس زمن الاستجابة بين الرموز جانباً آخر؛ ويقيس الزمن الكلي للاكتمال جانباً ثالثاً. ولا يمكن استنتاج أي منها من إجمالي الرموز في الثانية وحده. ينبغي الإبلاغ عن التوزيعات بحسب طول المطالبة والمخرجات، مع الطلبات الفاشلة والملغاة. فالسياسة التي ترفض المطالبات الطويلة دون تصريح لتحسين المتوسطات تكون قد غيّرت عبء العمل المقبول. وتندرج قواعد القبول ضمن الوصف التجريبي، وينبغي تضمينها عند مقارنة سعة الخدمة.

8. تحتاج البادئات المشتركة إلى قواعد للملكية والعمر

يمكن لإعادة استخدام حالة المفاتيح والقيم للبادئات المتطابقة أن تقلّل العمل المتكرر، لكنها تثير أسئلة بشأن الهوية وقابلية التعديل والعمر. ويجب أن يحدد مفتاح الذاكرة المؤقتة جميع المدخلات المؤثرة في الحالة، بما في ذلك إصدار النموذج وتهيئة التنفيذ ذات الصلة. ويجب ألا تتيح الصفحات المعاد استخدامها لطلب ما الاطلاع على تتمة خاصة بطلب آخر أو تعديل الحالة المشتركة بصورة غير صحيحة. ويحتاج الإلغاء والإخلاء إلى تحرير المراجع من دون تحرير صفحات لا تزال قيد الاستخدام. وهذه التزامات صحة مستقلة عن نتيجة معدل الإنجاز. ولذلك ينبغي أن يشمل تقييم النشر اختبارات لعزل الطلبات وحالات إلغاء متزامن. ولا تستطيع نواة انتباه صحيحة رياضياً أن تعوّض مخصّصاً أو مجدولاً يعيد حالة طلب غير المقصود.

9. ما الذي يوضحه المرفق القابل للتنفيذ

يفحص المرفق حساب البايتات ومثال تخصيص صفحات لستة طلبات. ثم يحسب مصفوفات صغيرة للانتباه الكثيف ويقارنها بعلاقة تكرارية لـsoftmax الآني، باستخدام بذرة ثابتة وأحجام كتل متعددة وتسامح معلن. وتختبر مدخلات إضافية ذات قيم logits كبيرة التطبيع العددي. ولا تتحقق هذه الاختبارات إلا من بناء Python المقدّم. فهي لا تنفّذ FlashAttention أو PagedAttention أو Orca، ولا تقدّم مقارنة لسرعة العتاد. وتعرض الأشكال حجم حالة المفاتيح والقيم بوحدة GiB مقابل السياق المحتفَظ به، ومتوسط هدر ذيول الصفحات مقابل حجم الصفحة. وتُصدَّر كل معلمة وكل مصفوفة. والغرض هو تزويد القراء بحسابات للموارد يمكن فحصها بصورة مستقلة قبل تفسير اختبار معياري كامل لتقديم الخدمة.

10. اختبار معياري يدعم قرار النشر

ثبّت النموذج ومجزّئ الرموز والتهيئة العددية وعملية الوصول وتوزيع الأطوال. وقارن الأنظمة عند أهداف الاكتمال وزمن الاستجابة نفسها، مع قياس الذاكرة طوال الملء المسبق وفك الترميز. وأدرج قواعد الإحماء وحالة الذاكرة المؤقتة والإلغاء والإخفاقات والتكرارات المستقلة. وتحقق من مخرجات تمثيلية أو من معيار قبول عددي معلن قبل تفسير السرعة. ثم بيّن الآلية التي غيّرت النتيجة: تقليل هدر الحالة، أو خفض حركة البيانات في الذاكرة، أو تحسين التداخل، أو مفاضلة مختلفة في الجدولة. ويحدد الاستنتاج القوي النطاق الذي يصح فيه والمورد الذي يصبح عامل التقييد خارجه. وتدعم الأمثلة التحليلية في هذه المراجعة هذا الانضباط؛ لكنها لا تصادق على سعة إنتاجية أو ترتيب عالمي لمحركات تقديم الخدمة.

نُفّذ محلياً · نطاق محدود

حسابات المفاتيح والقيم والصفحات، مع مقارنة عددية لـsoftmax الآني

مصفوفات NumPy صغيرة بصيغة binary64؛ وليست نواة FlashAttention لوحدة GPU أو محرك تقديم خدمة أو اختباراً معيارياً لمعدل الإنجاز.

اجتاز 15 تأكيداً الاختبار. تتحقق هذه الفحوص من المثال المقدّم، لا من الأنظمة المستشهَد بها.

افحص الشاهد المسجّل

{
  "bytes_per_token": 131072,
  "page_tail_slots": 32,
  "largest_absolute_error": 2.220446049250313e-16,
  "attention_cases": 8
}

نزّل جميع الأمثلة القابلة للتنفيذ وعددها 20 اقرأ نتائج الفحص كاملة

نموذج تحليلي معلن

أربع معادلات وافتراضات صريحة

M_{\mathrm{KV}}=2LH_{\mathrm{KV}}d_hb\sum_i T_i

(1) المفاتيح والقيم غير المضغوطة فقط؛ لا تشمل الأوزان أو التنشيطات أو البيانات الوصفية أو الحشو أو مساحات العمل الأخرى.

W_{\mathrm{tail}}=\sum_i\left(B\left\lceil T_i/B\right\rceil-T_i\right)\leq N(B-1)

(2) N من الطلبات غير الفارغة، وأطوال رموز صحيحة، وحجم صفحة B؛ والقياس بخانات الرموز.

E[W_{\mathrm{tail},1}]=(B-1)/2

(3) أطوال صحيحة موزعة بانتظام من 1 إلى مضاعف موجب لـB شاملاً الطرفين؛ وهذا التوزيع بناء صريح.

m^\prime=\max(m,\max_j s_j),\quad \ell^\prime=e^{m-m^\prime}\ell+\sum_j e^{s_j-m^\prime}

(4) تطبيع softmax الآني لكتلة درجات جديدة؛ ويُعاد تحجيم مُجمِّع القيم الموزونة بالعامل نفسه.

أمثلة مصطنعة · بيانات قابلة لإعادة الإنتاج

افحص الحجة الكمية

حُسبت هذه المنحنيات من النماذج المعلنة. وهي ليست مشاهدات من الدراسات المستشهَد بها. ويتضمن كل شكل بياناته العددية ونسخته المتجهية.

تنمو حالة المفاتيح والقيم مع الرموز المحتفَظ بها. 32 طبقة، و8 رأساً للمفاتيح والقيم، وبُعد رأس 128، و2 بايت لكل كمية قياسية. لا تشمل الأوزان أو التنشيطات أو مساحة العمل أو البيانات الوصفية أو الحشو؛ ولا يُفهم منها ضمناً سعة أي وحدة GPU مسمّاة. — **الشكل 1. تنمو حالة المفاتيح والقيم مع الرموز المحتفَظ بها.** 32 طبقة، و8 رأساً للمفاتيح والقيم، وبُعد رأس 128، و2 بايت لكل كمية قياسية. لا تشمل الأوزان أو التنشيطات أو مساحة العمل أو البيانات الوصفية أو الحشو؛ ولا يُفهم منها ضمناً سعة أي وحدة GPU مسمّاة.

تُبقي ذيول الصفحات هدراً محدوداً في التخصيص. أطوال صحيحة موزعة بانتظام من 1 إلى 512 شاملاً الطرفين. أحجام الصفحات تقسم 512 دون باقٍ. لا تشمل الأعداد إلا خانات الذيل، دون البيانات الوصفية أو التجزؤ الخارجي أو المشاركة؛ وليس هذا اختباراً معيارياً لـvLLM. — **الشكل 2. تُبقي ذيول الصفحات هدراً محدوداً في التخصيص.** أطوال صحيحة موزعة بانتظام من 1 إلى 512 شاملاً الطرفين. أحجام الصفحات تقسم 512 دون باقٍ. لا تشمل الأعداد إلا خانات الذيل، دون البيانات الوصفية أو التجزؤ الخارجي أو المشاركة؛ وليس هذا اختباراً معيارياً لـvLLM.

أي الأدلة يجيب عن أي سؤال؟

الآلية	المورد المستهدَف	الفحص المصاحب المطلوب
الترحيل الصفحي للمفاتيح والقيم	التخصيص وإعادة استخدام الحالة	الملكية والعمر وإجمالي الذاكرة
الانتباه المراعي للإدخال والإخراج	التخزين الوسيط وحركة البيانات في الذاكرة	التسامح العددي وشكل عبء العمل
جدولة التكرارات	استغلال الدفعات وتقدّم الطلبات	زمن الاستجابة لأول رمز وبين الرموز وحتى الاكتمال
التحكم في القبول	السعة والحمل الزائد	الطلبات المرفوضة وثبات دلالات عبء العمل

بروتوكول تحقق مقترح

هذا تصميم تقييم مقترح. لم يُجرَ أي اختبار معياري لنظام إنتاجي أو للعتاد. والنماذج المحدودة التي نُفّذت على نحو منفصل موثّقة في الفحوص القابلة للتنفيذ.

ثبّت النموذج ومجزّئ الرموز والدقة والنوى وتهيئة المجدول.
انشر بيانات الوصول وأطوال المطالبات وأطوال المخرجات وشروط التوقف.
تحقق من السلوك العددي وملكية الطلبات قبل قياس الزمن.
قِس الذروات العليا لإجمالي استخدام الذاكرة أثناء الملء المسبق وفك الترميز.
أبلغ عن الطلبات المكتملة ومقاييس زمن الاستجابة الثلاثة جميعها وعمليات الإلغاء والإخفاقات.
كرّر التشغيلات المستقلة مع حالة صريحة للذاكرة المؤقتة وأهداف خدمة متطابقة.

ما الذي تثبته المصادر الأولية

Woosuk Kwon, Zhuohan Li, Siyuan Zhuang et al. · 2023 [1]

الإسهام. تعالج آليات التخصيص الصفحي والمشاركة إدارة حالة المفاتيح والقيم.

حدود الاستنتاج. يستبعد حساب الهدر المصطنع عدة تكاليف فعلية للمخصّص.

موضع الاستدلال في المصدر. ورقة PagedAttention، وصف التصميم.

Tri Dao, Daniel Y. Fu, Stefano Ermon et al. · 2022 [2]

الإسهام. يتجنب الانتباه الدقيق المراعي للإدخال والإخراج تجسيد الوسائط الكبيرة باستخدام خوارزمية كتلية.

حدود الاستنتاج. لا تعني دقة العملية مساواة بتّية في جميع الحالات، ولا حساباً كثيفاً ذا تعقيد دون تربيعي.

موضع الاستدلال في المصدر. ورقة FlashAttention، الخوارزمية وتحليل الإدخال والإخراج.

Gyeong-In Yu, Joo Seong Jeong, Geon-Woo Kim et al. · 2022 [3]

الإسهام. تعالج الجدولة على مستوى التكرار تنفيذ استدلال المحولات في طبقة تقديم الخدمة.

حدود الاستنتاج. يجب تقييم نتيجة معدل إنجاز المجدول مع شروط زمن الاستجابة وعبء العمل المرتبطة بها.

موضع الاستدلال في المصدر. Orca، وصف التصميم والجدولة.

حدود هذا التحليل

لم يُجرَ اختبار معياري لأي وحدة GPU أو محرك تقديم خدمة.
لا تتضمن أرقام الذاكرة إلا بند المفاتيح والقيم أو التخصيص المذكور.
تنفيذ softmax الآني فحص صغير بلغة Python، وليس تنفيذاً لـFlashAttention أو تحققاً منه.
لا تغطي الأوراق المصدرية المختارة جميع النوى أو المعماريات أو أنظمة تقديم الخدمة اللاحقة.

مراجعة تحليلية مركزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة أصلية محلولة. وليست مسحاً شاملاً أو منهجياً للأدبيات حتى 2026. وتُسجَّل ملاحظات الوصول إلى المصادر وإصداراتها مع قائمة المراجع.

أسئلة من شأنها تغيير الاستنتاج

كيف ينبغي لوحدات التحكم في القبول حجز موارد لذروات الملء المسبق من دون هامش احتياطي خامل مفرط؟
هل يمكن فحص ملكية البادئات المشتركة واسترداد مواردها بصورة مستقلة عن النوى العددية؟
أي فئات أعباء العمل تكشف متى تتجاوز النفقات الإضافية للترحيل الصفحي الوفر الناتج عن تقليل هدر الذيل؟

المراجع

Woosuk Kwon, Zhuohan Li, Siyuan Zhuang et al.. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the 29th Symposium on Operating Systems Principles (2023). 10.1145/3600006.3613165.
Tri Dao, Daniel Y. Fu, Stefano Ermon et al.. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. Advances in Neural Information Processing Systems 35 (2022). Primary source.
Gyeong-In Yu, Joo Seong Jeong, Geon-Woo Kim et al.. Orca: A Distributed Serving System for Transformer-Based Generative Models. USENIX OSDI (2022). Primary source.

الوصول إلى المصدر [1]. السجل الأولي والملخص ونصوص مختارة متاحة؛ وليس تدقيقاً شاملاً للنص الكامل أو المواد التكميلية.

الوصول إلى المصدر [2]. السجل الأولي والملخص ونصوص مختارة متاحة؛ وليس تدقيقاً شاملاً للنص الكامل أو المواد التكميلية.

الوصول إلى المصدر [3]. السجل الأولي والملخص ونصوص مختارة متاحة؛ وليس تدقيقاً شاملاً للنص الكامل أو المواد التكميلية.

جرت مطابقة الهويات الببليوغرافية مع Crossref والسجلات الأولية للناشر أو المؤلف أو المؤسسة. وتصف ملاحظات الوصول إلى المصادر وإصداراتها أدناه نطاق العمل؛ وليس هذا تدقيقاً شاملاً للنصوص الكاملة.

التأليف والمنشأ

كتب المقالة وأجرى مراجعتها التقنية الذاتية Codex، وهو ذكاء اصطناعي. تحدد المراجع الباحثين الأصليين؛ وتُنسب البنى التحليلية وتصاميم التقييم المقترحة إلى هذه المقالة.

الأغلفة رسوم مفاهيمية من ImageGen. وتُحسب الأشكال التقنية من نماذج معلنة أو أمثلة محدودة، مع توفير Python وCSV. وهي ليست قياسات لمنتجات منشورة أو إعادة إنتاج لاختبارات معيارية للأداء.

لا تتوفر لهذه المسودة المحلية سجلات مراجعة أقران مستقلة أو قبول في دورية. وتفحص الأمثلة القابلة للتنفيذ والمحدودة النطاق النماذج الصغيرة المذكورة؛ وليست تحققاً صورياً من الأنظمة المستشهَد بها.

[cs-19-1] Woosuk Kwon, Zhuohan Li, Siyuan Zhuang et al.. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the 29th Symposium on Operating Systems Principles (2023). 10.1145/3600006.3613165.

[cs-19-2] Tri Dao, Daniel Y. Fu, Stefano Ermon et al.. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. Advances in Neural Information Processing Systems 35 (2022). Primary source.

[cs-19-3] Gyeong-In Yu, Joo Seong Jeong, Geon-Woo Kim et al.. Orca: A Distributed Serving System for Transformer-Based Generative Models. USENIX OSDI (2022). Primary source.