نماذج اللغة المثلى حسابيًا: قوانين التحجيم، ونسب البيانات، وقرارات التدريب المقيدة بالميزانية

1. ما الذي تصفه قوانين التحجيم

درس Kaplan وزملاؤه، في إعدادات محددة للنمذجة اللغوية ذات الانحدار الذاتي، العلاقات التجريبية بين الخسارة وكل من المعاملات والبيانات ومقدار الحوسبة. هذه القوانين هي في المقام الأول ملاءمات ضمن نطاق الرصد، وليست قوانين تقضي بأن «الذكاء ينمو حتمًا وفق أسّ معين». كما أن انخفاض الإنتروبيا التقاطعية لا يستلزم مباشرةً استشهادات أكثر موثوقية، أو امتناعًا أنسب عن الإجابة، أو أهلية مهنية أقوى. ينبغي توضيح موضوع الملاءمة وأهداف التطبيق الفعلية كلٌّ على حدة.[1] Scaling Laws for Neural Language Models

2. كيف غيّر Chinchilla تقدير توزيع الموارد

قارن Hoffmann وزملاؤه بين أعداد مختلفة من المعاملات ورموز التدريب، واقترحوا أنه في ظل ميزانية حوسبة التدريب الثابتة وإعدادات التجربة لديهم، ينبغي زيادة الكميتين بنسب متساوية تقريبًا. استخدم نموذج Chinchilla الذي دُرّب فعليًا في الورقة نحو 700 وحدة من مئة مليون معامل و1.4 تريليون رمز تدريب. و«الأفضل» هنا مشروط بتدريب تلك الدراسة وتقييمها، ولا يعني وجود نسبة رموز إلى معاملات ثابتة إلى الأبد لجميع النماذج.[2] Training Compute-Optimal Large Language Models

3. قيد يسهل الخلط بشأنه

في نموذج الحوسبة التقريبي$C\propto ND$، يرمز N إلى حجم المعاملات، ويرمز D إلى رموز التدريب؛ وعندما تتضاعف كلتا الكميتين، تصبح الحوسبة الإجمالية نحو أربعة أمثالها. وإذا فُرض اصطناعيًا أن ينمو N وD بنسب متساوية ومتوازنة، فعندما تصبح الميزانية c أمثالها، تصبح كل منهما$\sqrt c$أمثال قيمتها الأصلية. هذا مثال حسابي، وليس قانونًا للتوزيع الأمثل. يثبت الشكل 2 في هذه النسخة ND=256، ويحلل توازن حدود الخسارة عند أسس تجريبية مختلفة؛ ويوضح الاشتقاق اللاحق أن التوزيع الأمثل لا يتطلب عمومًا أسسًا متساوية.[2] Training Compute-Optimal Large Language Models

4. عدد الرموز والمعلومات الفعالة ليسا الكمية نفسها

تستهلك البيانات المكررة الحوسبة أيضًا، لكنها لا تقدم بالضرورة مقدارًا مماثلًا من المعلومات الجديدة. وتغير اللغات المختلفة ونسبة الشيفرة البرمجية واستراتيجيات إزالة التكرار والترشيح بحسب الجودة توزيع التدريب. لذلك، لا يمكن لمجرد كون النموذج «قد قرأ رموزًا أكثر» أن يفسر وحده جميع جوانب أدائه في المهام اللاحقة. يوصي هذا المقال بتوثيق تركيب المتن ونسبة التكرار وفحوص تلوث التقييم، بحيث تُدرج مقادير الموارد وخصائص البيانات معًا في السجل التجريبي. هذه توصية منهجية، ولم تُقدَّر أي مجموعة تدريب غير منشورة.作者分析与复核建议 / Author analysis

5. مهام التعليمات تضيف محورًا آخر

تناولت أبحاث FLAN عوامل مثل مزيج المهام والحجم وبيانات سلسلة التفكير في الضبط الدقيق بالتعليمات، مبينةً وجود فضاء تصميم للتكييف السلوكي إلى جانب حجم التدريب المسبق. وقد يُظهر النموذج الأساسي نفسه أداءً مختلفًا باختلاف صياغة المهام وشكل الإشراف. لذلك، لا يمكن استبدال اختبارات اتباع التعليمات بمنحنيات خسارة التدريب، ولا استنتاج أن إعداد تدريب معين أمثل بالضرورة من نتيجة واحدة في لوحة ترتيب.[3] Scaling Instruction-Finetuned Language Models

6. الأمثل للتدريب ليس بالضرورة الأمثل لتقديم الخدمة

بالنسبة إلى نظام سيقدم خدمات الاستدلال مدة طويلة، تعتمد التكلفة الإجمالية أيضًا على عدد الطلبات وطول السياق وطول المخرجات والتخزين المؤقت وقيود زمن الاستجابة. قد يُدرَّب نموذج أصغر مدة أطول، لكنه يكون أقل تكلفة في كل عملية استدلال؛ وقد يظل استخدام نموذج أكبر مجديًا عندما يكون عدد الطلبات قليلًا. لا يقدم هذا المقال استنتاجات عن التكلفة لم تستند إلى قياسات، بل يوصي بإدراج تكلفة التدريب وتكلفة الاستدلال المتوقعة طوال دورة الحياة في جدول ميزانية واحد، ثم اختيار خطة قابلة للتحقق.作者分析与复核建议 / Author analysis

7. تصميم مقارنات قابلة للتحقق

ثبّتوا إصدار البيانات ومجموعات التقييم، واختاروا أحجامًا متعددة للمعاملات وميزانيات متعددة للرموز، وسجلوا خسارة التحقق ومقاييس المهام وفق أسلوب موحد لاحتساب الحوسبة. وينبغي عند المقارنة الاحتفاظ أيضًا بجدول معدل التعلم وحجم الدفعة واستراتيجية إيقاف التدريب؛ فإذا دُرّب النموذج الأصغر حتى التقارب وأُوقف الأكبر مبكرًا، فقد تكون المقارنة بين شروط تدريب مختلفة. يجب الإبلاغ عن نطاقات الاستقراء، بدلًا من التعامل مع المنحنى الملائم بوصفه قيمًا مرصودة عند جميع الأحجام.[1] Scaling Laws for Neural Language Models[2] Training Compute-Optimal Large Language Models

كيف ينبغي فهم الاختلافات بين الملاءمات

لا يعني توصل دراستين للتحجيم إلى توجهين مختلفين في توزيع الموارد أنه يمكن إعلان إحداهما خاطئة على نحو دائم بمعزل عن إعداداتها. فحجم النموذج وطول التدريب وجدول التحسين والبيانات وطريقة الملاءمة كلها تؤثر في الحدود الناتجة. ينبغي عند القراءة التحقق أولًا مما إذا كانت كل نقطة تمثل تشغيل تدريب فعليًا، أو تنبؤًا من الملاءمة، أو استقراءً بعيد المدى، ثم مقارنة الاستنتاجات المختلفة. ويتطلب الاستقراء عبر نطاقات واسعة جدًا صياغة أشد حذرًا من تلك المستخدمة ضمن نطاق الرصد الأصلي.作者分析与复核建议 / Author analysis

8. كيف تُشتق شروط الأمثلية في ظل ميزانية ثابتة

لنفترض أن الخسارة القابلة للخفض هي A N^(−α)+B D^(−β)، وأن تقريب الحوسبة الثابتة هو C=κND. بالتعويض عن D=C/(κN) والاشتقاق بالنسبة إلى log N، تتطلب النقطة المثلى تساوي المنفعتين الحديتين للجزأين، لا تساوي قيمتي الخسارة فيهما. ويعطي الحل أسّ تغير N مع C وهو β/(α+β)، وأسّ D وهو α/(α+β). لا تصح هذه النتيجة إلا ضمن النطاق الذي تنطبق فيه الصيغة القابلة للفصل وتقريب الحوسبة والأسس الملائمة. وهي تفسر لماذا قد تسفر التصاميم التجريبية المختلفة عن نسب مختلفة، وتبين أيضًا أن أي قيمة تجريبية ثابتة لـ«عدد الرموز لكل معامل» تحتاج إلى مجال انطباق محدد.[1] Scaling Laws for Neural Language Models[2] Training Compute-Optimal Large Language Models

9. كمية البيانات وكمية المعلومات الفعالة ليستا الإحداثي نفسه

يمكن لتكرار متن مرات عديدة أن يزيد عدد الرموز المعالجة D، لكنه لا يضمن زيادة مماثلة في المعلومات المستقلة. كما يغير التكرار الحفظ وضوضاء التحسين والتداخل بين التدريب والاختبار. توفر أبحاث إزالة التكرار أدلة فعلية على أثر هندسة البيانات في النتائج، لكن لا ينبغي الاستنتاج منها أن كل تكرار عديم القيمة: فأهداف التدريب متعدد الدورات وتعزيز المجالات النادرة وأخذ العينات وفق منهج متدرج تختلف. عند التحقق، يلزم إدراج عدد الرموز الأصلي والوثائق الفريدة وقواعد إزالة التكرار وعدد دورات التكرار ومزيج المجالات والتاريخ النهائي للبيانات معًا؛ فالملاءمة باستخدام العدد التراكمي للرموز وحده قد تُضمِّن اختلافات الجودة خطأً في أسس التحجيم.[4] Deduplicating Training Data Makes Language Models Bette[2] Training Compute-Optimal Large Language Models

10. الخسارة النهائية تمزج آثار الميزانية وحالة التحسين

إذا لم تقترب بعض النماذج بعد من المنطقة المستقرة لمرحلة تدريبها، فإن وصل خسائر نقاط النهاية مباشرةً بمنحنى يجعل نتائج الملاءمة متأثرة بجدولة معدل التعلم وحجم الدفعة وطول التدريب. وقد يكون النموذج الأقوى قد حصل فحسب على ميزانية أنسب لضبط المعاملات الفائقة. لذلك، ينبغي الاحتفاظ بمنحنيات تشمل نقاط تحقق متعددة، وتسجيل عمليات التشغيل الفاشلة وقواعد الاختيار، ومقارنة الإعدادات بعد ضبطها ضبطًا معقولًا. وعند الملاءمة، ينبغي الإبلاغ عن البواقي وعدم يقين المعاملات، واستخدام نقاط ميزانية لم تدخل في الملاءمة للتحقق من التنبؤات؛ ولا يجوز الادعاء بموثوقية الاستقراء استنادًا فقط إلى ارتفاع جودة الملاءمة على بيانات التدريب.[1] Scaling Laws for Neural Language Models[2] Training Compute-Optimal Large Language Models

11. قد تختلف أمثلية النشر عن أمثلية التدريب

الخطة التي تقتصر على تقليل خسارة التدريب لا تحتسب تكلفة عدد عمليات الاستدلال المستقبلية أو زمن الاستجابة أو ذاكرة المسرّع. وإذا كان النموذج نفسه سيُستدعى مرات كثيرة، فقد يكون استخدام نموذج أصغر وتدريبه مدة أطول أكثر فائدة من حيث تكلفة دورة الحياة الإجمالية؛ لكن نقطة التحول المحددة تعتمد على أطوال الطلبات الفعلية وحجم الدفعة والتكميم وعتاد تقديم الخدمة. كما يغير التعلم بالتعليمات في المراحل اللاحقة سلوك المهام، ولا تعني خسائر التدريب المسبق المتقاربة قابلية استخدام متساوية. ينبغي عند اتخاذ القرار إدراج تكلفة التدريب وتكلفة النشر الثابتة وتكلفة الاستدلال المتوقعة بوصفها أهدافًا صريحة، ثم توضيح مواضع قياس قيود الجودة.[2] Training Compute-Optimal Large Language Models[3] Scaling Instruction-Finetuned Language Models

المعادلات الأساسية والاشتقاقات

مسار المنهج والأدلة

الرسوم التحليلية والأمثلة العددية

مثال محلول قابل لإعادة الحساب

بافتراض C=256 وα=0.34 وβ=0.28، وأن A=B=1، يعطي توازن المشتقات N بقيمة تقارب 16.734 وD بقيمة تقارب 15.298. هذه حسابات مطبَّعة، وليست وصفة تدريب أو معاملات ملائمة.

مقارنة الطرائق

خطة التحقق والتجارب

1. تحديد أهداف الجودة ونطاق ميزانية الحوسبة المسموح به ومعايير الإخفاق المقبول مسبقًا، وعدم تغيير مقياس تحديد الفائز بعد الاطلاع على النتائج.
2. تكوين شبكة تقاطعية تضم، على الأقل، عدة أحجام للمعاملات وميزانيات متعددة للرموز؛ وحفظ إصدار البيانات وقواعد إزالة التكرار وأوزان المزج والبذور العشوائية.
3. استخدام قواعد ضبط واضحة وقابلة للتحقق للأحجام المختلفة، وتسجيل الحوسبة الإضافية للضبط، وعدم حذف عمليات التدريب الفاشلة من الميزانية.
4. الاحتفاظ بنقاط التحقق الوسيطة أثناء التدريب، ومقارنة منحنيات الخسارة مقابل الحوسبة المستهلكة، والتمييز بين عدم التقارب ومحدودية السعة.
5. حجز نقاط ميزانية وتقييمات خارج المجال لا تدخل في الملاءمة، وتقديم تحليل حساسية لاختيار النموذج.
6. ثم إجراء قياسات استدلال محدودة النطاق باستخدام طلبات الخدمة المستهدفة، للتحقق مما إذا كانت توصيات التدريب لا تزال مناسبة في ظل قيود زمن الاستجابة وذاكرة المسرّع والتكلفة الإجمالية.

نطاق الانطباق والقيود

• كل من الخسارة القابلة للفصل وC=κND تقريب تحليلي.
• الأسس المفترضة في الشكل لا تمثل ملاءمة تجريبية أجراها هذا المقال.
• قد تؤدي تغييرات البيانات وخوارزمية التحسين والبنية إلى إبطال الاستقراء.
• لم تُضَف تجارب تدريب مسبق أو تقديرات لتكاليف تجارية.

مطابقة المصادر الأولية بالادعاءات

1. Scaling Laws for Neural Language ModelsKaplan et al. · 2020-01-23v1; sections 1 and 6
2. Training Compute-Optimal Large Language ModelsHoffmann et al. · 2022-03-29v1; section 3 and section 4
3. Scaling Instruction-Finetuned Language ModelsChung et al. · 2022-10-20abstract; historical 2022 research
4. Deduplicating Training Data Makes Language Models Better, , , , , , · 2021-07-14Abstract; 原文方法、理论和实验章节见作者原始论文链接