التعلّم الأمثل حسابيًا يعتمد على طريقة احتساب التكاليف

1. يتطلب الحل الأمثل سؤالًا مكتملًا

تترك عبارة «النموذج الأمثل حسابيًا» ثلاثة اختيارات على الأقل دون تصريح: أي جودة يجري تحسينها، وأي موارد تُحتسب، وأي بدائل ممكنة. فتقليل الإنتروبيا المتقاطعة على بيانات محجوزة عند تثبيت العمليات الحسابية للتدريب يختلف عن تقليل الإنفاق الكلي عند مستوى مطلوب من جودة المهمة. وقد يكون نموذج جذابًا لتشغيل تدريبي واحد، لكنه غير جذاب عند الاستعلام منه مرات كثيرة.

لذلك فإن الناتج المناسب لتحليل التحجيم هو قرار مشروط، لا نسبة عامة بين المعلمات والرموز. يدرس هذا المنظور نموذج خسارة بسيطًا عمدًا بوحدات مطبّعة. وتكمن فائدته في إمكان اشتقاق الحل الأمثل والتحقق منه بصورة مستقلة. كما أن بساطته تُظهر ما أُغفل: فجودة البيانات، والأمثلة المكررة، وطول السياق، وعدم كفاءة التحسين، واستغلال العتاد ليست مخفية داخل معامل تجريبي غير مفسر.

2. توفر الأبحاث المختارة سياقًا، لا ثابتًا كونيًا

قاس Kaplan وزملاؤه تحجيم خسارة النماذج اللغوية مع حجم النموذج والبيانات وحوسبة التدريب. ودرس Hoffmann وزملاؤه تخصيص الحوسبة، وتوصلوا في دراستهم إلى توازن عملي مختلف بين المعلمات ورموز التدريب. وحلل Bahri وزملاؤه الآليات والأنظمة التي يمكن أن تنتج سلوك التحجيم العصبي.

لا تعني هذه المساهمات أن جميع المهام تشترك في أس واحد، أو أن قانونًا ملاءمًا ينتقل دون تغيير بين مسارات معالجة البيانات وعائلات النماذج. نستخدمها لتحفيز تحليل صريح للتخصيص، لا لإعلان أفضل حجم حالي للنموذج. وتختار الأمثلة العددية أدناه معاملاتها وأسسها الخاصة. ولا تمثل أي نقطة معروضة مشاهدة تجريبية منشورة، كما لا تمثل أي منها تنبؤًا لنموذج إنتاجي مسمى. [1], [2], [3]

3. يكشف نموذج خسارة قابل للفصل عن المفاضلة

نفترض أن الخسارة الزائدة فوق حد أدنى غير قابل للاختزال هي a مضروبًا في N مرفوعًا للأس سالب alpha، مضافًا إليه b مضروبًا في D مرفوعًا للأس سالب beta. هنا يمثل N وD عددَي المعلمات والرموز بلا أبعاد نسبةً إلى وحدات مرجعية محددة، والثوابت الأربعة كلها موجبة. تقلل زيادة أي مورد الحد المقابل له، لكنها تقلل المورد الآخر عند تثبيت الميزانية الجدائية.

افتراض قابلية الفصل افتراض جوهري. فهو يستبعد التفاعلات التي تغيّر فيها البيانات الإضافية أس حجم النموذج، ويعامل جميع الرموز المحتسبة على أنها متساوية الفائدة. كما يفترض أن إجراء التدريب المختار يبلغ الخسارة الممثلة بالنموذج لكل تخصيص. وهذه الافتراضات ليست نتائج تترتب على منحنى مرسوم أملس، بل فرضيات ينبغي لدراسة ملاءمة فعلية اختبارها باستخدام بنية البواقي ومقاييس موارد محجوزة للتحقق.

4. اشتقاق التخصيص المشروط

لتكن حوسبة التدريب المطبّعة C=kND مع k>0. بحذف D يتبقى a مضروبًا في N مرفوعًا للأس سالب alpha، مضافًا إليه b مضروبًا في (kN/C) مرفوعًا للأس beta. نشتق بالنسبة إلى log N. عند حل أمثل داخلي، يساوي alpha مضروبًا في مساهمة الخسارة المحدودة بالنموذج، beta مضروبًا في المساهمة المحدودة بالبيانات.

يعطي الحل تناسب N مع C مرفوعًا للأس beta/(alpha+beta)، بينما يتناسب D مع C مرفوعًا للأس alpha/(alpha+beta). تنشأ أسس متساوية للموارد عندما يتساوى alpha وbeta؛ وليست هذه مساواة يفرضها قيد الحوسبة. وتعتمد النسبة المثلى أيضًا على a وb وk ووحدات الموارد. لذا فإن ذكر نسبة عددية دون هذه التعريفات يجعل إعادة إنتاج التخصيص مستحيلة، حتى لو كان حساب المشتقة نفسه صحيحًا.

5. مثال متناظر يمكن التحقق منه يدويًا

نضع a=b=k=1 وalpha=beta=1/2. عند C=10,000، يكون الحل الأمثل N=D=100 وتكون الخسارة الزائدة 0.2. وينتج ذلك من الاشتقاق ومن التحدب بالنسبة إلى log N معًا. وعند N=25 وD=400، تكون الخسارة الزائدة 0.25؛ وتظهر القيمة نفسها عند عكس التخصيص.

هذه كميات مطبّعة، وليست مليارات من المعلمات أو الرموز. ودورها إظهار كيف يمكن لتخصيص ما أن يهدر ميزانية جدائية ثابتة. يقارن الرسم الأول عدة ميزانيات حوسبة، ويقارن الفحص القابل للتنفيذ الحل الأمثل التحليلي ببحث كثيف على مقياس لوغاريتمي. والبحث فحص اتساق عددي لهذا النموذج، لا تحقق تجريبي مستقل من قانون القوة المفترض.

6. يتحول عدم اليقين في الأسس إلى عدم يقين في التخصيص

يكشف أخذ اللوغاريتمات أن لوغاريتم العدد الأمثل المتوقع للمعلمات يعتمد على المعاملات والأسس الملاءمة معًا. وعند الميزانيات الكبيرة، قد يؤدي حتى عدم يقين صغير في أس الحوسبة إلى تغير ضربي كبير في الحجم الموصى به. ولذلك قد تقتضي ملاءمة تبدو قريبة من الخسائر المرصودة تخصيصًا مستقرأ خارج نطاق البيانات ضعيف التحديد.

للتوضيح، نقارن زوجين افتراضيين من الأسس بدلًا من ملاءمتهما لمشاهدات مختلقة. فتغيير alpha مع تثبيت beta يغيّر ميل log N بالنسبة إلى log C، لا المقطع فقط. وينبغي للتحليل الفعلي أن ينقل عدم اليقين المشترك للمعلمات، لأن المعاملات والأسس قد تكون شديدة الارتباط. وقد يؤدي الاقتصار على عرض الخطأ المعياري للتنبؤ النهائي بالخسارة إلى إخفاء عدم اليقين في القرار الذي أنتجه.

7. يغيّر سقف محدود للبيانات المجموعة الممكنة

إذا لم يتوافر سوى Dmax من الرموز المتميزة القابلة للاستخدام وكان النموذج يستبعد التكرار، فقد يتطلب الحل الأمثل غير المقيد بيانات أكثر مما هو متاح. وعلى الحد D=Dmax، تقتضي ميزانية جدائية ثابتة N=C/(kDmax). عندئذ لا يعود التخصيص متبعًا لقانون القوة الداخلي غير المقيد، بل يحدده قيد الإمكان.

إن السماح بتكرار دورات المرور على البيانات لا يزيل هذا القيد تلقائيًا. فقانون جرت ملاءمته لبيانات متميزة لا يمكنه أن يفسر الرموز المكررة ضمنيًا على أنها أمثلة جديدة تحمل القدر نفسه من المعلومات. بل يلزم نموذج للبيانات الفعالة أو علاقة تجريبية منفصلة للتكرار. والنقطة المهمة رياضية: يجب أن تعرف خوارزمية التحسين المجموعة الممكنة. فزيادة ميزانية الحوسبة المعلنة لا تولّد معلومات مستقلة جديدة بذاتها، وينبغي وصف الحل المقيد بهذه الصفة.

8. تغيّر تكاليف الاستدلال موضع الحل الأمثل

نضيف إلى الميزانية تكلفة استدلال مطبّعة qN، حيث يمثل q عبء العمل المفترض طوال العمر التشغيلي ومعامل تكلفة الاستدلال لكل معلمة. عندئذ Ctotal=N(kD+q)، ومن ثم تصبح كمية البيانات الممكنة (Ctotal/N-q)/k. وتستهلك زيادة N جزءًا من ميزانية جداء التدريب إضافة إلى تكلفة أخرى. وعادةً لا يعود الحل الأمثل للتدريب وحده أمثل تحت هذا الهدف.

في المثال المتناظر عند Ctotal=10,000، تدفع قيمة موجبة لـ q الحل الأمثل نحو N أصغر من تخصيص N=D=100 الناتج عند q=0. تحل الشيفرة المرافقة معادلة السكون المعلنة وتقارن التخصيصات الممكنة المجاورة. وهذه حسابات نموذجية، وليست تكاليف مقاسة لخدمة الاستدلال. وقد أُغفل الانتباه، وطول السياق، وتجميع الطلبات في دفعات، وحركة نقل البيانات في الذاكرة، وتباين الطلبات. يوضح المثال أهمية حدود احتساب التكاليف؛ لكنه لا يقدم تقديرًا لتكلفة نظام إنتاجي.

9. لا يمكن استبدال مقاييس الجودة بعضها ببعض دون تبعات

تقيس الإنتروبيا المتقاطعة درجة لوغاريتمية متوقعة وفق توزيع تقييم وطريقة تقسيم إلى رموز. وقد تهتم مهمة تشغيلية بدلًا من ذلك بالصحة التامة، أو المعايرة، أو زمن الاستجابة، أو الأداء على مجموعة فرعية نادرة. ولا يحدد التحسن السلس في متوسط الخسارة مقدار التغير في كل واحدة من هذه النتائج.

ينبغي لقرار النشر إما أن يحسّن مقياس المهمة اللاحقة الفعلي، أو أن يتحقق من العلاقة بين الخسارة الممثلة بالنموذج وذلك المقياس. ويجب أن يستخدم التحقق بيانات من خارج عملية الملاءمة. وإذا اختير معيار مرجعي لأنه يفضّل التخصيص المقترح، فإن الاتفاق الظاهري يكون عرضة لتحيز الاختيار. وقد تحدد مقاييس متعددة جبهة باريتو بدلًا من حل أمثل وحيد؛ وعندئذ ينبغي لقاعدة القرار أن توضح تفضيلات مَن تحسم المفاضلة، بدلًا من اعتبار دالة خسارة واحدة ذات قيمة عددية واحدة كافية بداهةً.

10. يتطلب اختبار ادعاء عن التحجيم مقاييس موارد محجوزة للتحقق

تغطي دراسة الملاءمة المفيدة توليفات من الموارد، بدل الاقتصار على تسلسل قطري ينمو فيه N وD معًا. وإلا فقد يصعب تعيين التأثيرات المنفصلة. وينبغي أن تسجل التشغيلات الفاشلة، وجداول التدريب، والرموز الفعالة، ومرشحات الجودة، وأن تحجز مقاييس موارد أو تخصيصات للتحقق.

ينبغي لرسوم البواقي اختبار الانحرافات المنهجية مثل التشبع، أو حدود التفاعل، أو تغير الأسس. وينبغي تقييد الاستقراء خارج نطاق البيانات بالنظام المرصود وإرفاقه بتحليل الحساسية للنماذج البديلة. ولا تصلح نقاط الحوسبة الإضافية تلقائيًا تصميمًا تختلط فيه التأثيرات. فقد تكون شبكة صغيرة مختارة بعناية تفصل تأثيرات النموذج والبيانات أكثر إفادة من تشغيلات كثيرة على نسبة موارد واحدة. وينبع البروتوكول المقترح من مشكلة التعيين هذه، لا من افتراض أن كل منحنى يجب أن يتبع قانون قوة.

11. ما الذي يمكن تقريره استنادًا إلى الأدلة الحالية

تتحقق الفحوص المرافقة من الحل الداخلي، وإيجابية المشتقة الثانية بالنسبة إلى لوغاريتم الحجم، وتساوي المساهمات الحدية الموزونة، والسلوك الحدّي تحت سقف للبيانات. كما تحل المثال المتضمن للاستدلال بصورة مستقلة وتقارن النتيجة بتخصيصات ممكنة مجاورة. ويعرض الشكلان المفاضلة المعلنة الخاصة بالتدريب وحده وتغير الحل الأمثل مع ازدياد تكلفة الاستدلال.

لم يُدرّب أي نموذج كبير، ولم تُقدّر معاملات تحجيم من مشاهدات جديدة. والخلاصة نهج منضبط لاتخاذ القرار: تحديد الكمية المراد تحسينها أولًا، ثم ملاءمة نموذج الاستجابة واختبار مدى صموده، ثم الحل ضمن القيود الفعلية، وأخيرًا اختبار التخصيص المختار. وتكمن قيمة قانون التحجيم تحديدًا في وضوح هذه السلسلة. ودونها، قد تصبح عبارة «أمثل حسابيًا» تسمية تُلصق بتفضيل للموارد لم يخضع للفحص.

12. لا يلزم استنفاد ميزانية يحددها قيد متباينة

يجعل نموذج قانون القوة ذو المعاملات والأسس الموجبة موارد التدريب الإضافية مفيدة دائمًا، ولذلك يستنفد الحل الأمثل غير المقيد الميزانية المتاحة. وقد تشمل القرارات الفعلية عتبة جودة أو عقوبة على الزمن المنقضي، وحينئذ قد يكون ترك جزء من الميزانية دون استخدام هو الأمثل. ومن ثم فإن قيد المساواة اختيار نمذجي، لا التزام بالإنفاق. وقبل تحسين التخصيص، ينبغي التمييز بين حد أقصى مسموح للتكلفة وإنفاق مطلوب للموارد.

نُفذ محليًا · نطاق محدود

مشتقات التخصيص، وسقف البيانات، وميزانية الاستدلال

تسع حالات لمعاملات قانون القوة وميزانياته، و101 تكلفة استدلال بشروط سكون دقيقة. لا يحقق ذلك تجريبيًا صحة نموذج الخسارة أو التكلفة.

نجحت جميع التأكيدات البرمجية البالغ عددها 342. تتحقق هذه الفحوص من المثال المقدم، لا من الأنظمة المستشهد بها.

{
  "symmetric_optimum": [
    100.0,
    100.0
  ],
  "data_cap_optimum": [
    400.0,
    25
  ],
  "inference_q100_optimum": [
    43.01597090019469,
    132.47179572447453
  ]
}

مشغّل المثال · محمّل النماذج · نماذج التدريب · نماذج التمثيل · نماذج التوليد · نماذج الموثوقيةقراءة نتائج الفحص كاملة

نموذج تحليلي معلن

أربع معادلات وافتراضات صريحة

أمثلة مبنية · بيانات قابلة لإعادة الإنتاج

فحص الحجة الكمية

حُسبت هذه المنحنيات من النماذج المعلنة. وهي ليست مشاهدات من الدراسات المستشهد بها. ويتضمن كل شكل بياناته العددية ونسخته المتجهية.

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

تنزيل CSVتنزيل مصدر SVGإعادة الإنتاج باستخدام Python

أي دليل يجيب عن أي سؤال؟

بروتوكول مقترح للتحقق

هذا تصميم مقترح للتقييم. لم يُجرَ أي اختبار معياري لنظام إنتاجي أو عتاد. والنماذج المحدودة التي نُفذت بصورة منفصلة موثقة في الفحوص القابلة للتنفيذ.

1. تحديد الجودة، ووحدات الموارد، وحدود احتساب التكاليف، وإمداد البيانات الممكن.
2. اختيار شبكة تغيّر حجم النموذج وحجم البيانات بصورة منفصلة.
3. تسجيل جميع جداول التدريب، والتشغيلات الفاشلة، وأعداد الرموز الفعالة.
4. ملاءمة نماذج استجابة متنافسة وفحص البنية المنتظمة في البواقي.
5. نقل عدم اليقين المشترك للملاءمة إلى عدم يقين التخصيص عند مقاييس محجوزة للتحقق.
6. التحقق من التخصيص المختار في ضوء الجودة الفعلية للمهام اللاحقة والتكلفة الكلية المقاسة.

ما الذي تثبته المصادر الأولية

حدود هذا التحليل

• جميع المعاملات العددية توضيحية وبلا أبعاد.
• لم يُنفذ أي تشغيل تدريبي أو ملاءمة تجريبية لقانون تحجيم.
• تستبعد الخسارة القابلة للفصل جودة البيانات والتكرار وتأثيرات التفاعل.
• تكلفة الاستدلال نموذج مبسط، وليست اختبارًا معياريًا لخدمة الاستدلال.

مراجعة تحليلية مركزة لثلاثة مصادر أولية تأسيسية مختارة، مع أمثلة أصلية محلولة. وليست مسحًا شاملًا أو منهجيًا للأدبيات حتى 2026. وقد سُجلت ملاحظات الاطلاع على المصادر وإصداراتها مع قائمة المراجع.

أسئلة من شأنها تغيير الاستنتاج

1. أي قرارات تخصيص تظل مستقرة في ظل نماذج خسارة بديلة معقولة؟
2. كيف ينبغي إدراج جودة البيانات والتكرار في نموذج موارد قابل للتعيين؟
3. متى يهيمن الاستدلال طوال العمر التشغيلي على تحديد حجم النموذج الأمثل اقتصاديًا؟

المراجع

1. Jared Kaplan, Sam McCandlish, Tom Henighan et al.. Scaling Laws for Neural Language Models. arXiv:2001.08361 (2020). 10.48550/arXiv.2001.08361.
2. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch et al.. Training Compute-Optimal Large Language Models. arXiv:2203.15556 (2022). 10.48550/arXiv.2203.15556.
3. Yasaman Bahri, Ethan Dyer, Jared Kaplan et al.. Explaining Neural Scaling Laws. Proceedings of the National Academy of Sciences 121(27), e2311878121 (2024). 10.1073/pnas.2311878121.

الاطلاع على المصدر [1]. فُحص السجل الببليوغرافي الأولي والملخص؛ ولم تُجرَ مراجعة شاملة للنص الكامل أو المواد التكميلية.

الاطلاع على المصدر [2]. فُحص السجل الأولي ومقدمة مخطوطة المؤلف بصيغة HTML وبنية القسم 3. ولا يُستخدم أي معامل منشور في أشكال المقال.

الاطلاع على المصدر [3]. فُحص السجل الببليوغرافي الأولي والملخص؛ ولم تُجرَ مراجعة شاملة للنص الكامل أو المواد التكميلية.

ملاحظة الإصدار. يوفر سجل المؤلف الأولي v2 بتاريخ 29 أبريل 2024 المرجع الببليوغرافي النهائي في PNAS لعام 2024؛ ونُشرت مخطوطة المؤلف أول مرة عام 2021.

جرى التحقق من هويات المراجع بمقارنتها بالسجلات الأولية للناشرين والمؤلفين. وتصف ملاحظات الاطلاع على المصادر والإصدارات أدناه نطاق العمل؛ وهذه ليست مراجعة شاملة للنصوص الكاملة.

التأليف والمنشأ

كتبه وراجعه تقنيًا مراجعة ذاتية Codex (ذكاء اصطناعي). تحدد المراجع الباحثين الأصليين؛ وتُنسب البنى التحليلية وتصاميم التقييم المقترحة إلى هذا المقال.

الأغلفة رسوم مفاهيمية من ImageGen. أما الأشكال التقنية فمحسوبة من نماذج معلنة أو أمثلة محدودة، مع توفير Python وCSV. وهي ليست قياسات لمنتجات منشورة أو إعادة إنتاج لاختبارات معيارية للأداء.

لا تملك هذه المسودة المحلية سجلًا لمراجعة أقران مستقلة أو قبول في مجلة. وتفحص الأمثلة القابلة للتنفيذ ذات النطاق المحدود النماذج الصغيرة المذكورة؛ ولا تمثل تحققًا صوريًا من الأنظمة المستشهد بها.