حلقة ضبط جودة بيانات التدريب الاصطناعية: التغطية وانحياز الانتقاء وفقدان معلومات الذيل

1. حجم البيانات لا يساوي مقدار المعلومات الفعالة

لا يعني توليد مليون نص الحصول على مليون إشارة تعلم مستقلة. فقد تتسبب المطالبات المتشابهة، واستخدام النموذج المعلِّم نفسه، والقوالب المكررة، والإجابات المتقاربة في ارتباط قوي بين العينات. وينبغي أيضًا تعريف الجودة على أبعاد منفصلة تشمل الصحة الواقعية، والصلة بالمهمة، وقابلية الاستخدام اللغوي، وتغطية الفئات المستهدفة؛ إذ قد تخفي درجة موحَّدة أوجه إخفاق مختلفة. يقدم Self-Instruct مسارًا محددًا لتوليد التعليمات بواسطة نموذج ثم ترشيحها، لكن أي سياق جديد يظل بحاجة إلى التحقق من قواعد التوليد والترشيح فيه، ولا يجوز اعتبار اسم الطريقة ضمانًا للجودة.[2] Self-Instruct: Aligning Language Models with Self-Gener

2. يغيّر المرشِّح الأخطاء والتغطية معًا

قد يقلل الترشيح الأخطاء الواضحة، لكنه قد يعطي أيضًا أولوية للاحتفاظ بالمحتوى الشائع، أو السهل الحكم عليه، أو المتوافق مع تفضيلات النموذج المعلِّم. وإذا كانت العينات النادرة الصحيحة أكثر عرضة للرفض الخاطئ، فستزداد ندرتها في التدريب اللاحق. وينبغي تقدير معدلات الاحتفاظ لكل فئة على حدة، بدلًا من الاكتفاء بالإبلاغ عن معدل القبول الإجمالي. وإذا اشترك المرشِّح والمولِّد في مواطن قصور، فقد يصدّق كل منهما أيضًا على أخطاء الآخر. وتتطلب المراجعة البشرية أخذ عينات طبقية بحسب المخاطر والذيل الطويل، ولا يجوز أن تقتصر على الدفعة الأسهل قبولًا.[1] Textbooks Are All You Need[2] Self-Instruct: Aligning Language Models with Self-Gener

3. يمكن البدء بحساب احتمالي لتغطية الذيل الطويل

بافتراض أن الاحتمال الأصلي لحدث ما هو p، وأن احتمال الاحتفاظ به عند الترشيح هو q، وأن عمليات التوليد البالغ عددها n مستقلة، فإن احتمال الاحتفاظ به مرة واحدة على الأقل يساوي 1−(1−pq)^n. توضح هذه الصيغة أن زيادة أخذ العينات وتحسين الاحتفاظ بالذيل الطويل يمكن أن يعوّض أحدهما الآخر، لكن الظهور مرة واحدة لا يعني كفاية التعلم. ويكون نموذج الاستقلالية مفرطًا في التفاؤل عندما تكون العينات الفعلية مترابطة، أو تكون مجموعة دعم توزيع النموذج المعلِّم محدودة، أو لا يُولَّد الحدث أصلًا. في الرسم، p=0.0001، وتأخذ q القيم 1 و0.5 و0.1، وذلك لتوضيح هذه العلاقة الشرطية فقط.[1] Textbooks Are All You Need

4. يتطلب الاستخدام التكراري للبيانات المولَّدة الاحتفاظ بمرتكزات من البيانات الحقيقية

تناقش الأبحاث المتعلقة بالتدريب التكراري باستخدام البيانات المولَّدة مخاطر فقدان ذيل التوزيع وتراكم الأخطاء؛ وتعتمد استنتاجاتها على النموذج ومزيج البيانات وظروف التدريب، ولا يمكن اختزالها في أن جميع البيانات الاصطناعية ضارة بالضرورة. ويتمثل الأمر الأساسي في تسجيل جيل المنشأ لكل عينة، ونسبة البيانات الحقيقية، وقواعد الترشيح وإعادة أخذ العينات، وتتبع الجودة حسب الطبقات على مجموعة اختبار حقيقية ثابتة. وإذا استمر استخدام النموذج الحالي للتوليد ونماذج مماثلة للتقييم، فقد تتشكل حلقة مغلقة تفتقر إلى حقيقة مرجعية خارجية.[1] Textbooks Are All You Need

5. ينبغي إجراء إزالة التكرارات وفحوص التلوث على مستوى عائلات العينات

قد تعبر إعادة صياغة السؤال الأصلي نفسه وترجماته وشروح النموذج المعلِّم حدود تقسيم التدريب والاختبار. فالاكتفاء بمقارنة قيم تجزئة السلاسل النصية يفوّت التنويعات الدلالية، في حين قد يحذف الترشيح الدلالي المفرط أسئلة متشابهة مشروعة خطأً. وينبغي حفظ عائلات العينات ومطالبات التوليد وروابط المصادر، وتجميع التنويعات المترابطة قبل التقسيم، وإجراء مراجعة بشرية لمطابقات التشابه. وتشير أبحاث إزالة التكرارات من بيانات التدريب إلى أن البيانات المكررة تؤثر في الحفظ وتفسير التقييم؛ لذا ينبغي تقديم هذه الفحوص إلى المراحل المبكرة من عملية التوليد الاصطناعي.[3] Deduplicating Training Data Makes Language Models Bette[2] Self-Instruct: Aligning Language Models with Self-Gener

6. يتطلب القبول ميزانيات متكافئة وتقييمًا مستقلًا ببيانات حقيقية

عند مقارنة خطط البيانات الاصطناعية، ينبغي تثبيت النموذج الأساسي وإجمالي عدد الرموز النصية للتدريب، وتغيير استراتيجية التوليد والمرشِّح ونسبة مزج البيانات الحقيقية والاصطناعية كلًّا على حدة. وينبغي الإبلاغ عن تكلفة التوليد وتكلفة المراجعة البشرية ومعدل التكرار والتغطية لكل فئة، وتجنب الاكتفاء بدرجة التدريب النهائية. ويجب أن يشمل الاختبار مدخلات حقيقية لم تُرَ سابقًا، وحالات نادرة، ومجموعات حالات أخطاء النموذج المعلِّم. رسم التغطية في هذا المقال مجرد حساب تمهيدي للتصميم، وليس شهادة على جودة المتن، كما أنه لا يثبت أمثلية أي نسبة مزج.[1] Textbooks Are All You Need[2] Self-Instruct: Aligning Language Models with Self-Gener[3] Deduplicating Training Data Makes Language Models Bette

المعادلات الأساسية واشتقاقاتها

سير المنهج والأدلة

رسوم تحليلية وأمثلة عددية

مثال محلول قابل لإعادة الحساب

عندما يكون n=10000، يبلغ احتمال الاحتفاظ مرة واحدة على الأقل عند q=1 نحو 0.632، وعند q=0.1 نحو 0.095. وقد يجعل الترابط بين العينات المولَّدة أو افتقار النموذج المعلِّم إلى هذا النمط نموذج الاستقلالية مفرطًا في التفاؤل.

مقارنة الطرائق

خطة المراجعة والتجارب

1. تعريف المهام المستهدفة وأبعاد الجودة مسبقًا، وتثبيت مجموعة اختبار حقيقية مستقلة.
2. تسجيل نموذج التوليد والمطالبات وإجراءات أخذ العينات وجيل المنشأ وكل عملية ترشيح.
3. التقسيم بحسب العائلات وإزالة التكرارات التامة والتقريبية، وفحص عينة من حالات التطابق الدلالي للتحقق من الإيجابيات الكاذبة والسلبيات الكاذبة.
4. تدقيق الصحة ومعدل الاحتفاظ والاستقلالية بحسب الفئات الشائعة والنادرة.
5. تثبيت عدد الرموز النصية للتدريب والنموذج الأساسي، وإجراء دراسات استئصال للمرشِّحات ونسب مزج البيانات الحقيقية والاصطناعية.
6. الإفصاح عن تكاليف التوليد والمراجعة والتدريب، والإبلاغ عن مجموعة حالات إخفاق النموذج المعلِّم وجودة الذيل الطويل.

نطاق التطبيق والقيود

• يفترض نموذج التغطية استقلالية أخذ العينات.
• لم تُجرَ تجارب تدريب على متن جديد أو تجارب تدهور.
• لا يضمن ظهور حالة من الذيل الطويل مرة واحدة تعلمها.
• قد تتعارض جودة الترشيح والتغطية.

المطابقة بين المصادر الأولية والادعاءات

1. Textbooks Are All You Need, , , , , , , , , , , , , , , , , , L12: View a PDF of the paper titled Textbooks Are All You Need, by Suriya Gunasekar and 18 other authors · 2023-06-20Abstract; 原文方法、理论和实验章节见作者原始论文链接
2. Self-Instruct: Aligning Language Models with Self-Generated Instructions, , , , , , · 2022-12-20Abstract; 原文方法、理论和实验章节见作者原始论文链接
3. Deduplicating Training Data Makes Language Models Better, , , , , , · 2021-07-14Abstract; 原文方法、理论和实验章节见作者原始论文链接