هندسة الأدلة في التوليد المعزَّز بالاسترجاع: أخطاء الاستدعاء، وإسناد الاستشهادات، والموثوقية من البداية إلى النهاية

1. كيف تتوزع الأدوار بين الذاكرة البارامترية والوثائق الخارجية

جمعت دراسة RAG التي أجراها Lewis وزملاؤه بين نموذج توليدي ومخزن وثائق غير بارامتري قابل للاسترجاع. ويستخدم RAG-Sequence وRAG-Token أسلوبي نمذجة مختلفين لكيفية مشاركة الوثائق المسترجعة في التوليد. تتيح هذه الآلية للنموذج الاستفادة من نصوص خارجية، لكن محتوى مستودع الاسترجاع ونطاق تغطيته وإصداره تظل محدِّدات لحدود الأدلة المتاحة؛ ولا يكتسب النموذج تلقائيًا معرفة كاملة بالعالم بمجرد ربطه بالاسترجاع.[1] Retrieval-Augmented Generation for Knowledge-Intensive

2. يحسّن DPR مرحلة الاسترجاع

يستخدم DPR مُرمِّزًا مزدوجًا لتمثيل الأسئلة والمقاطع في صورة متجهات، ويبحث عن النصوص المرشحة بحسب التشابه. وبذلك لا يعود الاسترجاع معتمدًا على المطابقة اللفظية وحدها، لكن تقارب المتجهات قد يعكس مجرد تقارب موضوعي. وما زال على النظام التمييز بين ذكر المقطع للكيان نفسه وإجابته فعلًا عن السؤال نفسه، وبين صلة المحتوى دلاليًا وانطباقه من حيث الزمن والمنطقة والشروط.[2] Dense Passage Retrieval for Open-Domain Question Answer

3. كيف نعيد رسم نتائج الأوراق البحثية بأمانة

أبلغ الجدول 1 في ورقة RAG الأصلية عن درجات المطابقة التامة لـDPR وRAG-Token وRAG-Sequence في اختبار Natural Questions، وهي 41.5 و44.1 و44.5 على التوالي. وهذه مقارنة بين أنظمة مدرجة في جدول تاريخي واحد، مع وجود اختلافات في التدريب والمكونات معًا؛ لذا لا يجوز عزو فروق الدرجات كلها إلى فائدة سببية لوحدة منفردة. أعادت نسخة سابقة رسم ذلك الجدول؛ أما الشكل 2 في هذه النسخة فقد استُبدل به حساب تحليلي لسلسلة الأدلة الداعمة، ولم تعد تلك الدرجات التاريخية تُعرض بوصفها تجربة حالية.[1] Retrieval-Augmented Generation for Knowledge-Intensive

4. قد يستمر الإخفاق رغم إدراج الأدلة في السياق

لاحظت دراسة Lost in the Middle، في مهام الإجابة عن الأسئلة اعتمادًا على وثائق متعددة واسترجاع أزواج المفتاح والقيمة، أن موضع المعلومات ذات الصلة يؤثر في أداء النماذج المدروسة. يذكّرنا هذا الاكتشاف بأن اتساع نافذة الإدخال للوثائق يختلف عن قدرة النموذج على استخدام المعلومات في جميع المواضع بصورة مستقرة. ولم يثبت أن جميع النماذج اللاحقة تتدهور بالمقدار نفسه؛ فالنماذج والموجِّهات والمهام الجديدة تحتاج إلى قياسات جديدة.[3] Lost in the Middle: How Language Models Use Long Contex

5. ينبغي التحقق من روابط الاستشهادات والدعم المنطقي كلٍّ على حدة

قد تضع إجابة رابطًا صحيحًا بعد استنتاج خاطئ، أو تعمم نتائج ذات شروط انطباق ضيقة على جميع الحالات. تقترح هذه المراجعة حفظ مطابقة «الادعاء—موضع مقتطف الدليل—إصدار المصدر» لكل حقيقة أساسية، والتحقق مما إذا كان الدليل يستلزم الاستنتاج فعلًا. وفي المقارنات والتواريخ والأعداد، ينبغي التحقق من المقامات والوحدات وشروط الانطباق؛ أما الاستدلالات فينبغي وسمها صراحة في المتن بأنها تحليل.作者分析与复核建议 / Author analysis

6. تفكيك قابل للتنفيذ لعملية التقييم

تُنشَأ أولًا مجموعة تتضمن أسئلة قابلة للإجابة وأخرى غير قابلة لها، مع حفظ الإجابات المرجعية الموثوقة ومواضع الأدلة. ويُقاس كلٌّ من استدعاء الأدلة المرشحة وصحة الإجابات النهائية وصحة وجهات الاستشهادات ونسبة الادعاءات المدعومة على حدة، مع رصد الامتناع عن الإجابة بصورة منفصلة. ولا ينبغي دمج هذه المؤشرات في «دقة» غير معرَّفة. فإذا اقتصر المقيمون على النظر إلى الطلاقة اللغوية، فقد يحصل النظام على تقييم مرتفع أكثر مما ينبغي عند غياب الأدلة.作者分析与复核建议 / Author analysis

7. كيف تُسجَّل التحديثات والتعارضات

عند تنقيح المصادر أو سحبها أو تعارض الصيغ المعتمدة لدى مؤسسات مختلفة، ينبغي أولًا حفظ وقت الوصول والإصدار المحدد، ثم بيان الصيغة المعتمدة وسبب اختيارها. فنتيجة الاسترجاع ليست سوى خيط للاكتشاف، والتحقق من النص الأصلي هو أساس الحقائق القابلة للتتبع. وبالنسبة إلى المعلومات التي لم تُؤكَّد بعد، قد يكون المخرج الصحيح هو توضيح الفجوة أو إرجاء الاستنتاج، بدلًا من تركيب إجماع ظاهري من صفحات ويب يعيد بعضها نشر بعض.作者分析与复核建议 / Author analysis

وضع تعريف إجرائي لـ«الدعم»

في مثال «تفوق طريقة معينة على خط أساس في مجموعة بيانات معينة»، يجب أن يوضح الدليل المقبول، على الأقل، إصدار الطريقة وتقسيم البيانات وخط الأساس ومقياس التقييم. فإذا اختبر النص الأصلي مجموعة اختبار باللغة الإنجليزية فقط، فلا يجوز للدليل القرائي حذف شرط اللغة؛ وإذا كانت القيم مأخوذة من مجموعة التطوير، فلا يجوز إعادة صياغتها بوصفها أداءً على مجموعة اختبار مستقلة. وكلما كان نطاق ما يدعمه المصدر أدق، سهل على القراء اللاحقين اكتشاف الخلافات الحقيقية، بدلًا من الجدل حول عبارات «أداء أفضل» تحمل معاني مختلفة.作者分析与复核建议 / Author analysis

8. ينبغي صياغة معدلات النجاح بوصفها أحداثًا شرطية، لا ضربها اعتباطًا

لنرمز بـR إلى احتواء نتائج الاسترجاع على أدلة كافية، وبـG إلى توليد استنتاج صحيح ومدعوم اعتمادًا على تلك المجموعة من الأدلة. يكون معدل النجاح المشترك P(R)P(G|R)، من دون الحاجة إلى افتراض استقلال R وG. ولا يكون للضرب معنى إلا إذا عُرِّف الحد الثاني صراحة بوصفه معدل نجاح شرطيًا. وإذا ظل بإمكان النموذج الإجابة إجابة صحيحة اعتمادًا على الذاكرة البارامترية عند فوات الاسترجاع، فإن معدل صحة الإجابة النهائية يشمل أيضًا P(صحة الإجابة|عدم تحقق R)P(عدم تحقق R)، ولا يمكن مساواته مباشرة بمعدل النجاح المدعوم بالأدلة. وينبغي أن يسجل التقييم صحة الإجابة ووجود أدلة كافية قابلة للإسناد معًا، لتجنب احتساب الإجابة الصحيحة بالمصادفة دليلًا على موثوقية سلسلة الاسترجاع.[1] Retrieval-Augmented Generation for Knowledge-Intensive [2] Dense Passage Retrieval for Open-Domain Question Answer

9. صحة الاستشهاد وصلته وكفايته أحكام مختلفة

قد يكون الاستشهاد موجودًا فعلًا ويناقش الموضوع نفسه، لكنه لا يدعم الادعاء المجاور له مباشرة. ويتطلب الإسناد على مستوى الجملة، على الأقل، التحقق من إمكان الوصول إلى المصدر، واحتواء المقطع المحدد على معلومات داعمة، واحتفاظ المتن بشروط الانطباق، وتغطية المصادر المتعددة لجميع أجزاء الادعاء المركب. وينبغي إظهار تعارض المواد صراحة، لا إزالته عبر انتقاء مقطع مستساغ وحده. وعلى النظام حفظ إصدار الوثيقة والمقتطفات المسترجعة والسياق الذي كان ظاهرًا فعلًا وقت التوليد؛ فالاحتفاظ بالرابط النهائي وحده لا يتيح إعادة بناء ظروف الأدلة آنذاك.[1] Retrieval-Augmented Generation for Knowledge-Intensive [3] Lost in the Middle: How Language Models Use Long Contex

10. تحديد المكونات المخفقة باستخدام تجارب الاستبدال

مع إبقاء السؤال والمولِّد ثابتين، تُقدَّم على نحو منفصل أدلة معيارية ذهبية كافية، ونتائج الاسترجاع الحالية، ومجموعة لا تحتوي إلا على مشتِّتات، وسياق فارغ. يدل استمرار الإخفاق مع الأدلة المعيارية الذهبية على أن المشكلة لا تقتصر على الاستدعاء؛ أما الإخفاق مع الاسترجاع الحالي والنجاح مع الأدلة المعيارية الذهبية فيشيران إلى أولوية فحص الاسترجاع أو اختيار السياق. وينبغي أيضًا تغيير مواضع المقاطع الأساسية داخل مجموعة الأدلة نفسها، لتجنب الخلط بين زيادة الطول وتغير مواضع الأدلة. هذه التجربة تصميم لم يُنفَّذ بعد، ولا يجوز الإبلاغ عن فروق مقاسة بين المراحل إلا بعد تسجيل المدخلات الفعلية وإصدارات النماذج والمخرجات.[2] Dense Passage Retrieval for Open-Domain Question Answer[3] Lost in the Middle: How Language Models Use Long Contex

11. تحديث الفهرس جزء من قابلية إعادة الإنتاج أيضًا

تتغير نتائج الاسترجاع بتغير الزحف والتقسيم وإزالة التكرارات ونموذج التضمين وفهرس أقرب الجيران. ولا تعني الإجابات المختلفة عن السؤال نفسه باستخدام نموذج اللغة نفسه بالضرورة أن المولِّد قد تغير. ويتطلب التحقق الكامل لقطة للفهرس أو قائمة تتيح إعادة بنائه، وقواعد تقسيم الوثائق إلى مقاطع، وتواريخ الوثائق، وإعدادات الترتيب؛ كما ينبغي تسجيل كيفية انتقال آثار حذف الوثائق وتصحيحها عبر النظام. وفي الأسئلة الحساسة للزمن، يجب أيضًا حفظ قابلية الوصول وتاريخ سريان الحقائق كلٍّ على حدة. وتقلل إزالة التكرارات من التعرض المتكرر، لكنها لا تغني عن تقييم جودة المصادر والتعارضات.[4] Deduplicating Training Data Makes Language Models Bette[1] Retrieval-Augmented Generation for Knowledge-Intensive

المعادلات الأساسية واشتقاقاتها

مسار المنهج والأدلة

الرسوم التحليلية والأمثلة العددية

مثال قابل لإعادة الحساب

إذا كان معدل استرجاع الأدلة الداعمة 0.8، وكان معدل التوليد المستند إلى الأدلة بعد نجاح الاسترجاع 0.9، كان المعدل المشترك 0.72. وهذا لا يساوي معدل دقة جميع الإجابات؛ فالتخمين الصحيح عند غياب الأدلة أو الخطأ عند وجودها يجب احتسابهما على حدة.

مقارنة المناهج

خطة التحقق والتجارب

1. حفظ مجموعة الوثائق ولقطة الفهرس، وتسجيل نموذج التضمين وإعدادات التقسيم وإزالة التكرارات والبحث عن أقرب الجيران وإعادة الترتيب، وتحديد تاريخ القطع للبيانات.
2. وسم الأدلة اللازمة وشروط الانطباق التي لا يجوز حذفها لكل سؤال؛ وحفظ خلافات الموسِّمين في سجل مستقل.
3. استخدام سياقات الأدلة المعيارية الذهبية والاسترجاع الفعلي والمشتِّتات والسياق الفارغ كلٍّ على حدة، مع تثبيت المولِّد وميزانية أخذ العينات.
4. وضع الأدلة الأساسية نفسها في مواضع مختلفة من السياق، وضبط الطول الإجمالي للتمييز بين أثر الموضع وتغير كمية المعلومات.
5. تقييم صحة الإجابة وكفاية الدعم وتحديد مواضع الاستشهادات والإفصاح عن التعارضات على نحو منفصل، من دون اختزال أبعاد متعددة في درجة واحدة غير شفافة.
6. إعادة تشغيل الطلب نفسه بعد تصحيح أحد المصادر أو حذفه، للتأكد من أن الأدلة التي فقدت صلاحيتها لا تستمر في الوصول بصمت عبر فهرس قديم أو ذاكرة تخزين مؤقت.

نطاق التطبيق والقيود

• يعتمد وسم الأدلة الكافية على المهمة والمجال.
• المنحنيات الاحتمالية ليست سوى توضيح تحليلي للأحداث الشرطية.
• لا تتحقق أنظمة الاسترجاع تلقائيًا من صحة المصادر الأصلية.
• لا توجد اختبارات معيارية جديدة للاسترجاع أو نتائج جديدة لمقارنة النماذج.

مطابقة المصادر الأولية بالادعاءات

1. Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. · 2020-05-22v4; section 2 and Table 1
2. Dense Passage Retrieval for Open-Domain Question AnsweringKarpukhin et al. · 2020-11EMNLP 2020 abstract and paper
3. Lost in the Middle: How Language Models Use Long ContextsLiu et al. · 2023-07-06v3 abstract; multi-document QA and key-value retrieval
4. Deduplicating Training Data Makes Language Models Better, , , , , , · 2021-07-14Abstract; 原文方法、理论和实验章节见作者原始论文链接