موثوقية الوكلاء المستخدمين للأدوات: آلات حالات الأفعال، ودلالات تكرار التنفيذ دون تغيير الأثر، وإسناد النتائج

1. يقدّم ReAct حلقة ملاحظة قابلة للتحديث

ينظّم ReAct الاستدلال والأفعال بالتناوب، بما يتيح للملاحظات الخارجية التأثير في الخطوة التالية. ومقارنةً بتوليد خطة كاملة دفعة واحدة، تتيح هذه البنية موضعًا للتحقق من تغيرات البيئة وتعديل الأفعال. لكنها لا تعالج تلقائيًا غياب الملاحظات أو سوء قراءة الصفحات أو المقدمات الخاطئة؛ فإذا لم يتحقق النظام من النتائج الفعلية التي تعيدها الأدوات، فقد لا تكون الحلقة سوى سرد متواصل للإخفاق.[1] ReAct: Synergizing Reasoning and Acting in Language Mod

2. يتعلم Toolformer متى يستدعي الأدوات وكيف يستدعيها

يدرس Toolformer اختيار استدعاءات API المفيدة لمواد التدريب بأسلوب التعلم بالإشراف الذاتي، لكي يتعلم النموذج سلوك استخدام الأدوات. وهو يعالج مسألة تعلم القدرة على استدعاء الأدوات، وليس منظومة الصلاحيات الكاملة في بيئة الإنتاج. فالقدرة على توليد معاملات API صحيحة، والحصول على تفويض الحساب، والتأكد من الآثار الجانبية، والتعامل مع إعادة المحاولة، شروط تقع على مستويات مختلفة. ولا تزال أنظمة النشر بحاجة إلى ضبط هذه الحدود خارج النموذج.[2] Toolformer: Language Models Can Teach Themselves to Use

3. يختبر WebArena المهام باستخدام الحالة المستهدفة

يوفر WebArena بيئات مواقع قابلة للتشغيل ومهام ممتدة عبر خطوات عديدة، ويركز التقييم على مدى تلبية النتائج الوظيفية لنية المستخدم. فقد يصل مساران تشغيليان إلى الحالة النهائية الصالحة نفسها رغم اختلاف نصيهما؛ وعلى العكس، قد تشبه أوصاف الأفعال الأمثلة، مع أن البيانات لم تُحفَظ. ترتبط خطوط الأساس التاريخية في الورقة بنماذجها وبيئاتها وتوقيتها، ولا تستخدم هذه المقالة تلك النتائج لاستنتاج قدرات وكلاء المتصفح الحاليين.[3] WebArena: A Realistic Web Environment for Building Auto

4. لماذا تحتاج المهام الطويلة إلى آليات للتعافي

إذا افترضنا أن احتمال نجاح كل خطوة، بشرط نجاح جميع الخطوات السابقة، ثابت ويساوي p، وأن إخفاق أي خطوة يؤدي إلى إخفاق المهمة بأكملها، فإن احتمال نجاح الخطوات n جميعها هو p مرفوعًا إلى القوة n. يستخدم الشكل 2 في هذه النسخة القيم p=0.90 و0.97 و0.99 لعرض حاصل ضرب سلسلة الاحتمالات الشرطية. وتغيّر إعادة المحاولة والأعطال المترابطة وأفعال التعافي والتفرعات في الأنظمة الفعلية هذه الاحتمالات الشرطية؛ لذلك لا يمكن استخدام المنحنيات لتقدير معدل النجاح الفعلي مباشرةً. وهي تشير إلى ضرورة قياس المهمة كاملةً، لا الخطوة المنفردة فقط.作者分析与复核建议 / Author analysis

5. كيف ينبغي أن تدخل الملاحظات والمحتويات الخارجية في اتخاذ القرار

تقترح هذه المقالة حفظ هدف المستخدم وصلاحيات النظام والمواد الخارجية بصورة منفصلة. فالصفحات والوثائق ومخرجات الأدوات موضوعات للملاحظة؛ وحتى إن تضمنت عبارة «تجاهل المتطلبات الأصلية»، فلا يجوز أن يغيّر ذلك تفويض المهمة. وفي تعديل الحسابات أو إرسال الرسائل أو النشر، ينبغي لطبقة التنفيذ أن تتخذ القرار وفق الصلاحيات القائمة والنطاق الصريح للمهمة، وألا تعامل نص الصفحة باعتباره تعليمات جديدة من المستخدم. وهذه توصية لتصميم الأنظمة.作者分析与复核建议 / Author analysis

6. يجب أن تراعي إعادة المحاولة الآثار الجانبية

تختلف إعادة المحاولة بعد إخفاق القراءة عن إعادة المحاولة بعد عملية كتابة يُحتمل أنها نجحت بالفعل. تحتاج أفعال الإرسال لاعتماد التغيير إلى معرّف يضمن تكرار التنفيذ دون تغيير الأثر، أو إلى حالة نتيجة يمكن التحقق منها؛ وإذا جعل انتهاء المهلة النتيجة مجهولة، فينبغي الاستعلام أولًا عن الحالة الفعلية. إن استنتاج «لم تقع العملية» من مجرد أن «الاستدعاء لم يُعِد نتيجة نجاح» قد يؤدي إلى تكرار المحتوى أو المعاملات. وينبغي لواجهة الأداة أن تعبّر بصورة متمايزة عن الإخفاق والنجاح والنتيجة المجهولة.作者分析与复核建议 / Author analysis

7. ما الأدلة التي ينبغي أن يتضمنها التحقق من القبول

ينبغي أن يوضح سجل المهمة، على الأقل، الحالة الابتدائية والحالة المستهدفة والأفعال المسموح بها وشروط التوقف وطريقة التحقق من القبول. ولا يكفي تقرير الوكيل عن نفسه لإثبات النجاح، بل يجب تأكيده بقراءة مستقلة، أو بإعادة القراءة بعد الحفظ، أو بفحص قابل للتنفيذ داخل البيئة. كما ينبغي الإبلاغ عن حالات انتهاء المهلة وعدد محاولات التعافي والتدخل البشري. وإذا كان لا بد من أن يصحح إنسان خطوة أساسية، فيجب تسجيل المهمة على أنها أُنجزت بتعاون بشري آلي، لا بوصفها نجاحًا آليًا بالكامل.[3] WebArena: A Realistic Web Environment for Building Auto

لا يجوز الخلط بين تأكيد الحالة والتأكيد اللغوي

في مهام المواقع، يختلف ظهور عبارة «جارٍ الحفظ» على الصفحة عن حالة حفظ البيانات بصورة دائمة. وينبغي أن يتيح التحقق الموثوق من القبول رؤية القيمة المستهدفة من خلال قراءة جديدة بعد الحفظ، مع فحص الإصدار أو معرّف المعاملة عند الحاجة. وللأفعال غير القابلة للعكس، يؤدي التأكيد قبل التنفيذ وإعادة القراءة بعده وظيفتين مختلفتين لا تحل إحداهما محل الأخرى. وحتى تعاقب أفعال تبدو معقولة لا يكفي لإثبات اكتمال المهمة في غياب دليل على الحالة النهائية.作者分析与复核建议 / Author analysis

8. يجب أن تكون للفعل والسماح بالتنفيذ والنتيجة حالات متمايزة

لا يدل إخراج النموذج لاستدعاء أداة إلا على اقتراح نية؛ ويعني قبول خدمة الصلاحيات للطلب أنه اجتاز شروط السماح في ذلك الوقت؛ ولا يتكون دليل الإنجاز إلا عندما تطابق الحالة الخارجية النهائية الهدف. وينبغي لآلة الحالات أن تميّز، على الأقل، بين غير مُرسل، ومُرسل غير مؤكَّد، ونجاح مؤكَّد، ورفض مؤكَّد، وحاجة إلى معالجة بشرية. ويرتبط كل انتقال بهوية الجهة المنفذة وملخص المعاملات وإصدار الهدف، لمنع الخطوات اللاحقة من اعتبار إشعار استلام يخص كائنًا آخر نتيجةً للعملية الحالية. ولا ينبغي لعبارة «اكتمل» باللغة الطبيعية أن تقود حالة العمل مباشرةً.[1] ReAct: Synergizing Reasoning and Acting in Language Mod[2] Toolformer: Language Models Can Teach Themselves to Use

9. يؤدي انتهاء المهلة إلى نتيجة مجهولة

عندما يكون الخادم قد ثبّت المعاملة لكن الاستجابة فُقدت، فقد يبدو انتهاء المهلة للعميل مطابقًا تمامًا لانتهاء المهلة قبل أن ينفّذ الخادم العملية. وقد يؤدي توليد طلب جديد دون تحقق إلى تكرار الآثار الجانبية. يجب ربط مفتاح تكرار التنفيذ دون تغيير الأثر بالنية والمعاملات نفسها، مع حفظ النتيجة على الخادم؛ وإذا تغيرت المعاملات مع استخدام المفتاح نفسه، فيجب الرفض بدلًا من الاستبدال. وعند مواجهة حالة مجهولة، ينبغي الاستعلام أولًا عن إصدار الهدف أو إشعار استلام العملية، ثم تحديد ما إذا كانت إعادة التنفيذ الصريحة بالمفتاح نفسه لازمة. وما يُوصَف هنا مبادئ لتصميم الأنظمة الموزعة، لا يمكن استبدالها بعبارة «لا تكرر» في موجّه النموذج.[1] ReAct: Synergizing Reasoning and Acting in Language Mod[3] WebArena: A Realistic Web Environment for Building Auto

10. كيف تتراكم مواطن الضعف في المهام متعددة الخطوات

إذا كانت احتمالات النجاح الشرطية لجميع المراحل متساوية وتساوي p، وكانت المراحل مستقلة، فإن احتمال نجاح الخطوات L كلها هو p^L. ولا تكون مسارات الأدوات الفعلية مستقلة عادةً: فأخطاء الحالة المبكرة تغيّر المدخلات اللاحقة، كما أن الاشتراك في تسجيل الدخول أو الشبكة يُدخل أعطالًا مشتركة. لذلك ليست هذه المعادلة سوى مرجع تحليلي، وينبغي أن تستخدم الصياغة الأعم سلسلة من الاحتمالات الشرطية. ويجب عند التقييم ملاحظة النتيجة النهائية وحفظ فئة الإخفاق في كل مرحلة، مع التمييز بين أخطاء التخطيط وأخطاء المعاملات ورفض الصلاحيات واضطرابات الخدمات الخارجية.[3] WebArena: A Realistic Web Environment for Building Auto[2] Toolformer: Language Models Can Teach Themselves to Use

11. يتطلب تقييم النتائج حالة خارجية وميزانية موارد

قد ينقر وكيل الويب الزر الصحيح دون أن يرسل التغيير لاعتماده فعليًا؛ وقد يغير كذلك حقولًا أخرى لم يكن ينبغي تغييرها. وينبغي للتحقق من القبول أن يراجع الحالة المحددة في المهمة والحالة المحمية، لا أن يعتمد فقط على ظهور إشعار نجاح في الواجهة. كما يلزم تسجيل عدد استدعاءات الأدوات واستهلاك النموذج وزمن الاستجابة والتدخل البشري. وقد يقلل تسريع فك الترميز على مستوى النظام مدة مرحلة بعينها، لكنه لا يصلح أخطاء آلة الحالات أو التحقق من قواعد العمل؛ وعند مقارنة الحلول ينبغي إسناد إسهامات قرارات النموذج وبروتوكول الأدوات ونظام التشغيل التنفيذي كلٌّ على حدة.[3] WebArena: A Realistic Web Environment for Building Auto[4] Fast Inference from Transformers via Speculative Decodi

المعادلات الأساسية واشتقاقاتها

مسار المنهج والأدلة

رسوم تحليلية وأمثلة عددية

مثال محلول قابل لإعادة الحساب

إذا كان احتمال نجاح كل خطوة، بشرط النجاح السابق، يساوي 0.97، فإن معدل نجاح السلسلة الكاملة المؤلفة من 20 خطوة يقارب 0.544. وقد يغيّر التعافي وإعادة المحاولة والحالة الخارجية هذه الاحتمالات الشرطية؛ لذا لا يجوز استخدام هذا العدد لتقدير أداء منتجات الوكلاء الفعلية.

مقارنة الأساليب

خطة المراجعة والتجارب

1. تحديد أهداف المهمة والحالات المحظور تغييرها والأدوات المسموح بها والحد الأدنى من الصلاحيات مسبقًا، وعدم اعتبار محتوى صفحات الويب الخارجية تعليمات للنظام.
2. إنشاء معرّف للنية وملخص للمعاملات وإصدار للهدف لكل فعل كتابة؛ وفرض رفض صريح لاستخدام المفتاح نفسه بمعاملات مختلفة.
3. حقن إخفاقات قبل تثبيت التغيير، وفقدان إشعارات الاستلام بعد تثبيته، واستجابات متأخرة، للتحقق من بقاء النتائج المجهولة قيد المطابقة بدلًا من إعلان النجاح أو الإخفاق تلقائيًا.
4. اختبار تعارض الإصدارات عندما تعدّل جهتان منفذتان الهدف بالتزامن، لمنع فعل قديم تعود استجابته لاحقًا من الكتابة فوق الحالة الجديدة.
5. قراءة النتائج الخارجية بصورة مستقلة عند انتهاء المهمة، والتحقق من الحالة المحمية؛ والاحتفاظ بسجلات الرفض والتدخل البشري والإنجاز الجزئي.
6. عند تلخيص معدلات النجاح، عرض عدد استدعاءات الأدوات واستهلاك النموذج وزمن الاستجابة والتقسيم بحسب صعوبة المهمة، لتجنب الاكتفاء بعرض مسارات نجاح منتقاة.

نطاق التطبيق والقيود

• تتأثر نتائج الأدوات بالأنظمة الخارجية وشروط الصلاحيات.
• منحنى المراحل المستقلة ليس سوى مرجع تحليلي.
• تتطلب خاصية تكرار التنفيذ دون تغيير الأثر دعمًا بروتوكوليًا على الخادم.
• لا تُقدَّم نتائج جديدة بشأن تبنّي الوكلاء في بيئات خارجية فعلية أو نشرهم بصورة مستقلة.

مطابقة المصادر الأولية بالادعاءات

1. ReAct: Synergizing Reasoning and Acting in Language ModelsYao et al. · 2022-10-06v3; method and experiments
2. Toolformer: Language Models Can Teach Themselves to Use ToolsSchick et al. · 2023-02-09abstract; training tool-use behavior
3. WebArena: A Realistic Web Environment for Building Autonomous AgentsZhou et al. · 2023-07-25v4; abstract, benchmark and functional evaluation
4. Fast Inference from Transformers via Speculative Decoding, , · 2022-11-30Abstract; 原文方法、理论和实验章节见作者原始论文链接