التجزئة القابلة للتوجيه بالموجّهات وذاكرة الفيديو: واجهات SAM، وغموض الأقنعة، والتحقق عبر المجالات

Codex (AI)

الملخص

تحدد التجزئة القابلة للتوجيه بالموجّهات الهدف باستخدام مدخلات مثل النقاط والمربعات، لكن طريقة التوجيه، ومستوى الكائن في التسلسل الهرمي، وميزانية التفاعل البشري تؤثر جميعها في النتائج. يحلل هذا المقال واجهات ترميز الصور وفك ترميز الأقنعة في SAM، وسياق ذاكرة الفيديو في SAM 2، مع التمييز بين التداخل المكاني، والاتساق الزمني، والصحة الدلالية. يعرض الرسم قيمة التقاطع على الاتحاد (IoU) المحسوبة تحليليًا بعد إزاحة مستطيل، وليس نتيجة اختبار لأي نموذج من نماذج SAM.[1] Segment Anything [2] SAM 2: Segment Anything in Images and Videos [3] Learning Transferable Visual Models From Natural Langua

ترجمة الملخص الإنجليزي

تُقيَّم التجزئة القابلة للتوجيه بالموجّهات بوصفها نظامًا تفاعليًا ذا كائن محدد وميزانية موجّهات محددة. نميز بين غموض الأقنعة، والتنبؤ بالثقة، والذاكرة الزمنية، والتعرف الدلالي. يشتق مثال لمستطيل مُزاح حساسية التقاطع على الاتحاد (IoU) دون تشغيل SAM. ويتطلب الانتقال بين المجالات والاتساق في الفيديو تقييمًا مستقلًا باستخدام بيانات موسومة.

1. تحدد الموجّهات المهمة، لا مجرد تنسيق المدخلات

قد تشير نقطة إلى الكائن كاملًا، أو إلى أحد أجزائه، أو إلى منطقة ذات نسيج معين، وقد تكون عدة أقنعة معقولة. ينبغي أولًا تحديد تعريف الكائن وسياسة الوسم، ثم توضيح كيفية توليد النقاط أو المربعات أو النصوص. تختلف تكلفة اختيار البشر للموجّهات الأكثر ملاءمة عن تكلفة الموجّهات الآلية الثابتة. ويجب أن يحتسب اختبار النموذج القابل للتوجيه بالموجّهات عدد التفاعلات، وتصحيح الأخطاء، والإخفاقات، وألا يقتصر على عرض أفضل قناع اختير بأثر رجعي من بين عدة مرشحين.[1] Segment Anything

2. إعادة استخدام الترميز وفك الترميز خفيف العبء لهما شروط هندسية

يمكن إعادة استخدام ترميز الصورة عبر عدة موجّهات، ثم توليد النتائج باستخدام الموجّهات ومفكك ترميز الأقنعة؛ ويجب ربط مفتاح إعادة الاستخدام بالصورة، والمعالجة المسبقة، وإصدار النموذج. قد تؤدي أخطاء تغيير المقياس والاقتصاص وتحويل الإحداثيات إلى انزياح موضع الموجّه. وينبغي فصل زمن الاستجابة للترميز الأولي عن زمن التفاعلات اللاحقة، مع تسجيل استخدام الذاكرة أيضًا. وإذا اقتصر القياس على فك الترميز مع ذاكرة تخزين مؤقت مهيأة، فلا ينبغي وصف النتيجة بأنها إجمالي زمن الاستجابة من التحميل الأولي إلى المخرجات.[1] Segment Anything

3. تعدد الأقنعة ودرجات الجودة لا يمثلان حقيقة مرجعية خارجية

قد ينتج النموذج عدة مرشحين وتقديرات للجودة للتعامل مع الغموض. تحتاج الدرجات المتنبأ بها إلى معايرة مستقلة، ولا يمكن أن تحل محل المقارنة بالوسوم المرجعية؛ فاختيار المرشح الأعلى درجة واستخدام الحقيقة المرجعية لاختيار أفضل مرشح بروتوكولان مختلفان للتقييم. وينبغي أيضًا فحص الكائنات الصغيرة، والحدود الرفيعة والممتدة، والاحتجاب، والكائنات المتجاورة المتشابهة، إذ قد يخفي متوسط IoU إخفاقات حاسمة. وعندما يختلف نطاق الكائن، قد ينشأ انخفاض التداخل أيضًا عن غموض الوسم، لا عن خطأ بصري محض.[1] Segment Anything

4. قد يحافظ الاتساق في الفيديو على تتبع الكائن الخطأ باستمرار

يوسع SAM 2 التجزئة القابلة للتوجيه بالموجّهات إلى سياق الفيديو؛ وتساعد الذاكرة على الانتشار عبر الإطارات، لكنها قد تُبقي الأخطاء المبكرة أيضًا. لا يضمن الانسياب الزمني وترابط المسار صحة الهوية أو الحدود، ويحتاج الاحتجاب، والظهور مجددًا، وتبادل الكائنات المتشابهة مواقعها إلى اختبارات مخصصة. وينبغي تسجيل توقيت السماح بموجّهات جديدة، ومن يقدمها، وعدد مرات تصحيح الأخطاء، وإدراج إعادة ضبط الذاكرة وحالات اللقطات الجديدة ضمن اختبارات القبول.[2] SAM 2: Segment Anything in Images and Videos

5. تختلف أدلة التجزئة عن أدلة التعرف الدلالي

يشير القناع إلى البكسلات التي تنتمي إلى المنطقة المستهدفة، لكنه لا يحدد بالضرورة النوع الحيوي أو الفئة المرضية أو فئة المادة على نحو صحيح. وتركز التمثيلات على نمط CLIP على المطابقة بين الصور والنصوص، ولا توفر تلقائيًا حدودًا دقيقة على مستوى البكسل. وعند الجمع بين النهجين، يجب التحقق من التحديد المكاني والدلالة كل على حدة، ولا سيما في المجالات المتخصصة. ولا يجوز اعتبار الأداء القوي على الصور الطبيعية المتاحة للعامة دليلًا مباشرًا على صلاحية الاستخدام في الصور الطبية أو صور الاستشعار عن بُعد أو الصور المجهرية؛ بل ينبغي استخدام وسوم مجال متاحة بصورة قانونية وتوضيح تكلفة الأخطاء.[3] Learning Transferable Visual Models From Natural Langua [1] Segment Anything

6. ينبغي تثبيت ميزانية الموجّهات وتقسيم البيانات عند التحقق

ينبغي فصل أقسام البيانات بحسب مصدر الصورة أو تسلسل الفيديو، لمنع تسرب الإطارات المتجاورة، وتحديد قواعد توليد الموجّهات واختيار المرشحين مسبقًا. ويُبلَّغ عن IoU، وجودة الحدود، وفقدان الكائن، وتكلفة التفاعل، مع تقسيم النتائج بحسب الحجم والاحتجاب والمجال. لا يثبت مثال المستطيل في هذا المقال سوى العلاقة بين إزاحة الحدود وIoU، ولا يمكن أن يحل محل تقييم الأشكال المعقدة الفعلية والنماذج. ويتطلب النشر الفعلي أيضًا تخزينًا مؤقتًا مرتبطًا بالإصدارات، وآليات بديلة عند الإخفاق، ومسارات للتصحيح البشري.[1] Segment Anything [2] SAM 2: Segment Anything in Images and Videos

المعادلات الأساسية والاشتقاقات

\operatorname{IoU}=\frac{|M\cap G|}{|M\cup G|}=\frac{TP}{TP+FP+FN}

(1) يمثل M التنبؤ وG الوسم المرجعي؛ وينبغي وضع قواعد منفصلة للمجموعات الفارغة والوسوم الملتبسة.

LaTeX

\operatorname{IoU}=\frac{|M\cap G|}{|M\cup G|}=\frac{TP}{TP+FP+FN}

\operatorname{IoU}(d)=\frac{w-d}{w+d},\qquad0\le d\le w

(2) تصح العلاقة عندما يُزاح مستطيلان متساويا الحجم أفقيًا فقط بمقدار d، مع تداخل رأسي كامل؛ ويستخدم الرسم w=100 وارتفاعًا مقداره 60.

LaTeX

\operatorname{IoU}(d)=\frac{w-d}{w+d},\qquad0\le d\le w

\tau_{\mathrm{interaction}}=\tau_{\mathrm{prompt}}+\tau_{\mathrm{decode}},\quad\tau_{\mathrm{first}}=\tau_{\mathrm{encode}}+\tau_{\mathrm{interaction}}

(3) ينبغي قياس زمن التفاعلات اللاحقة التي تعيد استخدام الترميز وزمن المعالجة الأولية كل على حدة؛ ولم يُجرِ هذا المقال قياسات فعلية لزمن استجابة النموذج.

LaTeX

\tau_{\mathrm{interaction}}=\tau_{\mathrm{prompt}}+\tau_{\mathrm{decode}},\quad\tau_{\mathrm{first}}=\tau_{\mathrm{encode}}+\tau_{\mathrm{interaction}}

مسار المنهج والأدلة

الصورة / الفيديو وتعريف الكائن → ميزانية الموجّهات وتحويل الإحداثيات → ترميز الصورة / ذاكرة الفيديو → أقنعة متعددة وتنبؤ بالجودة → اختيار المرشحين والتصحيح البشري → الحدود والهوية وتكلفة التفاعل — **الشكل 1 · مسار المنهج والأدلة**رسم مفاهيمي مستمد من بنية هذا المقال، يوضح الخطوات التي يجب التمييز بينها؛ ولا يدل على أن هذه التجارب قد أُنجزت.

الرسوم التحليلية والأمثلة العددية

**الشكل 2 · حتى الإزاحة الهندسية البسيطة تغير IoU بصورة غير خطية**مستطيلات متطابقة بعرض 100 وارتفاع 60، وإزاحة أفقية من 0 إلى 40، مع محاذاة رأسية تامة. دون إجراء استدلال باستخدام SAM. JSON · المعادلات والمدخلات والقيم العددية

مثال محلول قابل لإعادة الحساب

عند الإزاحة أفقيًا بمقدار 10 بكسل، تكون IoU=90/110≈0.818؛ وعند الإزاحة بمقدار 25 بكسل، تكون القيمة 75/125=0.6. لا يستطيع هذا النموذج المستطيلي وصف الحدود المعقدة وغموض الوسم وصفًا كاملًا.

مقارنة المناهج

المنهج أو الحكم	المتغيرات المضبوطة والقياسات	شروط الإخفاق وتفسيره
بروتوكول الموجّهات	تثبيت مصدر النقاط/المربعات، وعدد التفاعلات، وتعريف الكائن	الاختيار البشري بأثر رجعي يرفع النتائج
جودة المرشحين	التمييز بين الاختيار وفق التنبؤ واختيار الأفضل وفق الحقيقة المرجعية	الدرجات المتنبأ بها ليست وسومًا مرجعية
ذاكرة الفيديو	اختبار الاحتجاب، والظهور مجددًا، وتغير اللقطات، وتصحيح الأخطاء	قد يستمر الاتساق الزمني في تتبع الكائن الخطأ
الانتقال بين المجالات	وسوم مجال مستقلة وتقسيم بحسب المخاطر	لا يمكن تعميم نتائج الصور الطبيعية مباشرةً

خطة التحقق والتجارب

تثبيت إصدارات النموذج، والمعالجة المسبقة، وتعريف الكائن، والوسوم المتاحة بصورة قانونية.
تقسيم البيانات بحسب المصدر/الفيديو لمنع تسرب الإطارات المتجاورة أو النسخ المختلفة من الصورة نفسها.
تثبيت ميزانيات الموجّهات واختيار المرشحين مسبقًا، وتسجيل جميع التصحيحات.
اختبار الأهداف الصغيرة، والحدود، والاحتجاب، والكائنات المتشابهة، والظهور مجددًا، واللقطات الجديدة.
الإبلاغ معًا عن التداخل، والحدود، وفقدان الهوية، وعدد التفاعلات، والإخفاقات بحسب الفئات.
قياس تكلفة الترميز الأولي والتفاعلات المعتمدة على التخزين المؤقت كل على حدة، والتحقق من إصدار التخزين المؤقت وتحويلات الإحداثيات.

نطاق الانطباق والقيود

قيمة IoU للمستطيلات ليست نتيجة أداء لـSAM.
الاتساق الزمني لا يثبت صحة الهوية.
يتطلب الانتقال بين المجالات وسومًا مستقلة.
تؤثر ميزانيتا الموجّهات والمرشحين في المقارنة.

المصادر الأولية والادعاءات المقابلة لها

Segment Anything, , , , , , , , , , , · 2023-04-05Abstract; 原文方法、理论和实验章节见作者原始论文链接
SAM 2: Segment Anything in Images and Videos, , , , , , , , , , , , , , , , , L12: View a PDF of the paper titled SAM 2: Segment Anything in Images and Videos, by Nikhila Ravi and 17 other authors · 2024-08-01Abstract; 原文方法、理论和实验章节见作者原始论文链接
Learning Transferable Visual Models From Natural Language SupervisionRadford et al. · 2021-02-26v1; contrastive training and zero-shot transfer

الاستشهاد وتصدير المقال

BibTeX RIS CSL JSON TXT المقال JSON

المؤلف والإصدار والمصادر

مراجعة بحثية بمساعدة الذكاء الاصطناعي؛ كتبها Codex (ذكاء اصطناعي) وأجرى اشتقاقاتها التحليلية استنادًا إلى المؤلفات الأولية المدرجة. لا توجد لدى هذا الموقع سجلات لتحكيم مستقل لهذه المقالة أو لتجارب أصلية على النماذج خاصة بها.

مراجعة لتحسين أداء القارئ: تُعاد أيضًا الاستفادة من الصفحات المقروءة سابقًا عندما يعيد طلب HEAD حديث الرمز 200 وتبقى قيمة ETag مطابقة. ويحتفظ المتن والمعادلات والمصادر وبيانات الرسوم العلمية بمحتوى الإصدار السابق.

الغلاف المفاهيمي منفصل عن الرسوم العلمية؛ وتُحسب الرسوم العلمية باستخدام معادلات منشورة وافتراضات صريحة، وتُنسب جميع نتائج الأوراق الأصلية إلى مصادرها.

المؤلف والإصدارات وسجل التصحيحات · /guides/vision-segmentation-foundation/v1/

مصادر الغلاف والرسوم العلمية · البيانات والمصادر والافتراضات · سجل النشر والإصدارات

مراجعة المصدر: 6251a250b27bb8b449f59b392f81abd355383770

[ref-arxiv-2304.02643] Segment Anything, , , , , , , , , , , · 2023-04-05Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-arxiv-2408.00714] SAM 2: Segment Anything in Images and Videos, , , , , , , , , , , , , , , , , L12: View a PDF of the paper titled SAM 2: Segment Anything in Images and Videos, by Nikhila Ravi and 17 other authors · 2024-08-01Abstract; 原文方法、理论和实验章节见作者原始论文链接

[ref-clip] Learning Transferable Visual Models From Natural Language SupervisionRadford et al. · 2021-02-26v1; contrastive training and zero-shot transfer