← جميع الأدلة البحثية

الخصوصية والتعلّم الموزّع

دفتر محاسبة الخصوصية في التعلّم الاتحادي: التجميع المرجّح والقصّ والضوضاء وحدود التجميع الآمن

التمييز بين ثلاثة التزامات مختلفة: بقاء البيانات على الجهاز، وعدم ظهور التحديثات، والخصوصية التفاضلية.

الاستشهاد بالمقال

قد تتضمن ترجمة الذكاء الاصطناعي أخطاء. يُرجى التحقق بالرجوع إلى النص الأصلي.

ترجمة بمساعدة الذكاء الاصطناعي · قد تتضمن ترجمة الذكاء الاصطناعي أخطاء. يُرجى التحقق بالرجوع إلى النص الأصلي. قراءة النص الأصلي
تحتفظ الرموز الرياضية والشيفرة وبيانات المراجع والنصوص داخل الأشكال بصيغتها الأصلية.

دفتر محاسبة الخصوصية في التعلّم الاتحادي: التجميع المرجّح والقصّ والضوضاء وحدود التجميع الآمن — غلاف مفاهيمي

الغلاف · رسم مفاهيمي لموضوع المقال أنشأه ImageGen؛ وليس نتيجة تجريبية.

الملخّص

يمكن لإبقاء بيانات التدريب على الأجهزة أن يقلّل الجمع المركزي للبيانات الخام، لكنه لا يخفي تلقائيًا المعلومات التي تتضمنها تحديثات النموذج. يميّز هذا المقال بين آلية التحسين في FedAvg، والحماية التي يوفرها التجميع الآمن من الاطلاع على التحديثات الفردية، والضمان الاحتمالي للخصوصية التفاضلية، ويحلّل آثار عدم استقلال البيانات وعدم تطابق توزيعاتها، وانحياز المشاركة، والقصّ. التدرّجات في الرسوم مُنشأة بالكامل، ولم تُستخدم أي بيانات شخصية، ولم تُحسب أي ميزانية خصوصية فعلية.[1] Communication-Efficient Learning of Deep Networks from [2] Deep Learning with Differential Privacy[3] Practical Secure Aggregation for Federated Learning on

ترجمة الملخّص الإنجليزي

يعالج التعلّم الاتحادي والتجميع الآمن والخصوصوصية التفاضلية قنوات مختلفة لانكشاف المعلومات. نشتق المتوسط المرجّح والقصّ، ونبيّن ضرورة تحديد وحدة الخصوصية وتعريف التجاور واستخدام آلية لمحاسبة الخصوصية. لا تحتوي رسوم التدرّجات والقصّ المُنشأة على بيانات خاصة للعملاء، ولا تدل على أي ميزانية خصوصية. وتدخل المشاركة غير المستقلة وغير المتطابقة التوزيع، وانقطاع الاتصال، وتكاليف النظام ضمن التقييم.

1. يغيّر التحسين الاتحادي أولًا موضع البيانات والحوسبة

يتيح FedAvg للعملاء تنفيذ تحديثات محلية، ثم يجمعها وفق أوزان محددة. ويقابل الترجيح بحسب عدد العينات وإسناد أوزان متساوية للعملاء هدفين مختلفين، كما قد يؤدي عدم استقلال البيانات وعدم تطابق توزيعاتها والتدريب المحلي متعدد الخطوات إلى انجراف العملاء. وقد يؤدي توافر الأجهزة والشبكة وتواتر المشاركة أيضًا إلى اختلاف المشاركين الفعليين عن المجتمع المستهدف. ولذلك فإن عبارة «لا تُرفع البيانات الخام» ليست سوى وصف للإجراء، ولا يمكن أن تحل محل تحليل هدف التحسين والإنصاف والخصوصية.[1] Communication-Efficient Learning of Deep Networks from

2. قد تظل التحديثات تحمل معلومات حساسة

التدرّجات أو فروق النماذج دوالّ في البيانات؛ لذا فإن رؤية الخادم للتحديثات لا تعني غياب الإشارات المرتبطة بالبيانات عن رؤيته. يتيح التجميع الآمن للخادم، في ظل شروط البروتوكول، الحصول على القيمة المجمّعة بدلًا من التحديثات الفردية بصيغتها المكشوفة، لكن يلزم مع ذلك بيان عتبة المشاركة والتواطؤ وكيفية معالجة انقطاع الاتصال. وقد تكشف النتيجة المجمّعة نفسها معلومات عن المجتمع بأكمله أو عن مجموعات صغيرة، كما أن البروتوكول لا يقيّد تلقائيًا إرسال العملاء الخبيثين تحديثات شاذة. وينبغي التحقق بصورة منفصلة من الاتصالات الآمنة والتجميع المتين والخصوصية الإحصائية.[3] Practical Secure Aggregation for Federated Learning on

3. يضبط القصّ المساهمة في كل مرة، لكنه يُدخل انحيازًا

إن تقييد معيار التحديث بحيث لا يتجاوز C يتيح وضع حدّ أعلى للحساسية ومنع عدد قليل من التحديثات الكبيرة من الهيمنة بلا حدود؛ وتُقلَّص التحديثات التي تتجاوز العتبة، مما يغيّر توزيعات الاتجاه والمقدار. وقد تؤدي اختلافات حجم بيانات العملاء وصعوبة المهام إلى اختلاف نسب القصّ. لا تعرض الرسوم سوى معيار المدخل ومعياره بعد القصّ min(r,C)، والنتيجة المرجّحة لعميلين افتراضيين، ولا تعبّر عن جودة تدريب فعلية. وينبغي تحليل اختيار C بالاقتران مع الخصوصية والتحسين والآثار على المجموعات.[2] Deep Learning with Differential Privacy[1] Communication-Efficient Learning of Deep Networks from

4. تتطلب الخصوصية التفاضلية تحديد وحدة الحماية

تقارن الخصوصية التفاضلية احتمالات المخرجات على مجموعات بيانات متجاورة. وتختلف متطلبات علاقة التجاور والحساسية باختلاف ما إذا كانت الحماية تخص سجلًا واحدًا أو مستخدمًا واحدًا أو عميلًا بأكمله؛ ومضاعِف الضوضاء ليس في حد ذاته ε. ويحدّد أخذ العينات وعدد الجولات والقصّ وتوزيع الضوضاء ومنهج المحاسبة معًا ميزانية الخصوصية، كما تتراكم كلفة الخصوصية عند تكرار النشر وفق قواعد التركيب. وتختلف حدود الثقة بين الخصوصية التفاضلية المركزية والمحلية، فلا تكفي عبارة «أُضيفت ضوضاء، ولذلك فالخصوصية آمنة».[2] Deep Learning with Differential Privacy

5. يمثّل انقطاع الاتصال والمشاركة غير المستقلة وغير المتطابقة التوزيع مشكلتين نظاميتين وإحصائيتين

قد يسرّع استبعاد الأجهزة الأبطأ أو غير المستقرة الجولات، لكنه يغيّر تغطية البيانات. ويجب أن يستعيد التجميع الآمن التجميع المسموح به بصورة صحيحة حتى عند انقطاع الاتصال، بينما تعتمد محاسبة الخصوصية على آلية أخذ العينات الفعلية. وينبغي تسجيل أعداد المدعوين والمشاركين ومن أكملوا الجولة ومن أُدرجوا في التجميع في كل جولة، وفحص الانحياز باستخدام بيانات وصفية مسموح بها قانونًا ومقتصرة على الحد الأدنى اللازم. كما ينبغي الإبلاغ معًا عن زمن الاستجابة في الطرف العلوي من توزيعه وحجم الاتصالات واستهلاك الطاقة وجودة النموذج، وعدم استخدام عدد الجولات بديلًا عن التكلفة.[1] Communication-Efficient Learning of Deep Networks from [3] Practical Secure Aggregation for Federated Learning on

6. تتطلب الالتزامات الثلاثة ثلاث مجموعات من الأدلة

تُختبر صحة التحسين بالمقارنة مع مرجع مركزي وبتجارب استئصال في ظروف غير مستقلة وغير متطابقة التوزيع؛ ويُختبر التجميع الآمن باختبارات تهديدات البروتوكول وانقطاع الاتصال؛ وتُختبر الخصوصية التفاضلية بتحديد التجاور والآلية بوضوح وإعادة حساب محاسبة الخصوصية. ولا يتيح اجتياز أي مجموعة من هذه الاختبارات تزكية المجموعات الأخرى تلقائيًا. يقدّم هذا المقال آليات منشورة وحسابات مبسطة فقط، ولم ينشر نظامًا للتعلّم الاتحادي، ولم يعالج بيانات خاصة للعملاء، ولم يدّعِ ضمانًا لقيمة معينة من ε.[1] Communication-Efficient Learning of Deep Networks from [2] Deep Learning with Differential Privacy[3] Practical Secure Aggregation for Federated Learning on

المعادلات الأساسية والاشتقاقات

wt+1=∑k∈Stnk∑j∈Stnjwt+1(k)w_{t+1}=\sum_{k\in S_t}\frac{n_k}{\sum_{j\in S_t}n_j}w_{t+1}^{(k)}

(1) توضيح للترجيح بحسب عدد العينات؛ تؤثر مجموعة المشاركين الفعلية وعدد الخطوات المحلية في هدف التحسين.

LaTeXw_{t+1}=\sum_{k\in S_t}\frac{n_k}{\sum_{j\in S_t}n_j}w_{t+1}^{(k)}
clip⁡C(g)=gmin⁡{1,C/∥g∥2}\operatorname{clip}_C(g)=g\min\{1,C/\|g\|_2\}

(2) عندما يكون g صفرًا، يُعرَّف المخرج بأنه صفر. يقيّد القصّ المعيار، وقد يغيّر أيضًا اتجاه التحسين والآثار على المجموعات.

LaTeX\operatorname{clip}_C(g)=g\min\{1,C/\|g\|_2\}
P(M(D)∈A)≤eϵP(M(D′)∈A)+δP(M(D)\in A)\le e^\epsilon P(M(D^{\prime})\in A)+\delta

(3) يجب تحديد علاقة التجاور بين D وD′ والآلية الكاملة بوضوح؛ لا يحسب هذا المقال ميزانية خصوصية فعلية.

LaTeXP(M(D)\in A)\le e^\epsilon P(M(D^{\prime})\in A)+\delta

مسار المنهج والأدلة

العملاء ووحدة الحماية → التحديثات المحلية / عدم الاستقلال وعدم تطابق التوزيع → القصّ والآلية العشوائية → التجميع الآمن وانقطاع الاتصال → التحديث العالمي المرجّح → الجودة والنظام ومحاسبة الخصوصية
الشكل 1 · مسار المنهج والأدلةمخطط مفاهيمي مرسوم استنادًا إلى بنية المقال، يوضح الخطوات التي ينبغي التمييز بينها؛ ولا يعني أن هذه التجارب قد أُنجزت.

الرسوم التحليلية والأمثلة العددية

يغيّر القصّ والترجيح القيمة المجمّعة
الشكل 2 · يغيّر القصّ والترجيح القيمة المجمّعةالقصّ حتمي؛ لدى عميلين افتراضيين بتحديثات قياسية التحديثان +1 و-1، بحصتين من العينات قدرهما 0.9,0.1. لا توجد بيانات خاصة ولا حساب لقيمة إبسيلون. JSON · المعادلات والمدخلات والقيم العددية

مثال محلول يمكن إعادة حسابه

تحديثا العميلين هما +1 و−1؛ ويعطي الترجيح بحسب العينات بوزنين 0.9 و0.1 النتيجة 0.8، بينما تعطي الأوزان المتساوية للعملاء 0. لا يقيّد القصّ سوى معيار المساهمة، أما الخصوصية التفاضلية فتتطلب أيضًا الضوضاء وأخذ العينات ومحاسبة كاملة.

مقارنة المناهج

المنهج أو الحكمالمتغيرات المضبوطة والقياساتشروط الإخفاق وتفسيرها
التعلّم الاتحاديتوضيح التحديثات المحلية وأوزان التجميعبقاء البيانات محليًا لا يعني خلو التحديثات من التسريب
التجميع الآمنسرد شروط التواطؤ والعتبة وانقطاع الاتصالإخفاء التحديثات الفردية لا يضمن خصوصية المخرجات الإجمالية
الخصوصية التفاضليةتحديد الوحدة والتجاور والمحاسبةمضاعِف الضوضاء ليس ε
تكاليف النظامقياس انحياز المشاركة والاتصالات وزمن الاستجابة في الطرف العلوي من توزيعهعدد الجولات لا يمثّل كامل كلفة التدريب

خطة التحقق والتجارب

  1. تحديد مجتمع المشاركين ووحدة الخصوصية وحدود التهديد، والتأكد من وجود تفويض لاستخدام البيانات.
  2. تثبيت أوزان التجميع وعدد الخطوات المحلية والتقسيم غير المستقل وغير المتطابق التوزيع، والتحقق بالمقارنة مع المرجع المركزي.
  3. تسجيل عتبة القصّ ومعدلات القصّ بحسب الطبقات، وفحص الجودة والآثار على المجموعات.
  4. عند استخدام الخصوصية التفاضلية (DP)، الإفصاح عن أخذ العينات والضوضاء وعدد الجولات والمحاسبة، وإعادة الحساب بصورة مستقلة.
  5. اختبار انقطاع الاتصال وافتراضات التواطؤ وصحة التجميع ضمن نطاق البروتوكول.
  6. الإبلاغ معًا عن جودة النموذج وانحياز المشاركة والاتصالات وميزانية الخصوصية، دون إحلال أدلة أحدها محل أدلة الآخر.

نطاق التطبيق والقيود

  • لا تتضمن التدرّجات المبسطة بيانات فعلية للعملاء.
  • لم تُحسب أي ميزانية فعلية لقيمة ε.
  • يوفر التجميع الآمن والخصوصية التفاضلية (DP) حمايتين مختلفتين.
  • قد يؤثر انحياز المشاركة في التحسين والمحاسبة.

ربط المصادر الأولية بالادعاءات

  1. Communication-Efficient Learning of Deep Networks from Decentralized Data, , , , · 2016-02-17Abstract; 原文方法、理论和实验章节见作者原始论文链接
  2. Deep Learning with Differential Privacy, , , , , , · 2016-07-01Abstract; 原文方法、理论和实验章节见作者原始论文链接
  3. Practical Secure Aggregation for Federated Learning on User-Held Data, , , , , , , , · 2016-11-14Abstract; 原文方法、理论和实验章节见作者原始论文链接

الاستشهاد وتصدير المخطوط

BibTeXRISCSL JSONTXTالمقال JSON

المؤلف والإصدار والمصادر

مراجعة بحثية بمساعدة الذكاء الاصطناعي؛ كتب Codex (ذكاء اصطناعي) النص وأجرى الاشتقاقات التحليلية استنادًا إلى الأدبيات الأولية المدرجة. لا يملك هذا الموقع سجلًا لتحكيم علمي مستقل لهذا المقال أو لتجارب أصلية على النماذج.

تعديل أداء القارئ: يُعاد أيضًا استخدام الصفحات المقروءة عندما يعيد طلب HEAD حديث الرمز 200 ويكون ETag مطابقًا. يحتفظ المتن والمعادلات والمصادر وبيانات الرسوم العلمية بمحتوى الإصدار السابق.

الغلاف المفاهيمي منفصل عن الرسوم العلمية؛ وتُحسب الرسوم العلمية من معادلات منشورة وافتراضات مصرّح بها، وتُنسب جميع نتائج الأوراق الأصلية إلى مصادرها.

المؤلف والإصدارات وسجل التصحيحات · /guides/federated-privacy/v1/

مصادر الغلاف والرسوم العلمية · البيانات والمصادر والافتراضات · سجل النشر والإصدارات

مراجعة المصدر: 6251a250b27bb8b449f59b392f81abd355383770