استثمر مورّد في مجال التقنية المالية استثمارًا كبيرًا في تطوير نموذج خاص للتصنيف الائتماني: ثلاث سنوات من العمل في علوم البيانات، ومجموعة بيانات تدريب خاصة كبيرة، ومعمارية نموذج طوّرها فريق المورّد عبر تجارب مكثفة. وكان النموذج أهم ما يميز المورّد تنافسيًا. وقد أتاح المورّد النموذج عبر API من نوع REST تتطلب المصادقة: إذ يصادق العملاء بمفتاح API، ويقدّمون طلبات الائتمان، ويتلقون درجة ائتمانية وقرارًا. واتبعت المعمارية الأمنية لـAPI الممارسات المعيارية: تشفير TLS أثناء النقل، والمصادقة بمفتاح API، وتحديد المعدل على نقطة المصادقة لمنع حشو بيانات الاعتماد، والتحقق من المدخلات لمنع هجمات الحقن. وبعد ستة أشهر من الإطلاق، استعلم فريق علوم البيانات لدى أحد المنافسين بصورة منهجية من API الإنتاج لدى المورّد بخمسمئة ألف استعلام لطلبات ائتمان مصممة بعناية، مع تغيير سمات المتقدمين بصورة منهجية لرسم حدود القرار في النموذج. وعلى مدى ثلاثين يومًا، جمعوا من أزواج الاستعلام والاستجابة ما يكفي لتدريب نموذج بديل يقارب نموذج التصنيف الخاص بالمورّد بدقة عالية. لم يكن النموذج البديل مثاليًا، لكنه التقط منطق القرار في نموذج المورّد بما يكفي ليمنح المنافس جوهر ما استغرق المورّد ثلاث سنوات لتطويره. لقد عملت الضوابط الأمنية لـAPI لدى المورّد على النحو الصحيح، فكل استعلام كان مُصادَقًا عليه ومشفرًا ومُتحقَّقًا منه. واستخدم هجوم استخراج النموذج API المُصادَق عليها تمامًا كما صُممت لتُستخدم. لقد حمى التحكم في الوصول الوصول إلى نقطة النهاية، لكنه لم يوفر أي حماية من استخدام الوصول المصرّح به لإعادة بناء النموذج.
ما مشكلة التحكم في الوصول إلى النماذج حقًا؟
يعالج التحكم في الوصول إلى النماذج في سياق أمن الذكاء الاصطناعي تحديًا لا وجود له في أمن البرمجيات التقليدي: إذ يمكن سرقة النموذج عبر API الخاصة به دون أي اختراق لضوابط الوصول في API. فضوابط الوصول التقليدية تمنع الوصول غير المصرّح به إلى مورد ما. ونموذج تعلم الآلة الذي يقبل الاستعلامات ويُرجع التنبؤات مورد يمكن، عند الاستعلام منه بصورة منهجية وعلى نطاق واسع، استخدامه لإعادة بناء نسخة تقريبية عاملة من النموذج نفسه، وهو ما يُعرف بهجوم استخراج النموذج. فالتحكم في الوصول الذي يمنع الوصول غير المصرّح به إلى API لا يمنع استخدام الوصول المصرّح به لاستخراج النموذج.
إن آلية هجوم استخراج النموذج هي التهديد المحدد. فهجوم استخراج النموذج، ويُسمى أيضًا سرقة النموذج، يستخدم الاستعلام المنهجي من API التنبؤ الخاصة بالنموذج لتجميع أزواج من المدخلات والمخرجات يمكن استخدامها لتدريب نموذج بديل. ويقارب النموذج البديل منطق القرار في النموذج الأصلي دون أن يصل المهاجم قط إلى أوزان النموذج أو معماريته أو بيانات تدريبه. وتعتمد جودة النموذج البديل على عدد الاستعلامات وتنوع المدخلات ومعمارية النموذج، لكن مع عدد كافٍ من الاستعلامات يمكن أن تحقق النماذج البديلة دقة عالية في مطابقة الأصل لأنواع كثيرة من النماذج. ولا يتطلب الهجوم أكثر من وصول مُصادَق عليه إلى API واستراتيجية استعلام منهجية.
إن بُعد الاستخبارات التنافسية هو الأثر التجاري الرئيسي. فبالنسبة إلى الموردين الذين تمثل نماذج الذكاء الاصطناعي لديهم ملكية فكرية خاصة كبيرة، مثل نماذج التصنيف الائتماني وخوارزميات كشف الاحتيال ومحركات التوصية ونماذج التنبؤ بالطلب، تتيح هجمات استخراج النماذج للمنافسين الحصول على نسخة تقريبية عاملة من منطق القرار في النموذج دون الاستثمار في البيانات والتطوير والتجارب الذي أنتجه. ويمكن اختزال ثلاث سنوات من العمل التطويري في ثلاثين يومًا من الاستعلام المنهجي من API.
إن فجوة تحديد المعدل هي الإخفاق المحدد في الضوابط. فتحديد المعدل التقليدي في API مصمم لمنع هجمات حجب الخدمة وحشو بيانات الاعتماد، أي الطلبات الكثيفة في أطر زمنية قصيرة. أما هجمات استخراج النماذج فتستخدم أحجام استعلام معتدلة موزعة على فترات زمنية ممتدة: فخمسمئة ألف استعلام على مدى ثلاثين يومًا تعني في المتوسط أقل من سبعة عشر ألف استعلام يوميًا، وهو حجم يقع ضمن نطاق الاستخدام العادي لـAPI مؤسسية. ولا يرصد تحديد المعدل المصمم لمنع حجب الخدمة الاستعلام المستمر متوسط الحجم الذي يستخدمه استخراج النماذج.
إن أسلوب خفض دقة المخرجات هو الدفاع الرئيسي، وله حدوده. فخفض دقة مخرجات النموذج، بإرجاع نطاق للدرجة بدلًا من الدرجة الدقيقة، أو تقريب التنبؤات، أو إرجاع القرار وحده دون الدرجة، يزيد عدد الاستعلامات اللازمة لاستخراج النموذج بتقليل محتوى المعلومات في كل استجابة. وهذا يجعل الاستخراج أصعب وأكثر تكلفة، لكنه لا يمنعه. فالمهاجم المصمم الذي يملك وصولًا كافيًا للاستعلام وموارد حوسبة كافية يظل قادرًا على تحقيق استخراج ذي معنى من المخرجات منخفضة الدقة، وإن كانت جودة النموذج البديل ستكون أقل.
لماذا يهم هذا
يكتسب التحكم في الوصول إلى النماذج أهميته في TPRM لأن الموردين الذين يتيحون واجهات برمجية لنماذج الذكاء الاصطناعي لعملائهم من المؤسسات، وعبرهم ربما لعملاء تلك المؤسسات وشركائها، يُنشئون سطح هجوم لاستخراج النماذج لا يعالجه أمن API التقليدي. فالمؤسسة التي تدمج API نموذج الذكاء الاصطناعي لدى المورّد في منتجاتها تمد فعليًا سطح هجوم الاستخراج الخاص بالمورّد إلى كل من يستطيع الاستعلام من منتج المؤسسة.
أين تخطئ معظم الفرق
الإخفاق الأكثر تكرارًا هو اعتبار أمن API مكافئًا لأمن النموذج. فالمصادقة والتشفير والتحقق من المدخلات تحمي API، لكنها لا تحمي النموذج من الاستخراج عبر الوصول المصرّح به.
- اعتبار أمن API مساويًا لأمن النموذج
- تحديد معدل مصمم لمنع حجب الخدمة لا لرصد الاستخراج
- غياب مراقبة حجم الاستعلامات لكل عميل أو مفتاح API
- عدم النظر إلى دقة المخرجات بوصفها وسيلة لمقاومة الاستخراج
- عدم إدراج استخراج النماذج في التقييم الأمني للذكاء الاصطناعي
كيف تبدو الممارسة الجيدة
تطبق البرامج الناضجة للتحكم في الوصول إلى النماذج مراقبة حجم الاستعلامات لكل مفتاح API، وخفض دقة المخرجات بما يناسب نوع النموذج، وكشف الشذوذ في أنماط الاستعلام المنهجية المميزة لهجمات الاستخراج، أي الاستعلام المستمر الكثيف بمدخلات متغيرة بصورة منهجية.
- مراقبة حجم الاستعلامات لكل مفتاح API: خط أساس وكشف للشذوذ
- خفض دقة المخرجات: نطاقات للدرجات، وتنبؤات مقرّبة، واستجابات تقتصر على القرار
- رصد أنماط الاستعلام المنهجية: مدخلات تتغير بطرق منظمة عبر تسلسلات الاستعلام
- حدود لمعدل الاستعلام مُعايَرة لمنع الاستخراج، لا لمنع حجب الخدمة فحسب
- العلامات المائية للنماذج لإثبات النسبة بعد الاستخراج
الأدوات
أمن الذكاء الاصطناعي: Robust Intelligence وPrivacyRaven لتقييم هجمات الاستخراج
تختبر منصات أمن الذكاء الاصطناعي التي تقيّم الواجهات البرمجية للنماذج من حيث قابليتها لهجمات الاستخراج إمكانية إعادة بناء النموذج من استعلامات API. ويتيح سؤال ممارسي TPRM عمّا إذا كان المورّد قد قيّم API النموذج لديه من حيث مخاطر هجمات الاستخراج، وتحديدًا ما إذا كان منافس لديه وصول إلى API قادرًا على إعادة بناء نموذج بديل عامل، سؤالًا محددًا عن حماية النموذج.
تحديات الحوكمة
يتمثل تحدي الحوكمة في التحكم في الوصول إلى النماذج في معايرة حدود المعدل الهادفة إلى منع الاستخراج في مقابل الاستخدام المشروع. فقد يستعلم عملاء المؤسسات من النماذج بأحجام كبيرة على نحو مشروع لأغراض المعالجة الدفعية، وقد تؤثر حدود المعدل المُعايَرة لمنع الاستخراج في حالات الاستخدام المشروعة الكثيفة. ويتمثل حل الحوكمة في سياسات لحدود المعدل حسب حالة الاستخدام، أي حدود مختلفة للاستخدام التفاعلي مقابل المعالجة الدفعية، مع مراقبة معززة لأنماط الاستعلام المميزة للاستخراج بصرف النظر عن الحجم.
- قيّم API النموذج من حيث قابلية تنفيذ هجوم الاستخراج
- طبّق مراقبة حجم الاستعلامات لكل مفتاح API
- قيّم دقة المخرجات: هل الدقة أعلى مما تحتاجه حالة الاستخدام؟
- اسأل عن رصد أنماط الاستعلام المنهجية
- اسأل عن العلامات المائية للنماذج لإثبات النسبة بعد الاستخراج
إذا كنت فريقًا صغيرًا
بالنسبة إلى أي مورّد للذكاء الاصطناعي يمثل نموذجه ملكية فكرية خاصة، وبالتبعية أي مورّد للذكاء الاصطناعي تعتمد على نموذجه لتحقيق ميزة تنافسية، اطرح سؤالًا واحدًا: إذا أجرى مستخدم مُصادَق عليه في API خمسمئة ألف استعلام بمدخلات متغيرة بصورة منهجية على مدى ثلاثين يومًا، فهل سترصد أنظمة المراقبة لديكم نمط الاستعلام هذا وتستجيب له؟ يكشف هذا السؤال ما إذا كانت لدى النموذج ضوابط لرصد الاستخراج تتجاوز المصادقة. فالمورّد الذي لا يستطيع الإجابة بالإيجاب لديه ضوابط وصول تحمي نقطة النهاية لا النموذج.
- اسأل عمّا إذا كانت أنماط الاستعلام المنهجية المستمرة ستُرصد
- اسأل عن مراقبة حجم الاستعلامات لكل مفتاح API
- اسأل عن سياسة دقة المخرجات
- اسأل عمّا إذا كان النموذج قد قُيّم من حيث قابلية تنفيذ هجوم الاستخراج عليه
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«إذا أجرى مستخدم مُصادَق عليه في API خمسمئة ألف استعلام بمدخلات متغيرة بصورة منهجية على مدى ثلاثين يومًا، فهل سترصد أنظمة المراقبة لديكم نمط الاستعلام هذا وتستجيب له؟ وهل قيّمتم API النموذج لديكم من حيث قابلية تنفيذ هجوم استخراج النموذج؟»
ما تتوقعه دليلًا
- مراقبة حجم الاستعلامات لكل مفتاح API
- رصد أنماط الاستعلام المنهجية
- سياسة دقة المخرجات
- نتائج تقييم هجمات استخراج النماذج
ينبغي أن يُسأل المورّد الذي يؤكد المصادقة وتحديد المعدل في API عن رصد الاستخراج. فالمصادقة تؤكد أن الوصول مصرّح به، أما رصد الاستخراج فيحدد ما إذا كان الوصول المصرّح به يُستخدم لإعادة بناء النموذج.
كيف تُثبت ذلك
- سجلات مراقبة الاستعلامات لكل مفتاح API
- تقييم هجمات الاستخراج
- توثيق سياسة دقة المخرجات
- كشف الشذوذ في أنماط الاستعلام المنهجية
الخلاصة الرئيسية
API مُصادَق عليها. خمسمئة ألف استعلام. ثلاثون يومًا. المنافس يملك نموذجًا بديلًا. المصادقة نجحت. وتحديد المعدل نجح، على نقطة المصادقة. أما نقطة التنبؤ فلم تكن عليها مراقبة للحجم لكل مفتاح ولا رصد للأنماط المنهجية. ثلاث سنوات من التطوير استُخرجت عبر ثلاثين يومًا من الاستخدام المصرّح به لـAPI. أمن API يحمي نقطة النهاية، والتحكم في الوصول إلى النموذج يحمي النموذج، وهما مشكلتان مختلفتان. المصادقة مطلوبة لكنها غير كافية. فمراقبة الحجم لكل مفتاح وخفض دقة المخرجات ورصد الأنماط المنهجية هي الضوابط الخاصة بالنماذج التي لا يوفرها أمن API.