ثغرات حوكمة الذكاء الاصطناعي

نضج برنامج حوكمة الذكاء الاصطناعي الداخلي لدى شركة إقراض استهلاكي نضجًا كبيرًا على مدى ثلاث سنوات، إذ تضمن لجنة لأخلاقيات الذكاء الاصطناعي ذات عضوية متعددة الوظائف، وإطارًا لإدارة مخاطر النماذج مقتبسًا من إرشادات SR 11-7، وقائمة جرد للذكاء الاصطناعي مع تصنيفات المخاطر، وعملية لتقييم الذكاء الاصطناعي لدى الموردين تشترط المراجعة قبل نشر أي منتج ذكاء اصطناعي لمورد في مسارات العمل الموجهة إلى العملاء. وكان البرنامج ناضجًا فعلًا وفق المعايير التي بُني على أساسها. وقد صُمم إطار الحوكمة في 2022 وفق البيئة التنظيمية السائدة آنذاك، قبل إقرار قانون الذكاء الاصطناعي الأوروبي بصيغته النهائية، وقبل توضيح نهج المملكة المتحدة في تنظيم الذكاء الاصطناعي، وقبل أن تُصدر الوكالات الاتحادية في الولايات المتحدة إرشادات محددة بشأن الذكاء الاصطناعي لقطاع الخدمات المالية. وعندما أجرى فريق الامتثال في شركة الإقراض الاستهلاكي تقييمًا للجاهزية لقانون الذكاء الاصطناعي الأوروبي في 2024، تبيّن له أن ثلاثة أنظمة ذكاء اصطناعي لموردين في بيئة الإنتاج الفعلية تستوفي تعريف قانون الذكاء الاصطناعي الأوروبي لأنظمة الذكاء الاصطناعي عالية المخاطر، وتحديدًا الأنظمة التي تتخذ قرارات ائتمانية بشأن الأفراد أو تؤثر فيها تأثيرًا جوهريًا. وتخضع أنظمة الذكاء الاصطناعي عالية المخاطر بموجب قانون الذكاء الاصطناعي الأوروبي لمتطلبات محددة: تقييمات الأثر على الحقوق الأساسية، وآليات الإشراف البشري، والتزامات الشفافية تجاه الأفراد المتأثرين، والتسجيل في قاعدة بيانات قانون الذكاء الاصطناعي الأوروبي، وتقييمات المطابقة. ولم يكن أي من هذه المتطلبات جزءًا من إطار حوكمة الذكاء الاصطناعي عند اعتماد تلك الأنظمة. كان إطار الحوكمة ناضجًا بالنسبة إلى أساس تصميمه، لكن البيئة التنظيمية كانت قد تجاوزته بكثير.

ما هي فجوات حوكمة الذكاء الاصطناعي حقًا؟

فجوات حوكمة الذكاء الاصطناعي هي أوجه القصور في إطار حوكمة الذكاء الاصطناعي لدى المؤسسة، من سياسات وعمليات ولجان مراجعة وأطر امتثال، التي تؤدي إلى نشر أنظمة الذكاء الاصطناعي أو استمرار تشغيلها دون إشراف أو شفافية كافيين أو دون امتثال للمتطلبات التنظيمية المعمول بها. وقد تنشأ فجوات حوكمة الذكاء الاصطناعي من أطر حوكمة متقادمة قياسًا إلى البيئة التنظيمية المتطورة، أو من حالات استخدام للذكاء الاصطناعي لم تكن متوقعة عند تصميم إطار الحوكمة، أو من عمليات حوكمة تقيّم أبعاد مخاطر غير مناسبة لأنظمة الذكاء الاصطناعي التي تراجعها.

تمثل فجوة التطور التنظيمي المحرك الرئيسي لإخفاقات حوكمة الذكاء الاصطناعي في بيئات المؤسسات. فقد تطور المشهد التنظيمي للذكاء الاصطناعي بسرعة منذ 2022، ومن ذلك قانون الذكاء الاصطناعي الأوروبي، وإطار NIST لإدارة مخاطر الذكاء الاصطناعي، وإرشادات الذكاء الاصطناعي لقطاع الخدمات المالية الصادرة عن OCC وFRB، والنهج القطاعي للمملكة المتحدة في تنظيم الذكاء الاصطناعي. وأطر حوكمة الذكاء الاصطناعي التي كانت ناضجة وفق البيئة التنظيمية لعام 2022 قد تكون غير ممتثلة إلى حد كبير للمتطلبات الحالية. فنضج إطار الحوكمة نسبي إلى البيئة التنظيمية التي صُمم لها، لا إلى البيئة التنظيمية المنطبقة حاليًا.

تمثل مشكلة دقة تصنيف المخاطر البُعد الثاني لفجوات الحوكمة. فتصنيف مخاطر الذكاء الاصطناعي، أي عالية المخاطر ومتوسطة المخاطر ومحدودة المخاطر وضئيلة المخاطر، يحدد متطلبات الحوكمة التي تنطبق على كل نظام ذكاء اصطناعي. وسوء تصنيف أنظمة الذكاء الاصطناعي، كتصنيف نظام عالي المخاطر بأنه متوسط المخاطر، أو عدم إعادة تصنيف نظام عند توسع حالة استخدامه، يعني أن متطلبات الحوكمة التي ينبغي أن تنطبق على النظام لا تُطبق. وتعريفات أنظمة الذكاء الاصطناعي عالية المخاطر في قانون الذكاء الاصطناعي الأوروبي خاصة بحالة الاستخدام والقطاع؛ فالنظام غير عالي المخاطر في حالة استخدام ما قد يصبح عالي المخاطر إذا توسع نطاق تطبيقه.

تمثل مشكلة شمول حوكمة الذكاء الاصطناعي لدى الموردين بُعد TPRM. فأطر حوكمة الذكاء الاصطناعي في المؤسسات التي تراجع أنظمة الذكاء الاصطناعي الداخلية قد لا تطبق حوكمة مكافئة بصورة منهجية على أنظمة الذكاء الاصطناعي لدى الموردين. فقد يتضمن إطار الحوكمة في المؤسسة مراجعة من لجنة أخلاقيات الذكاء الاصطناعي للتطوير الداخلي، مقابل عملية تقييم مبسطة لمنتجات الذكاء الاصطناعي المشتراة. وقد يحمل منتج الذكاء الاصطناعي لدى المورد مخاطر أعلى من أنظمة الذكاء الاصطناعي الداخلية التي تخضع لمراجعة حوكمة أكثر شمولًا، لأنه يعمل على نطاق واسع، أو لأنه يُستخدم في قرارات أكثر خطورة، أو لأن مصدر بيانات تدريبه أقل شفافية.

تمثل مشكلة تطبيق الإشراف البشري فجوة محددة في قانون الذكاء الاصطناعي الأوروبي بالنسبة إلى الأنظمة عالية المخاطر. إذ يشترط القانون أن تُصمم أنظمة الذكاء الاصطناعي عالية المخاطر بما يتيح إشرافًا بشريًا مناسبًا، وتحديدًا أن يكون البشر قادرين على فهم قدرات النظام وحدوده، ومراقبة تشغيله، وتجاوز مخرجاته أو التدخل فيها. وأنظمة الذكاء الاصطناعي عالية المخاطر المنشورة في مسارات عمل يكون فيها الإشراف البشري شكليًا لا جوهريًا، أي حيث يراجع البشر مخرجات الذكاء الاصطناعي بسرعة وعلى نطاق يجعلان الإشراف الهادف مستحيلًا، قد لا تستوفي متطلبات الإشراف البشري في القانون حتى لو راجع إنسانٌ كل قرار من الناحية الشكلية.

لماذا يهم هذا

تكتسب فجوات حوكمة الذكاء الاصطناعي أهمية بالنسبة إلى TPRM لأن التزامات الامتثال التنظيمي للمؤسسة تنطبق على أنظمة الذكاء الاصطناعي لدى الموردين التي تؤدي وظائف خاضعة للتنظيم في مسارات عمل المؤسسة، بغض النظر عما إذا كانت تلك الأنظمة مشتراة أم مطورة داخليًا. فنظام الذكاء الاصطناعي للقرارات الائتمانية الذي يستوفي تعريف المخاطر العالية في قانون الذكاء الاصطناعي الأوروبي يُرتب التزامات امتثال على المؤسسة التي تنشره، سواء بنت تلك المؤسسة النظام أم اشترته من مورد.

أين تخطئ معظم الفرق

يتمثل الإخفاق الأكثر تكرارًا في تطبيق إطار لحوكمة الذكاء الاصطناعي صُمم لبيئة تنظيمية سابقة على عمليات نشر الذكاء الاصطناعي الحالية لدى الموردين، والتعامل مع تقييم الذكاء الاصطناعي لدى الموردين بمعزل عن متطلبات الحوكمة الداخلية للذكاء الاصطناعي في المؤسسة. فالالتزامات التنظيمية تنطبق على النشر، لا على الجهة التي طورت النظام.

• عدم تحديث إطار الحوكمة وفق البيئة التنظيمية الحالية
• عدم مواءمة تقييم الذكاء الاصطناعي لدى الموردين مع متطلبات الحوكمة في المؤسسة
• عدم مراجعة تصنيف المخاطر عند تغير حالة الاستخدام أو البيئة التنظيمية
• عدم تقييم التصنيف عالي المخاطر بموجب قانون الذكاء الاصطناعي الأوروبي لأنظمة الموردين المعنية
• عدم التحقق من تطبيق الإشراف البشري: شكلي أم جوهري

كيف تبدو الممارسة الجيدة

تُجري برامج حوكمة الذكاء الاصطناعي الناضجة مراجعات سنوية للبيئة التنظيمية، فتُحدّث إطار الحوكمة وفق المتطلبات التنظيمية الجديدة، وتطبق معايير الحوكمة ذاتها على أنظمة الذكاء الاصطناعي لدى الموردين كما على الأنظمة الداخلية، مع تقييم محدد للتصنيف عالي المخاطر بموجب قانون الذكاء الاصطناعي الأوروبي لجميع أنظمة الذكاء الاصطناعي في حالات الاستخدام الخاضعة للتنظيم.

• مراجعة سنوية للبيئة التنظيمية: تحديث إطار الحوكمة وفق المتطلبات الجديدة
• تقييم التصنيف عالي المخاطر بموجب قانون الذكاء الاصطناعي الأوروبي لجميع أنظمة الذكاء الاصطناعي في حالات الاستخدام الخاضعة للتنظيم
• إخضاع الذكاء الاصطناعي لدى الموردين لحوكمة مكافئة للذكاء الاصطناعي الداخلي
• التحقق من الإشراف البشري: تأكيد أن الإشراف جوهري لا شكلي
• الاحتفاظ بقائمة جرد للذكاء الاصطناعي مع التصنيف التنظيمي الحالي

الأدوات

حوكمة الذكاء الاصطناعي: IBM OpenScale/Watson OpenScale، ولوحة Microsoft Responsible AI Dashboard

توفر منصات حوكمة الذكاء الاصطناعي أدوات لمراقبة النماذج وتقييم الإنصاف والقابلية للتفسير تدعم متطلبات الامتثال التقنية لأنظمة الذكاء الاصطناعي عالية المخاطر. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كانت أنظمة الذكاء الاصطناعي عالية المخاطر لدى المورد تستخدم منصة لحوكمة الذكاء الاصطناعي تدعم المتطلبات التقنية للوائح المعمول بها، وتحديدًا التزامات الشفافية والمراقبة في قانون الذكاء الاصطناعي الأوروبي، يوفر سؤالًا محددًا عن البنية التحتية للامتثال.

الامتثال التنظيمي: أطر الامتثال لقانون الذكاء الاصطناعي الأوروبي، وإطار RMF للذكاء الاصطناعي من NIST، وSR 11-7 للخدمات المالية

يوفر إطار NIST لإدارة مخاطر الذكاء الاصطناعي نهجًا منظمًا لإدارة مخاطر الذكاء الاصطناعي يتوافق مع المتطلبات التنظيمية الناشئة في ولايات قضائية متعددة. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كان برنامج حوكمة الذكاء الاصطناعي لدى المورد متوافقًا مع إطار RMF للذكاء الاصطناعي من NIST ومع المتطلبات الحالية لقانون الذكاء الاصطناعي الأوروبي يوفر سؤالًا عن مواكبة اللوائح.

تحديات الحوكمة

يتمثل تحدي الحوكمة في فجوات حوكمة الذكاء الاصطناعي في مشكلة سرعة التغير التنظيمي. فالبيئة التنظيمية للذكاء الاصطناعي تتطور أسرع مما تُحدَّث معظم أطر الحوكمة. ويكمن حل الحوكمة في التعامل مع تحديثات إطار حوكمة الذكاء الاصطناعي بوصفها عملية مستمرة تُطلقها التطورات التنظيمية، لا مراجعة دورية وفق دورة ثابتة.

• تقييم حوكمة الذكاء الاصطناعي لدى المورد في ضوء البيئة التنظيمية الحالية، لا مجرد وجود الإطار
• اسأل عن تقييم الامتثال لقانون الذكاء الاصطناعي الأوروبي للأنظمة المعنية
• اسأل عن تطبيق الإشراف البشري: جوهري أم شكلي
• اسأل عما إذا كان إطار الحوكمة لدى المورد قد حُدّث وفق اللوائح الحالية
• اشتراط الامتثال التعاقدي للوائح الذكاء الاصطناعي المعمول بها للأنظمة عالية المخاطر

إذا كنت فريقًا صغيرًا

بالنسبة إلى أي نظام ذكاء اصطناعي لدى مورد يُستخدم في سياق خاضع للتنظيم، كالائتمان والرعاية الصحية والتوظيف والتعليم وإنفاذ القانون، اطرحوا سؤالًا واحدًا بشأن قانون الذكاء الاصطناعي الأوروبي: هل قُيّم هذا النظام وفق معايير أنظمة الذكاء الاصطناعي عالية المخاطر في القانون بالنسبة إلى قطاعكم؟ وإذا صُنّف عالي المخاطر، فهل لديكم الوثائق المطلوبة للشفافية والإشراف البشري وتقييم المطابقة؟ فهذا السؤال يكشف ما إذا كان إطار حوكمة الذكاء الاصطناعي لدى المورد قد حُدّث وفق البيئة التنظيمية الحالية أم ما زال يعمل وفق خط أساس سابق.

• اسأل عما إذا كان النظام قد قُيّم وفق معايير المخاطر العالية في قانون الذكاء الاصطناعي الأوروبي
• اسأل عن تقييم الأثر على الحقوق الأساسية للأنظمة عالية المخاطر
• اسأل عن تطبيق الإشراف البشري: تأكيد أنه جوهري
• اسأل عما إذا كان إطار حوكمة الذكاء الاصطناعي لدى المورد قد حُدّث وفق اللوائح الحالية

ما الذي ينبغي اشتراطه

اسأل مباشرةً:

«هل قُيّم نظام الذكاء الاصطناعي لديكم وفق معايير أنظمة الذكاء الاصطناعي عالية المخاطر في قانون الذكاء الاصطناعي الأوروبي بالنسبة إلى حالة استخدامنا؟ وإذا صُنّف عالي المخاطر، فهل يمكنكم تقديم تقييم الأثر على الحقوق الأساسية ووثائق الإشراف البشري وأدلة تقييم المطابقة التي يشترطها القانون؟»

ما تتوقعه دليلًا

• تقييم المخاطر العالية بموجب قانون الذكاء الاصطناعي الأوروبي للأنظمة المعنية
• تقييم الأثر على الحقوق الأساسية
• توثيق تطبيق الإشراف البشري
• أدلة تقييم المطابقة

ينبغي أن يُسأل المورد الذي يؤكد نضج حوكمة الذكاء الاصطناعي لديه عن مدى توافقها مع اللوائح الحالية. فنضج الحوكمة يصف الإطار، أما مواكبة اللوائح فتصف ما إذا كان الإطار يعكس اللوائح المنطبقة حاليًا.

كيف تُثبت ذلك

• سجلات تقييم الامتثال لقانون الذكاء الاصطناعي الأوروبي
• سجلات التحديث التنظيمي لإطار حوكمة الذكاء الاصطناعي
• سجلات التحقق من الإشراف البشري
• التصنيف التنظيمي لقائمة جرد الذكاء الاصطناعي

الخلاصة الرئيسية

مراجعة لجنة أخلاقيات الذكاء الاصطناعي: مكتملة. التصنيف عالي المخاطر بموجب قانون الذكاء الاصطناعي الأوروبي: لم يُقيَّم. كان إطار الحوكمة ناضجًا وفق البيئة التنظيمية لعام 2022. ومتطلبات قانون الذكاء الاصطناعي الأوروبي للأنظمة عالية المخاطر، أي تقييم الأثر على الحقوق الأساسية والإشراف البشري والتزامات الشفافية وتقييم المطابقة، تنطبق على نظام القرارات الائتمانية هذا، ولم تكن جزءًا من الإطار عند اعتماد النظام. نضج حوكمة الذكاء الاصطناعي نسبي إلى البيئة التنظيمية التي صُمم لها الإطار. وقد تغيرت البيئة التنظيمية، ويجب أن يتغير الإطار معها. والمراجعة السنوية للبيئة التنظيمية هي الآلية التي تُبقي أطر الحوكمة محدّثة. وسؤال قانون الذكاء الاصطناعي الأوروبي، أي هل قُيّم هذا النظام وفق معايير المخاطر العالية، هو السؤال المحدد الذي يكشف ما إذا كان الإطار قد واكب التغيير.