إمكانية مراقبة أنظمة الذكاء الاصطناعي: تجاوز إدارة النماذج

في مختلف القطاعات، لم تعد أنظمة الذكاء الاصطناعي مجرد أدوات تستجيب لتوجيهات المستخدم. يشهد مجال الذكاء الاصطناعي تطورًا سريعًا، وتكتسب أنظمة الذكاء الاصطناعي مزيدًا من الاستقلالية . يمكن لمساعدك الافتراضي إعادة جدولة اجتماع بسهولة بناءً على عاداتك السابقة. أو يمكن لروبوت خدمة العملاء أن يقدم لك استردادًا للمبلغ دون الحاجة إلى تصعيد الأمر. هذه أنظمة ذكاء اصطناعي قادرة على التكيف مع المعلومات الجديدة واتخاذ القرارات بشكل مستقل.

مع تسارع هذا التحول نحو الأنظمة المستقلة، تواجه المؤسسات إعادة نظر جادة في كيفية تعاملها مع AI governance . فبينما هيمنت حوكمة النماذج سابقًا ولا تزال فعالة للعديد من تطبيقات الذكاء الاصطناعي ذات النطاق المحدود أو الأقل تعقيدًا، فإن حوكمة النماذج الفعالة حقًا AI governance يحتاج الأمر بشكل متزايد إلى نهج أكثر شمولية يأخذ في الاعتبار كيفية تصرف هذه الأنظمة وتفاعلها وتأثيرها على العالم من حولها، خاصة مع تزايد التعقيد.

من النماذج إلى الأنظمة: لماذا يجب أن تتطور الحوكمة

الموجة الأولى من AI governance التركيز على النماذج الفردية - نماذجهم data quality وتخفيف التحيز، وتحسين الأداء. على سبيل المثال، إذا كان نظام الذكاء الاصطناعي لديك يتكون من نموذج واحد ذي مهمة محددة جيدًا ومنخفضة المخاطر (مثل تصفية البريد العشوائي أو تحليل المشاعر)، فقد تكون ضوابط ومراقبة قوية على مستوى النموذج كافية. لكن أنظمة الذكاء الاصطناعي المؤسسية اليوم تتمحور حول نماذج مترابطة، ووكلاء ذكاء اصطناعي، ومصادر بيانات متنوعة، وآليات تطبيق السياسات، وضوابط الوصول، وفلاتر الإخراج.

أظهر استطلاع أجرته مجموعة بوسطن الاستشارية عام 2024 أن 74% من الشركات تواجه صعوبة في تحقيق قيمة الذكاء الاصطناعي وتوسيع نطاقها . ومع تطور الذكاء الاصطناعي ليدخل في بيئة أنظمة المؤسسات المعقدة، بات من الضروري اتباع نهج إداري مختلف جذرياً لتحقيق القيمة المرجوة، بدلاً من الاكتفاء بإدارة نماذج معزولة.

مراقبة أنظمة الذكاء الاصطناعي: إدارة السلوكيات الناشئة

يُؤدي الاعتماد على نموذج واحد فقط في إدارة الأنظمة إلى ثغرات كبيرة في العديد من المجالات الرئيسية. فعندما تتفاعل نماذج الذكاء الاصطناعي المتعددة (نماذج لغوية كبيرة، ونماذج لغوية صغيرة، ونماذج تضمين واستدلال، ونماذج استدلال)، قد تُنتج سلوكيات ناشئة لا يُمكن التنبؤ بها بفحص كل نموذج على حدة. لنفترض نظامًا مؤسسيًا يستخدم وكيلين مختلفين للذكاء الاصطناعي، أحدهما لتحديد أولويات رسائل البريد الإلكتروني الواردة، والآخر لجدولة الاجتماعات. يتعلم وكيل تحديد أولويات البريد الإلكتروني تأخير الرسائل الأقل إلحاحًا، بينما يتعلم وكيل الجدولة استخدام رسائل البريد الإلكتروني لتحديد الاجتماعات الحاسمة.

يعمل كل من النظامين بشكل فردي تمامًا كما هو مُخطط له. مع ذلك، قد يصبح سلوكهما مُعقدًا عند عملهما معًا. قد يفترض نظام الجدولة أن رسالة بريد إلكتروني ذات أولوية منخفضة تعني أن الاجتماع المُخطط له ليس عاجلًا. بناءً على هذا الافتراض، قد يُؤجل النظام بعض الاجتماعات المهمة. تُعد هذه النتائج غير المقصودة مثالًا كلاسيكيًا على السلوك الناشئ، الذي قد يُؤدي إلى فوائد غير متوقعة وإخفاقات مُعطلة. يُدرس السلوك الناشئ حاليًا على نطاق واسع، حيث يُمكن أن يتصرف النظام بأكمله بشكل مُختلف تمامًا عند تفاعل أجزائه.

توفر مراقبة أنظمة الذكاء الاصطناعي أدواتٍ لرصد هذه التفاعلات في الوقت الفعلي، مما يساعدك على اكتشاف هذه السلوكيات ومعالجتها قبل أن تؤثر على عملياتك التجارية. على سبيل المثال، يمكن لشركة خدمات مالية تحديد النماذج المتضاربة التي تتسبب في تأخيرات في الموافقة على القروض بسرعة، وتحسين وقت الإنجاز.

إمكانية مراقبة أنظمة الذكاء الاصطناعي: تمكين الشفافية والمساءلة

تُعدّ أنظمة الذكاء الاصطناعي الحديثة للمؤسسات شبكة معقدة من النماذج ومصادر البيانات والسياسات. هذا التعقيد يجعلها أكثر قوة، ولكنه يجعلها أيضاً أكثر عرضة للأعطال أو تسريبات البيانات أو النتائج غير المقصودة.

تسدّ مراقبة أنظمة الذكاء الاصطناعي هذه الفجوة من خلال توفير رؤية شاملة لجميع المكونات. فهي تربط مصادر البيانات، ونماذج الذكاء الاصطناعي، والسياسات والضوابط القائمة، ومنطق اتخاذ القرار، وموجهات الذكاء الاصطناعي، والمخرجات، مما يوفر رؤية آنية وشاملة للنظام لكيفية عمل جميع العناصر معًا. ومن المهم الإشارة إلى أن مراقبة النظام لا تحل محل إدارة النماذج، بل تُكمّلها. فمراقبة النماذج على مستوى النظام تظل ضرورية لتتبع الدقة والأداء والتحيز، بينما تساعد مراقبة النظام على مستوى النظام في اكتشاف التفاعلات غير المقصودة والمخاطر الناشئة عن تفاعل مكونات متعددة.

إلى جانب إمكانية الرؤية، تُمكّنك المراقبة من تطبيق ضوابط جديدة في نقاط استراتيجية من النظام لضمان الأمن والمساءلة . وبذلك، يُمكنك الإجابة على أسئلة جوهرية لا تستطيع الحوكمة على مستوى النموذج الإجابة عنها، مثل كيفية اتخاذ القرارات، وما إذا كانت البيانات الحساسة قد استُخدمت بشكل مناسب، أو ما إذا كان النظام يعمل كما هو متوقع. على سبيل المثال، يُمكن لمنصة التجارة الإلكترونية اكتشاف إضافة روبوت محادثة مخترقة بسرعة عندما يُشير نظام المراقبة إلى أنماط بيانات غير معتادة، وبالتالي منع حدوث خرق محتمل للبيانات .

مراقبة أنظمة الذكاء الاصطناعي: التوافق مع الأطر التنظيمية

تعتمد مراقبة أنظمة الذكاء الاصطناعي على نهج شامل يركز على الأنظمة، وهو أمر بالغ الأهمية في الأطر التنظيمية والصناعية الرائدة التي تُشدد على الإشراف المسؤول والشامل. فعلى سبيل المثال، يتبنى قانون الذكاء الاصطناعي في الاتحاد الأوروبي منظورًا قائمًا على المخاطر، حيث يُقيّم تطبيقات الذكاء الاصطناعي عالية المخاطر كأنظمة متكاملة بدلًا من التركيز الضيق على نماذج فردية (انظر المادة 14 التي تنص على الإشراف المستمر وضوابط التدخل البشري). كما تتناول قائمة OWASP لأهم 10 مخاطر على مستوى الأنظمة المخاطر الواقعية، مثل المكونات الإضافية المصممة بشكل سيئ وضوابط الوصول الضعيفة. ويمكن لهذه المخاطر أن تُقوّض بشكل غير مباشر سلامة وموثوقية أنظمة الذكاء الاصطناعي في المؤسسات.

كلا الإطارين يقر بأن المعنى AI governance يتطلب الأمر رؤية شاملة للنظام، تأخذ في الاعتبار بنية النظام وتفاعلاته وسلوكه في العالم الحقيقي، وليس مجرد مكونات معزولة. كما يتطلب الأمر مراقبة مستمرة وشفافة لأنظمة الذكاء الاصطناعي، بما في ذلك تدفقات البيانات والتفاعلات مع الجهات الخارجية. ويُعدّ تبني إطار عمل إدارة الثقة والمخاطر والأمن ( TRISM) للذكاء الاصطناعي خطوةً هامة نحو بناء الشفافية والمساءلة والحوكمة على مستوى النظام طوال دورة حياة الذكاء الاصطناعي.

بفضل إمكانية مراقبة أنظمة الذكاء الاصطناعي، يمكنك الحصول على رؤية شاملة لفهم كيفية عمل أنظمة الذكاء الاصطناعي في مؤسستك، مما يُسهّل عليك مواكبة التغييرات في اللوائح. على سبيل المثال، يمكن لمؤسسة رعاية صحية تحديد الثغرات في شفافية تدفق البيانات من خلال المراقبة، وضمان الالتزام بمتطلبات اللائحة العامة لحماية البيانات (GDPR) وقانون قابلية نقل التأمين الصحي والمساءلة (HIPAA).

أنظمة المراقبة القائمة على الرسوم البيانية للحوكمة الشاملة

توفر أنظمة المراقبة القائمة على الرسوم البيانية رؤية ديناميكية لكيفية تفاعل كل مكون من مكونات النظام، وذلك من خلال تمثيل مشهد الذكاء الاصطناعي بأكمله كرسم بياني حي مترابط. وتُصوّر هذه الأنظمة العلاقات بين مصادر البيانات والنماذج والسياسات والمخرجات، لتمنحك صورة كاملة في الوقت الفعلي.

باستخدام هذا النهج، يمكنك:

• تتبع السلالة عبر سلاسل المعالجة المعقدة.
• تحديد انتهاكات السياسات عبر حدود النظام.
• تحديد المصدر الكامل لجميع المحتويات التي يتم إنشاؤها بواسطة الذكاء الاصطناعي.

Securiti 's Data Command Graph هو نظام متطور لرسم بياني للمعرفة يوفر مراقبة دقيقة، وإمكانية رصد، وتحكم شامل في أنظمة الذكاء الاصطناعي المؤسسية. وتقوم بنيته القائمة على الرسوم البيانية برسم خرائط للعلاقات المعقدة بين مكونات الذكاء الاصطناعي والبيانات والسياسات، مما يساعدك على إدارة أنظمة الذكاء الاصطناعي المعقدة بثقة والحفاظ على الامتثال.