ما هو مفهوم الذكاء الاصطناعي TRiSM ولماذا هو ضروري في عصر الجيل الأول من الذكاء الاصطناعي؟

تعد هذه التقنية الجديدة القوية بأن يكون لها تأثير كبير على الاقتصاد العالمي، على نطاق 4.5 تريليون دولار من الناتج المحلي الإجمالي العالمي السنوي، وفقًا لشركة ماكينزي، أو ما يصل إلى 7 تريليونات دولار، وفقًا لتقديرات غولدمان ساكس.

من المفهوم أن المنظمات تتوق إلى الاستفادة من الذكاء الاصطناعي للاستحواذ على تلك التريليونات. وفي حين أن "الذكاء الاصطناعي الاستهلاكي"، مثل ChatGPT تعتمد العديد من المؤسسات على كميات هائلة من البيانات التي يتم جمعها من الإنترنت، وترغب في بناء "ذكاء اصطناعي مؤسسي"، والاستفادة من بياناتها الخاصة لزيادة دقة وملاءمة المخرجات في سياقات أعمالها الخاصة، مع خلق ميزة تنافسية.

يُعدّ ضمان وجود حوكمة وضوابط أمنية مناسبة لحماية البيانات الحساسة والامتثال للوائح ذات الصلة عائقًا رئيسيًا أمام نشر الذكاء الاصطناعي في المؤسسات. ووفقًا لشركة غارتنر، "يُثير الذكاء الاصطناعي تحديات جديدة في إدارة الثقة والمخاطر والأمن لا تُغطيها الضوابط التقليدية". وقد اكتشفت سامسونج ذلك عندما سرّب مهندسوها شفرة المصدر. وقد تمّ إثبات نجاح عمليات الحقن الفوري ضدّ جميع برامج إدارة دورة حياة التطبيقات (LLM) الشائعة تقريبًا. وبدون رقابة وضوابط، يُمكن للذكاء الاصطناعي إنتاج محتوى ضار أو انتهاك حقوق الملكية الفكرية بطريقة تُلحق الضرر بالعلامة التجارية أو تُعرّضها للمساءلة القانونية. علاوة على ذلك، تسبّبت مجموعة من اللوائح الجديدة في إرباك المؤسسات التي تسعى إلى الامتثال لمختلف الحكومات.

ما هو نظام TRiSM؟

طرحت شركة غارتنر مفهوم إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي (AI TRiSM) لأول مرة في عام 2023، من خلال تقريرها "الثقة في الذكاء الاصطناعي والمخاطر في الذكاء الاصطناعي: معالجة الثقة والمخاطر في نماذج الذكاء الاصطناعي" . ويرمز هذا المصطلح إلى إدارة الثقة والمخاطر والأمن في الذكاء الاصطناعي.

• يشير مصطلح "الثقة" إلى مخرجات الذكاء الاصطناعي التي تتسم بالموثوقية والاتساق والأسس الواقعية. وللثقة تأثير كبير على فعالية أنظمة الذكاء الاصطناعي، ولذا فهي عنصر أساسي لاعتمادها.
• يشير الخطر إلى احتمالية حدوث نتائج سلبية في حالة خروج الذكاء الاصطناعي عن السيطرة - نتائج مثل الإجراءات التنظيمية، وانتهاكات الملكية الفكرية، والإضرار بالعلامة التجارية، أو التسريب العرضي للبيانات الحساسة.
• تشير إدارة الأمن إلى ضرورة تأمين المساحة السطحية الموسعة للذكاء الاصطناعي من الجهات الخبيثة.

منذ ذلك الحين، طورت غارتنر مفهوم TRiSM ليصبح إطار عمل متكامل. يساعد هذا الإطار المؤسسات على تطوير نهج شامل قائم على تقييم المخاطر لتنظيم الموارد البشرية والعمليات والتكنولوجيا حول البيانات وأصول الذكاء الاصطناعي، بما يُسرّع الابتكار ويتجنب النتائج السلبية كالإجراءات التنظيمية، أو الإضرار بالسمعة، أو تسريب البيانات الحساسة. وتتوقع غارتنر أنه "بحلول عام 2026، ستشهد المؤسسات التي تُفعّل الشفافية والثقة والأمان في مجال الذكاء الاصطناعي تحسناً بنسبة 50% في نماذج الذكاء الاصطناعي لديها من حيث التبني، وتحقيق أهداف العمل، وقبول المستخدمين".

يتكون إطار عمل TRiSM من طبقات متعددة، تعتمد كل طبقة على الطبقة التي تحتها وتبني عليها.

تقع طبقات الحماية التقنية التقليدية وبنية الذكاء الاصطناعي التحتية في الأسفل. وبطبيعة الحال، يجب تأمين جميع البنى التحتية والتطبيقات لضمان أمان أي نظام مؤسسي. هاتان الطبقتان هما في الأساس قدرات تقليدية للأمن السيبراني تُطبّق على بنية الذكاء الاصطناعي، ورغم أهميتهما، فإنهما ليستا قدرات جديدة كليًا. بالنسبة للمؤسسات التي تسعى إلى نشر الذكاء الاصطناعي، ينصب تركيز TRiSM بشكل أساسي على المستويات الثلاثة الأعلى.

1. إدارة المعلومات
2. فحص وإنفاذ وقت تشغيل الذكاء الاصطناعي
3. AI Governance

تُعدّ حوكمة المعلومات الركيزة الأساسية التي تقوم عليها قدرات الذكاء الاصطناعي في إدارة المخاطر والشفافية. فبدون حوكمة معلومات متينة، قد تتعرض الثقة والمخاطر والأمن لخطر جسيم، ولا يُمكن حتى لأكثر الضوابط تطورًا أن تُعوّض عن قصور حوكمة المعلومات. يُمثّل الذكاء الاصطناعي قوة ديمقراطية فعّالة، إذ يُساعد المستخدمين والأنظمة على التعامل مع كميات هائلة من البيانات، مُبرزًا أي ثغرات في حوكمة المعلومات.

تسعى المؤسسات إلى استخدام بياناتها الخاصة في تطبيقات الذكاء الاصطناعي وسير العمل كمصدر للميزة التنافسية. وتساعدها حوكمة المعلومات على تحقيق ذلك مع حماية المعلومات الحساسة من الفقدان أو سوء الاستخدام، وضمان تطبيق صلاحيات الوصول بشكل صحيح، والامتثال للوائح التنظيمية الهامة. ويتطلب حماية بيانات المؤسسة تحكمًا دقيقًا في جميع البيانات المستخدمة لتدريب نماذج الذكاء الاصطناعي أو ضبطها، أو لتوفير سياق لاستفسارات المستخدمين في نظام RAG، أو لتغذية أنظمة الذكاء الاصطناعي. وعند تطبيقها بشكل صحيح، يمكن لحوكمة المعلومات تنظيم البيانات بطرق فعالة لتسريع الابتكار.

تُعدّ مراقبة وإنفاذ أنظمة الذكاء الاصطناعي أثناء التشغيل ركيزة أساسية لحوكمة المعلومات، وتُشير إلى القدرة على فحص جميع أحداث الذكاء الاصطناعي في الوقت الفعلي، مما يوفر ضمانات وتقييمات مستمرة للأداء والموثوقية والأمان والسلامة. تتجاوز مراقبة وإنفاذ أنظمة الذكاء الاصطناعي أثناء التشغيل مجرد إجراءات وقائية فورية، لتشمل مراقبة جميع مدخلات ومخرجات الذكاء الاصطناعي مع تقييم المخاطر لاحتمالية وقوع أحداث سلبية يمكن فرزها ومعالجتها أو حظرها فورًا. وتعتمد مراقبة وإنفاذ أنظمة الذكاء الاصطناعي أثناء التشغيل على حوكمة المعلومات لتوفير ضوابط وصول مفصلة وسياسات استخدام لجميع البيانات المستخدمة في أنظمة الذكاء الاصطناعي.

إن الثغرات في فحص وإنفاذ وقت تشغيل الذكاء الاصطناعي تقلل بشكل كبير من احتمالية قدرة المؤسسات على الاستجابة للتهديدات بشكل استباقي أو تقديم مخرجات آمنة وموثوقة بطريقة موثوقة.

تتصدر AI Governance قمة الإطار، وتسعى إلى توفير رؤية موحدة لأشياء الذكاء الاصطناعي عبر المؤسسة لتسهيل إدارة الثقة والمخاطر والأمن. AI Governance يتحقق ذلك من خلال توفير رؤية وتتبع لجميع تقنيات الذكاء الاصطناعي المستخدمة في المؤسسة قبل وبعد النشر، وذلك لإنفاذ السياسات والامتثال التنظيمي، مما يحسن من تبنيها ويقلل من المخاطر. جيد AI governance يُسرّع الابتكار من خلال ضمان إمكانية إعادة استخدام كائنات ومجموعات بيانات الذكاء الاصطناعي الآمنة والموثوقة . AI Governance يتوافق مع عمليات الذكاء الاصطناعي ويتحقق من صحة الضوابط التي تم وضعها في طبقات إدارة المعلومات وفحص وإنفاذ وقت تشغيل الذكاء الاصطناعي.

ثغرات في AI Governance ينتج عن ذلك رؤية غير مكتملة لمخاطر الذكاء الاصطناعي وضوابط غير كافية، بما في ذلك المخاطر التي يشكلها الذكاء الاصطناعي الخفي. علاوة على ذلك، توجد ثغرات في AI Governance يؤدي ذلك إلى تفاقم عبء الامتثال التنظيمي وخطر التعرض للعقوبات التنظيمية.

لا يُعدّ نموذج TRiSM أداةً أو مشروعًا لمرة واحدة، بل هو نموذج تشغيلي ينبغي على قادة التكنولوجيا والأعمال تطبيقه وتبنيه لضمان المنافسة الآمنة في عصر الجيل الجديد من الذكاء الاصطناعي. تقع مسؤولية تطبيق نموذج TRiSM على عاتق المؤسسات التي تتبنى الذكاء الاصطناعي في مؤسساتها، وليس على عاتق مزودي النموذج أو مزودي خدمات الحوسبة السحابية العملاقة. لذا، لا ينبغي للمؤسسات الاعتماد كليًا على خصائص بنيتها التحتية وأدواتها الأساسية للذكاء الاصطناعي، مثل "الضوابط الوقائية".

في الواقع، تنص شركة غارتنر صراحة في دليلها السوقي لـ AI TRiSM على أن "المؤسسات يجب أن تحتفظ باستقلالها عن أي نموذج ذكاء اصطناعي أو مزود استضافة واحد لضمان قابلية التوسع والمرونة والتحكم في التكاليف والثقة، حيث تنضج أسواق الذكاء الاصطناعي وتتغير بسرعة".

يجب على منهجية TRiSM أن تتناول النماذج الجديدة

بحسب غارتنر، "يُثير الذكاء الاصطناعي تحديات جديدة في إدارة الثقة والمخاطر والأمن لا تُغطيها الضوابط التقليدية". ويمثل عصر الجيل الجديد من الذكاء الاصطناعي ثلاثة تحولات هائلة في كيفية إدارة المؤسسات لأنظمة البيانات والذكاء الاصطناعي وحوكمتها:

1. من إدارة البيانات المهيكلة إلى البيانات غير المهيكلة

تشير التقديرات إلى أن 80% إلى 90% من البيانات غير مُهيكلة. وبالمقارنة مع البيانات المُهيكلة، فإن إدارة البيانات غير المُهيكلة، كالمستندات ورسائل البريد الإلكتروني وملفات الوسائط، تُمثل تحديًا كبيرًا نظرًا لافتقارها إلى تنسيق مُحدد مُسبقًا، مما يُصعّب اكتشافها وتصنيفها وفهم سياقها، فضلًا عن تطبيق سياسات الأمان أو الامتثال بشكل مُتسق على نطاق واسع. كما أن حجمها الهائل وتنوعها يُزيدان من تعقيد جهود إدارة المخاطر واستخلاص القيمة بفعالية.

2. الحفاظ على السيطرة عند انتقال البيانات عبر مسارات الذكاء الاصطناعي

حتى عندما تكون البيانات مُدارة بشكل جيد في الأنظمة المصدرية، تواجه المؤسسات تحديًا كبيرًا في الحفاظ على السيطرة على جميع مراحل عمليات الذكاء الاصطناعي. فمع تدفق البيانات عبر هذه العمليات، يصبح نقلها ومعالجتها أمرًا غامضًا. data lineage ويجعل ذلك عملية التدقيق صعبة، مما يزيد من الثغرات الأمنية وخطر عدم الامتثال. وقد تفقد ملفات المصدر التي تنتقل عبر مسار العمل ضوابط الصلاحيات.

3. نماذج إدارة غير شفافة للمستخدمين وعلماء البيانات

بمجرد إدخال البيانات إلى نموذج في مرحلة التعلم، تُحوَّل هذه البيانات إلى أوزان داخلية خاصة بالنموذج. تُنشئ النماذج تجريدات خاصة بها من بيانات التدريب، وهي تجريدات غير مرئية للمستخدمين وعلماء البيانات. يُؤدي ذلك إلى فقدان كبير للتحكم والفهم لما يحدث داخل النموذج. أي بيانات تُعرَّض للذكاء الاصطناعي قد تُخرَج في أوقات غير متوقعة وبطرق غير متوقعة في المستقبل.

توصي غارتنر بأن تقوم المنظمات التي تبذل جهوداً في مجال الذكاء الاصطناعي TRiSM بتطوير أو إقامة شراكات لتقديم كتالوجات الذكاء الاصطناعي وخرائط البيانات وقدرات المراقبة المستمرة.

أولًا، يجب إنشاء فهرس للذكاء الاصطناعي . يتعين على المؤسسات إعداد جرد شامل لكيانات الذكاء الاصطناعي المستخدمة فيها، بما في ذلك النماذج والوكلاء والتطبيقات. يجب حصر جميع تطبيقات الذكاء الاصطناعي، سواء الجاهزة أو تلك التابعة لجهات خارجية. كما يجب حصر النماذج والوكلاء الذين تم تطويرهم أو تحسينهم باستخدام بيانات المؤسسة أو ربطهم بسياق أنظمة استرجاع المعلومات المعززة (RAG).

ثانيًا، خريطة بيانات الذكاء الاصطناعي. يحتاج كل نظام من هذه الأنظمة إلى خريطة واضحة ومفصلة للبيانات التي يستخدمها ويستطيع الوصول إليها، بما في ذلك جميع خطوات المعالجة والتجميع والتحويل التي قد يخضع لها في مسار الذكاء الاصطناعي، وصولًا إلى النظام المصدر. تُعد خريطة بيانات الذكاء الاصطناعي ضرورية للحصول على رؤية شاملة للمخاطر وتطبيق الضوابط المناسبة.

وأخيرًا، يلزم وجود قدرة مراقبة مستمرة في الوقت الفعلي لتوفير ضمان مستمر وتقييم النظام. يجب وضع معايير للثقة والأداء، وما إلى ذلك، وينبغي اختبار الأنظمة بانتظام وفقًا لهذه المعايير، سواءً في وضع عدم الاتصال بالإنترنت أو بشكل مستمر وفي الوقت الفعلي.

من أجل تصميم إطار عمل TRiSM بشكل صحيح، تحتاج المؤسسات إلى معالجة المتطلبات التقنية التالية لحوكمة المعلومات، وفحص وقت تشغيل الذكاء الاصطناعي وإنفاذه، AI governance .

المتطلبات الفنية لحوكمة المعلومات

تهدف تقنيات إدارة المعلومات في منهجية إدارة المخاطر والشفافية (TRiSM) إلى تقييد وصول الذكاء الاصطناعي والمستخدمين إلى البيانات ذات الصلة والمصرح بها بشكل صحيح طوال دورة حياتها. في دراسة أجرتها ISMG بالتعاون مع مايكروسوفت بعنوان "الدراسة السنوية الأولى للذكاء الاصطناعي التوليدي"، كان الشاغل الرئيسي بشأن استخدام الذكاء الاصطناعي، والذي ذكره 80% من قادة الأعمال و82% من متخصصي الأمن السيبراني، هو احتمال تسريب البيانات الحساسة. لذا، يُعدّ اتباع نهج شامل لإدارة المعلومات أمرًا بالغ الأهمية لتأمين المعلومات الحساسة للمؤسسة وتوفير أساس متين لجهود TRiSM.

يجب أن تعالج الحلول التقنية لحوكمة المعلومات التحديات الرئيسية التي تواجهها المؤسسات عند محاولتها تأمين بياناتها. أولها اكتشاف البيانات. وفقًا لدراسة استقصائية حديثة أجرتها شركة أومديا، فإن 11% فقط من المؤسسات قادرة على تتبع جميع بياناتها. وتتفاقم هذه المشكلة بسبب تعدد الأدوات المستخدمة في بيئات الحوسبة السحابية الهجينة والمتعددة، مما يُنتج رؤى مجزأة لبيانات المؤسسة. لذا، يجب أن تكون حلول حوكمة المعلومات قادرة على مسح البيئات واستخلاص معلومات دقيقة حول البيانات المنظمة وغير المنظمة الموجودة في جميع أنحاء المؤسسة.

يتمثل التحدي الثاني الذي يجب أن تتصدى له تقنيات إدارة المعلومات في تصنيف البيانات الحساسة. فالحلول التي تعتمد على الكلمات المفتاحية والوسوم اليدوية غير كافية لحجم وتنوع البيانات غير المهيكلة التي تخزنها المؤسسات عادةً. كما أن الحلول التي تكتفي بأخذ عينات من مجموعات البيانات لتحديد ما إذا كانت تحتوي على بيانات حساسة غير كافية أيضاً، لأن المعلومات الشخصية الحساسة أو غيرها من البيانات الحساسة قد تكون مدفونة أحياناً في أعماق البيانات غير المهيكلة في أماكن غير متوقعة. أما الحلول المتطورة فتُجري مسحاً شاملاً لجميع البيانات وتُؤتمت عملية التصنيف بدقة عالية وباستخدام وسوم محددة (مثل المعلومات الشخصية الحساسة، وعناوين IP، وكلمات المرور، إلخ) من خلال تحليل السياق المحيط بالبيانات التي يُحتمل أن تكون حساسة.

التحدي الثالث هو منح صلاحيات زائدة. فقد كشف تقرير Sysdig لعام 2023 حول أمن واستخدام الحوسبة السحابية الأصلية أن 90% من الصلاحيات الممنوحة لا تُستخدم. وهذا يشير إلى أن المستخدمين غالبًا ما يتمتعون بإمكانية الوصول إلى بيانات لا يحتاجونها، وربما لا ينبغي لهم الوصول إليها. يُسهّل الذكاء الاصطناعي الوصول إلى هذه البيانات بشكل كبير للمستخدمين النهائيين. لذا، ينبغي أن تكون حلول إدارة المعلومات قادرة على تحديد المستخدمين ومجموعات البيانات التي تتمتع بصلاحيات زائدة، وتطبيق سياسات تقيّد الوصول.

أخيرًا، عند نقل البيانات من النظام المصدر لتجهيزها للاستخدام في الذكاء الاصطناعي، غالبًا ما تُفقد معلومات أساسية هامة. فقد تُفقد بيانات مثل الصلاحيات والتصنيفات والملكية والإقامة، وغيرها من المعلومات الضرورية لإدارة المخاطر والامتثال. لذا، ينبغي لحلول إدارة المعلومات الحفاظ على هذه البيانات الوصفية لاستخدامها في عمليات فحص وإنفاذ الذكاء الاصطناعي أثناء التشغيل، بالإضافة إلى عمليات التدقيق.

إلى جانب هذه التحديات المشتركة، ينبغي لتقنيات إدارة المعلومات أن ترسم بوضوح مسار البيانات التي تستخدمها أنظمة الذكاء الاصطناعي والتي يتم الوصول إليها، وذلك من خلال توثيق مصدر البيانات عبر مسارات معقدة قد تشمل عمليات التجميع والمعالجة والنقل من الأنظمة المصدرية. كما يجب أن تضع حلول إدارة المعلومات سياسات للاحتفاظ بالبيانات للمساعدة في جهود تقليل البيانات والامتثال للوائح التنظيمية.

يُوفّر حلّ حوكمة المعلومات الجيد بيانات نظيفة ومُعقّمة للذكاء الاصطناعي، مع تضمين الأمان منذ البداية، وليس كحلّ لاحق. ويمكن للحلول المُحسّنة، أو تلك المُعتمدة على RAG، أو البرامج الوسيطة، الاستفادة من الصلاحيات والتصنيفات وغيرها من المعلومات السياقية الهامة التي يُمكن تطبيقها أثناء التشغيل. وعند تطبيقها بشكل صحيح، تُسرّع حوكمة المعلومات من تطوير ذكاء اصطناعي آمن من خلال توفير البيانات المناسبة بسهولة للاستخدام، مع ضمان عدم كشف البيانات الحساسة للمستخدمين أو الأنظمة غير المصرح لهم، مما يُوفّر أساسًا متينًا لفحص الذكاء الاصطناعي وتطبيقه أثناء التشغيل.

المتطلبات الفنية لفحص وإنفاذ الذكاء الاصطناعي أثناء التشغيل

تهدف تقنية فحص وإنفاذ الذكاء الاصطناعي أثناء التشغيل إلى رصد المخاطر والتهديدات ومعالجتها فور حدوثها. تحتاج المؤسسات إلى ضمانات بأن مخرجات نماذج الذكاء الاصطناعي موثوقة، وأن المخاطر قد تم تخفيفها، وأن الأنظمة آمنة. الوقاية هي الهدف؛ فاكتشاف هجوم إلكتروني أو تسريب بيانات حساسة بعد وقوعه لا يُجدي نفعًا. لذلك، يجب أن تتمتع تقنيات فحص وإنفاذ الذكاء الاصطناعي أثناء التشغيل، أولًا وقبل كل شيء، بإمكانية رصد أحداث الذكاء الاصطناعي في الوقت الفعلي. يُعرَّف حدث الذكاء الاصطناعي بأنه تفاعل منفصل أو تغيير في الحالة يحدث داخل نظام أو سير عمل للذكاء الاصطناعي، ويشمل مكونًا رئيسيًا واحدًا أو أكثر: المستخدمون، أو وكلاء الذكاء الاصطناعي المستقلون أو شبه المستقلين، أو نماذج الذكاء الاصطناعي، أو البيانات التي يتم الوصول إليها أو معالجتها أو إنشاؤها. نظرًا لأن أيًا من هذه التفاعلات قد يُمثل نقاط ضعف للهجمات الإلكترونية أو نقاط ضعف لحماية البيانات، فيجب معالجتها. إن مجرد رصد التنبيهات لمحاولات "اختراق" معروفة، على سبيل المثال، غير كافٍ.

يجب مراقبة قائمة مختصرة من أحداث الذكاء الاصطناعي:

• يقوم المستخدم بإرسال طلب
• يتم تصميم/تعديل موجه الأوامر
• يستقبل الوكيل طلب المستخدم ويصيغ استعلامًا لنموذج
• يقوم الوكيل باسترداد بيانات السياق (على سبيل المثال، من قاعدة بيانات متجهة)
• يقوم الوكيل بإرسال بيانات الطلب/الاستعلام والسياق إلى النموذج
• يقوم النموذج بالاستدلال
• يصل النموذج إلى بيانات التدريب أو الأدوات/واجهات برمجة التطبيقات الخارجية
• يقوم النموذج بإنشاء استجابة أو بيانات إخراج
• يتلقى الوكيل استجابة نموذجية
• يقوم الوكيل بتنسيق الرد وإرساله إلى المستخدم
• الكشف عن البيانات الحساسة في رسالة أو استجابة
• تم رصد انتهاك للسياسة (مثل محاولة حقن سريعة، أو إنشاء محتوى ضار)
• تحديث بيانات تكوين النموذج أو ضبطها بدقة

يتمثل التحدي الأول في ضمان وضوح الرؤية عبر هذه الأنظمة المتعددة. ويتطلب هذا الوضوح، الذي يشمل نماذج وتطبيقات وقواعد بيانات وخطوط معالجة بيانات متنوعة، درجة عالية من التوافقية، وإلا ستعاني المؤسسات من رؤية مجزأة أو غير مكتملة لأحداث الذكاء الاصطناعي لديها. وقد كشفت دراسة ماكينزي لعام 2025 بعنوان "حالة الذكاء الاصطناعي: كيف تعيد المؤسسات هيكلة أنظمتها لتحقيق القيمة" أن 27% فقط من المؤسسات التي تستخدم الذكاء الاصطناعي تراقب جميع مخرجاته. لذا، يجب أن تتكامل حلول فحص وإنفاذ الذكاء الاصطناعي أثناء التشغيل مع العديد من الأنظمة والأدوات المختلفة.

يتمثل التحدي الثاني في طبقة فحص وإنفاذ وقت تشغيل الذكاء الاصطناعي ضمن نظام إدارة الذكاء الاصطناعي (AI TRiSM) في عدد وتنوع أحداث الذكاء الاصطناعي التي يجب مراقبتها. تُولّد أنظمة الذكاء الاصطناعي كميات هائلة من البيانات، ويزداد هذا الأمر وضوحًا مع تطوير المؤسسات ونشرها المزيد من حالات استخدام الذكاء الاصطناعي، وربطها نماذج مختلفة بمجموعات بيانات وتطبيقات متنوعة، أو حتى إنشاء نظام متعدد الوكلاء حيث يُنفّذ كل وكيل مهامًا فرعية مختلفة ضمن عمليات تجارية معقدة وشاملة. ببساطة، لا يستطيع المشغلون البشريون فحص جميع الأحداث في الوقت الفعلي لرصد المخاطر والتهديدات. يتطلب فحص أحداث الذكاء الاصطناعي على نطاق واسع درجة عالية من الأتمتة.

يتمثل التحدي الثالث في أن أنظمة الذكاء الاصطناعي غير حتمية، أي أنها تستقبل مدخلات غير محددة المعالم وتُنتج مخرجات احتمالية. بحسب شركة IBM في تقريرها "كيف تتكيف قابلية المراقبة مع الذكاء الاصطناعي التوليدي"، "على عكس البرامج التقليدية، تُنتج نماذج التعلم المحدود مخرجات احتمالية، ما يعني أن المدخلات المتطابقة قد تُؤدي إلى استجابات مختلفة. هذا النقص في قابلية التفسير - أو صعوبة تتبع كيفية تأثير المدخلات على المخرجات - قد يُسبب مشاكل لأدوات المراقبة التقليدية. تُسلط ظاهرة "الصندوق الأسود" هذه الضوء على تحدٍ حاسم لمراقبة نماذج التعلم المحدود. فبينما تستطيع أدوات المراقبة اكتشاف المشاكل التي حدثت، إلا أنها لا تستطيع منعها لأنها تُعاني من صعوبة تفسير الذكاء الاصطناعي - أي القدرة على تقديم سبب مفهوم بشريًا وراء اتخاذ النموذج قرارًا مُحددًا أو توليده لمخرجات مُعينة." من المُرجح أن تكون أساليب المراقبة القائمة على قواعد صريحة غير كافية. يجب أن تكون تقنيات فحص وإنفاذ الذكاء الاصطناعي القوية أثناء التشغيل مرنة، ومُدركة للسياق، وقادرة على تمييز معنى ونية الإجراءات المُختلفة، أي يجب أن تستخدم تقنيات فحص وإنفاذ الذكاء الاصطناعي القوية أثناء التشغيل الذكاء الاصطناعي لفحص الأحداث بحثًا عن مشاكل مُحتملة.

أخيرًا، تبرز مشكلة التكيف. تتغير أنظمة الذكاء الاصطناعي والتهديدات وكيفية استخدامها باستمرار، ولذا يجب أن تتكيف الضوابط بنفس السرعة. سرعان ما تصبح القواعد الثابتة قديمة، ويُعدّ تصميم ضوابط قادرة على التعامل بكفاءة مع مخرجات واستخدامات الذكاء الاصطناعي غير المتوقعة أو الجديدة تحديًا مستمرًا. ينبغي أن يكون فحص الذكاء الاصطناعي وإنفاذه أثناء التشغيل قابلاً للتعديل بسهولة أو أن يتمتع بقدرة على التعلم والتحسين التلقائي.

يُسهّل الفحص والتنفيذ الفعال لوقت تشغيل الذكاء الاصطناعي نشر الذكاء الاصطناعي الآمن والموثوق به من خلال البناء على طبقة إدارة المعلومات، واستخدام التصنيفات لحماية البيانات الحساسة، واكتشاف الانحراف عن خط الأساس المحدد للنشاط "الطبيعي"، واكتشاف المخاطر والتهديدات المحددة في الوقت الفعلي ليتم معالجتها وإعادتها إلى الحراس من أجل التعلم المستمر وتحسين وضع السلامة والأمان للذكاء الاصطناعي.

AI Governance المتطلبات الفنية

الغرض الأساسي من AI governance تهدف التقنيات إلى توفير رؤية موحدة للذكاء الاصطناعي عبر المؤسسة لتسهيل إدارة الثقة والمخاطر والأمن. AI governance يجب أن ترسم التقنيات العلاقات بين جميع نماذج الذكاء الاصطناعي، والوكلاء، وبيانات التطبيقات، والسياسات ذات الصلة، وذلك لتيسير تحقيق أهداف المؤسسة في مجال إدارة المخاطر والامتثال للوائح. ويُعدّ التحديد السريع لنقاط الضعف أو انتهاكات السياسات، ومعالجتها فورًا، الوسيلة التي تُدير بها المؤسسات إدارة المخاطر والامتثال للوائح بشكل استباقي.

هنا، يبرز التحدي المألوف المتعلق بالحجم بطريقة جديدة. فتنوع الأدوات ومجموعات البيانات والنماذج في بيئة مجزأة يجعل الحوكمة أمرًا صعبًا. ويُثبت أن إنشاء وتتبع مصدر البيانات، مع توثيق الغرض بوضوح لكل جزء من البيانات في بيئات معقدة، أمرٌ بالغ الصعوبة دون الأدوات المناسبة. كما أن إدارة إصدارات النماذج مع توثيق نقاط ضعفها وتحيزاتها، وما إلى ذلك، يُضيف طبقة أخرى من التعقيد. وتُظهر دراسة ماكينزي أن المؤسسات تُسرع في نشر النماذج في مجالات متعددة.

إضافة إلى تحديات التعقيد والحجم، AI Governance تتطور الاحتياجات نفسها باستمرار. فمنذ اعتماد قانون الاتحاد الأوروبي للذكاء الاصطناعي رسميًا في عام 2024، ظهرت مجموعة كبيرة من اللوائح الجديدة المقترحة أو المعتمدة رسميًا في اليابان والبرازيل وكوريا وغيرها من الدول، بما في ذلك العديد من اللوائح على مستوى الولايات في الولايات المتحدة الأمريكية، مثل كولورادو وكاليفورنيا. ومع تطور الهجمات، تتطور أطر الأمن أيضًا، مثل قائمة OWASP لأهم عشرة مخاطر أمنية، وقائمة NIST للذكاء الاصطناعي، وغيرها. وللامتثال للوائح الجهات التنظيمية وأطر السلامة، AI Governance ستحتاج البرامج إلى تلبية الاحتياجات المتغيرة.

الشرط الأول والأكثر أهمية لـ AI governance الاكتشاف والتصنيف. AI governance يجب أن تكون التقنيات قادرة على مسح بيئات المؤسسات لاكتشاف الذكاء الاصطناعي أينما يُستخدم فيها. ينبغي أن تتضمن الفهارس جميع النماذج والعناصر مع معلومات مفيدة، مثل بطاقات النماذج التي تصف قدرات النموذج وخصائصه ونقاط ضعفه المحتملة وتحيزاته. يجب أن تكون المؤسسات قادرة على إعداد قائمة كاملة بمكونات الذكاء الاصطناعي، وأن يكون لديها سجل كامل لأصولها. على سبيل المثال، يشترط قانون الذكاء الاصطناعي في الاتحاد الأوروبي تصنيف أنظمة الذكاء الاصطناعي إلى مستويات مخاطر بناءً على البيانات المستخدمة، والغرض المقصود من النظام، ومعلومات حول التحيز المحتمل في البيانات. إذا رغبت الجهات التنظيمية في الاطلاع على الأدلة، فسيكون تتبع البيانات إلى مصدرها أمرًا أساسيًا.

توصي شركة غارتنر AI governance قبل النشر وبعده. قبل النشر، AI governance ينبغي أن توفر هذه التقنية الشفافية وإمكانية التتبع، بالإضافة إلى أي موافقات أو شهادات مطلوبة. بمجرد نشر الذكاء الاصطناعي، يصبح إجراء ضمانات مستمرة عبر المسح والاختبار ضروريًا، فضلًا عن توثيق أي انتهاكات للسياسات. يُوصى بشدة بالاختبار الآلي. قد تتضمن بعض الحلول وظائف تفسير الذكاء الاصطناعي أو فرق الاختبار الأحمر، وتشمل أيضًا اختبارات شاملة. data lineage ومصدر البيانات في خرائط الذكاء الاصطناعي التي يمكن استخدامها لإجراء عمليات تدقيق مفصلة.

نظراً لتداخل العديد من المتطلبات التنظيمية، فإن مجموعة TRiSM الكاملة تتكون من مجموعة شاملة AI governance يمكن للتكنولوجيا التي تعتمد على فحص وإنفاذ قويين لوقت تشغيل الذكاء الاصطناعي وطبقة أساسية لحوكمة المعلومات، أن تساعد المؤسسة على تلبية المتطلبات التنظيمية المختلفة دون بذل جهد كبير لمرة واحدة. AI governance ستساعد التقنيات في إنتاج التقارير التنظيمية أو أتمتتها، وستربطها بالأدلة التي قد تكون مطلوبة في حالة إجراء عملية تدقيق. AI governance ينبغي أيضاً أن يسهل تطوير ونشر الذكاء الاصطناعي الآمن من خلال تحديد الأصول التي يمكن إعادة استخدامها وإعادة تكوينها بأمان.

استخدام الذكاء الاصطناعي لحماية الذكاء الاصطناعي: وكلاء الحماية

في تقرير "حُماة المستقبل: كيف يُمكن لمديري تقنية المعلومات الاستفادة من وكلاء الحماية لضمان ذكاء اصطناعي موثوق وآمن"، تُوصي غارتنر بتطوير أنظمة المراقبة والتشغيل لحماية بيانات المؤسسة. تُعدّ أنظمة المراقبة في الأساس وكلاء لإدارة وضع المعلومات باستخدام الذكاء الاصطناعي، وتُوفّر الأساس اللازم لأنظمة التشغيل في الوقت الفعلي. تعمل أنظمة المراقبة بفعالية لضمان الجاهزية، من خلال توفير السياق البيئي والوعي الظرفي الذي تحتاجه أنظمة التشغيل لتحديد المخاطر والتهديدات. تُقيّم أنظمة المراقبة البيئة لتحديد نقاط الضعف وتطبيق السياسات دون اتصال بالإنترنت لضمان حماية البيانات الحساسة. يُمكن لأنظمة المراقبة تصفية البيانات الحساسة وإخفائها وتنقيحها عند دخولها إلى منظومة الذكاء الاصطناعي. كما تُحدّد خطًا أساسيًا "للوضع الطبيعي" الذي سيُصبح مهمًا أثناء التشغيل لاكتشاف أي انحرافات.

يقوم وكلاء التشغيل بتقييم ومعالجة مخاطر محددة ، مثل تسريب البيانات، والتحيز، والمخاطر القانونية أو الأمنية. وللقيام بذلك، ينبغي أن تكون المحركات المسؤولة عن تطبيق السياسات قادرة على معالجة سياسات مختلفة في وقت واحد ضمن محرك موحد، وذلك لتطبيق السياسة بدقة ودون حدوث تحليلات متضاربة قد تنشأ عن استخدام أدوات معزولة. يجب على المشغلين حظر الحدث في حال انتهاك السياسة، على سبيل المثال، إذا أدخل المستخدم مطالبة تحتوي على معلومات شخصية حساسة. يمكن للحلول الأكثر فعالية تحديد الأحداث الشاذة لتصنيفها، أو توجيه الأحداث للمعالجة بناءً على السياسة التي تنتهكها. على سبيل المثال، قد يتم توجيه محاولات إدخال المطالبات إلى قسم الأمن السيبراني، بينما يمكن معالجة المخرجات التي تحتوي على بيانات حساسة تلقائيًا عن طريق الإخفاء أو التنقيح، مع الإشارة إلى الحدث لمراجعته من قبل فرق الحوكمة.

يعمل كل من نظام المراقبة والمراقبين بتناغم تام لإنشاء نظام تحكم قوي، حيث يحافظ نظام المراقبة على بيئة مُجهزة جيدًا ويضع معيارًا أساسيًا يمكّن المراقبين من رصد أي انحرافات. ومن خلال الاستفادة من الضوابط التي يُنشئها نظام المراقبة دون اتصال بالإنترنت، يستطيع المراقبون مراقبة المشكلات واكتشافها ومعالجتها في الوقت الفعلي قبل إرسال معلومات حول هذه التهديدات إلى نظام المراقبة ليتمكن من التعلم منها وتحسين الوضع الأمني.

تستطيع حلول فحص وإنفاذ سياسات الذكاء الاصطناعي الفعّالة أثناء التشغيل مواجهة جميع هذه التحديات لاكتشاف المخاطر والتهديدات في جميع أحداث الذكاء الاصطناعي، كما أنها قادرة على تطبيق السياسات أو معالجة المشكلات. هذه القدرة على العمل هي ما يجعلها فعّالة حقًا أثناء التشغيل. في تقرير "حُماة المستقبل: كيف يمكن لمديري تقنية المعلومات الاستفادة من وكلاء الحماية لضمان موثوقية وأمان وكلاء تشغيل الذكاء الاصطناعي"، توصي غارتنر بتطوير "وكلاء تشغيل" للعمل جنبًا إلى جنب مع وكلاء سينتينل المذكورين بالتفصيل في القسم السابق.

ملخص وفوائد برنامج TRiSM

الانتشار السريع للذكاء الاصطناعي التوليدي، والذي يتجلى في ChatGPT يُتيح النمو الهائل للذكاء الاصطناعي فرصًا هائلة، ولكنه يُثير أيضًا تحديات جديدة كبيرة تتعلق بالثقة والمخاطر والأمن، وهي تحديات لا تستطيع الضوابط التقليدية معالجتها بشكل كافٍ. تُبرز قضايا مثل تسريبات البيانات الحساسة، وعمليات الحقن السريع الناجحة، وانتهاكات الملكية الفكرية، والبيئة التنظيمية المعقدة والمتطورة، الحاجة المُلحة إلى رقابة قوية. وللتغلب على هذه التحديات، قدمت غارتنر إطار عمل AI TRiSM، وهو إطار عمل مُصمم لضمان موثوقية مخرجات الذكاء الاصطناعي، وإدارة المخاطر، وتأمين نطاق هجمات الذكاء الاصطناعي الموسع.

يُقدّم نموذج الذكاء الاصطناعي TRiSM نهجًا متعدد الطبقات، يركز على ثلاث وظائف تقنية رئيسية خاصة بالذكاء الاصطناعي، مبنية على أسس الأمن والبنية التحتية التقليدية. وتُعدّ حوكمة المعلومات أساسية، إذ تضمن اكتشافًا شاملًا وتصنيفًا وتحكمًا في الوصول وحفظًا للسياق لجميع البيانات (وخاصةً غير المهيكلة) المستخدمة في مسارات الذكاء الاصطناعي، مما يُخفف المخاطر التي تتفاقم بسبب قدرة الذكاء الاصطناعي على التعامل مع مجموعات البيانات الضخمة. وتُمثّل حوكمة المعلومات الطبقة الأساسية التي تُبنى عليها جهود نموذج TRiSM. "بالنسبة للعديد من المؤسسات، تبرز حوكمة المعلومات الضعيفة كعائق رئيسي أمام نشر الجيل الجديد من الذكاء الاصطناعي على نطاق أوسع". ويعود ذلك إلى أن جهود حوكمة المعلومات قد تنبع من أقسام مُنعزلة، مثل الأمن أو إدارة الهوية والوصول، والتي لم تُصمم أصلًا لتوفير حوكمة معلومات شاملة ومتكاملة. وستؤدي الثغرات في حوكمة المعلومات سريعًا إلى ظهور نقاط ضعف، ولذلك يجب تأمينها قبل فحص وإنفاذ وقت تشغيل الذكاء الاصطناعي. AI governance من المتوقع أن تكون هذه الإجراءات فعّالة. ووفقًا لشركة غارتنر، "يؤدي تبسيط إدارة المعلومات إلى ظهور حاجة ملحة ومتجددة إلى اتباع نهج موحد عبر مختلف المؤسسات لحماية المعلومات التي تستخدمها أنظمة الذكاء الاصطناعي".

ثم يوفر نظام فحص وإنفاذ وقت تشغيل الذكاء الاصطناعي مراقبة وتحكمًا آليين عبر جميع أحداث الذكاء الاصطناعي للكشف الاستباقي عن التهديدات ومعالجتها، مثل تسريب البيانات أو انتهاكات السياسات. وفي القمة AI Governance ، مما يوفر رؤية موحدة وإمكانية تتبع لجميع أصول الذكاء الاصطناعي الخاصة بالمؤسسة.

في نهاية المطاف، لا يُعدّ نموذج الذكاء الاصطناعي TRiSM مجرد قائمة تحقق للامتثال أو أداة منفردة، بل هو نموذج تشغيلي ضروري للمؤسسات التي تسعى إلى الاستفادة من الذكاء الاصطناعي بأمان وفعالية. ويُحقق نظام TRiSM المتكامل والمتين فوائد ملموسة للغاية، إذ تتوقع مؤسسة غارتنر أنه "بحلول عام 2026، ستشهد المؤسسات التي تُفعّل الشفافية والثقة والأمان في مجال الذكاء الاصطناعي تحسناً بنسبة 50% في نماذج الذكاء الاصطناعي لديها من حيث التبني والأهداف التجارية وقبول المستخدمين". ويمكن أن تكون الأضرار المالية والسمعة الناجمة عن التسريب المحتمل للبيانات الحساسة أو إنتاج محتوى ضار جسيمة للغاية. وتُوفر اللوائح الجديدة، مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي، حافزاً إضافياً للشركات لاستثمار مواردها في نموذج الذكاء الاصطناعي TRiSM.

في حين أن الحوكمة غالباً ما يُنظر إليها على أنها قيد على سرعة التطوير، فإن TRiSM تحافظ على السرعة على المدى الطويل من خلال مساعدة المؤسسات على البناء والنشر دون تكبد ديون كبيرة سيتعين معالجتها لاحقاً، على سبيل المثال، تعريض البيانات الحساسة للنموذج.

لم يعد تطبيق منهجية الذكاء الاصطناعي TRiSM خياراً بالنسبة للمؤسسات الجادة في الاستفادة من الذكاء الاصطناعي. إنه أمر أساسي لتحقيق النجاح المستدام.

هل أنت مستعد لبناء استراتيجية ذكاء اصطناعي أكثر موثوقية وأمانًا ومرونة؟

Securiti تساعد .ai عملاءنا على تنفيذ برامج TRiSM الخاصة بهم والتي تعمل على تسريع تطوير الذكاء الاصطناعي الآمن مع حماية بيانات المؤسسة وإدارة الامتثال للعديد من الأطر التنظيمية. Securiti يلبي .ai جميع المعايير لكل طبقة من طبقات إطار عمل TRiSM الذي اقترحته شركة Gartner، بدءًا من حوكمة المعلومات القوية. Securiti توفر حلول الذكاء الاصطناعي TRiSM القابلة للتكيف والتي تلبي الاحتياجات الفورية للعملاء وتتطور مع متطلباتهم المتزايدة طوال رحلتهم.

انقر هنا لمعرفة المزيد حول كيفية Securiti يمكن أن يساعد

الأسئلة الشائعة (FAQs)