تكشف أحدث الدراسات الاستقصائية أن 67% من المؤسسات تزيد استثماراتها في مبادرات الذكاء الاصطناعي التوليدي. ويُعزى تبني هذا النوع من الذكاء إلى المكاسب الإنتاجية الكبيرة التي شهدتها الشركات، حيث يساهم في توسيع آفاق الابتكار من خلال زيادة الكفاءة وخفض التكاليف وتسريع وتيرة الابتكار.
مع ذلك، ومع ازدياد اعتماد المؤسسات على الذكاء الاصطناعي في صميم عملياتها، وما يوفره من مرونة وسرعة فائقة، يصبح ضمان وجود بنية أمنية قوية للذكاء الاصطناعي ضرورة حتمية. وهنا، تبرز أهمية إدارة البنية الأمنية للذكاء الاصطناعي (AI SPM) في منع ظهور فئة جديدة من المخاطر التي يُسببها الذكاء الاصطناعي.
دعونا نناقش ونتعرف أكثر على الذكاء الاصطناعي SPM، والفوائد العديدة التي يقدمها، والفئة الجديدة من المخاطر التي يساعد المؤسسات على التغلب عليها، وقدراته الأساسية.
ما هو الذكاء الاصطناعي SPM؟
يشير مصطلح AI SPM إلى إدارة وضع أمن الذكاء الاصطناعي. وببساطة، يمثل AI SPM نهجًا شاملًا لضمان أمن وسلامة أنظمة الذكاء الاصطناعي طوال دورة حياتها. ويتضمن ذلك مجموعة من الاستراتيجيات والأدوات والأطر التي تعمل معًا لرصد وتقييم وتخفيف المخاطر الخاصة بالذكاء الاصطناعي.
في المقابل، تعتمد فرق الأمن على أدوات إدارة وضع أمن الحوسبة السحابية ( CSPM ) لتقييم المخاطر المرتبطة بالبنية التحتية السحابية والتخفيف من حدتها. قد تشمل هذه المخاطر أخطاء في تكوين السحابة، وانتهاكات السياسات، وضوابط وصول غير آمنة، من بين مشكلات أخرى محتملة. وبالمثل، فيما يتعلق بالبيانات، data security posture management توفر أدوات ( DSPM ) رؤى تفصيلية حول رؤية البيانات، والمخاطر المرتبطة بها مثل الوصول غير المقصود أو كشف البيانات الحساسة، وأفضل الممارسات للتخفيف من هذه المخاطر.
مع ذلك، يُعدّ الذكاء الاصطناعي مجالًا جديدًا نسبيًا لمتخصصي الأمن السيبراني. ويتطلب الأمر مجموعة جديدة من القدرات لحماية نماذج الذكاء الاصطناعي، وقنوات البيانات، والموارد. يسدّ نظام إدارة أداء الذكاء الاصطناعي (AI SPM) هذه الفجوة الحرجة من خلال تحديد المخاطر المرتبطة بنماذج الذكاء الاصطناعي، والوكلاء، والمساعدين، والتخفيف من حدّتها، ما يضمن الاستخدام الآمن والمسؤول للذكاء الاصطناعي. تتكامل هذه الأداة بسلاسة مع تقنيات الأمان الأخرى لتمكين أمن البيانات والذكاء الاصطناعي، وحوكمتهما، والامتثال للوائح.
لماذا يُعد الذكاء الاصطناعي في إدارة الأداء الإحصائي مهمًا؟
شهد تبني الذكاء الاصطناعي زخماً هائلاً خلال السنوات القليلة الماضية. وتشير ماكينزي في أحدث تقاريرها إلى أن 78% من المؤسسات تستخدم الذكاء الاصطناعي في وظيفة واحدة على الأقل من وظائفها التجارية. وقد ارتفعت هذه النسبة من 72%، وفقاً للمسح الذي أُجري في أوائل عام 2024، إلى 55% في عام 2023.
مع ذلك، ومع بروز الذكاء الاصطناعي كمكون أساسي في العمليات التجارية الرئيسية، أصبح ضمان استخدامه الآمن والمسؤول تحديًا كبيرًا. وتشير ماكينزي في تقرير آخر إلى أن 91% من المؤسسات لا تشعر بالاستعداد التام لاستخدام الذكاء الاصطناعي بشكل آمن ومسؤول.
يُقدّم هذا حجةً قويةً لضرورة تبنّي المؤسسات لأنظمة إدارة أداء البرمجيات المدعومة بالذكاء الاصطناعي كعامل تمكين رئيسي لتسريع تبنّي الذكاء الاصطناعي. إليكم بعض الأسباب المقنعة بنفس القدر التي تجعل أنظمة إدارة أداء البرمجيات المدعومة بالذكاء الاصطناعي جزءًا أساسيًا من بنية تكنولوجيا الأمن السيبراني.
رؤية شاملة
قد يؤدي انعدام أو ضعف الرؤية لأنظمة أو تطبيقات الذكاء الاصطناعي العاملة في بيئة المؤسسة إلى تعريضها للخطر. فالذكاء الاصطناعي غير المصرح به، وانتهاكات الامتثال، وكشف البيانات الحساسة، كلها عوامل قد تُعرّض المؤسسات لمخاطر أمنية وقانونية ومخاطر تتعلق بسمعتها. يساعد نظام إدارة أداء الذكاء الاصطناعي (AI SPM) المؤسسات على بناء جرد شامل لجميع نماذج الذكاء الاصطناعي العاملة في بيئات الحوسبة السحابية المتعددة.
تُساعد رؤية الذكاء الاصطناعي الشركات على تحقيق أهداف متعددة. فعلى سبيل المثال، يُمكن للكشف المبكر عن المخاطر، مثل تسريب البيانات الحساسة إلى نماذج الذكاء الاصطناعي، أن يُساعد المؤسسات على تجنب الثغرات الأمنية. كما يُمكن للمؤسسات الكشف الفوري عن أنظمة الذكاء الاصطناعي العاملة خارج نطاق اختصاصها، مما يمنع انتهاكات الامتثال لنقل البيانات عبر الحدود. وبالمثل، يُمكن للمؤسسات الكشف عن أدوات الذكاء الاصطناعي الزائدة أو غير الضرورية، مما يُساعد في نهاية المطاف على تحسين التكلفة والكفاءة.
شاهدوا حلقة النقاش: من الذكاء الاصطناعي الخفي إلى الذكاء الاصطناعي الآمن
مراقبة وحماية المخاطر الخاصة بالذكاء الاصطناعي
أدى الذكاء الاصطناعي التوليدي (GenAI) إلى ظهور سلسلة من المخاطر غير المسبوقة. فعلى سبيل المثال، يسرد مشروع أمان تطبيقات الويب المفتوحة (OWASP) أهم عشرة مخاطر مرتبطة بنماذج اللغة الكبيرة (LLMs). وفي الوقت نفسه، حدد مشروع MITRE ATLAS™ (مشهد التهديدات المعادية لأنظمة الذكاء الاصطناعي) أكثر من 60 هجومًا مختلفًا يستهدف أنظمة الذكاء الاصطناعي. ويمكن لأنظمة إدارة أداء الذكاء الاصطناعي (AI SPM) اكتشاف هذه المخاطر ومراقبتها والحماية منها بفعالية من خلال سياسات وضوابط وتنسيق آلي.
يُمكّن الكشف عن مخاطر الذكاء الاصطناعي والتخفيف من آثارها المؤسسات من ضمان الاستخدام المسؤول للذكاء الاصطناعي. وبفضل حماية أنظمة إدارة التعلم الخاصة بها من مخاطر مثل الحقن الفوري أو الاستجابات المتحيزة، تستطيع المؤسسات ضمان قدرة عملائها على الاعتماد بثقة على تطبيقات الذكاء الاصطناعي.
استراتيجية أمنية شاملة
سي بي إم، DSPM تُعدّ تقنيات الذكاء الاصطناعي وإدارة أداء الأنظمة تقنيات متميزة جوهريًا، لكل منها نطاقاتها وقدراتها وأهدافها الخاصة. ومع ذلك، من منظور أوسع، تتلاقى جميع هذه التقنيات لتقديم نهج شامل لأمن المؤسسات السيبراني.
على سبيل المثال، يمكن لـ CSPM تحديد وتخفيف أخطاء تكوين السحابة بشكل فعال، لكنه يفشل في توفير رؤى حول المخاطر في نماذج الذكاء الاصطناعي. DSPM يمكن أن توفر رؤية شاملة لجميع البيانات، وسلسلة نسبها، والمخاطر المرتبطة بها. وبالمثل، يمكن أن تساعد إدارة أداء أنظمة الذكاء الاصطناعي المؤسسات على وضع ضوابط أمنية حول نماذج الذكاء الاصطناعي، ولكن ليس حول موارد الحوسبة السحابية أو مسارات معالجة البيانات.
الامتثال التنظيمي
شهد المشهد التنظيمي تحولاً كبيراً خلال السنوات القليلة الماضية. فقد أُدمجت قوانين وأطر عمل خاصة بالذكاء الاصطناعي في شبكة اللوائح المعقدة أصلاً. ومن بين هذه الأطر، قانون الاتحاد الأوروبي للذكاء الاصطناعي، وقانون الذكاء الاصطناعي البرازيلي، وإطار إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني للمعايير والتكنولوجيا (NIST)، والتي تلزم الشركات بمراعاة جوانب رئيسية أخرى، منها قابلية تفسير مخرجات الذكاء الاصطناعي، وإمكانية تتبع النماذج، والوعي بالمخاطر، والاستخدام المسؤول للذكاء الاصطناعي.
تساعد أنظمة إدارة أداء الذكاء الاصطناعي الشركات على الامتثال لقوانين الذكاء الاصطناعي، مما يدل على التزامها بالممارسات الأخلاقية ويشجع على الاستخدام المسؤول للذكاء الاصطناعي. وتُعد عمليات التحقق الآلية من الامتثال، وضوابط التقييم، والمعلومات التنظيمية من بين المكونات الرئيسية لأنظمة إدارة أداء الذكاء الاصطناعي التي تُمكّن من الامتثال.
مشهد التهديدات الصامتة للذكاء الاصطناعي
كما ذكرنا سابقًا، تتنافس المؤسسات حول العالم لدمج الذكاء الاصطناعي في عملياتها التجارية. إلا أن عوامل خفية، كوجود أنظمة ذكاء اصطناعي غير مرخصة، وانتهاكات أخلاقية وتنظيمية، وتزايد المخاطر المرتبطة بالذكاء الاصطناعي، تعيق المؤسسات عن تسريع جهودها لتبني الذكاء الاصطناعي بمسؤولية. دعونا نلقي نظرة سريعة على المخاطر المتتالية التي قد تؤثر على المؤسسات عند إدخال الذكاء الاصطناعي دون حوكمة وسياسات وضوابط فعّالة.
الذكاء الاصطناعي الخفي يتربص في الظلام
لطالما شكلت تقنية المعلومات غير المصرح بها تحديًا مستمرًا لفرق الأمن والحوكمة لعقود. ومع ذلك، يمكن إدارتها بفعالية من خلال السياسات المناسبة. أما الذكاء الاصطناعي غير المصرح به، فهو أمر مختلف تمامًا. فهو أكثر انتشارًا بكثير من نظيره التقليدي، ويطرح تداعيات قانونية ومخاطر أمنية وتحديات حوكمة أكثر خطورة. وبدون مراقبة دقيقة لأنظمة الذكاء الاصطناعي غير المصرح بها، تصبح المؤسسات عرضة لمخاطر مثل الحقن الفوري، وتسميم النماذج، وسرقتها، والوصول غير المصرح به، وغيرها.
المخاطر الأعلى تعني عواقب أشد
تعتمد استجابة نماذج الذكاء الاصطناعي بشكل كبير على جودة البيانات المستخدمة في تدريب أو ضبط نموذج اللغة الكبير. وبدون ضوابط أمنية وحوكمة مناسبة للبيانات، فإن نماذج الذكاء الاصطناعي معرضة لخطر إنتاج استجابات متحيزة وتمييزية وغير منطقية. وبالتالي، يفتح هذا الباب أمام انتهاكات تنظيمية وفقدان ثقة العملاء.
تُعتبر النماذج غير الآمنة عرضةً لأهم عشرة مخاطر أمنية وفقًا لتصنيف OWASP لبرامج الماجستير في القانون.
قد يؤدي غياب ضوابط أمنية مناسبة للذكاء الاصطناعي إلى جعل نماذج التعلم الآلي (LLMs) عرضةً لمخاطر عديدة، كما أوضح مشروع OWASP (مشروع أمن التطبيقات العالمي المفتوح). وتُعدّ قائمة OWASP لأهم عشرة مخاطر لنماذج التعلم الآلي قائمةً بالمخاطر الشائعة في أنظمة وتطبيقات الذكاء الاصطناعي. فعلى سبيل المثال، يمكن للمهاجمين التلاعب بسلوك نموذج التعلم الآلي المقصود من خلال هجوم حقن فوري. كما يمكن تحريف مخرجات نموذج التعلم الآلي عن طريق التلاعب بالبيانات المستخدمة في تدريب النموذج، وهي ظاهرة تُعرف بتسميم بيانات التدريب.
تُؤكد قائمة OWASP لأهم عشرة مخاطر في مجال إدارة التعلم مدى الحياة أن هذه الأنظمة عُرضة للمخاطر على جميع المستويات وفي جميع التفاعلات. فالمطالبات غير المُراقبة، والاستجابات غير المُفلترة، وعمليات الاسترجاع غير الآمنة، كلها عوامل تُهدد سلامة المستخدمين. لذا، يتطلب الذكاء الاصطناعي المسؤول من المؤسسات وضع ضوابط مناسبة في كل تفاعل لضمان الاستخدام الآمن له.
6 قدرات رئيسية للذكاء الاصطناعي في إدارة أداء البرامج
كما ذُكر سابقاً، فإنّ الطريق إلى الاستخدام الآمن والمسؤول للذكاء الاصطناعي محفوفٌ بتحديات ومخاطر جسيمة. لذا، تحتاج المؤسسات إلى إطار عمل استراتيجي لتجاوز هذه العقبات وحماية مبادرات الذكاء الاصطناعي طوال دورة حياتها. فيما يلي بعض أطر أفضل الممارسات، التي صممتها Securiti ، والتي تُعطي الشركات التي تسعى لحماية وتسريع تبني الذكاء الاصطناعي بدايةً قوية.
1. اكتشاف نماذج ووكلاء الذكاء الاصطناعي
يبدأ نظام إدارة أداء الذكاء الاصطناعي الفعال برؤية شاملة لجميع نماذج الذكاء الاصطناعي، بما في ذلك النماذج المصرح بها وغير المصرح بها، العاملة عبر الحوسبة السحابية العامة وتطبيقات البرمجيات كخدمة (SaaS). وهذا يعني ضرورة احتفاظ فرق الأمن بسجل شامل لنماذج الذكاء الاصطناعي، بما في ذلك بياناتها الوصفية التي توضح الملكية، واستخدام البيانات، والصلاحيات، والإعدادات، وغيرها من المعلومات ذات الصلة. وهذا يمكّن المؤسسات من تقييم المخاطر والآثار ومتطلبات الامتثال بفعالية.
2. تقييم مخاطر نماذج الذكاء الاصطناعي
تتمثل الخطوة الثانية الأكثر أهمية في تقييم نماذج الذكاء الاصطناعي وتصنيفها وتصنيفها بناءً على تصنيفات المخاطر الخاصة بها. تُعد هذه الخطوة بالغة الأهمية لضمان الامتثال للوائح الذكاء الاصطناعي العالمية، مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي ، الذي يُلزم بتصنيف أنظمة الذكاء الاصطناعي، ويفرض بناءً على ذلك التزامات وقيودًا معينة على استخدامها. ينبغي أن تشمل التصنيفات جوانب أخلاقية وحوكمية وأمنية رئيسية، بما في ذلك سمية النموذج وكفاءته وتحيزه ومخاطره الوهمية.
3. فهم التفاعل بين البيانات والذكاء الاصطناعي
تُعدّ شفافية الذكاء الاصطناعي وقابليته للتفسير عنصرين أساسيين للاستخدام الآمن له. فإلى جانب الالتزامات التنظيمية، تُساعد الشفافية وقابلية التفسير فرق العمل على فهم تبعيات النظام ونقاط الضعف المحتملة، مما يُتيح لهم تحسين أداء الذكاء الاصطناعي وضمان كفاءته. ولتحقيق هذه الأهداف، يجب على المؤسسات وضع خريطة شاملة للذكاء الاصطناعي وتفاعلاته مع مصادر البيانات، وعمليات المعالجة، والمخاطر المحتملة، والالتزامات التنظيمية.
4. استيعاب البيانات بشكل آمن (التنظيف والصلاحيات)
بمجرد حصول فرق الأمن على رؤى معمقة حول البيانات والذكاء الاصطناعي، يجب عليها تطبيق ضوابط فورية لحماية البيانات والذكاء الاصطناعي. يجب حماية البيانات قبل أن تستخدمها نماذج الذكاء الاصطناعي للتدريب أو الضبط الدقيق أو الاستدلال. يجب فحص وتصنيف جميع البيانات في بيئات محلية، وبيئات SaaS، وبيئات الحوسبة السحابية. يجب تطبيق ضوابط صارمة لتنقية البيانات والتحكم في الوصول إليها لحماية البيانات الحساسة المتدفقة إلى أنظمة إدارة دورة حياة البرمجيات أو الناتجة عنها. قد تشمل ضوابط تنقية البيانات تنقيح البيانات، أو إخفاء هوية البيانات، أو إخفاء البيانات الحساسة أثناء التنفيذ.
شاهدوا حلقة نقاش مميزة: تطور ضوابط البيانات في عصر الذكاء الاصطناعي التوليدي
5. جدران الحماية LLM
تُعدّ خطوط أنابيب الذكاء الاصطناعي العام عرضةً لهجماتٍ عديدة في نقاط التفاعل المختلفة، بما في ذلك المطالبات والاستجابات والاسترجاع. ولمنع مخاطر مثل الاستجابات المتحيزة وتسريب البيانات الحساسة وهجمات حقن المطالبات، ينبغي وضع جدران حماية LLM عند كل نقطة تفاعل. فعلى سبيل المثال، يقوم جدار حماية المطالبات بتصفية المطالبات غير المرغوب فيها أو الضارة التي قد تؤثر على سلوك النموذج أو تتسبب في تسريب البيانات الحساسة. ويضمن جدار حماية الاسترجاع ملاءمة البيانات ودقتها، مع منع كشف البيانات الحساسة أو البيانات المسمومة أو الضارة، وهجمات حقن المطالبات غير المباشرة. وبالمثل، يساعد جدار حماية الاستجابات في ضمان محتوى إخراج آمن ومناسب.
6. Compliance Management
يجب أن تتوافق أنظمة وعمليات الذكاء الاصطناعي مع لوائح الصناعة وأطر أفضل الممارسات، مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي وإطار إدارة مخاطر الذكاء الاصطناعي التابع للمعهد الوطني للمعايير والتكنولوجيا. يُنصح بربط البيانات ومعالجة الذكاء الاصطناعي بقاعدة معرفية تنظيمية وإجراء فحوصات تقييم آلية. تُمكّن الاختبارات والضوابط المشتركة المؤسسات من الحصول على نظرة شاملة لوضع الامتثال، واكتشاف مخاطر الامتثال، ومعالجتها استباقيًا.
تسريع تبني الذكاء الاصطناعي من خلال إطار عمل منهجي لإدارة أداء أنظمة الذكاء الاصطناعي
قد يؤدي الذكاء الاصطناعي غير المُدار أو غير الخاضع للرقابة إلى مخاطر جسيمة على المؤسسات في المستقبل. ولتسريع تبني الذكاء الاصطناعي وتحقيق قيمة تجارية هائلة من مبادراته، يتعين على المؤسسات الآن إضافة إدارة أداء أنظمة الذكاء الاصطناعي (AI SPM) إلى بنيتها التقنية الحالية. علاوة على ذلك، يجب أن يكون إطار عمل إدارة أداء أنظمة الذكاء الاصطناعي منهجيًا ومتعدد الطبقات، لضمان تأمين الذكاء الاصطناعي في كل مرحلة من مراحل دورة حياته، أي من مرحلة الإنشاء إلى مرحلة الإنتاج. يجب وضع سياسات وضوابط صارمة في كل تفاعل بين الذكاء الاصطناعي أو إدارة دورة حياة التطبيقات (LLM)، لضمان إدارة المخاطر وحماية نطاق الهجمات الموسع بشكل فعال.
الأسئلة الشائعة
