مخاطر أمن الذكاء الاصطناعي التوليدي وكيفية التخفيف منها

مؤلف

أنس بيج

مدير تسويق المنتجات في Securiti

نُشر في 17 ديسمبر 2023 / تم التحديث في 8 مارس 2024

استمع إلى المحتوى

مقدمة

يُبشّر صعود الذكاء الاصطناعي التوليدي بتحوّل جذري في العديد من الصناعات. وتتوقع شركة ماكينزي أن يُضيف الذكاء الاصطناعي التوليدي ما بين 2.6 تريليون دولار و4.4 تريليون دولار إلى أرباح الشركات العالمية سنوياً.

رغم ما يوفره الذكاء الاصطناعي التوليدي من فوائد عديدة، إلا أنه ينطوي على مخاطر أمنية وخصوصية جديدة وخطيرة. فالمخاوف بشأن إساءة استخدامه في الهجمات الإلكترونية، وتضليل البيانات وتسميمها في النماذج الأساسية لعمليات الشركات، فضلاً عن الاحتمالية الحقيقية لتسريب البيانات باستخدام نماذج مدربة على بيانات، كلها أمور تثير التساؤل حول كيفية إدارة هذه النماذج بشكل سليم مع الحفاظ على فوائدها.

كشف استطلاع حديث أجرته شركة Malwarebytes أن 81% من المشاركين قلقون بشأن المخاوف الأمنية المتعلقة بالذكاء الاصطناعي التوليدي. ويُظهر هذا القلق المتزايد الحاجة إلى أطر AI governance التوليدي يمكن للمؤسسات اعتمادها لاستخدامه بثقة.

المخاوف الأمنية في عصر التطورات في مجال الذكاء الاصطناعي التوليدي

تعتمد نماذج اللغات الضخمة، التي تقف وراء ثورة الذكاء الاصطناعي التوليدي، على مليارات المعاملات، وهي تعمل تقريبًا كأنظمة بيانات بواجهة استعلام بلغة طبيعية. علاوة على ذلك، يتزايد انتشار نماذج الذكاء الاصطناعي التوليدي التي تفتقر إلى حماية متجانسة ضد الاستخدام الخبيث والهلوسة والهجمات القائمة على التوجيهات. ويمكن تقسيم نطاق المخاوف إلى أربعة مجالات رئيسية:

تسريع الذكاء الاصطناعي من خلال تمكين سلامة الذكاء الاصطناعي

1. سلامة نموذج الذكاء الاصطناعي

يعكس هذا الإجراءات والسياسات الموضوعة لضمان عمل نماذج الذكاء الاصطناعي بشكل موثوق وأخلاقي ودون التسبب في أي ضرر متعمد. ويشمل ذلك معالجة مخاوف مثل التحيز، والمتانة، والشفافية، والمساءلة للتخفيف من مخاطر تطبيق أنظمة الذكاء الاصطناعي في مختلف التطبيقات.

تشمل سلامة نموذج الذكاء الاصطناعي قدرة نموذج الذكاء الاصطناعي التوليدي على التصرف بشكل أخلاقي ومسؤول، والامتثال للتعليمات (التي قد تعكس حتى المتطلبات القانونية)، ومقاومة التحيز. النموذج الذي لا يفي بهذه المعايير قد يكون غير مناسب للاستخدام بغض النظر عن إجراءات الحماية الأخرى المطبقة عليه.

مع انتشار نماذج الذكاء الاصطناعي في مختلف أنحاء العالم، يُعدّ فهم مصادر البيانات والمدخلات المستخدمة في هذه النماذج وتصنيفها أمرًا بالغ الأهمية لتحديد الثغرات الأمنية المحتملة والتحيزات والمخاطر الأمنية. إضافةً إلى ذلك، فإن أي تطبيق جديد ذي خوارزميات أمنية ضعيفة يُعرّض المؤسسة لمخاطر أمنية متعددة. ونظرًا لتعقيد خوارزميات الذكاء الاصطناعي التوليدي، يصبح من الصعب على فرق الأمن الداخلية تحديد المخاطر الأمنية والتحقق من سلامة استخدام الأداة.

إن التفاعل المعقد بين قدرات النماذج والمواقع الجغرافية والبيانات والحقوق يجعل سلامة الذكاء الاصطناعي أمراً صعباً، ولكن يمكن اختزال هذا التحدي إلى مجالات التركيز التالية:

  • اكتشاف نماذج الذكاء الاصطناعي – الاحتفاظ بقائمة جرد لجميع نماذج الذكاء الاصطناعي.
  • تقييم مخاطر نماذج الذكاء الاصطناعي - تقييم المخاطر المرتبطة باستخدام نماذج الذكاء الاصطناعي، بما في ذلك الالتزام بالتعليمات، والهلوسة، والتحيز، والإنصاف.
  • أمن نماذج الذكاء الاصطناعي - إنشاء حماية أمنية لأنظمة الذكاء الاصطناعي لمنع التلاعب بالنماذج (مثل تسميم النماذج) وتسريب النماذج.
  • استحقاقات نماذج الذكاء الاصطناعي - إجراء تقييم شامل لجميع امتيازات الوصول إلى النماذج.

2. استخدام بيانات المؤسسة مع الذكاء الاصطناعي التوليدي

تتمثل إحدى أهم مزايا الذكاء الاصطناعي التوليدي في المؤسسات في قدرته على التعامل مع بيانات المؤسسة. يمكن تدريب النماذج مباشرةً على بيانات المؤسسة أو تعزيزها ببيانات خارجية أو من جهات خارجية (انظر: التوليد المُعزز بالاسترجاع) للإجابة عن الاستفسارات المتعلقة بها. في كلتا الحالتين، من الضروري فهم البيانات المتاحة لنموذج الذكاء الاصطناعي التوليدي فهمًا شاملًا، لضمان تطبيق ضوابط البيانات المناسبة. يحمي هذا أي بيانات حساسة تدعم نظام الذكاء الاصطناعي التوليدي، ويضمن الامتثال للوائح التنظيمية.

لا يقتصر ازدياد الحاجة إلى ضوابط البيانات في عصر الذكاء الاصطناعي التوليدي على نماذج المؤسسات فحسب، بل إن قدرة الذكاء الاصطناعي التوليدي على محاكاة التواصل البشري بأي أسلوب تقريبًا تثير مخاوف جدية بشأن هجمات الهندسة الاجتماعية الآلية. فاستغلال نقاط ضعف المستخدمين الحالية أمام هذه الهجمات قد يؤدي إلى الكشف عن بيانات حساسة أو دفعهم إلى سلوكيات تُعرّض أمن البيانات للخطر.

يشمل الاستخدام المسؤول لبيانات المؤسسة في مجال الذكاء الاصطناعي التوليدي ما يلي:

  • جرد البيانات - تدقيق جرد لجميع البيانات المخزنة والمستخدمة والمدارة حاليًا.
  • تصنيف البيانات - تقييم وفهرسة جميع أنواع البيانات، بما في ذلك البيانات الحساسة وبيانات الأطراف الثالثة.
  • الوصول إلى البيانات والصلاحيات - اكتساب رؤى حول الموظفين والتطبيقات والنماذج التي تتمتع بإمكانية الوصول إلى البيانات.
  • الموافقة على البيانات والاحتفاظ بها والإقامة - الحصول على رؤى حول جميع البيانات الوصفية المتعلقة بالموافقة والاحتفاظ بالبيانات والتزامات الإقامة.
  • تدقيق استخدام البيانات - الاحتفاظ بسجل تدقيق للبيانات التي يتم تغذيتها حاليًا إلى نماذج الذكاء الاصطناعي.

3. السلامة الفورية

يُطلق على المدخلات في نموذج الذكاء الاصطناعي التوليدي اسم "المُوجِّه". ويمكن تقسيم المُوجِّهات إلى نوعين: (أ) مُوجِّهات أو تعليمات النظام، و(ب) مُوجِّهات أو استفسارات المستخدم. غالبًا ما يتضمن نظام الذكاء الاصطناعي التوليدي مُوجِّه النظام إلى جانب مُوجِّه المستخدم لتشكيل سلوك النموذج. وكلاهما يُعدّان أيضًا من نقاط الضعف التي يُمكن استغلالها في هجمات نماذج الذكاء الاصطناعي التوليدي.

ينبغي أن تكون توجيهات النظام مُهيكلة بأوامر دقيقة وواضحة وموضوعية لتوجيه النماذج نحو السلوك المقبول. على سبيل المثال، قد تُحدد توجيهات النظام الحدود الأخلاقية وتُقدم أمثلة إيجابية وسلبية للاستجابات. كما قد تُساعد توجيهات النظام النموذج على رفض توجيهات المستخدم التي قد تكون خطيرة.

لكن حتى أفضل أنظمة التنبيه لا تستطيع الحماية من جميع تنبيهات المستخدمين الخبيثة. لذا، يجب على أنظمة الذكاء الاصطناعي التوليدي فحص تنبيهات المستخدمين بشكل مستقل عن نموذج الذكاء الاصطناعي التوليدي لتحديد المخاطر الأمنية بسرعة وفي الوقت الفعلي، مثل البحث عن هجمات حقن التنبيهات، وطلبات المعلومات الحساسة، والطلبات غير المعتادة.

يتطلب ضمان السلامة الفورية إجراء مسح ضوئي لما يلي:

  • حقن الرسائل وكسر الحماية : تحليل الرسائل بحثًا عن محاولات لاكتشاف أو تجاوز تعليمات النظام من أجل جعل النموذج يتصرف بشكل ضار.
  • التصيد الاحتيالي للبيانات الحساسة : تحليل الرسائل النصية لمحاولات الوصول إلى المعلومات الحساسة.
  • اختطاف النموذج / التصيد المعرفي : تحليل المطالبات لمحاولات استخدام النموذج لأغراض غير مقصودة، مثل استخراج المعلومات، وهو ما قد يكون مكلفًا.
  • حجب الخدمة : منع السلوك الذي قد يؤدي إلى تعطيل النموذج للاستخدامات المشروعة.
  • السلوك الشاذ : فحص الوصول الشاذ العام أو المحتوى الذي يستدعي فحصًا إضافيًا.

4. لوائح الذكاء الاصطناعي

يتطور المشهد التنظيمي للذكاء الاصطناعي بسرعة، مع وجود العشرات من اللوائح الجديدة المتعلقة بالذكاء الاصطناعي قيد التنفيذ بالإضافة إلى لوائح حماية البيانات الموجودة مسبقًا، مثل اللائحة العامة لحماية البيانات ( GDPR ) وقانون الذكاء الاصطناعي للاتحاد الأوروبي ( قانون الذكاء الاصطناعي للاتحاد الأوروبي ).

يتطلب الاستخدام الفعال للذكاء الاصطناعي التوليدي الامتثال لقوانين حماية البيانات الحالية وقوانين AI governance المتوقعة المصممة لحماية البيانات الحساسة. ومن بين التطورات القادمة:

  • إرشادات المفوضية الأوروبية بشأن الاستخدام الأخلاقي للذكاء الاصطناعي في البيئات التعليمية
  • إرشادات هيئة حماية البيانات في المملكة المتحدة بشأن الذكاء الاصطناعي وحماية البيانات ومجموعة أدوات إدارة مخاطر حماية البيانات
  • دليل التقييم الذاتي لأنظمة الذكاء الاصطناعي الصادر عن هيئة حماية البيانات الفرنسية
  • دليل هيئة حماية البيانات الإسبانية حول التعلم الآلي
  • مسودة إطار إدارة مخاطر الذكاء الاصطناعي الصادرة عن المعهد الوطني للمعايير والتكنولوجيا (NIST)
  • إطار ضمان الذكاء الاصطناعي في ولاية نيو ساوث ويلز الأسترالية
  • مجموعة أدوات اختبار الذكاء الاصطناعي لهيئة تطوير الإعلام والاتصالات في سنغافورة
  • مسودة سياسة إدارة الذكاء الاصطناعي التوليدي الصادرة عن إدارة الفضاء الإلكتروني الصينية
  • إرشادات المجلس الهندي للأبحاث الطبية بشأن استخدام الذكاء الاصطناعي في البحوث الطبية الحيوية والرعاية الصحية
  • مسودة المعيار الوطني الفيتنامي بشأن الذكاء الاصطناعي والبيانات الضخمة

في بيئة ديناميكية تعتمد على البيانات، ستحتاج المنظمات المتعطشة للبيانات إلى تنفيذ سياسات وإجراءات تُمكّن من الاستخدام الآمن للذكاء الاصطناعي التوليدي وتمكين المنظمات من الوفاء بالالتزامات المختلفة التي تفرضها لوائح الذكاء الاصطناعي.

يتطلب أمن الذكاء الاصطناعي التوليدي منصة قيادة DataAI

يعتمد أمن الذكاء الاصطناعي التوليدي على ضمان أقصى درجات الخصوصية والأمان للبيانات الحساسة التي تم إدخالها في نموذج الذكاء الاصطناعي.

Securiti تأتي منصة DataAI Command مزودة باستراتيجية للتحكم في البيانات تُمكّن من التحكم السياقي والآلي في البيانات، وتضمن الامتثال السريع للقوانين المتغيرة. وهي تساعد في:

  • جرد شامل للبيانات الموجودة؛
  • تصنيف البيانات السياقية لتحديد البيانات الحساسة/البيانات السرية؛
  • الامتثال للوائح التي تنطبق على البيانات التي يتم إدخالها إلى نموذج التدريب، بما في ذلك تلبية متطلبات الموافقة على البيانات والإقامة والاحتفاظ بها؛
  • جرد لجميع نماذج الذكاء الاصطناعي التي يتم تغذية البيانات إليها عبر مسارات البيانات المختلفة؛
  • إدارة حقوق الوصول إلى البيانات من خلال ضوابط وصول دقيقة، أو إخفاء ديناميكي، أو تقنيات الخصوصية التفاضلية؛ و
  • التمكين data security posture management لضمان بقاء البيانات آمنة في جميع الأوقات.

قم بتنزيل دليل كبار مسؤولي حماية البيانات للتعرف على الاستخدام المسؤول للذكاء الاصطناعي التوليدي، وشاهد الندوة عبر الإنترنت بعنوان " إدارة الخصوصية في عصر الذكاء الاصطناعي التوليدي" لاستكشاف كيفية تعامل متخصصي الخصوصية مع الحوكمة المتعلقة بهذه التقنيات الناشئة، وكيف يمكن لإطار عمل موحد لضوابط البيانات عبر مختلف القطاعات أن يساعد المؤسسات في جميع الصناعات.

اطلب عرضًا تجريبيًا اليوم لتشاهد بنفسك Securiti أثناء العمل.


أهم النقاط الرئيسية:

  1. الأثر الاقتصادي للذكاء الاصطناعي التوليدي: تشير تقديرات ماكينزي إلى أن الذكاء الاصطناعي التوليدي يمكن أن يضيف ما بين 2.6 تريليون دولار إلى 4.4 تريليون دولار إلى أرباح الشركات العالمية سنوياً، مما يسلط الضوء على إمكاناته الكبيرة في مختلف الصناعات.
  2. مخاوف أمنية وخصوصية: يُثير صعود الذكاء الاصطناعي التوليدي مخاطر أمنية وخصوصية جديدة، تشمل الهجمات الإلكترونية، والتضليل، وتسميم البيانات، وتسريبها. وقد أظهر استطلاع رأي أجرته شركة Malwarebytes أن 81% من المشاركين قلقون بشأن هذه المشكلات الأمنية.
  3. الحاجة إلى أطر حوكمة: تؤكد المخاوف المتزايدة على ضرورة وجود أطر حوكمة توليدية AI governance أطر عمل وأدوات لتمكين المؤسسات من استخدام الذكاء الاصطناعي التوليدي بثقة ومسؤولية.
  4. سلامة نماذج الذكاء الاصطناعي: يتضمن ضمان سلامة نماذج الذكاء الاصطناعي وضع إجراءات وسياسات لجعل نماذج الذكاء الاصطناعي موثوقة وأخلاقية وغير ضارة، ومعالجة التحيزات والمتانة والشفافية والمساءلة.
  5. استخدام بيانات المؤسسة: تؤكد قيمة الذكاء الاصطناعي التوليدي في العمل مع بيانات المؤسسة على أهمية فهم والتحكم في الوصول إلى البيانات لحماية المعلومات الحساسة وضمان الامتثال التنظيمي.
  6. السلامة الفورية: تعتبر إدارة المدخلات (المطالبات) في نماذج الذكاء الاصطناعي التوليدية أمرًا بالغ الأهمية لمنع الهجمات، والتصيد الاحتيالي للبيانات الحساسة، واختطاف النموذج، وضمان الاستخدام الأخلاقي للنموذج.
  7. الامتثال للوائح الذكاء الاصطناعي: يعد الالتزام بالمشهد المتطور للوائح الذكاء الاصطناعي، بما في ذلك اللائحة العامة لحماية البيانات وقانون الذكاء الاصطناعي للاتحاد الأوروبي ، أمرًا بالغ الأهمية للاستفادة من الذكاء الاصطناعي التوليدي بشكل فعال وآمن.
  8. استراتيجيات أمن الذكاء الاصطناعي التوليدي: تطبيق استراتيجية منصة قيادة الذكاء الاصطناعي للبيانات، مثل تلك التي تقدمها شركة Securiti يمكن لمنصة DataAI Command Platform المساعدة في إدارة خصوصية وأمان البيانات الحساسة، والامتثال للوائح، وضمان الاستخدام المسؤول للذكاء الاصطناعي التوليدي.
  9. تؤكد هذه الاستنتاجات على أهمية الأمن والخصوصية والاعتبارات الأخلاقية والامتثال التنظيمي في تسخير فوائد الذكاء الاصطناعي التوليدي مع التخفيف من مخاطره.

قم بتحليل هذه المقالة باستخدام الذكاء الاصطناعي

تظهر المطالبات في أدوات الذكاء الاصطناعي التابعة لجهات خارجية.
انضم إلى قائمتنا البريدية

احصل على أحدث المعلومات والتحديثات القانونية والمزيد مباشرةً في بريدك الإلكتروني



قصص أخرى قد تهمك
مقاطع فيديو
عرض المزيد
ريحان جليل، من شركة Veeam، يتحدث عن Agent Commander: theCUBE + NYSE Wired: قادة الأمن السيبراني
بعد استحواذ شركة Veeam على Securiti يمثل إطلاق برنامج Agent Commander خطوة هامة نحو مساعدة المؤسسات على تبني وكلاء الذكاء الاصطناعي بثقة أكبر. في...
عرض المزيد
تخفيف مخاطر قائمة OWASP لأهم 10 مخاطر لتطبيقات ماجستير القانون 2025
أحدث الذكاء الاصطناعي التوليدي (GenAI) تحولاً جذرياً في طريقة عمل الشركات وتوسعها ونموها. يوجد تطبيق للذكاء الاصطناعي لكل غرض، بدءاً من زيادة إنتاجية الموظفين وصولاً إلى تبسيط العمليات...
عرض المزيد
أفضل 6 DSPM حالات الاستخدام
مع ظهور الذكاء الاصطناعي التوليدي (GenAI)، أصبحت البيانات أكثر ديناميكية. يتم توليد بيانات جديدة بوتيرة أسرع من أي وقت مضى، ونقلها إلى أنظمة وتطبيقات متنوعة...
عرض المزيد
قانون الخصوصية في كولورادو (CPA)
ما هو قانون خصوصية كولورادو؟ قانون خصوصية كولورادو هو قانون شامل لحماية الخصوصية، تم توقيعه في 7 يوليو 2021. وقد وضع معايير جديدة لحماية البيانات الشخصية...
عرض المزيد
Securiti لمساعد الطيار في البرمجيات كخدمة (SaaS)
تسريع اعتماد Copilot بأمان وثقة: تتطلع المؤسسات إلى اعتماد Microsoft 365 Copilot لزيادة الإنتاجية والكفاءة. ومع ذلك، تظل المخاوف الأمنية، مثل حماية البيانات...
عرض المزيد
أهم عشرة اعتبارات لاستخدام البيانات غير المهيكلة بأمان مع الذكاء الاصطناعي العام
نسبة مذهلة تصل إلى 90% من بيانات المؤسسات غير منظمة. وتُستخدم هذه البيانات بسرعة لتغذية تطبيقات الذكاء الاصطناعي من الجيل الجديد، مثل روبوتات الدردشة والبحث المدعوم بالذكاء الاصطناعي.
عرض المزيد
جينكور للذكاء الاصطناعي: بناء أنظمة ذكاء اصطناعي آمنة وعالية الجودة للمؤسسات في دقائق
مع تبني المؤسسات للذكاء الاصطناعي التوليدي، تواجه فرق البيانات والذكاء الاصطناعي العديد من العقبات: ربط مصادر البيانات غير المهيكلة والمهيكلة بشكل آمن، والحفاظ على الضوابط والحوكمة المناسبة،...
عرض المزيد
كيفية التعامل مع قانون حماية خصوصية المستهلك في كاليفورنيا: رؤى أساسية للشركات
ما هو قانون حقوق الخصوصية في كاليفورنيا (CPRA)؟ هو تشريع ولاية كاليفورنيا الذي يهدف إلى حماية خصوصية سكانها الرقمية. وقد دخل حيز التنفيذ في يناير...
عرض المزيد
التكيف مع التحول: الانتقال إلى معيار أمان بيانات صناعة بطاقات الدفع (PCI DSS) الإصدار 4.0
ما هو معيار أمان بيانات صناعة بطاقات الدفع (PCI DSS)؟ هو مجموعة من معايير الأمان لضمان المعالجة والتخزين الآمنين للبيانات، و...
عرض المزيد
تأمين البيانات والذكاء الاصطناعي: دليل إدارة الثقة والمخاطر والأمن (TRiSM)
أثارت المخاطر الأمنية المتزايدة للذكاء الاصطناعي قلق 48% من مسؤولي أمن المعلومات حول العالم. انضموا إلى هذه الجلسة الرئيسية للتعرف على دليل عملي لتمكين الثقة في الذكاء الاصطناعي، وإدارة المخاطر،...
أحدث
مكتب الذكاء الاصطناعي في أستراليا: لماذا تغفل عمليات التدقيق السنوية عن إمكانيات الذكاء الاصطناعي لديك؟ عرض المزيد
مكتب الذكاء الاصطناعي في أستراليا: لماذا تغفل عمليات التدقيق السنوية عن إمكانيات الذكاء الاصطناعي لديك؟
تخيل هذا السيناريو: سيناريو خيالي ولكنه معقول تماماً. تقضي أنظمة الذكاء الاصطناعي التابعة لمؤسسة مالية أسترالية ستة أشهر في الوصول إلى مستودع بيانات عملاء لم يسبق لأحد الوصول إليه...
عرض المزيد
كامل DSPM تصنيف الاحتياجات وسياقها
يُعد التصنيف إحدى الوظائف الأساسية لـ DSPM يتولى البرنامج معالجة البيانات، وعادةً ما يعمل بالتزامن مع عملية الاكتشاف، لأنهما يشكلان معًا...
ما هو نظام التحكم في الوصول؟ التعريف، الأنواع، والمكونات عرض المزيد
ما هو نظام التحكم في الوصول؟ التعريف، الأنواع، والمكونات
اكتشف ما هو نظام التحكم في الوصول، وكيف يعمل، وأنواعه، ومكوناته، وأهميته في ضمان الامتثال التنظيمي، وغير ذلك الكثير.
ما هي سلامة البيانات؟ دليل شامل عرض المزيد
ما هي سلامة البيانات؟ دليل شامل
تعرّف على مفهوم سلامة البيانات، وأهميتها للأمن والامتثال والذكاء الاصطناعي، وأنواع سلامة البيانات المختلفة، والتهديدات الشائعة، وأفضل الممارسات لـ...
ما هو
جديد