LLM04: تسميم البيانات والنماذج
يحدث تسميم البيانات والنماذج عندما يقوم مهاجم بتلويث مجموعات البيانات المستخدمة في التدريب المسبق أو الضبط الدقيق أو توليد البيانات المعزز بالاسترجاع (RAG)، مما يؤدي إلى تحريف سلوك النموذج أو إدخال ثغرات وتحيزات. ومن الأمثلة البارزة على ذلك برنامج الدردشة الآلي "تاي" من مايكروسوفت، الذي تعرض للاختراق عندما استخدمه مستخدمون خبيثون بلغة مسيئة ومسيئة. ولأن "تاي" كان يتعلم ديناميكيًا من تفاعلات المستخدمين، فقد بدأ في توليد محتوى مسيء مماثل، مما أجبر مايكروسوفت على إيقافه في غضون 24 ساعة من إطلاقه.
استراتيجيات التخفيف
Securiti تُعالج الضوابط الوقائية والكشفية التي تتبناها الشركة للحد من نقاط الضعف في سلسلة التوريد المخاطر المرتبطة بتسميم البيانات والنماذج. وتحمي هذه التدابير العناصر الأساسية لخط أنابيب التعلم الآلي، بما في ذلك مجموعات بيانات الطرف الثالث والنماذج المدربة مسبقًا أو مفتوحة المصدر.
بالإضافة إلى هذه الضمانات، Securiti يوفر حماية معززة ضد هجمات التسميم الناجحة من خلال جدران الحماية الخاصة باسترجاع واستجابة LLM ، والتي تفحص خطوط أنابيب RAG وتراقب مخرجات LLM لاكتشاف ومنع سلوكيات النموذج غير المقصودة أو استجابات النظام الضارة.
LLM05: معالجة المخرجات بشكل غير سليم
يحدث سوء معالجة المخرجات عندما لا تتم تصفية استجابات LLM أو تنظيفها أو التحقق من صحتها قبل تمريرها إلى المكونات اللاحقة، مثل خوادم الواجهة الخلفية أو استدعاءات واجهة برمجة التطبيقات أو وظائف LLM. يمكن أن تؤدي هذه الثغرة الأمنية إلى عواقب وخيمة. على سبيل المثال، إذا سمحت LLM للمستخدمين بإنشاء استعلامات SQL لقاعدة بيانات الواجهة الخلفية، فقد يستغلها مهاجم خبيث لإنشاء استعلامات تحذف جميع جداول قاعدة البيانات أو تعرض البيانات الحساسة للخطر.
استراتيجيات التخفيف
ولمعالجة هذا الخطر، Securiti يقوم جدار الحماية الخاص بالاستجابة بفحص مخرجات الذكاء الاصطناعي وتصفيتها لضمان أن النظام لا يُنتج إلا محتوىً مناسبًا يتوافق مع سياسات الأمان والامتثال الخاصة بشركتك. وبفضل السياسات المدمجة، يكتشف الحل تلقائيًا ويمنع نظام الذكاء الاصطناعي من إنتاج مخرجات غير لائقة، مثل المعلومات السرية للشركة، أو المعلومات الشخصية الحساسة، أو شفرة المصدر، أو أسرار تكنولوجيا المعلومات، أو أنواع المحتوى الأخرى التي قد تحمل مشاعر سلبية، أو لغة محظورة، أو عبارات مسيئة.
LLM06: الوكالة المفرطة
يحدث تجاوز صلاحيات الوكالة عندما يمتلك وكلاء إدارة الصلاحيات القانونية (LLM) صلاحيات تتجاوز نطاق صلاحياتهم، مما يسمح لهم بالوصول إلى أنظمة وبيانات لا يحق لهم استخدامها. على سبيل المثال، قد يقوم وكيل إدارة الصلاحيات القانونية في وكالة لبيع السيارات، والذي يتمتع بصلاحيات موسعة، عن غير قصد، بكشف معلومات سرية حول عروض ترويجية قادمة. هذا الكشف، المخصص فقط لفرق المبيعات والمالية الداخلية، قد يؤدي إلى تأجيل العملاء لعمليات الشراء، مما يؤثر سلبًا على مبيعات وإيرادات الربع الحالي.
استراتيجيات التخفيف
Securiti يكتشف حلنا تلقائيًا نماذج الذكاء الاصطناعي المعتمدة وغير المعتمدة، بالإضافة إلى صلاحيات الوصول إلى البيانات الخاصة بها داخل المؤسسة. ثم يعمل حل Data Access Intelligence & Governance المدمج على الحد من هذه الثغرة الأمنية من خلال تقييم وتطبيق ضوابط الوصول إلى البيانات على مستوى نظام البيانات المصدر، مما يضمن التزام كل من المستخدمين والآلات، مثل أنظمة إدارة التعلم، بنموذج الوصول الأقل امتيازًا. يُعد هذا الأمر بالغ الأهمية لاستخدام تطبيقات الذكاء الاصطناعي السحابية (SaaS) بشكل آمن، مثل Microsoft 365 ، حيث تمنع ضوابط الوصول على مستوى المصدر الإفراط في مشاركة البيانات بين مستخدمي هذه التطبيقات.
مع ذلك، ورغم أهمية ضوابط الوصول على مستوى المصدر، إلا أنها وحدها غير كافية للحد من مخاطر الوكالة المفرطة في أنظمة الذكاء الاصطناعي المطورة داخليًا والقائمة على نماذج التعلم المحدود (LLM). إذ يمكن لنماذج التعلم المحدود التي تتمتع بإمكانية الوصول إلى بيانات المصدر تجاوز صلاحيات المستخدم الأساسية للبيانات، مما يؤدي إلى الوصول غير المصرح به إلى البيانات عبر طلبات الوصول. ولمعالجة هذه المشكلة، يقوم حل Gencore AI من Securiti بالتحقق المتبادل من هوية المستخدم الذي يرسل طلب الوصول، وذلك بمقارنته بصلاحياته في الوصول إلى البيانات المضمنة المخزنة في قواعد بيانات المتجهات. وهذا يضمن حصول المستخدمين على معلومات مُستمدة فقط من البيانات التي لديهم صلاحية الوصول إليها.
يدمج هذا النهج ذو الطبقتين إدارة الوصول على مستوى المصدر مع ضوابط الاستحقاق الخاصة ببرنامج إدارة الحقوق، مما يقلل بشكل فعال من مخاطر الوكالة المفرطة ويحمي المعلومات الحساسة من الوصول غير المصرح به.
LLM07: تسريب موجه النظام
يُعدّ تسريب أوامر النظام نوعًا محددًا من هجمات حقن الأوامر، حيث يتم استخراج أوامر النظام الداخلية، مما قد يكشف معلومات حساسة مثل مفاتيح واجهة برمجة التطبيقات (API)، وبنية النظام، وقواعد إدارة المحتوى. على سبيل المثال، نجح مهاجمون في استخراج أوامر نظام وضع الصوت في GPT-4، كاشفين بذلك قيود سلوك النموذج وإرشادات الاستجابة.
استراتيجيات التخفيف
بما أن تسريب أوامر النظام يُعدّ جزءًا من حقن الأوامر ، فإنّ الضوابط الوقائية والكشفية الموضحة في LLM01 تنطبق هنا أيضًا. تحديدًا، يمكن لسياسات حقن الأوامر المدمجة في جدار حماية الأوامر منع محاولات المهاجمين لاستخراج أوامر النظام. إضافةً إلى ذلك، ينبغي للمؤسسات تطبيق تدابير وقائية تضمن استبعاد البيانات الحساسة، مثل مفاتيح واجهة برمجة التطبيقات (API) وإعدادات النظام، من أوامر النظام الداخلية. وبدلًا من ذلك، ينبغي تخزين ومعالجة المعلومات الحساسة بشكل منفصل ضمن ضوابط أمنية صارمة لتقليل مخاطر انكشافها.
LLM08: نقاط ضعف المتجهات والتضمين
تظهر نقاط ضعف المتجهات والتضمين في أنظمة توليد البيانات المعززة بالاسترجاع (RAG) عندما يستغل المهاجمون ثغرات في قواعد بيانات المتجهات لحقن محتوى ضار، أو تغيير سلوك النموذج، أو الوصول إلى معلومات حساسة مخزنة في التضمينات. على سبيل المثال، في بيئة متعددة المستخدمين حيث تتشارك مجموعات مستخدمين مختلفة قاعدة بيانات المتجهات نفسها، قد يتم استرجاع التضمينات من مجموعة ما عن غير قصد بواسطة استعلامات من نموذج التعلم القائم على المستوى (LLM) لمجموعة أخرى، مما قد يؤدي إلى تسريب معلومات تجارية حساسة.
استراتيجيات التخفيف
Securiti 's Data Command Center يعالج هذا الحل مخاطر خط أنابيب استرجاع البيانات المعززة (RAG) من خلال مجموعة شاملة من الإمكانيات المصممة خصيصًا لفرق الأمن. يتضمن الحل في جوهره عملية تنظيف بيانات مدمجة لتصنيف البيانات الحساسة وإخفائها تلقائيًا في الأنظمة المصدرية قبل تخزينها كبيانات مضمنة في قواعد بيانات المتجهات. يقلل هذا النهج الاستباقي من مخاطر انكشاف البيانات نتيجة للهجمات التي تستغل الثغرات الأمنية في قواعد بيانات المتجهات.
إضافةً إلى تنقية البيانات، يُؤتمت هذا الحل تطبيق ضوابط الصلاحيات، ما يضمن أن المستخدمين أو الوكلاء لا يمكنهم استرجاع البيانات المُضمّنة إلا من البيانات المصرح لهم بالوصول إليها. تمنع هذه الخاصية التنبيهات داخل تطبيقات إدارة دورة حياة البيانات من تجاوز سياسات الوصول إلى البيانات الأساسية، ما يحافظ على الالتزام الصارم بمبدأ أقل الصلاحيات.
لتعزيز الأمان بشكل أكبر، يقوم جدار الحماية الخاص بالاسترجاع بتحليل البيانات المسترجعة من مسار RAG. إذا نجح مهاجم في حقن محتوى خبيث باستخدام متجه مزيف مصمم ليبدو كمحتوى آخر في قاعدة بيانات المتجهات، يستطيع جدار الحماية اكتشاف هذا المحتوى الخبيث ومنعه من الوصول إلى نموذج الذكاء الاصطناعي. تضمن هذه الإمكانيات مجتمعةً حمايةً قويةً لمسارات RAG.
LLM09: المعلومات المضللة
يحدث التضليل في نماذج التعلم الموجه بالتعلم عندما تتخيل النماذج معلومات خاطئة أو مضللة، وغالبًا ما يكون ذلك بسبب نقص فهم السياق والمعنى. على سبيل المثال، قام برنامج الدردشة الآلي التابع لشركة طيران كندا مؤخرًا بتضليل أحد الركاب، حيث ذكر خطأً أنه يمكنه التقدم بطلب استرداد قيمة تذكرة السفر في حالة الوفاة خلال 90 يومًا، وهو ما يتعارض مع سياسات شركة الطيران الفعلية.
استراتيجيات التخفيف
Securiti يُقلل حل Gencore AI من مخاطر المعلومات المضللة من خلال تمكين المستخدمين من إنشاء مسارات RAG آمنة. يربط هذا الحل أنظمة إدارة التعلم (LLMs) بشكل آمن بقواعد المعرفة الداخلية الموثوقة، مما يضمن استناد المخرجات إلى معلومات مصدرية موثقة. وهذا بدوره يقلل من التشويش ويضمن ملاءمة وصحة الاستجابات.
يُمكّن هذا الحل أيضًا من تقييم مخاطر النماذج واختيارها بناءً على معايير الصناعة مثل Stanford HELM لتسليط الضوء على المشكلات المحتملة كالهلوسة والتحيز والسمية. وهذا يسمح للمطورين بمقارنة نماذج متعددة بناءً على درجات المخاطر واختيار النموذج الأنسب لحالة استخدام تطبيق الذكاء الاصطناعي الخاصة بهم. ومن خلال اختيار النماذج التي تتوافق مع مستوى تقبّل المخاطر لدى المؤسسة، Securiti يساعد ذلك في التخفيف من الأخطاء المحتملة منذ البداية.
بالإضافة إلى ذلك، مع Securiti يستطيع المستخدمون تقليل البيانات الزائدة والقديمة وغير المهمة (ROT) ، مثل المعلومات القديمة أو الملفات المكررة، التي قد تُؤثر سلبًا على سلامة سير عمل الذكاء الاصطناعي. ومن خلال تحديد بيانات ROT وإزالتها من عمليات تدريب النموذج وضبطه الدقيق وتوليد البيانات المُعززة بالاسترجاع (RAG)، يُحسّن هذا الحل جودة المدخلات، مما يُعزز بدوره موثوقية استجابات النموذج.
تُمكّن هذه الاستراتيجيات مجتمعة المؤسسات من حماية أنظمة الذكاء الاصطناعي الخاصة بها من المعلومات المضللة وتقديم مخرجات موثوقة.
LLM10: الاستهلاك غير المحدود
يحدث الاستهلاك غير المحدود عندما يستغل المهاجمون قدرات الاستدلال في نموذج التعلم المحدود (LLM) من خلال إرسال طلبات مفرطة دون وضع قيود مناسبة. يمكن أن تؤدي هذه الثغرة الأمنية إلى هجمات حجب الخدمة، وتدهور الخدمة، وسرقة النماذج، وخسائر مالية. على سبيل المثال، قد يُغرق المهاجم نموذج التعلم المحدود (LLM) بكم هائل من المدخلات ذات الأطوال المتفاوتة، مستغلًا أوجه القصور في المعالجة لاستنزاف الموارد، وربما جعل النظام غير مستجيب، مما يؤثر بشكل كبير على توافر الخدمة.
استراتيجيات التخفيف
Securiti يعمل جدار الحماية الخاص بـ LLM Response Firewall على معالجة مخاطر الاستهلاك غير المحدود من خلال اكتشاف الهجمات التي تتسبب في قيام LLMs بتوليد كمية كبيرة من المحتوى غير ذي الصلة وحظرها، مما يقلل من استنزاف الموارد ويحافظ على استقرار الخدمة.
المسار المستقبلي: تحديد أولويات مخاطر طلبات الحصول على درجة الماجستير في القانون
يُؤدي اعتماد نماذج التعلم الآلي (LLMs) ضمن التطبيقات الداخلية أو برامج SaaS الخارجية إلى ظهور مخاطر وشكوك كبيرة على وضع أمن تكنولوجيا المعلومات في المؤسسة. ونظرًا لسلوكها غير الحتمي، لا يُمكن التنبؤ بمخرجاتها دائمًا، مما يجعل إدارة المخاطر تحديًا معقدًا. إضافةً إلى ذلك، تعتمد نماذج التعلم الآلي بشكل كبير على البيانات، وتفتقر معظم المؤسسات إلى أطر أمن البيانات وحوكمتها المتطورة اللازمة لمعالجة هذه المخاطر بفعالية.
إن الاعتماد على جدار الحماية الطرفي فقط غير كافٍ وينطوي على مخاطر كبيرة. فقط استراتيجية أمنية شاملة ومتعددة الطبقات قادرة على الحماية الكافية من التهديدات المتطورة في مجال الذكاء الاصطناعي من الجيل الجديد.
لتحديد أولويات الثغرات الأمنية الأكثر خطورة، أوصي بالتركيز أولاً على الثغرتين LLM06: التجاوزات في صلاحيات الوصول، وLLM02: الكشف عن المعلومات الحساسة. تتزايد ترابط أنظمة الذكاء الاصطناعي مع أنظمة البيانات، مما يجعل من الضروري ضمان وصولها فقط إلى البيانات ذات الصلة بمهامها ، وتقليل صلاحياتها إلى أدنى حد. فبدون ضوابط صارمة على الصلاحيات، قد تتعرض أنظمة الذكاء الاصطناعي القادرة على استخدام واجهات برمجة التطبيقات الكاملة للتلاعب لتنفيذ إجراءات غير مقصودة أو ضارة .
لا تزال البيانات الحساسة للعملاء هدفًا رئيسيًا للمجرمين الإلكترونيين ، كما يمكن للمهاجمين استغلال ثغرات إدارة دورة حياة التطبيقات (LLMs) لأغراض الاستطلاع، واستخدامها لجمع معلومات قيّمة عن مؤسستك لدعم الهجمات المستقبلية. إن معالجة هاتين الثغرتين مبكرًا يقلل بشكل كبير من نطاق الهجوم، مما يضعف تأثير استغلال الثغرات الأخرى.
هل ترغب في صقل مهاراتك AI Security & Governance ؟ احصل على شهادة أمن الذكاء الاصطناعي الشهيرة لدينا - إنها مجانية.
هل ترغب في مواءمة مؤسستك مع قائمة OWASP Top 10 لأفضل عشرة مخاطر في برامج الماجستير في القانون؟
اطلب عرضًا تجريبيًا الآن وتعرف على كيفية القيام بذلك Securiti يمكننا مساعدتك في إدارة مخاطر الذكاء الاصطناعي عبر التطبيقات الداخلية وتطبيقات SaaS.
