LLM01 - الحقن الفوري
لطالما وُجدت تهديدات الحقن، مما يُمكّن المهاجمين من تنفيذ أكواد أو إجراءات خبيثة واختراق التطبيقات. يُعدّ حقن التعليمات البرمجية أحد هذه التهديدات. يُصنّف حقن التعليمات البرمجية كأخطر ثغرة أمنية، حيث يسمح للمهاجم باختراق نظام إدارة التعلم (LLM) من خلال تعليمات برمجية مُصممة بدقة. ويتلاعب هذا النوع من الحقن بتطبيقات نظام إدارة التعلم لتجاوز التعليمات الأولية وتحقيق نوايا المهاجم.
تُدرج منظمة OWASP نوعين مختلفين من عمليات حقن المطالبات التي يستخدمها المهاجمون بشكل شائع: المطالبات المباشرة وغير المباشرة.
في هجوم الحقن المباشر، يتفاعل المهاجم مع نظام إدارة التعلم (LLM) مباشرةً، ويتلاعب به عبر رسائل خبيثة. على سبيل المثال، قد يطلب المهاجم من النظام التظاهر بأنه روبوت محادثة، ويحدد له كيفية الاستجابة عند تلقيه تعليمات معينة. غالبًا ما تتضمن هذه الرسائل ثغرات أمنية، مثل شفرة تنفيذ عن بُعد، ضمن التعليمات المُرسلة.
في حالة حقن التعليمات البرمجية غير المباشرة، يحاول المهاجم تنفيذ تعليمات برمجية خبيثة عبر صفحة ويب أو ملف تالف. فإذا طلب المستخدم من نظام إدارة التعلم (LLM) تصفح ذلك الموقع، مثلاً لتلخيص محتواه، فسيتم تنفيذ التعليمات البرمجية دون قصد.
يُعدّ الحقن الفوري خطرًا أمنيًا خطيرًا في أنظمة إدارة التعلم (LLMs) يجب على المؤسسات أن تحذر منه لأنه قد يسمح للمهاجمين باختراق نظام إدارة التعلم والسيطرة عليه.
التدابير الوقائية
- ينبغي تقييد الوصول إلى أنظمة إدارة التعلم. يجب تطبيق نظام صلاحيات قائم على الأدوار لمنح الحد الأدنى من مستوى الوصول.
- يجب إبقاء البشر على اطلاع دائم بالموافقات، خاصة عندما تصل برامج إدارة التعلم الآلي إلى أنظمة خارجية، كما هو الحال في إجراء الحقن الفوري غير المباشر المذكور أعلاه.
- يلزم وجود نظام دقيق أو ضوابط أو سياسات لفصل المحتوى غير المرغوب فيه أو الضار عن نافذة التنبيه.
- ينبغي التعامل مع جميع أنظمة إدارة التعلم على أنها غير موثوقة، وبالتالي، عند تصميم النظام، يجب تطبيق ضوابط أمنية وحوكمة مناسبة.
LLM02 - معالجة المخرجات غير الآمنة
كما يوحي الاسم، يتعلق هذا الخطر بمخرجات نظام إدارة التعلم (LLM). لنفترض حالة استخدام حيث يقوم نظام إدارة التعلم بإنشاء استعلامات SQL، مما يسمح للفرق بتبسيط وتسريع تحليل البيانات. الآن، ماذا يمكن أن يحدث إذا تمكن مُخترق من الوصول إلى نظام إدارة التعلم والتلاعب به لإنشاء استعلامات SQL تحذف جميع الجداول من قاعدة البيانات؟ سيكون ذلك كارثيًا على المؤسسة. قد تحدث تهديدات مثل ثغرات SQL إذا قبل البرنامج اللاحق مخرجات نظام إدارة التعلم دون معالجة دقيقة، أي دون تنظيف أو تحقق أو تصفية.
أحد أسباب وضع معالجة المخرجات غير الآمنة مباشرة بعد الحقن الفوري هو أن هذا الخطر عادة ما ينشأ مع هجوم الحقن الفوري الناجح.
التدابير الوقائية
- اتبع نهج أمان قائم على مبدأ انعدام الثقة عند التعامل مع أنظمة إدارة التعلم. اعتبر هذه الأنظمة بمثابة مستخدمين غير موثوق بهم يتطلبون تنظيفًا وتحققًا من صحة بياناتهم.
- ضع في اعتبارك الإرشادات المقدمة في إطار عمل معيار التحقق من أمان التطبيقات OWASP ( ASVS ) للتعامل الآمن مع المخرجات.
LLM03 - تسميم بيانات التدريب
من المعروف أن نماذج التعلم الآلي تُدرَّب على كميات هائلة من البيانات. في الواقع، تُعدّ البيانات ضرورية أيضًا لتحسين أداء هذه النماذج وكفاءتها. مع ذلك، إذا كانت البيانات المُدخلة تالفة، فسيتصرف نموذج التعلم الآلي بشكل غير طبيعي، مما يؤدي إلى استجابات غير أخلاقية أو متحيزة أو ضارة. يُعدّ تسميم البيانات مشكلة معقدة يصعب حلها.
لفهم هجوم تسميم البيانات، دعونا نأخذ الموقف التالي كمثال. تخيل مستخدمًا يطلب من نظام إدارة دورة حياة المنتج (LLM) مراجعة ملفات وقواعد بيانات معينة وتلخيص تحليلها لأغراض استثمارية. دون علم المستخدم، يقوم مهاجم بزرع بيانات خاطئة في الملفات أو قواعد البيانات. ونتيجة لذلك، يُنتج نظام إدارة دورة حياة المنتج تحليلًا غير صحيح أو معيب، مما يؤثر سلبًا على قرار المستخدم.
التدابير الوقائية
- احصل على رؤية كاملة لجميع المصادر وتأكد من موثوقيتها.
- تحقق من صحة بيانات التدريب طوال دورة حياتها.
- ينبغي وضع آليات للتحقق من صحة مخرجات برنامج الماجستير في القانون والتأكد من أنها صحيحة ودقيقة وجديرة بالثقة.
LLM04 - نموذج رفض الخدمة
التهديد المذكور في الرقم 4 يُعادل هجوم الحرمان من الخدمة الموزع (DDoS). في حالة نموذج التعلم القائم على التعلم (LLM)، قد يُرسل المهاجم استعلامًا مُعقدًا، مما يدفع النموذج إلى إنتاج محتوى غير متوقع قد يتطلب استهلاك موارد مُفرطة. مثال آخر هو قيام المهاجم بإغراق النموذج بكمية كبيرة جدًا من المُدخلات، مما يُؤدي إلى إبطاء النموذج أو التطبيق الذي يُشغّله.
تدابير وقائية
- ينبغي مراقبة استخدام موارد برنامج ماجستير القانون بحثًا عن أي ارتفاعات غير طبيعية.
- ينبغي التحقق من صحة المدخلات وتقييدها، لمنع إرهاق نظام إدارة التعلم (LLM) بالمطالبات المفرطة.
- ينبغي أيضاً تقييد طلبات واجهة برمجة التطبيقات (API)، وتحديد سقف للموارد.
LLM05 - نقاط ضعف سلسلة التوريد
هو مصطلح شامل لأنواع مختلفة من الثغرات الأمنية، بدءًا من الحقن الفوري وتسميم البيانات وصولًا إلى نماذج التعلم الآلي المخترقة والنتائج المتحيزة. على سبيل المثال، قد يقوم برنامج خبيث بتسميم مصادر بيانات نموذج التنبؤ بالطقس، مما يتسبب في إصدار النموذج تنبيهات خاطئة نتيجةً لتوقعات غير دقيقة.
التدابير الوقائية
- قم بإجراء تقييم للموردين، مع تقييم ليس فقط المورد نفسه ولكن أيضًا سياساته أو شروطه وأحكامه.
- كإجراء أمني، قم بتطبيق مراقبة النموذج للسلوك غير الطبيعي.
- استخدم الإضافات التي قمت باختبارها وتثق بها.
- قم بتطبيق الضوابط الموصى بها في OWASP Top Ten's A06:2021 – المكونات المعرضة للخطر والقديمة لفحص الثغرات الأمنية وتصحيح المكونات.
من المخاطر الشائعة الأخرى في نماذج التعلم الآلي تسريب المعلومات الشخصية، وخاصة البيانات الحساسة. ونظرًا لاستخدام كميات هائلة من البيانات لضبط هذه النماذج أو تدريبها، فإن مجموعات البيانات هذه غالبًا ما تحتوي على بيانات حساسة. وإذا لم تُستخدم ضوابط مناسبة، مثل الإخفاء الديناميكي أو تنقيح البيانات الحساسة، فقد تكشف هذه النماذج عن معلومات حساسة دون قصد.
لنأخذ على سبيل المثال تطبيقًا للرعاية الصحية يعتمد على نموذج التعلم الآلي. إذا تم تدريب هذا النموذج عن غير قصد على سجلات مرضى حقيقية، فقد يكشف التطبيق معلومات حساسة عن هؤلاء المرضى. في الوقت نفسه، فإن معظم نماذج التعلم الآلي، مثل... ChatGPT استخدم توجيهات المستخدمين للتدريب. في مثل هذه الحالات، قد يتم الكشف عن بيانات حساسة إذا كشف المستخدمون عن معلومات حساسة في التوجيهات دون قصد.
تدابير وقائية
- قم بإنشاء وتنفيذ ضوابط تنظيف البيانات لإزالة البيانات الحساسة من مجموعات بيانات التدريب.
- بفضل سياسات التحقق والضوابط، يمكن لفرق الأمن منع التهديدات مثل تسميم البيانات عن طريق تصفية المطالبات الضارة.
- من المهم خلق الوعي من خلال تدريب الموظفين بشأن المخاطر المرتبطة بأنظمة إدارة التعلم والبيانات.
LLM07 - تصميم إضافات غير آمنة
تُشكّل الإضافات غير الآمنة تهديدًا كان موجودًا حتى قبل تقنية إدارة دورة حياة التطبيقات (LLM)، كما هو الحال مع خدمات الويب أو التطبيقات المستندة إلى الويب. ويمكن أن تؤدي هذه الأكواد المنفصلة إلى عواقب وخيمة، مثل تسريب البيانات، أو المصادقة غير المصرح بها، أو حقن التعليمات البرمجية بشكل غير مباشر.
من الأمثلة الشائعة على هذه الثغرة الأمنية إضافةٌ لا تتحقق من المدخلات وتُنفّذ إجراءات دون مصادقة. إذا اكتشف مهاجم هذه الثغرة في نظام إدارة التعلم، فبإمكانه تنفيذ تعليمات برمجية خبيثة أو الحصول على صلاحيات مفرطة.
التدابير الوقائية
- ينبغي تطبيق مبدأ الوصول بأقل الامتيازات لتقييد الوصول إلى جميع المكونات الإضافية للمستخدمين المصرح لهم فقط.
- اختبر المكونات الإضافية وتحقق من صحتها دائمًا للتحقق من وجود ثغرات أمنية ومخاطر.
- استخدم OAuth2 ومفاتيح API لتمكين المكونات الإضافية من التحقق من الهويات المصرح بها فقط.
LLM08 - الوكالة المفرطة
يُعدّ منح صلاحيات واسعة ثغرة أمنية جديدة تم اكتشافها وإدراجها ضمن قائمة OWASP لأهم عشر ثغرات أمنية لتطبيقات إدارة دورة حياة البرمجيات. تكمن المشكلة في منح إدارة دورة حياة البرمجيات صلاحيات واسعة لقراءة وكتابة وتنفيذ التعليمات البرمجية، أو منحها استقلالية تامة، مما يُمكّن التطبيق من تنفيذ وظائف غير محدودة. على سبيل المثال، قد يُدمج مطورٌ إضافةً في إدارة دورة حياة البرمجيات، مما يمنحها القدرة على قراءة المستندات لتحليلها. مع ذلك، قد تتضمن هذه الإضافة وظائف إضافية لتعديل المستندات أو حتى حذفها. في حال حدوث حقن غير مباشر، قد يتم التلاعب بالتطبيق لحذف مستندات قيّمة من المستودع، مما يُلحق الضرر بالعمل وسمعته.
التدابير الوقائية
- التحقق من صحة المكونات الإضافية والتأكد من توفير الحد الأدنى من الوظائف الضرورية للوكلاء.
- استخدم فقط مكونات إضافية محددة لتجنب الوظائف المفتوحة.
- ينبغي النظر في تطبيق مبدأ التدخل البشري للتحقق من صحة الإجراءات والموافقة عليها.
LLM09 - الاعتماد المفرط
يُعدّ الاعتماد المفرط فئة جديدة من المخاطر المرتبطة بنماذج التعلم الآلي. ويحدث هذا عندما يبدأ الأفراد أو التطبيقات بالاعتماد على هذه النماذج دون ضوابط أو سياسات أو إشراف مناسب. وقد يؤدي الاعتماد المفرط على نماذج التعلم الآلي إلى أخطاء سياقية أو واقعية في نتائجها، مما يُفضي إلى معلومات مضللة أو توجيهات خاطئة.
لنأخذ على سبيل المثال موظفًا يستخدم نظام إدارة التعلم (LLM) لتلخيص أداء الشركة ربع السنوي. تتخذ الشركة قرارات استراتيجية بناءً على البيانات الواردة في التقرير المُنشأ بواسطة النظام. بعد مرور ربع سنة، يكتشف الفريق أن البيانات غير صحيحة. ولكن بحلول ذلك الوقت، يكون الضرر قد وقع.
التدابير الوقائية
- من الأهمية بمكان مراقبة النتائج التي ينتجها برنامج الماجستير في القانون بانتظام، والتأكد من أنها موثوقة ومتسقة.
- قم بإنشاء آليات لمراقبة تفاعلات التطبيق أو المستخدمين مع نظام إدارة التعلم، مثل تصفية المحتوى، وتنقيح البيانات الحساسة، وما إلى ذلك.
- قم بإنشاء عمليات تحقق آلية للتحقق المتبادل من الحقائق.
LLM10 - سرقة النماذج
آخر المخاطر المدرجة في قائمة OWASP لأهم عشرة مخاطر لتطبيقات إدارة دورة حياة البرمجيات (LLM) هو خطر سرقة النماذج. يتمثل هذا الخطر في حصول جهة خبيثة على وصول غير مصرح به إلى مستودعات LLM أو اختراقها، مما يؤدي إلى كشف بيانات حساسة ، أو استخدامها بشكل غير مصرح به، أو فقدان السمعة. لنفترض أن أحد تطبيقات LLM يحتوي على إعدادات غير صحيحة لم يتم التحقق منها. إذا اكتشف مستخدم خبيث مثل هذه الثغرة الأمنية في تطبيق LLM خاص، فسيتمكن من الوصول إليه بشكل غير مصرح به. قد يعني هذا أنه يستطيع استخراج المعلمات لتكرار وظائف معينة أو حقن مطالبات خبيثة، على سبيل المثال لا الحصر.
التدابير الوقائية
- وللتخفيف من المخاطر، يوصى بشدة بتطبيق نظام التحكم في الوصول للحد من الوصول إلى مستودعات LLM وبيئات التدريب.
- قم بمراقبة سجلات الوصول باستمرار لتحديد الاتجاهات غير الطبيعية في الوصول إلى نظام إدارة التعلم أو استخدامه.
- منع هجمات القنوات الجانبية التي تحدث بسبب عمليات الحقن الفورية عن طريق تطبيق الضوابط المناسبة.
احمِ بيئة مشروعك القانوني ومكّن استخدامها الآمن مع Securiti
Securiti تم تصميم مركز قيادة البيانات والذكاء الاصطناعي لتمكين المؤسسات من الاستخدام الآمن لبياناتها وتقنيات الذكاء الاصطناعي من خلال الاستفادة من الذكاء السياقي والضوابط الآلية. يوفر هذا الحل ذكاءً سياقيًا موحدًا وأتمتة لأمن الذكاء الاصطناعي والبيانات، والحوكمة، والخصوصية، والامتثال.
يمكن لمركز قيادة البيانات والذكاء الاصطناعي الخاص بنا مساعدتك في حماية أنظمة إدارة التعلم الخاصة بك وبيئة بياناتك من... OWASP Top 10 LLM التهديدات:
- اكتشف نماذج ووكلاء الذكاء الاصطناعي (LLM-08 الوكالة المفرطة، LLM-09 الاعتماد المفرط، LLM-10 سرقة النموذج)
- تقييم مخاطر نماذج الذكاء الاصطناعي (LLM-08 الوكالة المفرطة، LLM-09 الاعتماد المفرط، LLM-10 سرقة النموذج)
- فهم استخدام البيانات مع الذكاء الاصطناعي (LLM-03 تسميم نموذج البيانات، LLM-06 الكشف عن البيانات الحساسة، LLM-08 الوكالة المفرطة، LLM-09 الاعتماد المفرط)
- تطبيق ضوابط البيانات والذكاء الاصطناعي المدمجة لضمان الأمن والخصوصية - مراقبة المخاطر وتخفيفها في مختلف تفاعلات إدارة التعلم مدى الحياة: الاستجابة، والتنبيه، والاسترجاع عبر context-aware LLM Firewalls (LLM-01 حقن البيانات الفورية، LLM-02 معالجة المخرجات غير الآمنة، LLM-04 نموذج رفض الخدمة، LLM-06 الكشف عن المعلومات الحساسة، LLM-09 الاعتماد المفرط)، و
- الامتثال للوائح والمعايير العالمية - الاستفادة من الاختبارات والضوابط المشتركة لأتمتة الامتثال لقوانين وأطر البيانات والذكاء الاصطناعي العالمية.
اطلب عرضًا توضيحيًا لمعرفة المزيد عن مركز قيادة البيانات والذكاء الاصطناعي.
