في يوليو 2026، تمكنت برامج الذكاء الاصطناعي، التي كانت تُشرف على تقييم داخلي للأمن السيبراني لشركة OpenAI، من تجاوز الضوابط المصممة لمنعها من الوصول إلى الإنترنت المفتوح، ووصلت إلى البنية التحتية الإنتاجية لشركة Hugging Face. خلال الأيام الأربعة التالية، استغلت هذه البرامج ثغرة أمنية تسمح بتنفيذ شفرتين برمجيتين في معالجة بيانات Hugging Face، ورفعت صلاحياتها حتى وصلت إلى مجموعات الخوادم الداخلية. ومن هناك، سجلت حوالي 17,600 إجراء. لم يستهدف أي منها بيانات العملاء. فقد توصلت هذه البرامج إلى أن Hugging Face على الأرجح تحتوي على الحل لمعيار محدد تم تكليفها به. كل هذا كان بهدف الوصول إلى ذلك الحل.
لم يتلق هؤلاء العملاء أي تعليمات لمهاجمة طرف ثالث. لقد سلكوا هذا المسار بمفردهم في سعيهم لتحقيق هدفهم عبر طريق لم يتوقعه أحد. وقد استغلوا كل نظام وبيان اعتماد يمكنهم استخدامه للوصول إلى ذلك الهدف.
يمثل هذا تحديًا جوهريًا لأمن وكلاء الذكاء الاصطناعي، وهو يتفاقم باستمرار. توقعت مؤسسة غارتنر أنه بحلول نهاية عام 2026، سيتم دمج 40% من تطبيقات المؤسسات مع وكلاء ذكاء اصطناعي متخصصين في مهام محددة، مقارنةً بـ 5% فقط في عام 2025. لكن هذه ليست الإحصائية الأكثر إثارة للقلق، إذ لم يواكب مستوى الرقابة هذا التطور. فمن بين أكثر من 750 من المديرين التنفيذيين والمتخصصين في مجال تكنولوجيا المعلومات الذين شملهم الاستطلاع ، كان لدى الشركات في المتوسط حوالي 37 وكيل ذكاء اصطناعي مُفعّل، مع أقل من نصفها يخضع للمراقبة أو التأمين المناسب.
يشرح لك هذا الدليل مفهوم أمن الذكاء الاصطناعي، وأسباب خرقه لنماذج الأمان التقليدية، وأهم المخاطر التي تواجه المؤسسات، وأفضل الممارسات والأطر التي يجب تبنيها لسد أي ثغرات أمنية بين بيانات المؤسسة الحساسة ومستخدميها. تابع القراءة لمعرفة المزيد.
لماذا تُحدث أنظمة الذكاء الاصطناعي ثورة في نماذج الأمن التقليدية؟
لطالما اعتمد أمن المؤسسات بالمعنى التقليدي على بعض الافتراضات، مثل أن البرمجيات تتبع منطقًا يمكن التنبؤ به، وأن الهويات تعود لأشخاص، وأن أي إجراء ذي مغزى لن يتم إلا بعد موافقة بشرية. لكن أنظمة الذكاء الاصطناعي تخالف هذه الافتراضات الثلاثة جميعها.
وكلاء الذكاء الاصطناعي يختارون مسارهم الخاص
اعتمدت أنظمة أمان التطبيقات التقليدية على افتراض أن الكود سيتبع مسارًا حدده المطور مسبقًا. وقد بُنيت جميع الاختبارات والمراجعات والتوقعات على هذا الافتراض. مع ذلك، عندما يتلقى برنامجٌ ما هدفًا، فإنه لا يُعدّ نصًا برمجيًا بالمعنى التقليدي. إذ يمكنه اختيار الأدوات التي سيستخدمها، وترتيب استخدامها، وكيفية تفسير النتائج، فضلًا عن طرق تحقيقها. كل هذا يعني أنه لا يمكن التحقق من صحة سلوكه بشكل كامل قبل نشره.
العملاء هم هويات ذات نطاق على مستوى البشر
صُممت معظم أنظمة إدارة الهوية والوصول لتتمحور حول الموظفين وحسابات الخدمة. أما الوكلاء، فيقعون في مكان ما بينهما. ومع ذلك، لا تزال معظم المؤسسات تتعامل مع الوكلاء كامتداد للمستخدمين البشريين أو كحسابات خدمة عامة. وبالتالي، ينتهي الأمر بالوكلاء إلى اكتساب صلاحيات وصول تفوق بكثير ما تتطلبه المهمة، مع صعوبة تتبع الإجراءات إلى مالكها المسؤول.
المحتوى هو أمر
تُفصل البيانات والتعليمات وفقًا للمفهوم التقليدي. قد يقرأ البرنامج رسائل البريد الإلكتروني والمستندات وصفحات الويب ومخرجات الأدوات كلغة طبيعية، دون أي وسيلة لمعرفة أي المعلومات التي قرأها يجب اتباعها. هذه الفجوة هي ما يجعل حقن التعليمات الفورية خطيرًا للغاية. ولهذا السبب أيضًا لا يحتاج المهاجم إلى اختراق الشبكة إذا تمكن من زرع التعليمات في مكان يقرأها البرنامج.
يتصرف العملاء بسرعة الآلة
تُصمَّم معظم أنظمة مراقبة الأمن لتتوافق مع السلوك البشري، حيث تتم جميع العمليات والجلسات وتسلسل الإجراءات بوتيرة بشرية. مع ذلك، يستطيع البرنامج البرمجي الاستعلام عن قواعد البيانات، واستدعاء العديد من واجهات برمجة التطبيقات، وإرسال رسائل خارجية في ثوانٍ، عبر أنظمة مختلفة، مستفيدًا من أدوات وفرق عمل متنوعة.
الوصول المشروع يمثل مسارًا للهجوم
لا تنطوي معظم المخاطر الجسيمة التي تواجه الوكلاء على سرقة بيانات الاعتماد إطلاقاً. ويؤكد تقرير OWASP لأهم عشرة مخاطر لتطبيقات الوكلاء أن الخطر الرئيسي لا يكمن في حصول الوكلاء على وصول غير مصرح به، بل في إساءة استخدام الصلاحيات الممنوحة لهم بالفعل، دون انتهاك امتيازاتهم.
أبرز المخاطر الأمنية المتعلقة بوكلاء الذكاء الاصطناعي
تُقدّم قائمة OWASP لأهم عشرة تهديدات لتطبيقات الوكلاء مصطلحات مشتركة ضرورية لفرق الأمن فيما يتعلق بالتهديدات الخاصة بالوكلاء. وتُوضّح الخريطة أدناه أخطر هذه التهديدات.
الحقن الفوري واختراق الأهداف
يُعدّ حقن التعليمات أسلوبًا شائعًا يستخدمه المهاجمون، حيث يُخفون التعليمات في محتوى سيقوم برنامج خبيث بمعالجته، مثل تذكرة دعم أو صفحة ويب أو مستند مشترك. وبما أن هذه البرامج تُفسّر اللغة الطبيعية، فمن المرجح أن تُفسّر هذه التعليمات على أنها تعليمات مشروعة.
في حين أن هذا قد يؤدي في روبوت محادثة بسيط إلى إجابة سيئة، إلا أنه مع وكيل يمكن أن يؤدي إلى إجراءات سيئة مثل إعادة توجيه الملفات الحساسة، والموافقة على المعاملات، وتغيير الوثائق والسجلات الداخلية.
تعتمد البرامج الوسيطة على الأدوات لتنفيذ مهامها، بما في ذلك واجهات برمجة التطبيقات، وقواعد البيانات ، وأنظمة الملفات، والبريد الإلكتروني، ومترجمات البرامج، وموصلات البرمجيات كخدمة (SaaS). ويحدث سوء استخدام الأدوات عندما يستخدم البرنامج الوسيط أداة مشروعة بطريقة غير آمنة وغير مصرح بها، سواءً عن طريق التلاعب به أو منحه صلاحيات أكثر مما يحتاج.
قد يكون اكتشاف ذلك أكثر صعوبة لأن كل إجراء يبدو مصرحًا به. يتطلب رصد حالات إساءة استخدام الأدوات معرفة ما إذا كان الإجراء يتناسب مع الغرض المقصود من الوكيل، وليس فقط ما إذا كان الإجراء نفسه مسموحًا به أم لا.
إساءة استخدام الهوية والامتيازات
تعمل البرامج الوسيطة عادةً باستخدام بيانات اعتماد مستعارة أو مشتركة. قد تكون هذه البيانات رمز OAuth خاصًا بالمستخدم، أو حساب خدمة الفريق، أو مفتاح API طويل الأمد مُخزّن في ملفات التكوين الأصلية. عندما ينتحل مهاجم شخصية برنامج وسيط ويحصل على جميع صلاحياته، فإنه يحصل على جميع الصلاحيات التي كانت متاحة له، بما في ذلك سلاسل التفويض بين البرامج الوسيطة المختلفة.
تتفاقم هذه المشكلة بشكل كبير بسبب التوسع التدريجي في صلاحيات الوصول، حيث تُمنح البرامج الوسيطة صلاحيات واسعة النطاق خلال مرحلة التطوير لضمان سلاسة العمل. وغالبًا ما تستمر هذه الصلاحيات في مرحلة الإنتاج. وبدون وجود هوية مستقلة لكل برنامج وسيط، يصبح من شبه المستحيل تتبع أي إجراء إلى برنامج وسيط محدد أو مالكه المسؤول بعد وقوع أي حادث.
تسميم الذاكرة والسياق
تُبقي معظم البرامج الذكية ذاكرة الوصول العشوائي مُفعّلة بين الجلسات، مما يسمح لها بالاستفادة من قواعد المعرفة المشتركة وأنظمة الاسترجاع. فإذا قام مهاجم بكتابة معلومات خاطئة أو ضارة في مصادر الذاكرة هذه، فسيستمر البرنامج الذكي في العمل عليها بشكل متكرر، حتى بعد فترة طويلة من الهجوم الأولي.
على عكس الحقن الفوري، الذي قد يحدث مرة واحدة، تتبع الذاكرة المسمومة دورة متكررة، وتستمر في الانتشار إلى مستخدمين ووكلاء آخرين يعتمدون على المصدر نفسه. وقد يصبح هذا الأمر إشكاليًا بشكل خاص في أنظمة استرجاع المعلومات المؤسسية، حيث يمكن لمصدر واحد مُتلاعب به في قاعدة المعرفة أن يؤثر على آلاف قرارات الوكلاء.
اختراق سلسلة التوريد للوكلاء
تعتمد البرامج الوسيطة على منظومة متنامية من مكونات خارجية، مثل النماذج والأطر والإضافات والمهارات وخوادم MCP التي تربط البرامج الوسيطة بالأدوات الخارجية. مع ذلك، لكل مكون نقاط ضعفه أو سلوكياته الخبيثة الخاصة.
بما أن كل مكون من هذه المكونات يعمل غالبًا بصلاحيات كاملة للوكيل، فإن أي إضافة أو موصل مخترق قد يُشكل تهديدًا داخليًا فعليًا. لذا، يجب التعامل مع أدوات الوكيل كما يُتعامل مع أي تقييم تقليدي لاعتمادات البرامج، مع فحص دقيق لمصادر المكونات، وتثبيت الإصدارات، والمراقبة المستمرة لأي تغييرات غير متوقعة في السلوك.
لماذا يُعدّ أمن وكلاء الذكاء الاصطناعي مشكلة أمن بيانات؟
تركز معظم النقاشات حول أمن أنظمة الذكاء الاصطناعي على نظام الذكاء الاصطناعي نفسه، بما في ذلك توجيهاته ونموذجه وآليات الحماية الخاصة به، حيث يتحدد مستوى الخطر في نهاية المطاف بناءً على الأصول التي يمكنه الوصول إليها. فبينما قد يُشكل النظام الذي لا يملك صلاحية الوصول إلى البيانات الحساسة مصدر إزعاج إذا ما خرج عن السيطرة، فإن النظام الذي يملك الصلاحيات المناسبة يُعد ثغرة أمنية وشيكة.
يحوّل العميل التعرض المفرط الخفي إلى تعرض نشط
لطالما شكلت مشاركة الملفات بشكل مفرط مشكلةً للمؤسسات. إذ تُترك الملفات بصلاحيات واسعة، ومجموعات بيانات قديمة، وبيانات حساسة لم يقم أحد بتنظيفها، والتي لا تزال جزءًا من أدوات التعاون. وقد ساهم التعتيم في تفاقم هذه المشكلة، حيث ينسى المستخدمون وجودها ببساطة. مع ذلك، تعمل البرامج على إزالة هذا العائق أثناء بحثها عن المعلومات واسترجاعها وتلخيصها من جميع الأنظمة المتصلة بها.
كل تفاعل بين الوكلاء يُنشئ تدفقات بيانات جديدة.
تتدفق البيانات الحساسة عبر المطالبات، والسياق المسترجع، واستدعاءات الأدوات، وذاكرة الوكيل، والمخرجات، وعمليات التسليم بين الوكلاء. يمثل كل منها مسارًا قد تخرج من خلاله البيانات الخاضعة للتنظيم عن نطاقها المقصود. صُممت معظم أساليب منع فقدان البيانات التقليدية لمراقبة الملفات وحركة مرور الشبكة، وليس لتبادل المطالبات بين الأجهزة.
إن استهلاك وكلاء البيانات هو ما يصبحون عليه
لا تقتصر وظيفة البرامج الذكية على قراءة البيانات فحسب، بل تتعداها إلى التفاعل معها. لذا، فإن أي تلاعب بالوثائق أو قواعد المعرفة أو الذاكرة قد يدفع البرنامج الذكي نحو القيام بأفعال ضارة دون أي تدخل في الشيفرة البرمجية الأصلية. ونتيجة لذلك، من الأهمية بمكان ضمان سلامة البيانات ومصدرها التي سيستخدمها البرنامج الذكي، تمامًا كما هو الحال بالنسبة لسريتها .
تتبع التزامات الامتثال البيانات، وليس الوكيل.
تُطبَّق لوائح مثل اللائحة العامة لحماية البيانات (GDPR) وقانون قابلية نقل التأمين الصحي والمساءلة (HIPAA ) ومعيار أمان بيانات صناعة بطاقات الدفع (PCI DSS) على جميع البيانات الحساسة، بغض النظر عمَّن قام بمعالجتها، سواءً كان شخصًا أو جهةً. إذا قام أي جهة بنقل بيانات شخصية بين المناطق، أو تركها مكشوفة لمستخدمين غير مصرح لهم، أو استخدمها بطريقة غير معتمدة من قِبَل المؤسسة، فإن المسؤولية تقع على عاتق المؤسسة. لذا، يتطلب إثبات الامتثال لالتزامات المؤسسة في هذا الشأن سجلات تدقيق شاملة توثِّق كل إجراء تتخذه الجهة وأسباب اتخاذها لتلك الإجراءات.
الآثار الجانبية الأمنية
لضمان أمان العميل، من الضروري فهم بنية البيانات التحتية. وهذا يعني معرفة البيانات الحساسة الموجودة في هذه البنية، ومكان وجودها، والهويات التي يمكنها الوصول إليها، وكيفية استخدامها. تستطيع المؤسسات التي تُقدّم هذه الإجابات بفعالية تقييد وصول العميل بدقة، والقضاء على أي إساءة استخدام في السياق المناسب.
أفضل الممارسات الأمنية لوكلاء الذكاء الاصطناعي
تتبع هذه الممارسات دورة حياة الوكيل. تبدأ هذه الدورة من مرحلة الاكتشاف وحتى العمليات اليومية، وتنطبق على الوكلاء الذين تم تطويرهم داخليًا، أو المدمجين في منصات SaaS، أو الذين يتم توفيرهم من قبل أطراف ثالثة.
الاكتشاف والجرد لكل وكيل
لا يمكن توقع أن تقوم جهات الأمن بحماية جهات لا تعرفها. لذا، يجب على المؤسسات إنشاء جرد شامل يتضمن معلومات عن الجهات التي تم إنشاؤها داخليًا، والجهات المدمجة في تطبيقات SaaS، والمساعدين، وأدوات الطرف الثالث المتصلة عبر منح OAuth أو مفاتيح API.
يجب على المنظمة توثيق غرض كل وكيل، ومالكه، ونموذجه، وجميع الأدوات المتصلة به، وجميع صلاحيات الوصول إلى البيانات. ويجب تحديث هذا السجل بانتظام ودقة قدر الإمكان، بما يتناسب مع وتيرة إضافة المنظمة لوكلائها وتعديلها.
قم بتعيين هوية فريدة ومالك لكل وكيل
يجب منح كل وكيل هوية مستقلة غير بشرية، بدلاً من الاعتماد كلياً على بيانات اعتماد المستخدم أو مشاركة حساب خدمة واحد. تتيح هذه الهويات المنفصلة تحديد صلاحيات خاصة لكل وكيل، مع تحمل كل وكيل مسؤولية أفعاله، وإمكانية إلغاء وصول أي وكيل دون التأثير على الوكلاء الآخرين.
ستحتاج كل هوية إلى مالك بشري مسؤول يوافق على وصولها ويستجيب في حالة حدوث أي خطأ.
تطبيق سياسة الخصوصية
من خلال تطبيق مبدأ أقل الامتيازات، لا يمكن منح كل وكيل إلا الصلاحيات المناسبة لمتطلبات مهمته المحددة. وهذا يعني الوصول للقراءة فقط عندما لا يحتاج إلى الكتابة، والوصول المحدود إلى مجموعات بيانات محددة بدلاً من المستودعات بأكملها، والوصول فقط إلى الأدوات التي يحتاجها فعلياً.
ثم يقوم OWASP بتوسيع هذا المبدأ ليشمل فكرة الحد الأدنى من الوكالة، الأمر الذي يتطلب الحد ليس فقط مما يمكن للوكيل الوصول إليه ولكن أيضًا مقدار الحرية التي يتمتع بها للتصرف بمفرده.
قد يحتوي أي محتوى يمكن للوكيل قراءته على تعليمات خبيثة، بما في ذلك عبر رسائل البريد الإلكتروني، والمستندات، وصفحات الويب، ومخرجات الأدوات، والرسائل الواردة من وكلاء آخرين. يجب وضع مرشحات للكشف عن محاولات الحقن الفوري، مع فصل التعليمات الموثوقة عن المحتوى غير الموثوق به كلما سمح تصميم النظام بذلك.
علاوة على ذلك، يجب فحص المخرجات أيضاً. يجب فحص جميع استجابات الوكلاء، مع وضع خطط للتعامل مع البيانات الحساسة، وانتهاكات السياسات، والعلامات المحتملة للانتهاكات قبل تنفيذها.
يجب التعامل مع كل أداة، ومكوّن إضافي، ومهارة، وخادم MCP كعنصر برمجي تابع يتمتع بإمكانية الوصول إلى بيئة المؤسسة. يجب اعتماد جميع المكونات المتصلة بالوكلاء من خلال عملية مراجعة، مع التحقق من مصادرها وإصداراتها المقفلة لضمان عدم إدخال تغييرات غير مُراجعة في الإصدارات المُحدّثة.
ينبغي الاحتفاظ بقائمة بالأدوات المعتمدة، مع منع العملاء من الاتصال بأي شيء غير مدرج فيها. علاوة على ذلك، يجب مراقبة المكونات المعتمدة باستمرار.
كيف Securiti يساعد
لا تزال معظم المؤسسات تواجه صعوبة في الحصول على صورة واضحة ومحدثة لبياناتها الحساسة والحفاظ عليها. ولا يمكن حل هذه المشكلة بتقييد وصول الموظفين. علاوة على ذلك، لا يمكن الحفاظ على سياسات منع الوصول غير المصرح به والوثائق دون معرفة ماهية البيانات الحساسة الموجودة، ومكان وجودها، ومن لديه حق الوصول إليها.
Securiti ، وهي الآن شركة تابعة لشركة Veeam، لديها Data Security Posture Management حل ( DSPM ) الذي يوفر حلاً بالغ الأهمية dataAI security الأساس. فهو لا يحمي البيانات عبر السحابات العامة والسحابات الخاصة وبيئات SaaS فحسب، بل يفعل ذلك أثناء اكتشاف وتصنيف البيانات الحساسة حتى تعرف الفرق ما يحتويه مصدر البيانات قبل ربط وكيل به.
يمكن للمؤسسات الاستفادة من ذكاء الوصول وقدرات مبدأ أقل الامتيازات لتحديد الهويات التي يمكنها الوصول إلى البيانات، مما يُمكّن الفرق من تشديد الوصول قبل أن يرثه أي وكيل. علاوة على ذلك، يقوم نظام إدارة الوضع المستمر بفحص إعدادات السحابة وبرمجيات الخدمة السحابية، ويحدد مواطن الخطر التي قد تُعرّض البيانات الحساسة أو الخاضعة للتنظيم للخطر، ويكشف البيانات المُعرّضة للخطر قبل أن يتمكن أي وكيل من الوصول إليها.
يمكن توسيع نطاق كل من هذه الضوابط ليشمل سير عمل الذكاء الاصطناعي أيضًا، مما يتيح أتمتة الامتثال، والمعالجة الآلية، و breach management .
اطلب عرضًا تجريبيًا اليوم وتعرف على المزيد حول كيفية Securiti بإمكان شركة Veeam، التي أصبحت الآن جزءًا من Veeam، مساعدة مؤسستك على تحقيق أقصى استفادة من استخدام وكلاء الذكاء الاصطناعي.
الأسئلة الشائعة حول أمان وكلاء الذكاء الاصطناعي
فيما يلي أكثر الأسئلة شيوعاً حول أمان وكلاء الذكاء الاصطناعي:
