في يناير 2024، كان أحد العملاء يتابع طردًا مفقودًا لدى شركة DPD . قرر شخص عادي، لا يملك معرفة تقنية معقدة، العبث بنظام الدردشة الآلي لخدمة عملاء DPD. بعد بضع عبارات مُقنّعة بذكاء، تمكن من التلاعب بالنظام وجعله يسبّ، وينتقد خدمات الشركة، ويشير إلى تأخيرات في العمليات الداخلية. باختصار، خالف النظام جميع القواعد التي كان من المفترض أن يلتزم بها. انتشر الحادث بسرعة البرق، مع مشاركة لقطات شاشة على الإنترنت، وكما هو متوقع، أوقفت DPD نظام الذكاء الاصطناعي الخاص بها في غضون ساعات. لكن ما بدأ كمزحة على وسائل التواصل الاجتماعي يُعدّ دراسة حالة بالغة الأهمية حول سبب وجود أمن الذكاء الاصطناعي في المؤسسات: لمنع نظام الذكاء الاصطناعي من تنفيذ ما يمليه عليه المستخدم، بدلًا من أداء الوظائف التي صُمّم من أجلها فقط.
إنّ فشل الضوابط الأمنية المذكورة آنفًا أكثر شيوعًا مما يتصوره معظم المديرين التنفيذيين. فقد كشف تقرير شركة IBM لعام 2025 حول تكلفة اختراق البيانات أن ما يقرب من 97% من المؤسسات التي تعرضت لحادث أمني متعلق بالذكاء الاصطناعي تفتقر إلى ضوابط وصول مناسبة لهذه الأنظمة. علاوة على ذلك، فإن أي اختراق مرتبط باستخدام غير مصرح به للذكاء الاصطناعي يعني تكلفة إضافية قدرها 670 ألف دولار أمريكي لكل حادثة.
إن النمط متشابه بشكل لافت للنظر، بغض النظر عن حجم الشركة والصناعة: إن وضع الذكاء الاصطناعي في الإنتاج بشكل أسرع من إمكانية تأمينه لا يؤدي إلا إلى كارثة.
يشرح هذا الدليل بالتفصيل ما تعنيه فعلياً أمن الذكاء الاصطناعي للمؤسسات، وأين تكمن المخاطر الحقيقية، والأهم من ذلك، ما هي التدابير التي يجب اتخاذها إذا كانت المؤسسة لا تريد أن يقوم برنامج الدردشة الآلي الخاص بها بكتابة قصائد ملونة عنها للعملاء.
تابع القراءة لمعرفة المزيد.
خمسة مخاطر رئيسية في أمن الذكاء الاصطناعي للمؤسسات
تتمثل المخاطر الخمسة الحرجة التي يجب الانتباه إليها عند التعامل مع أمن الذكاء الاصطناعي للمؤسسات فيما يلي:
1. تسريب البيانات من خلال المطالبات أو المخرجات أو الضبط الدقيق
أخطر أنواع الاختراقات هو ما يبدو أقرب إلى الصدفة منه إلى محاولة خبيثة. قد يكون الأمر بسيطًا كأن يلاحظ موظف استجابة غريبة من نموذج بيانات، تتطابق مع بيانات عميل لم يُدخلها بنفسه. في حين أن معظم الاختراقات الخارجية تُفعّل جميع إجراءات الحماية المُطبقة، فإن التسريبات الداخلية، كإطلاع شخص غير مُصرّح له على معلومات حساسة، نادرًا ما تُفعّلها، لعدم وجود ما يُشير في الطلب إلى هجوم.
علاوة على ذلك، تكمن المشكلة في التفاصيل، وتحديدًا في بنود العقود التي تستخدمها معظم الشركات. قد تقدم الشركة (أ) وعودًا والتزاماتٍ عديدة بعدم استخدام بيانات الشركة (ب) لأغراض التدريب، لكن هذه الوعود لا تشمل الاحتفاظ بالبيانات. هذا بالإضافة إلى ممارسات الاحتفاظ المختلفة التي تتبناها الشركات كوسيلة لرصد إساءة الاستخدام وإجراء مراجعات السلامة التي قد تستمر لأشهر، وتبقى خلالها البيانات قابلة للقراءة البشرية طوال تلك الفترة.
2. التلاعب بالنماذج: الحقن الفوري وكسر الحماية
تنفق الشركات ملايين الدولارات في محاولة "لحل" مشكلة حقن التعليمات البرمجية، مثل حقن SQL، ولكن دون جدوى تُذكر، لأن حقن SQL تم إصلاحها عندما منحت الاستعلامات المُعاملة قواعد البيانات فصلاً صارماً بين التعليمات البرمجية والبيانات. هذا يعني أنه لا يمكن إعادة تفسير السلسلة النصية كتعليمات دون علم المستخدم. أما نماذج اللغة فلا تزال تفتقر إلى هذا الفصل.
في الوقت الحالي، تصل التعليمات والمحتوى في نافذة سياق واحدة، دون وجود آلية مدمجة في النموذج تضمن قدرته على التمييز بينهما. علاوة على ذلك، يتسم مستخدمو الحقن الفوري بصبرٍ بالغ، إذ ينتظرون دورهم تلو الآخر، لينقضوا بمجرد تهيئة سياق غير ضار.
إن قدرة الذكاء الاصطناعي الخفي على البقاء منفصلاً تماماً عن حسابات الشركة هي ما يجعل اكتشافه صعباً للغاية. فبإمكان الموظف تسجيل الدخول إلى حسابه الشخصي للذكاء الاصطناعي دون تسجيل أي أحداث تسجيل دخول موحد أو تسجيل دخول خاص بالشركة، مما قد يربط الجلسة بمزود هوية المؤسسة. جميع أدوات الأمان المصممة لمراقبة الحسابات المُدارة تعاني من ثغرة هيكلية في رصد الأنشطة التي لم تمس الحساب المُدار أصلاً.
علاوة على ذلك، قد يعتمد الأمر كلياً على الموظفين أنفسهم. فالموظفون الأكثر قدرة على التحايل على إجراءات الموافقة هم عادةً الأكثر كفاءةً تقنياً، والذين يعرفون المسارات الصحيحة لإخفاء استخدامات معينة عن السجلات الرسمية. لذا، يُعدّ الذكاء الاصطناعي الخفي مشكلةً مرتبطةً بمهارات الموظفين بقدر ما هي مرتبطةٌ بالإهمال، مما يجعل نقص الوعي أو التدريب عائقاً أمام فعالية هذه التقنية.
4. وكلاء الذكاء الاصطناعي ذوو الصلاحيات المفرطة
لا تُمنح برامج الذكاء الاصطناعي صلاحيات زائدة تلقائيًا، بل هي عملية بطيئة وتدريجية يتم فيها توسيع صلاحيات البرنامج دون إجراء المراجعات اللازمة. وهذا يعني عادةً منح البرنامج المُكلّف بأداء مهام معينة الصلاحيات اللازمة لإنجاز تلك المهام. ويتم ذلك "لتحقيق الكفاءة" في معظم الحالات، حيث تتم الموافقة على توسيع الصلاحيات بشكل فردي دون مراجعة شاملة لمجموعة صلاحيات البرنامج بالكامل.
مع أن السيناريو المذكور آنفًا يُسبب مشاكل خاصة به، إلا أنه عادةً ما يُفضي إلى مشكلة أخرى: فعندما يرتكب موظفٌ يتمتع بهذه الصلاحيات خطأً، لا توجد آلية للمساءلة. "من المسؤول؟" هكذا تساءل المسؤولون في شركة DPD عندما اكتشفوا ما كان يفعله برنامج الدردشة الآلي الخاص بهم ذلك اليوم.
5. التعرض لأطراف ثالثة وسلسلة التوريد
لطالما كان من الممارسات الشائعة في الشركات تنويع محفظة المخاطر لديها بتوزيعها على أكبر عدد ممكن من الموردين. إلا أنه في حالة استخدام الذكاء الاصطناعي، يؤدي هذا عادةً إلى تركز المخاطر بدلاً من تنويعها، لأن معظم أدوات الذكاء الاصطناعي تعتمد على عدد محدود من النماذج الأساسية. وهذا يعني أن أي عطل أو حادث أمني أو تغيير في السياسات لدى ذلك المورد الأساسي يؤثر على جميع الجهات المرتبطة بذلك النموذج.
يحدث هذا التأثير المتتالي في وقت واحد من خلال كل أداة لاحقة مبنية على نفس الطبقة، حتى عندما يكون للأدوات أغراض وأذونات وحالات استخدام مختلفة، مع وجود صلة ضئيلة أو معدومة ببعضها البعض، سواء من الناحية الوظيفية أو التعاقدية.
كيف تساعد تقنيات الذكاء الاصطناعي الأمنية في حماية نماذج المؤسسات
إليك كيف تساعد الاستفادة من أمن الذكاء الاصطناعي المؤسسي المؤسسات على حماية نماذجها بشكل مناسب:
أ. تأمين طبقة البيانات
عادةً ما يُركز أمن طبقة البيانات بشكل كامل على الجانب الأمني، وهذا أمرٌ منطقي. مع ذلك، يأتي هذا على حساب تجاهل مدى سرية البيانات المعنية، وما إذا كانت تستدعي إبعادها عن النموذج. يُعدّ مصدر البيانات جانبًا آخر يُغفل عنه غالبًا، إذ يُركز الاهتمام فيه على مصدرها والصلاحيات المرتبطة بها أكثر من التركيز على مضمونها.
مثال على ذلك هو أن فريق التسويق الذي يستخدم أداة ذكاء اصطناعي مُدرَّبة على عينة من أعمال أحد المستقلين بموجب اتفاقية ترخيص غامضة، لن يكتشف بالضرورة هذه المشكلة من خلال مراجعة حساسية المحتوى، لأن أي شيء في تلك العينة لن يبدو سريًا. ستصبح هذه المشكلة لاحقًا، بعد أن يكون المنتج/الخدمة المعنية قد تم شحنها بالفعل.
وهذا يوضح أهمية data lineage لا يقتصر الأمر على التصنيف فحسب. فمعرفة مصدر جانب مهم من السياق قد يساعد في تتبع المشكلة اللاحقة إلى جذورها. باختصار، يُجيب تصنيف الحساسية وحده على سؤال ما إذا كان ينبغي استخدام شيء ما. Data lineage يخبرك هذا التطبيق إلى أين تذهب بمجرد أن تعلم أنك استخدمت بيانات لا ينبغي لك استخدامها.
ب. تأمين طبقة النموذج
في كل مرة يتم فيها تحسين النموذج أو تحديثه أو استبداله بإصدار أحدث، تفقد اختبارات الأمان التي تُجرى على الإصدار السابق جدواها في وصف النموذج المستخدم. مع ذلك، هناك جانب سلبي، إذ يعني هذا أن أي تقنيات خبيثة كانت فعالة ضد الإصدار الأقدم لن تكون بالضرورة فعالة مع هذا الإصدار، كما قد يؤدي إلى ثغرات لم تكن موجودة في الإصدار الأقدم.
لا ينجح أمان طبقة النموذج إلا إذا كان جانب التحقق المستمر منه مرتبطًا بكل تغيير في الإصدار، بدلاً من الموافقة لمرة واحدة على النموذج في وقت النشر الأولي.
تظهر نسخة أكثر تعقيدًا من هذه المشكلة عادةً في المؤسسات التي تفترض خطأً أنها تستخدم نموذجًا داخليًا واحدًا، بينما تستخدم في الواقع عدة نسخ مختلفة منه دون تصنيف. ويعود ذلك إلى أن فرقًا مختلفة قد تكون دمجت النموذج مع نماذج مختلفة في أوقات مختلفة، مما يؤدي إلى سلوكيات متباينة وحالة أمنية غير متسقة بين وحدات العمل، حتى وإن كان الجميع يعتقد أنه يستخدم "النسخة نفسها".
ج. تأمين طبقة الإخراج
فيما يتعلق بطبقة الإخراج، يبدو أنها تُستخدم كمرادف للمحتوى. ببساطة، الهدف هو منع النموذج من قول ما لا ينبغي له قوله. مع ذلك، يغفل هذا الإطار فئةً متزايدة الإشكالية من المخرجات التي لا يقرأها البشر عادةً بشكل مباشر، أي البيانات المهيكلة التي يُسلمها النموذج إلى نظام آلي آخر، أو كائن JSON الذي تستهلكه سلسلة معالجة لاحقة، أو حقل يُكتب مباشرةً في قاعدة بيانات.
في مثل هذه الحالات، لا يكون الناتج المُعدَّل أو المشوه مجرد إجابة سيئة قد يشكك فيها الإنسان اليقظ؛ بل هو جزء من البيانات التي يتعامل معها نموذج أو نظام آخر على أنها مدخلات جديرة بالثقة.
يُعدّ التحقق من صحة تنسيق المخرجات واتساقها الداخلي، وليس المحتوى نفسه فحسب، أمرًا بالغ الأهمية عندما لا يكون العنصر البشري حاضرًا لملاحظة أي خطأ. فمن السهل اكتشاف أي رد خاطئ من روبوت محادثة، بينما يُرجّح أن يقبل نظام مالي أو نظام مخزون آلي بالكامل، يعمل بأقل قدر من الإشراف البشري، حقلًا غير مكتمل دون أن يلاحظه.
د. الحوكمة والسياسة كأداة للتحكم الأمني
كل سياسة لاستخدام الذكاء الاصطناعي ستواجه في نهاية المطاف حالة استخدام تجارية تُبرر تجاوزها. في مثل هذه الحالات، تُعدّ الاستثناءات المُضمنة في سياسة الاستخدام هذه عادةً اختبارًا أفضل لمدى فعالية حوكمة تلك السياسة من وثيقة السياسة نفسها.
البرنامج الذي يمتلك آلية سريعة وفعّالة وموثقة لمنح الاستثناءات وتتبعها، يمكنه التكيف عند الضرورة دون أن يتعطل. أما البرامج التي تفتقر إلى مثل هذه الآلية، فلا تكتفي بتجنب الاستثناءات فحسب، بل تُراكم استثناءات غير رسمية حتى يصبح مجموع الحلول البديلة غير الموثقة غير قابل للتمييز عن البرامج التي تفتقر إلى أي سياسة على الإطلاق.
هذا الفرق الجوهري هو ما يميز نضج الحوكمة عن مجرد إجراءاتها الشكلية. قد يوضح لك دليل السياسات المفصل القواعد، بينما توضح سياسة الاستثناءات العملية ما يُحتمل حدوثه عندما يطلب شخص ذو ضغوط عمل حقيقية تجاوزها، وما إذا كان القرار التالي سيُتخذ مع توثيقه أم بدونه.
خمس استراتيجيات للتخفيف من مخاطر أمن الذكاء الاصطناعي
فيما يلي أكثر تدابير التخفيف فعالية التي يمكن للمؤسسة اعتمادها كجزء من خطة أمن المؤسسة الخاصة بها:
أ. تصنيف البيانات قبل وصولها إلى النموذج
لعلّ أفضل طريقة لمعرفة البيانات التي لا ينبغي إدخالها في نموذج لأغراض التدريب أو الضبط الدقيق هي تصنيفها على هذا الأساس. تعمل معظم برامج التصنيف على مستوى الملف، حيث يشمل التصنيف المستند بأكمله. في أغلب الأحيان، يكون هذا التصنيف أكثر عمومية مما تحتاجه أنظمة الذكاء الاصطناعي عادةً. تخيّل مقترحًا من عشر صفحات، يحتوي على فقرة واحدة فقط تتضمن معلومات شخصية حساسة مدفونة تحت كمّ هائل من النصوص التسويقية. في هذه الحالة، سيُصنّف الملف بأكمله على أنه حساس، ما يمنع استخدامه. والنتيجة؟ ضياع مستند كامل كان من الممكن استخدامه.
وبالتالي، فإن التصنيف على مستوى المقطع أو على مستوى الحقل يعالج هذه المشكلة ويوفر للمؤسسة قيمة حقيقية من عمليات التصنيف الخاصة بها من خلال كونه دقيقًا بما يكفي لفصل المعلومات الحساسة المخفية داخل المستندات العامة.
ب. مراقبة الحقن الفوري والسلوك الشاذ أثناء التشغيل
إنّ أصعب جانب في مراقبة وقت التشغيل ليس الكشف، بل تحقيق مستوى الحساسية المناسب لطبيعة التطبيق. لنفترض أن فريق بحث لديه أداة ذكاء اصطناعي تعتبر جميع الاستعلامات الاستكشافية روتينية. مع ذلك، فإن نظام مراقبة مضبوط بدقة نظام روبوت خدمة العملاء سيرصد جميع هذه الاستعلامات فورًا، ما يُثقل كاهل الفريق بإنذارات خاطئة. في المقابل، يحتاج الفريق الذي يستخدم روبوت خدمة العملاء إلى عكس ذلك تمامًا: عدم التسامح مطلقًا مع أنماط الاستخدام غير المعتادة، مع هامش ضئيل جدًا أو معدوم لها.
لا يوجد نظام واحد على مستوى المؤسسة يلبي كلا الأمرين بفعالية. لذا، فإن تحديد العتبة المناسبة أمرٌ يجب مناقشته على مستوى الأقسام، ويعتمد كلياً على احتياجات النشر الخاصة بكل قسم، وليس قراراً سياسياً على مستوى الشركة بأكملها.
ج- فحص البائعين والعارضين قبل التبني
على الرغم من أهميتها الكبيرة، إلا أنه من غير الحكمة الاعتماد بشكل أعمى على معايير الأداء ومعايير السلامة المنشورة. ذلك لأن مُزوّدي النماذج يعرفون تمامًا المعايير التي يُرجّح الاستشهاد بها في مناقشات الشراء، ويمكن تحسين جميع مؤشرات الأداء لتحقيق تلك المعايير. وبالتالي، فإن النموذج الذي يحقق أداءً جيدًا في معيار السلامة العامة يُظهر قدرته على التعامل مع سيناريوهات المعيار المحددة بكفاءة، ولكنه لا يُقدّم معلومات كافية حول كيفية تعامله مع سيناريوهات سير العمل الخاصة بكل مؤسسة.
ونتيجةً لذلك، فإنّ الطريقة الأكثر موثوقية للتحقق هي إجراء تقييم مُخصّص لكل حالة استخدام على حدة، وذلك بناءً على حالات استخدام المؤسسة نفسها، قبل أي اعتماد. ويمكن مقارنة النتائج بمقاييس بطاقة الأداء المنشورة من قِبل المورّد. وهذا من شأنه أن يُضفي سياقًا أوسع لهذه الأرقام، ويُوفّر في الوقت نفسه المعلومات اللازمة لاتخاذ قرار الشراء النهائي.
د. وضع سياسات واضحة لاستخدام الموظفين للذكاء الاصطناعي
قد يُفاجئ المؤسسات مدى سرعة تقادم وثائق السياسات، حتى في غضون أيام قليلة. لنأخذ مثالاً على ذلك أجهزة إحدى المؤسسات: سياسة شاملة لطراز معين، وفي غضون 24 ساعة من دخول هذه السياسة حيز التنفيذ، يتم إصدار نسخة جديدة من ذلك الطراز للجمهور. إن دورات مراجعة السياسات السنوية أو حتى الربع سنوية تُعدّ رد فعلية للغاية، ومصممة لفئة من التقنيات لم تشهد تغييرات جوهرية في مثل هذه الفترات القصيرة.
لا يكمن الحل في سياسة مختصرة وأكثر دقة مع مراجعات أسبوعية. يتطلب هذا الوضع وضع آلية مراجعة جديدة تتناسب مع وتيرة تطور هذه الأدوات. قد يختلف هذا من مؤسسة لأخرى، ولكنه يساعد المؤسسات على تجنب فجوة حرجة بين السياسة والواقع.
هـ. مواءمة الممارسات مع اللوائح الناشئة
في نهاية المطاف، قد تتعثر عمليات أي مؤسسة بالكامل إذا لم تلتزم بالمتطلبات التنظيمية. وكما أظهرت التوجهات الحديثة، فقد شددت الدول قوانينها وفرضت عقوبات مالية على مخالفة هذه القوانين. ويُعد قانون الذكاء الاصطناعي مثالاً واضحاً على ذلك، إذ يفرض التزامات ليس فقط على مُشغّلي البرامج، بل أيضاً على مطوريها. وهذا يعني أن أي مؤسسة تشتري أداة ذكاء اصطناعي من طرف ثالث قد تتحمل التزامات عالية المخاطر بناءً على كيفية استخدام الأداة، بغض النظر عمن قام ببناء أو تصميم النموذج الأساسي.
وهذا يعني أن سير العمل التنظيمي بأكمله يحتاج إلى إعادة تقييم، بدءًا من عمليات الشراء وحتى تدريب الموظفين، حيث تؤثر هذه العمليات على قدرة المنظمة بشكل عام على الامتثال للتوقعات التنظيمية المتزايدة على مستوى العالم.
كيف Securiti يمكن المساعدة
Securiti شركة تابعة لشركة Veeam، وهي شركة عالمية رائدة في توفير حلول خصوصية البيانات والذكاء الاصطناعي، والأمن، والحوكمة، والامتثال التي تعتمد عليها بعض الشركات الرائدة في العالم.
تتيح وفرة وحداتها للمؤسسات اكتشاف وتصنيف ووضع علامات على جميع عناصر البيانات الحساسة في أنظمة البيانات المهيكلة وغير المهيكلة متعددة السحابات والأنظمة ذاتية الإدارة على نطاق بيتابايت. Data lineage تساعد القدرات الفرق على اكتساب رؤى دقيقة حول التغييرات والتحولات التي تمر بها البيانات خلال دورة حياتها بأكملها، بينما توفر معلومات الوصول إلى البيانات والحوكمة تفاصيل في الوقت الفعلي حول إعدادات وصول المستخدم حول أنظمة البيانات والبيانات الموجودة داخل هذه الأنظمة.
يمكن أن تثبت كل من هذه القدرات أنها أداة فعالة في تحديد الالتزامات المحتملة وإنفاذ السياسات رفيعة المستوى التي تمنع الوصول غير المصرح به.
علاوة على ذلك، Data Security Posture Management ( DSPM ) هو حل شامل يجد كل أصول الذكاء الاصطناعي التي تعمل عبر بيئة المؤسسة ويصنف البيانات الحساسة التي يتم إدخالها إليها.
اطلب عرضًا تجريبيًا اليوم وتعرف على المزيد حول كيفية Securiti بإمكان شركة Veeam، وهي إحدى شركات Veeam، مساعدتك في تطبيق أمن الذكاء الاصطناعي الفعال للمؤسسات في جميع أنحاء مؤسستك.
الأسئلة الشائعة حول أمن الذكاء الاصطناعي للمؤسسات
فيما يلي بعض الأسئلة الأكثر شيوعًا حول أمن الذكاء الاصطناعي في المؤسسات:
![[مركز المعرفة] قائمة التحقق من جاهزية المؤسسة](https://media.securiti.ai/wp-content/uploads/2026/06/08002712/Thumbnail-Enterprise-Readiness-Checklist.webp)
