المصدر: مدونة أنثروبيك
يُعدّ هذا نموذجًا مختلفًا جذريًا عن استخدام الإنسان لقدرات توليد الشفرات لاختراق الأنظمة أو استشارة الذكاء الاصطناعي للحصول على المشورة خلال حملة هجومية يقودها الإنسان. رصد الإطار حالة تسلسلات هجومية متوازية متعددة، وانتقل بين المراحل بأقل قدر من التدخل البشري، وجمع النتائج عبر جلسات متعددة. ووفقًا لشركة أنثروبيك، "شملت ذروة النشاط آلاف الطلبات، ما يُمثل معدلات طلبات مستدامة لعمليات متعددة في الثانية". ومن الجدير بالذكر أن الإطار استفاد من أدوات مفتوحة المصدر قياسية لمسح الشبكة، واختبار الاختراق، وتحليل الشفرات، وما إلى ذلك. يُبيّن هذا أن سرعة الذكاء الاصطناعي ونطاقه يُمكنان من جعل أطر الهجوم فعّالة للغاية دون الاعتماد على ثغرات جديدة. كما يُشير إلى احتمال انتشار هجمات مماثلة.
لماذا يغير هذا الهجوم كل شيء
يُجسّد هذا الهجوم ما حذّر منه خبراء الأمن منذ ظهور برامج الذكاء الاصطناعي المؤسسية. فقد حسّنت الابتكارات التقنية في السنوات القليلة الماضية قدرة هذه البرامج على أداء مهام متنوعة، واتباع تعليمات معقدة، والحفاظ على حالة النظام خلال عمليات متعددة الخطوات، واتخاذ القرارات لتحقيق الهدف النهائي. وفي الوقت نفسه، ظهرت معايير مثل MCP لتوحيد كيفية استخدام النماذج للأدوات. واليوم، تُستخدم خوادم MCP لمساعدة هذه البرامج على التفاعل مع العالم الخارجي لجمع المعلومات وتنفيذ المهام. إذ يُمكنها أتمتة نشاط المتصفح، واسترجاع البيانات، وتنفيذ الأوامر عن بُعد، والتحكم في أنظمة مختلفة. وقد ساهمت الابتكارات التقنية نفسها التي منحت هذه البرامج فائدة أكبر في جعلها فعّالة في الهجمات الإلكترونية.
تقنيات بسيطة لكسر الحماية Claude البرمجة. أدوات بسيطة تُستخدم بسرعة وكفاءة عاليتين جعلت منها سلاحًا فعالًا. سيتمكن الآن المهاجمون ذوو الموارد المحدودة من شن حملات هجومية كانت تتطلب في السابق تنسيقًا على مستوى الدول.
يمثل هذا الهجوم نقطة تحول.
يتعين على قادة الأمن السيبراني الآن وضع استراتيجيات لحماية أصولهم القيّمة من هجمات برامج الذكاء الاصطناعي، واتخاذ تدابير لحماية برامجهم من التسلح. ثلاثة أمور لن تجدي نفعاً في عصر هجمات البرامج:
- الاعتماد على ضمانات النموذج الداخلي كوسيلة أساسية لتأمين أنظمة الذكاء الاصطناعي الداخلية نفسها دون وجود ضوابط خارجية للنموذج.
- الاعتماد على طبقات من الدفاع تتوقف عند إنشاء محيط حول أنظمة البيانات دون وجود معلومات على مستوى الملفات للبيانات الموجودة داخل النظام.
- الاعتماد على نماذج أمنية تفاعلية لا تعمل على تقليل مساحة الهجوم بشكل استباقي وتعزيز الوضع الأمني.
ما الذي كان بإمكان Securiti فعله لتقليل المخاطر في سيناريو مماثل؟
ملكنا DataAI Security يمكن لهذه القدرات أن تخفف أو تمنع تمامًا العديد من جوانب هجوم عميل الذكاء الاصطناعي من هذا النوع.
في حالة استخدام المهاجم لوكلاء الذكاء الاصطناعي لاختراق بياناتك، ستساعد منصتنا في:
- اكتسب رؤية واضحة للأصول الخفية المعرضة للخطر.
- تحديد الهويات البشرية والآلية التي تتمتع بصلاحيات زائدة والتي تضاعف نطاق الهجمات الآلية.
- تحديد المجموعات السامة من العوامل التي تسبب المخاطر عند وجودها معًا، مثل إمكانية الوصول إلى البيانات الحساسة من قبل هويات غير مقصودة أو سوء تكوين النظام الذي يسمح بالوصول غير المصرح به إلى البيانات.
- تقليل مساحة الهجوم المحتملة من خلال تطبيق مبدأ أقل الامتيازات بشكل استباقي وإزالة البيانات غير الضرورية أو القديمة أو الزائدة عن الحاجة.
- التكامل مع أدوات الأمن السيبراني المختلفة لإثراء عمليات الأمن بمعلومات استخباراتية دقيقة.
إذا تمكن وكيل الذكاء الاصطناعي من الدخول عبر الطبقات الخارجية للدفاع، فسيجد نفسه في بيئة ذات امتيازات محدودة مع فرص أقل بكثير للتحرك بشكل جانبي، أو تصعيد الامتيازات، أو الوصول إلى البيانات الحساسة.
يمكن لضوابط التشغيل الخاصة بنا للذكاء الاصطناعي أن تساعد في حماية أنظمة الذكاء الاصطناعي نفسها من الاستغلال. لا يوجد سبب للاعتقاد بذلك. Claude لا تقل أمانًا عن أي نموذج رائد آخر. مع ذلك، توجد ضوابط إضافية ضرورية لحماية أنظمة الذكاء الاصطناعي أثناء التشغيل. في حالة محاولة مهاجم اختراق نموذج تستخدمه واستخدام أدوات MCP التي لديه صلاحية الوصول إليها بطريقة خبيثة، يمكن لمنصتنا المساعدة في:
- مراقبة وتطبيق السياسات المتعلقة بجميع أحداث الذكاء الاصطناعي ذات الصلة، بما في ذلك المطالبات والمخرجات والاسترجاع.
- قم بفحص محاولات كسر الحماية وحظرها
- قم بإبلاغ محللي الأمن بسرعة في حالة محاولة اختراق النظام
- منع إساءة استخدام الذكاء الاصطناعي عن طريق تقييد استخدامه بالمواضيع المعتمدة والمتوافقة مع الاستخدام المقصود للنظام
Securiti ينشر هذا النظام ضوابط أمان لوقت تشغيل الذكاء الاصطناعي لحماية استخدام نماذج الذكاء الاصطناعي من خلال فحص جميع التفاعلات بين المستخدمين والنماذج والأدوات. سيجد المهاجم صعوبة بالغة في اختراق نموذج محمي بواسطة هذه الضوابط. Securiti حيث يتم فحص الرسائل تحديدًا بحثًا عن محاولات اختراق النظام وأي نشاط يُعتبر خارجًا عن الموضوع أو مخالفًا لسياسة نظام الذكاء الاصطناعي المحدد قبل وصول الرسالة إلى النموذج. حتى لو تمكن المهاجم بطريقة ما من اختراق النموذج نفسه، فسيواجه عقبة أخرى تتمثل في محاولة استخدام أدوات MCP بطريقة خبيثة.
تحدي حماية أنظمة الذكاء الاصطناعي