كيفية تتبع البيانات غير المنظمة Data Lineage يمكن أن يحدد نجاح الذكاء الاصطناعي العام أو فشله

لطالما اعتمدت الشركات على البيانات المنظمة لعقود في اتخاذ قراراتها التجارية. إلا أنها تُنتج أيضاً كميات هائلة من البيانات غير المنظمة ، كالتقارير ورسائل البريد الإلكتروني والرسائل النصية والرسائل الصوتية والصور والرسومات التوضيحية ومقاطع الفيديو، فضلاً عن كمّ هائل من منشورات ورسائل وسائل التواصل الاجتماعي في الآونة الأخيرة. ورغم القيمة الكبيرة لهذه البيانات، إلا أن افتقارها إلى بنية محددة حال دون استخدامها وإدارتها بفعالية. وتشير دراسة أجرتها مؤسسة IDC إلى أنه على الرغم من أن حجم وتنوع البيانات غير المنظمة يفوق بكثير حجم وتنوع البيانات المنظمة، إلا أن أقل من نصف البيانات غير المنظمة يُشارك أو يُحلل أو يُعاد استخدامه.

لقد غيّر الذكاء الاصطناعي التوليدي (GenAI) وضع البيانات غير المهيكلة التي كانت مهملة في العديد من قواعد بيانات مؤسستك. ولأول مرة في التاريخ، باتت القيمة الحقيقية للبيانات غير المهيكلة محط الأنظار. أصبحت هذه البيانات الآن في صميم ثورة الذكاء الاصطناعي التوليدي، حيث تدعم استخدامات واسعة النطاق في مجالات متنوعة، من الطيران إلى تجارة التجزئة، ومن الطب إلى البحث العلمي.

لا عجب أن يتفق 80% من كبار مسؤولي البيانات على أن الذكاء الاصطناعي سيُحدث تحولاً جذرياً في بيئة أعمال مؤسساتهم. ورغم أن هذا يُعدّ تحولاً إيجابياً للاستفادة من هذا الكم الهائل من المعلومات، إلا أن الاستخدام الآمن للبيانات غير المهيكلة ضروري لنجاح الذكاء الاصطناعي. ومن أهم ركائز استخدامه الآمن والمتوافق مع القوانين ما يلي: data lineage معرفة مصدر البيانات وكيف تم تحويلها عبر دورة حياة الذكاء الاصطناعي العام.

بدون هيكل Data Lineage يُعد أمرًا بالغ الأهمية للذكاء الاصطناعي العام

Google Cloud يقول كبير الدعاة ريتشارد سيروتر: " إذا لم تكن بياناتك منظمة، فستكون قيمة الذكاء الاصطناعي أقل". يتطلب تنظيم بياناتك للجيل القادم من الذكاء الاصطناعي نهجًا متعدد الجوانب، وقد تناولناه في مدوناتنا السابقة حول ذكاء البيانات data quality . في هذه المدونة، دعونا نركز على data lineage .

يُعدّ استغلال البيانات غير المهيكلة بشكل آمن أمرًا بالغ الأهمية، نظرًا لاحتوائها غالبًا على معلومات حساسة وسرية. ويلعب Data lineage دورًا محوريًا في ذلك، إذ يُتيح تتبع مصادر البيانات ووجهاتها وعمليات تحويلها واستخدامها. ويمكن أن يُساعدك ذلك على تحسين العمليات، وتعزيز الأمن، ودعم اتخاذ قرارات أفضل من خلال تحسين إدارة البيانات وإمكانية تتبعها.

بالنسبة للذكاء الاصطناعي العام، يُعدّ تتبّع data mapping وتدفقها من أنظمة البيانات إلى قواعد البيانات المتجهة، ونماذج اللغة الكبيرة، ونقاط النهاية النهائية، أمراً بالغ الأهمية. فهو يوفر رؤية شاملة لسلسلة البيانات، مما يساعد على مراقبة مدخلات نماذج الذكاء الاصطناعي العام، وتحديد مصادرها، والتحقق من سلامة الاستجابة، وحماية البيانات الحساسة.

الإدارة الفعالة لـ data lineage يمكن أن يعزز ذلك الشفافية والامتثال والثقة في مخرجات الذكاء الاصطناعي العام، مما يجعله عاملاً حاسماً في نجاحه أو فشله. إن حجم البيانات غير المهيكلة وتنوعها، إلى جانب فقدان البيانات الوصفية المرتبطة بها - مثل معلومات الحساسية وإمكانية الوصول والمعلومات التنظيمية - يجعل تتبع مصدرها أمراً بالغ الصعوبة.

تحديات تتبع أصل البيانات غير المهيكلة

يمثل تتبع أصل البيانات غير المهيكلة تحديات عديدة نظرًا لطبيعتها المتأصلة في تنوع تنسيقاتها وتعقيد معالجتها. فيما يلي بعض التحديات الرئيسية:

1. كميات هائلة من البيانات ومستودعات بيانات معزولة : تُنتج المؤسسات كميات هائلة من البيانات يوميًا، 90% منها غير مُهيكلة. علاوة على ذلك، تتدفق هذه البيانات في الوقت الفعلي وتخضع لعدة عمليات. لذا، فإن تتبع هذه البيانات عبر مستودعات البيانات المعزولة داخل المؤسسة ليس بالأمر السهل.
2. أنظمة البيانات المعقدة : يمكن أن تكون أنظمة البيانات الحديثة معقدة. فعندما تنتقل البيانات عبر عدة أنظمة، يصبح تتبع التحولات في كل مرحلة أمرًا صعبًا.
3. قيود الأدوات : تعتمد الأدوات التقليدية على عمليات استخراج البيانات وتحويلها وتحميلها (ETL) المنظمة لتتبع مسار البيانات. أما البيانات غير المنظمة فتتطلب منهجًا جديدًا لاستنتاج مسار البيانات من خلال التغييرات في المحتوى والبيانات الوصفية.
4. قيود البيانات الوصفية : قد تفتقر البيانات غير المهيكلة والتضمينات إلى بيانات وصفية واضحة وكاملة مرتبطة بها، مثل تاريخ الملف، والملكية، والمعلومات الحساسة. لذا، يلزم بناء سياق حول البيانات غير المهيكلة لفهمها فهمًا كاملًا.
5. المعلومات الحساسة : قد تحتوي البيانات غير المهيكلة على معلومات حساسة أو معلومات تعريف شخصية . لذا، فإن التعامل السليم والتحكم الصارم في الوصول إليها أمران بالغا الأهمية عند تتبع مصدرها.

تنشأ التحديات في تتبع أصول البيانات غير المهيكلة من أحجامها الضخمة، وعمليات تحويلها المعقدة، ومحدودية الأدوات الداعمة لها، ومخاوف الخصوصية. ويتطلب التغلب على هذه التحديات تقنيات متقدمة ومنهجيات متينة.

Data Lineage البيانات المنظمة مقابل البيانات غير المنظمة

كيف Securiti يقدم غير منظم Data Lineage من أجل نجاح الجيل القادم من الذكاء الاصطناعي

بالنسبة للبيانات غير المهيكلة، Securiti يستنتج data lineage من خلال تتبع التغييرات في المحتوى والبيانات الوصفية، يتم توثيق هذه التغييرات وتحليلها لبناء خرائط البيانات وتدفقها. تُحفظ البيانات الوصفية والسياق قبل تقسيم البيانات وتحميلها في قاعدة بيانات المتجهات. يوفر هذا النهج رؤية شاملة لخريطة البيانات. على سبيل المثال، يمكن لخريطة مرئية واضحة أن توفر معلومات حول مصدر البيانات غير المهيكلة، وكيفية معالجتها، وكيفية استخدامها خلال عملية توليد البيانات المعززة بالاسترجاع (RAG)، أو ضبط النموذج، أو تدريب النماذج، وكيفية استهلاكها في النهاية من قِبل المستخدم النهائي أو النظام.