تخطَّ إلى المحتوى

منصّة البيانات والتحليلات

مكانٌ واحدٌ محوكَمٌ تهبط فيه بياناتكم وتُنمذَج وتعني الشيء نفسه للجميع.

ما هذه الخدمة

منصّة البيانات هي الطبقة الواقعة بين أنظمتكم المصدر وكلّ تقريرٍ أو نموذجٍ أو مساعدٍ ذكيٍّ يقرأ منها. تستوعب البيانات الدفعيّة والتدفّقيّة، وتُنزلها في منطقة هبوط، وتحوّلها إلى جداول مُنمذَجة، وتعرض طبقةً دلاليّةً يكون فيها لكلّ مصطلحٍ تجاريٍّ تعريفٌ واحدٌ لا غير. والفهرسُ والنسبُ (Lineage) وضبطُ الوصول جزءٌ من المنصّة لا إضافةٌ عليها.

نمطُ الإخفاق ليس تقنيًّا. إنّه ثلاث دوائر تعرض ثلاثة أرقامٍ مختلفةٍ للإيراد في الاجتماع نفسه، لأنّ كلًّا منها بنى استخراجه الخاصّ بمرشّحاته الخاصّة. الأدوات لا تصلح ذلك؛ التعريفُ ذو المالك المسمّى هو الذي يصلحه. ورأينا أيضًا منصّاتٍ رُحِّلت إلى مستودعٍ حديث مع نقل العادات غير المحوكَمة كما هي.

متى تحتاجها

إن صدق أكثرُ من واحدةٍ ممّا يلي، فهذه عادةً نقطةُ البداية الصحيحة.

  • فريقان يحضران رقمين مختلفين للمؤشّر نفسه فيتحوّل الاجتماع إلى عمليّة تسوية.
  • المحلّلون يقضون معظم وقتهم في تجميع الاستخراجات بدل الإجابة عن الأسئلة.
  • لا أحد يستطيع تتبّع رقمٍ في تقريرٍ رجوعًا إلى النظام المصدر الذي جاء منه.
  • مبادرةُ ذكاءٍ اصطناعيٍّ أو تقاريرَ تعثّرت لأنّ البيانات الأساسيّة غير موثوقةٍ أو غير متاحة.

ما الذي يشمله النطاق

  • جردُ المصادر وتصميمُ الاستيعاب عبر الدفعات والتدفّق والتقاطِ تغيّر البيانات (CDC).
  • بنيةُ مستودعٍ أو بحيرةِ مستودعٍ مقاسةٌ على أنماط استعلاماتكم لا على مخطّطٍ مرجعيٍّ لمورّد.
  • طبقةُ تحويلٍ بنماذج مُختبَرةٍ خاضعةٍ لإدارة الإصدارات ومنطقِ عملٍ موثَّقٍ كتابةً.
  • طبقةٌ دلاليّةٌ يكون فيها لكلّ مؤشّرٍ تعريفٌ واحدٌ ومالكٌ واحدٌ وتطبيقٌ واحد.
  • الحوكمة: فهرسُ بياناتٍ ونسبٌ وضبطُ وصولٍ ونظامُ اختباراتٍ لجودة البيانات.

ما الذي تستلمه

المُخرَجما يحتويه
جرد المصادر والمؤشّراتكلُّ نظامٍ مصدر، والمؤشّراتُ المشتقّة منه، والتعريفاتُ المتعارضة المتداولة اليوم بين الفرق.
طبقة الاستيعاب والتخزينخطوطُ دفعاتٍ وتدفّقٍ والتقاطِ تغيّرٍ للبيانات تهبط في مستودعٍ أو بحيرةِ مستودعٍ بمناطق محدَّدة بوضوح.
الطبقة المُنمذَجة والدلاليّةتحويلاتٌ خاضعةٌ لإدارة الإصدارات وطبقةُ مؤشّراتٍ يحمل فيها كلّ تعريفٍ اسمَ مالكه.
ضوابط الحوكمة والجودةمدخلاتُ فهرسٍ ونسبٌ ووصولٌ قائمٌ على الأدوار واختباراتٌ آليّةٌ توقف الخطّ قبل وصول بياناتٍ رديئةٍ إلى المستهلكين.

مخطّطٌ معماريٌّ مرجعيّ

مرجعٌ لا قالب. بيئتُك هي التي تقرّر أيَّ أجزائه ينطبق، وبأيّ ترتيبٍ يصل.

مخطّطٌ مرجعيٌّ لمنصّة البيانات والتحليلات: طبقاتُ الاستيعاب والمنصّة والحوكمةالاستيعاب: Batch & Streaming, Change Data Capture, Landing Zone. المنصّة: Warehouse / Lakehouse, Transformation, Semantic Layer. الحوكمة: Data Catalogue, Lineage, Access ControlالاستيعابBatch & StreamingChange Data CaptureLanding ZoneالمنصّةWarehouse / LakehouseTransformationSemantic LayerالحوكمةData CatalogueLineageAccess Control
مخطّطٌ مرجعيٌّ لمنصّة البيانات والتحليلات: طبقاتُ الاستيعاب والمنصّة والحوكمة

كيف يُقاس النجاح

تُتَّفق المستهدفاتُ معك قبل بدء العمل، ويُرفَع التقريرُ عليها طوال مدّته.

  • حداثةُ البيانات مقابل مستوى الخدمة المتَّفق عليه لكلّ خطّ، مقيسةً من حدث المصدر إلى لحظة الإتاحة.
  • تغطيةُ اختبارات الخطوط، ونسبةُ التشغيلات التي توقفها فحوصُ الجودة قبل وصول البيانات إلى المستهلكين.
  • نسبةُ المؤشّرات المنشورة التي تحمل مالكًا مسمّى وتعريفًا مكتوبًا ونسبًا قابلًا للتتبّع.

أسئلةٌ تُطرح علينا

  • مستودعٌ أم بحيرةُ مستودع؟

    يعتمد على أحمال عملكم لا على أيّهما أحدث. التقاريرُ المُهيكَلة فوق مصادر علائقيّة يخدمها المستودع جيّدًا؛ أمّا البيانات غير المُهيكَلة والملفّاتُ الكبيرة وخطوطُ سمات تعلّم الآلة فترجّح بحيرة المستودع. وكثيرٌ من المؤسّسات ينتهي بها الأمر إلى الاثنين معًا، والقرارُ المهمّ هو أين تعيش الجداول المُنمذَجة المحوكَمة.

  • هل نحتاج إلى استبدال أداة الـ BI لدينا؟

    غالبًا لا. معظم مشكلات التقارير تقع أعلى من أداة الـ BI: مؤشّراتٌ غير معرَّفة، وتحويلاتٌ غير مختبَرة، وملكيّةٌ غير واضحة. وإصلاحُ طبقتي النمذجة والدلالة يجعل الأداة الحاليّة مقبولةً تمامًا في الغالب. ونفضّل تغيير طبقةٍ واحدة على ترحيل أداةٍ لا يحلّ شيئًا.

  • ما علاقة هذا بخططنا في الذكاء الاصطناعي؟

    علاقةٌ مباشرة. الاسترجاعُ والوكلاءُ والنماذجُ التنبّؤيّة جميعها تقرأ من هذه الطبقة وترث جودتها وصلاحيّاتها معًا. وبناءُ الذكاء الاصطناعي على بياناتٍ غير محوكَمة ينتج إجاباتٍ واثقةً مشتقّةً من أرقامٍ خاطئة، وهو أسوأ من غياب الإجابة أصلًا.

  • أين تقيم البيانات في ظلّ قواعد السيادة؟

    هذا مدخلٌ تصميميّ لا أمرٌ يُؤجَّل. المناطقُ السحابيّة الإقليميّة والنشرُ داخل البلد والأنماطُ الهجينة كلّها قابلةٌ للتطبيق، ولكلٍّ منها تبعاتٌ في الكلفة والتشغيل نعرضها قبل أن تختاروا. وعادةً يضيّق تنظيمُ القطاع في سوقكم الخياراتِ بسرعة.

  • كيف نمنع عودة العادات القديمة؟

    بجعل المسار المحوكَم هو المسار الأسهل. فإذا كانت الجداول المُنمذَجة كاملةً وموثَّقةً وسريعة، لم تعد الاستخراجات الخاصّة تستحقّ العناء. وحيث تستمرّ، يكون السبب غالبًا ثغرةً في النموذج لا مشكلةَ انضباط، والعلاجُ سدُّ الثغرة.

  • كم يستغرق هذا؟

    أوّلُ نطاقٍ محوكَم — مجالُ عملٍ واحد بمصادره ومؤشّراته — مسألةُ أسابيع وينبغي أن يسلّم شيئًا قابلًا للاستخدام. أمّا منصّةٌ تغطّي المؤسّسة كلّها فهي برنامجٌ متكامل، وينبغي ترتيبه بحسب القيمة التجاريّة لا بإنهاء استيعاب كلّ المصادر أوّلًا.

اقرأ أيضًا

  • AIOps

    ربطٌ وكشفُ شذوذٍ وتقليلُ ضجيجٍ عبر المقاييس والسجلّات والتتبّعات، مع أتمتة أدلّة التشغيل تحت موافقةٍ بشريّةٍ صريحة.

  • وكلاء الذكاء الاصطناعي

    وكلاءُ ذكاءٍ اصطناعيٍّ ضمن نطاقٍ محدَّد: أدواتٌ معرَّفة، وبيانات اعتمادٍ بأقلّ صلاحيّة، وموافقةٌ بشريّة على إجراءات الكتابة، وسجلُّ تدقيقٍ لكلّ استدعاء.

ابدأ بتقييم

أسرعُ طريقٍ إلى جوابٍ مفيد نظرةٌ قصيرةٌ محدَّدةُ النطاق على ما لديكم أصلًا.