استكشاف معالجة البيانات التحليلية
تستخدم معالجة البيانات التحليلية عادة أنظمة للقراءة فقط (أو للقراءة-في الغالب) تُخزن كميات مهولة من البيانات التاريخية أو مقاييس الأعمال. يمكن أن تستند التحليلات إلى لقطة للبيانات في نقطة زمنية معينة، أو على مجموعة من اللقطات.
يمكن أن تختلف التفاصيل المحددة لنظام المعالجة التحليلية بين الحلول، ولكن البنية المشتركة للتحليلات على نطاق المؤسسة تبدو كما يلي:
- يتم استخراج البيانات التشغيلية وتحويلها وتحميلها (ETL) في مستودع بيانات للتحليل.
- يتم تحميل البيانات في مخطط جداول - عادة في مستودع بيانات يستند إلى Spark مع تجريدات جدولية عبر الملفات في مستودع البيانات، أو مستودع بيانات بمحرك SQL علائقي بالكامل.
- قد تُجمع البيانات في مستودع البيانات وتُحمل في نموذج معالجة تحليلية عبر الإنترنت (OLAP) أو مكعب. تُحسب القيم الرقمية المجمعة (المقاييس) من جداول الحقائق لتقاطعات الأبعاد من جداول الأبعاد. على سبيل المثال، قد يُحسب إجمالي إيرادات المبيعات حسب التاريخ والعميل والمنتج.
- يمكن الاستعلام عن البيانات الموجودة في مستودع البيانات (data lake) ومستودع البيانات (data warehouse) والنموذج التحليلي لإنتاج التقارير والتصورات ولوحات المعلومات.
تعدمستودعات البيانات شائعة في سيناريوهات المعالجة التحليلية للبيانات واسعة النطاق، حيث يجب جمع كمية كبيرة من البيانات المستندة إلى الملفات وتحليلها.
مستودعات البيانات هي طريقة ثابتة لتخزين البيانات في مخطط ارتباطي مُحسن لعمليات القراءة – وهي في المقام الأول استعلامات لدعم إعداد التقارير وتصور البيانات. Data Lakehouses هي ابتكار أحدث يجمع بين التخزين المرن والقابل للتطوير لمستودع البيانات ودلالات الاستعلام العلائقية لمستودع البيانات. قد يتطلب مخطط الجدول بعض إلغاء تكرار البيانات في مصدر بيانات OLTP (إدخال بعض التكرار لجعل الاستعلامات تعمل بشكل أسرع).
نموذج OLAP هو نوع مُجمع لتخزين البيانات مُحسن لأحمال العمل التحليلية. تكون تجميعات البيانات عبر الأبعاد على مستويات مختلفة، ما يتيح لك التنقل لأعلى/لأسفل لعرض التجميعات على مستويات هرمية متعددة؛ على سبيل المثال للعثور على إجمالي المبيعات حسب المنطقة أو المدينة أو لعنوان فردي. نظرًا لأن بيانات OLAP مُجمعة مُسبقًا، يمكن تشغيل الاستعلامات لإرجاع الملخصات التي تحتوي عليها بسرعة.
قد تقوم أنواع مختلفة من المستخدمين بعمل تحليل البيانات في مراحل مختلفة من البنية العامة. على سبيل المثال:
- قد يعمل علماء البيانات مباشرة مع ملفات البيانات في مستودع البيانات لاستكشاف البيانات ونمذجتها.
- قد يستعلم محللو البيانات عن الجداول مباشرة في مستودع البيانات لإنتاج تقارير ومرئيات معقدة.
- قد يستهلك مستخدمو الأعمال بيانات مُجمعة مُسبقًا في نموذج تحليلي في شكل تقارير أو لوحات معلومات.