تحديد الحاجة إلى حلول البيانات

مكتمل

أصبحت استضافة البيانات الآن أسهل وأرخص، ما يجعلها في متناول كل شركة تقريبًا. وتتضمن حلول البيانات تقنيات البرامج وأنظمتها الأساسية التي يمكن أن تساعد في تسهيل جمع، معلومات قيمة وتحليلها وتخزينها. ترغب كل شركات الأعمال في زيادة إيراداتها، وتحقيق أرباح أكبر. وفي ظل هذه السوق التنافسية، تعد البيانات أصلا قيمًا. وعند تحليلها بشكل صحيح، توفر البيانات ثروة من المعلومات المفيدة وتسترشد بقرارات الأعمال الهامة.

ما المقصود بالبيانات؟

البيانات مجموعة من الحقائق؛ مثل: الأرقام، والأوصاف، والملاحظات المستخدمة في اتخاذ القرار. يمكنك تصنيف البيانات على أنها منظمة، أو شبه منظمة، أو غير منظمة.

وتمثل البيانات المنظمة عادةً بيانات جدولية يتم تمثيلها بالصفوف، والأعمدة في قاعدة بيانات. وتسمى قواعد البيانات التي تحتفظ بجداول في هذا النموذج ⁧⁩قواعد بيانات ارتباطية⁧⁩ ⁧⁩(تشير علاقة⁧⁩ المصطلح الرياضي إلى مجموعة منظمة من البيانات التي تم الاحتفاظ بها كجدول). يحتوي كل صف في جدول على نفس مجموعة الأعمدة. توضح الصورة أدناه مثالاً يظهر جدولين في قاعدة بيانات التجارة الإلكترونية. يحتوي الجدول الأول على تفاصيل العملاء لإحدى المؤسسات، ويحمل الجدول الثاني معلومات حول المنتجات التي تبيعها المؤسسة.

⁩صورة توضح كيفية تمثيل البيانات المنظمة في جداول قاعدة البيانات⁧

⁩البيانات شبه المنظمة⁧⁩ عبارة عن معلومات لا توجد في قاعدة بيانات ارتباطية؛ ولكن لا يزال لديها بعض البنية لها. وتشمل الأمثلة المستندات التي يتم الاحتفاظ بها بتنسيق ⁧⁩JavaScript Object Notation⁧⁩ (JSON). يعرض المثال أدناه زوجًا من المستندات التي تمثل معلومات العميل. في كلتا الحالتين، يتضمن كل مستند عميل المستندات التابعة التي تحتوي على الاسم والعنوان؛ ولكن تختلف الحقول الموجودة في هذه المستندات التابعة بين العملاء.

## Document 1 ##
{
  "customerID": "103248",
  "name": 
  { 
    "first": "AAA", 
    "last": "BBB" 
  },
  "address": 
  {
    "street": "Main Street",
    "number": "101",
    "city": "Acity",
    "state": "NY" 
  },
  "ccOnFile": "yes",
  "firstOrder": "02/28/2003"
}

## Document 2 ##
{
  "customerID": "103249",
  "name": 
  { 
    "title": "Mr",
    "forename": "AAA", 
    "lastname": "BBB" 
  },
  "address": 
  {
    "street": "Another Street",
    "number": "202",
    "city": "Bcity",
    "county": "Gloucestershire",
    "country-region": "UK" 
  },
  "ccOnFile": "yes"
}

وهناك أنواع أخرى من البيانات شبه المنظمة أيضًا. تتضمن الأمثلة المخازن ⁧⁩ذات القيمة الأساسية⁧⁩، وقواعد بيانات ⁧⁩الرسم البياني.⁧

تخزن قاعدة بيانات قيمة المفتاح الصفائف الترابطية. في هذه الصفائف، يعمل المفتاح كمعرف فريد لاسترداد قيمة معينة. يمكن أن تكون هذه القيم أي شيء من رقم أو سلسلة إلى كائن معقد، مثل ملف JSON.

تخزن قاعدة بيانات قيمة المفتاح البيانات كجمع مفرد بدون بنية أو علاقة. وهذا يجعلها مختلفة عن قاعدة بيانات ارتباطية حيث تتكون الجداول من صفوف وأعمدة ذات أنواع بيانات معرفة مسبقاً.

تعرض الصورة أدناه مثالاً لبيانات قيمة المفتاح.

صورة تعرض مثالاً على بيانات القيمة الرئيسية.

يمكنك استخدام قاعدة بيانات الرسم البياني لتخزين معلومات حول العلاقات المعقدة، والاستعلام عنها. يحتوي الرسم البياني على عُقد (معلومات حول الكائنات)، وحافات (معلومات حول العلاقات بين الكائنات). تعرض الصورة أدناه مثالاً عن كيفية إنشاء البيانات في قاعدة بيانات الرسم البياني.

⁩صورة تظهر المعلومات في قاعدة بيانات الرسم البياني⁧

ليست كل البيانات منظمة أو شبه منظمة. على سبيل المثال، فقد لا يكون لملفات الصوت والفيديو، وملفات البيانات الثنائية بنية معينة. ويشار إليها على أنها بيانات ⁧⁩غير منظمة.⁧

كيف يتم تعريف البيانات، وتخزينها، والوصول إليها في الحوسبة السحابية؟

اعتمادًا على نوع البيانات؛ مثل: المنظمة، أو شبه المنظمة، أو غير المنظمة، سيتم تخزين البيانات بشكل مختلف. يتم عادةً تخزين البيانات المنظمة في قاعدة بيانات ارتباطية؛ مثل: SQL Server، أو قاعدة بيانات Azure SQL Database. تمثل قاعدة بيانات Azure SQL Database خدمة يتم تشغيلها في السحابة. ويمكنك استخدامها لإنشاء الجداول الارتباطية، والوصول إليها. تتم إدارة الخدمة وتشغيلها بواسطة Azure، ما عليك سوى تحديد أنك تريد إنشاء خادم قاعدة بيانات. يسمى إجراء إعداد خادم قاعدة البيانات ⁧⁩توفير.⁧

يمكنك توفير خدمات أخرى بالإضافة إلى ذلك في Azure. على سبيل المثال: إذا كنت تريد تخزين بيانات غير منظمة؛ مثل: ملفات الفيديو أو الصوت، يمكنك استخدام تخزين Azure Blob⁧⁩(Blob⁧⁩ اختصار لكائن ثنائي كبير الحجم). إذا كنت ترغب في تخزين بيانات شبه منظمة؛ مثل: المستندات، يمكنك استخدام خدمة مثل Azure Cosmos DB.

بعد توفير الخدمة، يجب تكوين الخدمة؛ بحيث يمكن منح المستخدمين حق الوصول إلى البيانات. يمكنك عادةً تعريف عدة مستويات من الوصول.

  • ⁩للقراءة فقط⁧⁩ يعني الوصول أنه يمكن للمستخدمين قراءة البيانات؛ ولكن لا يمكنهم تعديل أي بيانات موجودة، أو إنشاء بيانات جديدة.

  • ⁩للقراءة/ الكتابة⁧⁩ يمنح حق الوصول للمستخدمين القدرة على عرض البيانات الموجودة وتعديلها.

  • ⁩المالك⁧⁩ يمنح الامتياز الوصول الكامل إلى البيانات بما في ذلك إدارة الأمان؛ مثل: إضافة مستخدمين جدد، وإزالة الوصول إلى المستخدمين الحاليين.

يمكنك أيضًا تحديد المستخدمين الذين ينبغي السماح لهم بالوصول إلى البيانات في المقام الأول. إذا كانت البيانات حسَّاسة (أو سرية)، فقد ترغب في تقييد الوصول إلى عدد قليل من المستخدمين المحددين.

في المثال حيث كنت أعمل محلل بيانات لمؤسسة استهلاكية كبيرة كنت قد قررت إعطاء حق الوصول للقراءة فقط إلى فريق الإدارة بأكمله. لا يحتاج فريق الإدارة إلى تعديل البيانات؛ ولكن لديه تصريح أمني لمعرفة أي بيانات. يتم منح حق الوصول للقراءة والكتابة إلى التطبيق الذي يستخدمه مندوبو المبيعات لتسجيل المبيعات. لن يحتاج المستخدمون الأفراد إلى الوصول إلى النظام مباشرة؛ ولكنهم سيقومون بإجراء تعديلات عبر تطبيقهم. سيكون لدى محللي البيانات ومديري البيانات امتيازات المالكين؛ نظرًا لأنهم بحاجة إلى إدارة وصول المستخدمين الآخرين، وإدارة النظام.

وصف حلول معالجة البيانات

غالبًا ما تندرج حلول معالجة البيانات في إحدى فئتين واسعتين: النظم التحليلية، ونظم معالجة العمليات.

ما المقصود بنظام العمليات؟

نظام العمليات في كثير من الأحيان ما يعتبره معظم الناس الوظيفة الأساسية لحوسبة الأعمال. يسجل نظام العمليات ⁧⁩العمليات⁧⁩. ويمكن أن تكون العملية مالية؛ مثل: حركة الأموال بين الحسابات في نظام مصرفي، أو قد تكون جزءًا من نظام البيع بالتجزئة، وتتبع المدفوعات مقابل السلع والخدمات من العملاء. فكِّر في العملية كوحدة عمل صغيرة منفصلة.

غالبًا ما تكون نظم العمليات ذات حجم كبير، وأحيانًا تعالج عدة ملايين من العمليات في يوم واحد. وينبغي أن تكون البيانات التي يجري تجهيزها متاحة بسرعة كبيرة. غالبًا ما يشار إلى العمل الذي يتم تنفيذه بواسطة أنظمة العمليات "معالجة العمليات عبر إنترنت" (OLTP).

لدعم المعالجة السريعة، غالبًا ما يتم تقسيم البيانات في نظام العمليات إلى وحدات صغيرة. على سبيل المثال: إذا كنت تستخدم نظام ارتباطي، يحتوي كل جدول متضمن في عملية فقط على الأعمدة الضرورية لتنفيذ مهمة العمليات. في مثال التحويل المصرفي، قد يحتوي جدول يحتفظ بمعلومات حول الأموال الموجودة في الحساب على رقم الحساب والرصيد الحالي فقط. أما الجداول الأخرى التي لا تدخل في عملية التحويل، فستحتفظ بمعلومات؛ مثل: اسم العميل وعنوانه، ومحفوظات الحساب. ويسمى تقسيم الجداول إلى مجموعات منفصلة من الأعمدة مثل هذا تسوية. تناقش الوحدة التالية هذه العملية بمزيد من التفصيل. يمكن أن تعمل التهيئة على تمكين نظام العمليات للتخزين المؤقت للكثير من المعلومات المطلوبة لتنفيذ العمليات في الذاكرة، ومعدل نقل السرعة.

وبالرغم من التهيئة تمكِّن من معدل نقل السرعة للعمليات، فإنها يمكن أن تجعل الاستعلام أكثر تعقيدًا. ستحتاج الاستعلامات التي تتضمن جداول عادية بشكل متكرر إلى ضم البيانات المحتفظ بها عبر عدة جداول مرة أخرى. وهذا قد يجعل الأمر صعبًا على المستخدمين من رجال الأعمال الذين قد يحتاجون إلى فحص البيانات.

ما المقصود بالنظام التحليلي؟

على النقيض من الأنظمة المصممة لدعم OLTP، تم تصميم نظام تحليلي لدعم المستخدمين من رجال الأعمال الذين يحتاجون إلى الاستعلام عن البيانات، والحصول على ⁧⁩صورة كبيرة⁧⁩ لعرض المعلومات التي تم تخزينها في قاعدة بيانات.

وتعنى النظم التحليلية بالتقاط البيانات الخام، واستخدامها لتوليد نتائج معرفية. ويمكن للمؤسسة استخدام هذه النتائج المعرفية؛ لاتخاذ قرارات العمل. على سبيل المثال: قد تشير النتائج المعرفية التفصيلية لشركة تصنيع إلى اتجاهات تمكنها من تحديد خطوط الإنتاج التي يجب التركيز عليها، لتحقيق الربحية.

وتحتاج معظم نظم معالجة البيانات التحليلية إلى أداء مهام مماثلة: استيعاب البيانات، وتحويل البيانات، والاستعلام عن البيانات، وتصور البيانات. توضح الصورة أدناه المكونات في نظام معالجة البيانات النموذجي.

⁩صورة تصوِّر عناصر حل معالجة بيانات نموذجي⁧

  • ⁩استيعاب البيانات⁧⁩: يمثل استيعاب البيانات عملية التقاط البيانات الأولية. ويمكن أخذ هذه البيانات من أجهزة التحكم التي تقيس المعلومات البيئية؛ مثل: درجة الحرارة والضغط، وأجهزة نقاط البيع التي تسجل الأصناف التي يشتريها أحد العملاء في سوبر ماركت، والبيانات المالية التي تسجل حركة الأموال بين الحسابات المصرفية، وبيانات الطقس من محطات الطقس. قد تأتي بعض هذه البيانات من نظام OLTP منفصل. ولمعالجة هذه البيانات وتحليلها، يجب أولاً تخزين البيانات في مستودع ما. يمكن أن يكون المستودع مخزن ملفات، أو قاعدة بيانات مستندات، أو حتى قاعدة بيانات ارتباطية.

  • ⁩تحويل البيانات/ معالجة البيانات⁧⁩: قد لا تكون البيانات الأولية بتنسيق مناسب للاستعلام. وقد تحتوي البيانات على حالات شاذة ينبغي تصفيتها، أو قد تتطلب التحويل بطريقة ما. على سبيل المثال، قد تحتاج التواريخ أو العناوين إلى تحويلها إلى تنسيق قياسي. بعد إدخال البيانات في مستودع بيانات، قد ترغب في القيام ببعض عمليات التنظيف، وإزالة أي بيانات مشكوك فيها، أو غير صالحة، أو تنفيذ بعض عمليات التجميع؛ مثل: حساب الربح، والهامش، ومؤشرات الأداء الرئيسية الأخرى (KPIs). تعني مؤشرات الأداء الرئيسية كيفية قياس الشركات من أجل النمو والأداء.

  • ⁩الاستعلام عن البيانات⁧⁩: بعد استيعاب البيانات وتحويلها، يمكنك الاستعلام عن البيانات لتحليلها. قد تكون تبحث عن اتجاهات، أو تحاول تحديد سبب المشاكل في الأنظمة الخاصة بك. توفر العديد من أنظمة إدارة قواعد البيانات أدوات لتمكينك من تنفيذ استعلامات مخصصة مقابل البيانات، وإنشاء تقارير منتظمة.

  • ⁩تصور البيانات⁧⁩: إن البيانات الممثلة في الجداول؛ مثل: الصفوف والأعمدة، أو المستندات ليست بديهية دائمًا. يمكن أن يكون تصور البيانات مفيدًا كأداة لفحص البيانات. ويمكنك إنشاء مخططات؛ مثل: المخططات الشريطية، أو المخططات الخطية، أو نتائج الرسم على الخرائط الجغرافية، أو التخطيطات الدائرية، أو توضيح كيفية تغير البيانات بمرور الوقت. تقدم Microsoft أدوات المرئيات؛ مثل: Power BI؛ لتوفير تمثيل رسومي غني للبيانات الخاصة بك.