التصور وإعداد التقارير عن عمليات ترحيل Teradata

هذه المقالة هي الجزء الرابع من سلسلة الأجزاء السبعة التي توفر إرشادات حول كيفية الترحيل من Teradata إلى Azure Synapse Analytics. تركز هذه المقالة على أفضل الممارسات للتصور وإعداد التقارير.

الوصول إلى Azure Synapse Analytics باستخدام أدوات المعلومات المهنية لـ Microsoft والجهات الخارجية

تصل المؤسسات إلى مستودعات البيانات ومخازن البيانات باستخدام مجموعة من أدوات وتطبيقات المعلومات المهنية (BI). بعض الأمثلة على منتجات المعلومات المهنية هي:

• أدوات Microsoft BI، مثل Power BI.

• تطبيقات Office، مثل جداول بيانات Microsoft Excel.

• أدوات المعلومات المهنية التابعة لجهة خارجية من موردين مختلفين.

• تطبيقات التحليلات المخصصة مع وظيفة أداة BI المضمنة.

• التطبيقات التشغيلية التي تدعم المعلومات المهنية عند الطلب عن طريق تشغيل الاستعلامات والتقارير على منصة BI التي بدورها تقوم بالاستعلام عن البيانات في مستودع بيانات أو مخزن بيانات.

• أدوات تطوير علوم البيانات التفاعلية، مثل دفاتر ملاحظات Azure Synapse Spark والتعلم الآلي من Microsoft Azure وRStudio ودفاتر ملاحظات Jupyter.

إذا قمت بترحيل التصور وإعداد التقارير كجزء من ترحيل مستودع البيانات، فيجب تشغيل جميع الاستعلامات والتقارير ولوحات المعلومات الحالية التي تم إنشاؤها بواسطة منتجات BI في البيئة الجديدة. يجب أن تسفر منتجات المعلومات المهنية الخاصة بك عن نفس النتائج على Azure Synapse كما فعلت في بيئة مستودع البيانات القديمة.

للحصول على نتائج متسقة بعد الترحيل، يجب أن تعمل جميع أدوات BI وتبعيات التطبيق بعد ترحيل مخطط مستودع البيانات والبيانات إلى Azure Synapse. تتضمن التبعيات جوانب أقل وضوحًا، مثل الوصول والأمان. عند معالجة الوصول والأمان، تأكد من:

• المصادقة بحيث يمكن للمستخدمين تسجيل الدخول إلى مستودع البيانات وقواعد بيانات سوق البيانات على Azure Synapse.

• جميع المستخدمين في Azure Synapse.

• جميع مجموعات المستخدمين في Azure Synapse.

• جميع الأدوار في Azure Synapse.

• يتم ترحيل جميع امتيازات التخويل التي تحكم التحكم في الوصول إلى Azure Synapse.

• تعيينات المستخدم والدور والامتياز لتعكس ما كان لديك في مستودع البيانات الحالي قبل الترحيل. على سبيل المثال:

  • امتيازات عنصر في قاعدة البيانات المعينة للأدوار
  • الأدوار المعينة لمجموعات المستخدمين
  • المستخدمون المعينون لمجموعات المستخدمين و/أو الأدوار

يعد الوصول والأمان من الاعتبارات المهمة للوصول إلى البيانات في النظام الذي تم ترحيله وتتم مناقشته بمزيد من التفصيل في الأمان والوصول والعمليات لعمليات ترحيل Teradata.

تلميح

يجب ترحيل المستخدمين الحاليين ومجموعات المستخدمين والأدوار وتعيينات امتيازات أمان الوصول أولاً حتى ينجح ترحيل التقارير والمرئيات.

ترحيل جميع البيانات المطلوبة للتأكد من أن التقارير ولوحات المعلومات التي تستعلم عن البيانات في البيئة القديمة تنتج نفس النتائج في Azure Synapse.

يتوقع مستخدمو الأعمال ترحيلًا سلسًا، دون أي مفاجآت تدمر ثقتهم في النظام الذي تم ترحيله على Azure Synapse. احرص على التخفيف من أي مخاوف قد يكون لدى المستخدمين من خلال التواصل الجيد. يتوقع المستخدمون ما يلي:

• تظل بنية الجدول كما هي عند الإشارة إليها مباشرةً في الاستعلامات.

• تظل أسماء الجداول والأعمدة كما هي عند الإشارة إليها مباشرة في الاستعلامات. على سبيل المثال، يجب ألا تفشل الحقول المحسوبة المحددة في الأعمدة في أدوات ذكاء الأعمال عند إنتاج تقارير مجمعة.

• التحليل التاريخي لا يزال كما هو.

• تظل أنواع البيانات كما هي، إن أمكن.

• يظل سلوك الاستعلام كما هو.

• يتم اختبار برامج تشغيل ODBC / JDBC للتأكد من أن سلوك الاستعلام يظل كما هو.

تلميح

التواصل ومشاركة مستخدم الأعمال أمران حاسمان للنجاح.

إذا كانت طرق عرض الاستعلام عن أدوات المعلومات المهنية في مستودع البيانات الأساسي أو قاعدة بيانات مخزن البيانات، فهل ستظل طرق العرض هذه تعمل بعد الترحيل؟ قد لا تعمل بعض طرق العرض إذا كانت هناك امتدادات SQL خاصة بمخزن البيانات القديم DBMS والتي ليس لها ما يعادلها في Azure Synapse. إذا كان الأمر كذلك، فأنت بحاجة إلى معرفة حالات عدم التوافق هذه وإيجاد طريقة لحلها.

تلميح

من المحتمل أن تؤدي طرق العرض واستعلامات SQL باستخدام ملحقات استعلام SQL الخاصة إلى عدم توافق يؤثر على تقارير المعلومات المهنية ولوحات المعلومات.

يجب اختبار مشكلات أخرى، مثل سلوك NULL القيم أو تباينات نوع البيانات عبر الأنظمة الأساسية DBMS، للتأكد من أن الاختلافات الطفيفة حتى غير موجودة في نتائج الحساب. قلل من هذه المشكلات واتخذ جميع الخطوات اللازمة لحماية مستخدمي الأعمال من التأثر بها. اعتمادًا على بيئة مستودع البيانات القديمة، أدوات الجهات الخارجية التي يمكن أن تساعد في إخفاء الاختلافات بين البيئات القديمة والجديدة بحيث تعمل أدوات BI والتطبيقات دون تغيير.

يُعد الاختبار أمرًا بالغ الأهمية للتصور وترحيل التقرير. تحتاج إلى مجموعة اختبار وبيانات اختبار متفق عليها لتشغيل الاختبارات وإعادة تشغيلها في كلتا البيئتين. يُعد مفعّل الاختبار مفيدًا أيضًا، ويشار إلى عدد قليل منها في دليل الإرشاد هذا. أيضًا، من المهم إشراك مستخدمي الأعمال في جانب الاختبار من الترحيل للحفاظ على الثقة عالية والحفاظ على تفاعلهم وجزء من المشروع.

تلميح

استخدم الاختبارات القابلة للتكرار لضمان ترحيل التقارير ولوحات المعلومات والمرئيات الأخرى بنجاح.

قد تفكر في تبديل أدوات BI، على سبيل المثال للترحيل إلى Power BI. يتمثل الجذب في إجراء مثل هذه التغييرات في نفس الوقت الذي تقوم فيه بترحيل مخططك وبياناتك ومعالجة ETL والمزيد. ومع ذلك، لتقليل المخاطر، من الأفضل الترحيل إلى Azure Synapse أولاً وجعل كل شيء يعمل قبل إجراء مزيد من التحديث.

إذا كانت أدوات ذكاء الأعمال الحالية لديك تعمل محليًا، فتأكد من أنها تستطيع الاتصال بـ Azure Synapse من خلال جدار الحماية الخاص بك حتى تتمكن من إجراء مقارنات مع كلتا البيئتين. بدلاً من ذلك، إذا كان مورد أدوات المعلومات المهنية الحالية يقدم منتجه على Azure، يمكنك تجربته هناك. ينطبق الشيء نفسه على التطبيقات التي تعمل في أماكن العمل التي تقوم بتضمين المعلومات المهنية أو التي تستدعي خادم المعلومات المهنية عند الطلب، حيث تطلب "تقرير بدون عنوان" مع البيانات التي يتم إرجاعها في XML أو JSON، على سبيل المثال.

هناك الكثير للتفكير فيه هنا، لذا دعونا نلقي نظرة عن كثب.

استخدام ظاهرية البيانات لتقليل تأثير الترحيل على أدوات المعلومات المهنية والتقارير

أثناء الترحيل، قد تميل إلى تلبية متطلبات طويلة الأجل مثل فتح طلبات العمل أو إضافة بيانات مفقودة أو تنفيذ ميزات جديدة. ومع ذلك، يمكن أن تؤثر هذه التغييرات على وصول أداة المعلومات المهنية إلى مستودع البيانات الخاص بك، خاصة إذا كان التغيير يتضمن تغييرات هيكلية على نموذج البيانات الخاص بك. إذا كنت تريد اعتماد تقنية نمذجة بيانات مرنة أو تنفيذ تغييرات هيكلية، فقم بذلك بعد الترحيل.

تتمثل إحدى الطرق لتقليل تأثير تغييرات المخطط أو التغييرات الهيكلية الأخرى على أدوات المعلومات المهنية في تقديم ظاهرية البيانات بين أدوات المعلومات المهنية ومستودع البيانات ومخازن البيانات. يوضح الرسم التخطيطي التالي كيف يمكن لظاهرية البيانات إخفاء الترحيل عن المستخدمين.

تكسر المحاكاة الافتراضية للبيانات التبعية بين مستخدمي الأعمال الذين يستخدمون أدوات ذكاء الأعمال ذاتية الخدمة والمخطط المادي لمستودع البيانات الأساسي ومجمعات البيانات التي يتم ترحيلها.

تلميح

تسمح لك ظاهرية البيانات بحماية مستخدمي الأعمال من التغييرات الهيكلية أثناء الترحيل بحيث يظلون غير مدركين للتغييرات. تتضمن التغييرات الهيكلية تعديلات المخطط التي تضبط نموذج البيانات الخاص بك لـ Azure Synapse.

من خلال إدخال ظاهرية البيانات، يمكن إخفاء أي تعديلات مخطط تم إجراؤها أثناء مستودع البيانات وترحيل متجر البيانات إلى Azure Synapse (لتحسين الأداء، على سبيل المثال) عن مستخدمي الأعمال لأنهم يصلون فقط إلى الجداول الظاهرية في طبقة ظاهرية البيانات. وإذا قمت بإجراء تغييرات هيكلية، فأنت بحاجة فقط إلى تحديث التعيينات بين مستودع البيانات أو مخازن البيانات وأي جداول ظاهرية. باستخدام البيانات الافتراضية، يظل المستخدمون غير مدركين للتغييرات الهيكلية. يوفر Microsoft partners برامج ظاهرية البيانات مفيدة.

تحديد التقارير ذات الأولوية العالية للترحيل أولًا

سؤال رئيسي عند ترحيل التقارير ولوحات المعلومات الموجودة إلى Azure Synapse هو تلك التي يجب ترحيلها أولاً. وقد تؤدي عدة عوامل إلى اتخاذ هذا القرار، مثل:

• الاستخدام

• القيمة العملية

• سهولة الترحيل

• إستراتيجية ترحيل البيانات

تناقش الأقسام التالية هذه العوامل.

مهما كان قرارك، يجب أن يتضمن مستخدمي عملك لأنهم ينتجون التقارير ولوحات المعلومات والمرئيات الأخرى، ويتخذون قرارات الأعمال بناء على رؤى من تلك العناصر. يستفيد الجميع عندما تتمكن من:

• ترحيل التقارير ولوحات المعلومات بسلاسة،
• ترحيل التقارير ولوحات المعلومات بأقل جهد ممكن، و
• الإشارة إلى أداة (أدوات) المعلومات المهنية في Azure Synapse بدلا من نظام مستودع البيانات القديم، والحصول على تقارير ولوحات معلومات وتصورات أخرى تشبه مثل.

ترحيل التقارير استنادًا إلى الاستخدام

غالبًا ما يكون الاستخدام مؤشرا لقيمة الأعمال. من الواضح أن التقارير ولوحات المعلومات غير المستخدمة لا تساهم في قرارات الأعمال أو تقدم القيمة الحالية. إذا لم يكن لديك طريقة لمعرفة التقارير ولوحات المعلومات غير المستخدمة، يمكنك استخدام إحدى أدوات المعلومات المهنية المتعددة التي توفر إحصائيات الاستخدام.

إذا كان مستودع البيانات القديم الخاص بك يعمل منذ سنوات، فهناك فرصة جيدة أن يكون لديك المئات، إن لم يكن الآلاف، من التقارير الموجودة. يستحق الأمر تجميع مخزون من التقارير ولوحات المعلومات وتحديد الغرض من أعمالها وإحصائيات الاستخدام الخاصة بها.

بالنسبة للتقارير غير المستخدمة، حدد ما إذا كنت تريد إيقاف تشغيلها لتقليل جهود الترحيل. السؤال الرئيسي عند تحديد ما إذا كان سيتم إيقاف تشغيل تقرير غير مستخدم هو ما إذا كان التقرير غير مستخدم لأن الأشخاص لا يعرفون أنه موجود، أو لأنه لا يقدم أي قيمة تجارية، أو لأنه تم استبداله بتقرير آخر.

ترحيل التقارير استنادًا إلى قيمة الأعمال

الاستخدام وحده ليس دائمًا مؤشرًا جيدًا لقيمة العمل. قد ترغب في النظر في مدى مساهمة رؤى التقرير في قيمة الأعمال. تتمثل إحدى طرق القيام بذلك في تقييم ربحية كل قرار تجاري يعتمد على التقرير ومدى الاعتماد عليه. ومع ذلك، من غير المرجح أن تكون هذه المعلومات متاحة بسهولة في معظم المؤسسات.

طريقة أخرى لتقييم قيمة الأعمال هي النظر في محاذاة التقرير مع استراتيجية الأعمال. عادة ما تحدد إستراتيجية الأعمال التي يحددها المدير التنفيذي أهداف الأعمال الإستراتيجية ومؤشرات الأداء الرئيسية (KPIs) وأهداف KPI التي تحتاج إلى تحقيقها ومن هو المسؤول عن تحقيقها. يمكنك تصنيف تقرير يساهم من خلاله SBOs التقرير، مثل الحد من الاحتيال، وتحسين مشاركة العملاء، وتحسين العمليات التجارية. بعد ذلك، يمكنك تحديد أولويات ترحيل التقارير ولوحات المعلومات المرتبطة بأهداف ذات أولوية عالية. بهذه الطريقة، يمكن للترحيل الأولي تقديم قيمة تجارية في منطقة استراتيجية.

هناك طريقة أخرى لتقييم قيمة العمل وهي تصنيف التقارير ولوحات المعلومات على أنها تشغيلية أو تكتيكية أو إستراتيجية لتحديد مستوى العمل الذي يتم استخدامها فيه. وتتطلب المنظمات غير الحكومية مساهمات على جميع هذه المستويات. تساعد معرفة التقارير ولوحات المعلومات المستخدمة، على أي مستوى، وأي أهداف مرتبطة بها على تركيز الترحيل على قيمة الأعمال ذات الأولوية العالية التي ستدفع الشركة إلى الأمام. يمكنك استخدام الجدول الهدف لاستراتيجية العمل التالية لتقييم التقارير ولوحات المعلومات.

المستوى	اسم التقرير / لوحة المعلومات	الغرض من العمل	القسم المستخدم	تكرار الاستخدام	أولوية العمل
الاستراتيجية
التكتيكية
التنفيذية

تتيح أدوات اكتشاف بيانات التعريف مثل Azure كتالوج البيانات لمستخدمي الأعمال وضع علامة على مصادر البيانات وتصنيفها لإثراء بيانات التعريف لمصادر البيانات هذه للمساعدة في اكتشافها وتصنيفها. يمكنك استخدام بيانات التعريف لتقرير أو لوحة معلومات لمساعدتك على فهم قيمة أعمالها. بدون هذه الأدوات، من المحتمل أن يكون فهم مساهمة التقارير ولوحات المعلومات في قيمة الأعمال مهمة تستغرق وقتا طويلا، سواء كنت تقوم بالترحيل أم لا.

ترحيل التقارير استنادًا إلى إستراتيجية ترحيل البيانات

إذا كانت إستراتيجية الترحيل الخاصة بك تستند إلى ترحيل قواعد البيانات أولاً، فسيكون لترتيب ترحيل متجر البيانات تأثير على التقارير ولوحات المعلومات التي يمكن ترحيلها أولاً للتشغيل على Azure Synapse. إذا كانت استراتيجيتك تستند إلى قيمة العمل، فإن الترتيب الذي تقوم بترحيل مجموعات البيانات به إلى Azure Synapse سيعكس أولويات العمل. يمكن أن تساعدك أدوات اكتشاف بيانات التعريف في تنفيذ استراتيجيتك من خلال إظهار جداول مخزن البيانات التي توفر البيانات للتقارير.

تلميح

يمكن أن تحدد إستراتيجية ترحيل البيانات أيضًا التقارير والمرئيات التي يتم ترحيلها أولاً.

مشكلات عدم توافق الترحيل التي يمكن أن تؤثر على التقارير والتصورات

يتم إنتاج تقارير أدوات المعلومات المهنية ولوحات المعلومات، وغيرها من المرئيات، عن طريق إصدار استعلامات SQL التي تصل إلى الجداول الفعلية و/أو طرق العرض في مستودع البيانات أو متجر البيانات. عند ترحيل مستودع البيانات القديم إلى Azure Synapse، يمكن أن تؤثر عدة عوامل على سهولة ترحيل التقارير ولوحات المعلومات والمرئيات الأخرى. وتشمل هذه العوامل ما يلي:

• عدم توافق المخطط بين البيئات.

• عدم توافق SQL بين البيئات.

عدم توافق المخطط

أثناء الترحيل، يمكن أن تكون أوجه عدم توافق المخطط في مستودع البيانات أو جداول مخزن البيانات التي توفر البيانات للتقارير ولوحات المعلومات والمرئيات الأخرى:

• أنواع الجداول غير القياسية المعتمدة في DBMS لمستودع البيانات القديمة التي لا تحتوي على ما يعادلها في Azure Synapse.

• أنواع البيانات المدعومة في DBMS لمستودع البيانات القديمة التي لا تحتوي على ما يعادلها في Azure Synapse.

في معظم الحالات، هناك حل بديل لعدم التوافق. على سبيل المثال، يمكن ترحيل البيانات الموجودة في أنواع الجداول غير المدعومة إلى جدول قياسي مع أنواع البيانات المناسبة وفهرستها أو تقسيمها في عمود التاريخ/الوقت. وبالمثل، قد يكون من الممكن تمثيل أنواع البيانات غير المدعومة في نوع آخر من الأعمدة وإجراء العمليات الحسابية في Azure Synapse لتحقيق نفس الشيء.

تلميح

تتضمن عدم توافق المخطط أنواع جداول DBMS القديمة في المستودع وأنواع البيانات غير المدعومة على Azure Synapse.

لتحديد التقارير والمرئيات المتأثرة بتعذر توافق المخطط، شغل الاستعلامات مقابل كتالوج النظام لمستودع البيانات القديم لتحديد الجداول ذات أنواع البيانات غير المدعومة. بعد ذلك، يمكنك استخدام بيانات التعريف من أداة BI لتحديد التقارير التي تصل إلى البيانات في تلك الجداول. لمزيد من المعلومات حول كيفية تحديد عدم توافق نوع الكائن، راجع أنواع عناصر قاعدة بيانات Teradata غير المعتمدة.

تلميح

الاستعلام عن كتالوج النظام لمستودع DBMS القديم لتحديد عدم توافق المخطط مع Azure Synapse.

قد يكون تأثير عدم توافق المخطط على التقارير ولوحات المعلومات والمرئيات الأخرى أقل مما تعتقد لأن العديد من أدوات المعلومات المهنية لا تدعم أنواع البيانات الأقل عمومية. ونتيجة لذلك، قد تكون طرق العرض موجودة بالفعل في مستودع البيانات القديم الذي يحتوي على أنواع البيانات غير المعتمدة CAST لأنواع أكثر عمومية.

عدم توافق SQL

أثناء الترحيل، من المحتمل أن يؤثر عدم توافق SQL على أي تقرير أو لوحة معلومات أو مرئيات أخرى في تطبيق أو أداة:

• الوصول إلى طرق عرض DBMS لمستودع البيانات القديم التي تتضمن وظائف SQL الخاصة التي ليس لها ما يعادلها في Azure Synapse.

• مشكلات استعلامات SQL، والتي تتضمن وظائف SQL الخاصة غريبة عن لهجة SQL الخاصة بـ DBMS لمستودع البيانات القديم، والتي ليس لها ما يعادلها في Azure Synapse.

قياس تأثير عدم توافق SQL على محفظة التقارير الخاصة بك

قد تتضمن قائمة التقارير خدمات استعلام مضمنة وتقارير ولوحات معلومات وتصورات أخرى. لا تعتمد على الوثائق المقترنة بهذه العناصر لقياس تأثير عدم توافق SQL على ترحيل قائمة تقاريرك إلى Azure Synapse. تحتاج إلى استخدام طريقة أكثر دقة لتقييم تأثير عدم توافق SQL.

استخدام عبارات EXPLAIN للعثور على عدم توافق SQL

يمكنك العثور على عدم توافق SQL من خلال مراجعة سجلات نشاط SQL الأخير في مستودع بيانات Teradata القديم. استخدم برنامج نصي لاستخراج مجموعة تمثيلية من عبارات SQL إلى ملف. بعد ذلك، ألحق بادئة في كل عبارة لـ SQL مع عبارة EXPLAIN، ثم قم بتشغيل جميع العبارات EXPLAIN في Azure Synapse. سيتم رفض أي عبارات SQL تحتوي على ملحقات SQL غير معتمدة من قبل Azure Synapse عند EXPLAIN تنفيذ العبارات. يتيح لك هذا النهج تقييم مدى عدم توافق SQL.

يمكن أن تساعدك بيانات التعريف من DBMS لمستودع البيانات القديم أيضا في تحديد طرق العرض غير المتوافقة. كما كان من قبل، التقاط مجموعة تمثيلية من عبارات SQL من السجلات القابلة للتطبيق، وبادئة كل عبارة SQL مع عبارة EXPLAIN، وتشغيل هذه EXPLAIN العبارات في Azure Synapse لتحديد طرق العرض مع SQL غير المتوافقة.

تلميح

قياس تأثير عدم توافق SQL عن طريق جمع ملفات سجل DBMS الخاصة بك وتشغيل عبارات EXPLAIN.

اختبار التقرير وترحيل لوحة المعلومات إلى Azure Synapse Analytics

أحد العناصر الأساسية لترحيل مستودع البيانات هو اختبار التقارير ولوحات المعلومات في Azure Synapse للتحقق من نجاح الترحيل. حدد سلسلة من الاختبارات ومجموعة النتائج المطلوبة لكل اختبار ستجريه للتحقق من النجاح. اختبر التقارير ولوحات المعلومات وقارنها عبر أنظمة مستودع البيانات الحالية والمرحلة من أجل:

• حدد ما إذا كانت أي تغييرات على المخطط تم إجراؤها أثناء الترحيل قد أثرت على قدرة التقارير على التشغيل أو الإبلاغ عن النتائج أو تصورات التقرير المقابلة. مثال على تغيير المخطط هو إذا قمت بتعيين نوع بيانات غير متوافق إلى نوع بيانات مكافئ معتمد في Azure Synapse.

• تحقق من جميع المستخدمين المُرحلة.

• تحقق من ترحيل جميع الأدوار، وتعيين المستخدمين لتلك الأدوار.

• تحقق من ترحيل جميع امتيازات أمان الوصول إلى البيانات لضمان ترحيل قائمة التحكم في الوصول (ACL).

• تأكد من نتائج متسقة لجميع الاستعلامات والتقارير ولوحات المعلومات المعروفة.

• تأكد من اكتمال ترحيل البيانات وETL وبحيث تكون خالية من الأخطاء.

• تأكد من دعم خصوصية البيانات.

• اختبر الأداء وقابلية التوسع.

• اختبر الوظائف التحليلية.

تلميح

اختبار الأداء وضبطه لتقليل تكاليف الحوسبة.

للحصول على معلومات حول كيفية ترحيل المستخدمين ومجموعات المستخدمين والأدوار والامتيازات، راجع الأمان والوصول والعمليات لعمليات ترحيل Teradata،

أتمتة الاختبار قدر الإمكان لجعل كل اختبار قابلاً للتكرار ولدعم نهج متسق لتقييم نتائج الاختبار. تعمل الأتمتة بشكل جيد مع التقارير العادية المعروفة، ويمكن إدارتها عبر Azure Synapse Pipelines أو تزامن Azure Data Factory. إذا كان لديك بالفعل مجموعة من استعلامات الاختبار لاختبار الانحدار، فيمكنك استخدام أدوات الاختبار الحالية لأتمتة اختبار ما بعد الترحيل.

تلميح

أفضل الممارسات هي بناء مجموعة اختبار آلية لجعل الاختبارات قابلة للتكرار.

التحليل المخصص وإعداد التقارير أكثر تحديًا ويتطلب تجميع مجموعة من الاختبارات للتحقق من أن نفس التقارير ولوحات المعلومات من قبل الترحيل وبعده متسقة. إذا وجدت حالات عدم تناسق، تصبح قدرتك على مقارنة دورة حياة بيانات التعريف عبر الأنظمة الأصلية والمرحلة أثناء اختبار الترحيل أمرًا بالغ الأهمية. يمكن أن تسلط هذه المقارنة الضوء على الاختلافات وتحديد مكان ظهور حالات عدم التناسق، عندما يكون الكشف بوسائل أخرى أمرا صعبًا.

تلميح

الاستفادة من الأدوات التي تقارن نسب البيانات الوصفية للتحقق من النتائج.

تحليل دورة حياة البيانات لفهم التبعيات بين التقارير ولوحات المعلومات والبيانات

يعد فهمك للسلالة عاملا حاسما في الترحيل الناجح للتقارير ولوحات المعلومات. دورة حياة البيانات هي بيانات تعريف تعرض رحلة البيانات التي تم ترحيلها حتى تتمكن من تعقب مسارها من تقرير أو لوحة معلومات إلى مصدر البيانات. توضح دورة حياة البيانات كيفية انتقال البيانات من نقطة إلى نقطة، وموقعها في مستودع البيانات و/أو مارت البيانات، والتقارير ولوحات المعلومات التي تستخدمها. يمكن أن يساعدك Lineage في فهم ما يحدث للبيانات أثناء انتقالها عبر مخازن بيانات مختلفة، مثل الملفات وقواعد البيانات وخطوط أنابيب ETL المختلفة وفي التقارير. عندما يتمكن مستخدمو الأعمال من الوصول إلى نسب البيانات، فإنه يحسن الثقة ويغرس الثقة ويدعم قرارات العمل المستنيرة.

تلميح

تعد قدرتك على الوصول إلى البيانات الوصفية وسلسلة البيانات من التقارير وصولاً إلى مصدر البيانات أمرًا بالغ الأهمية للتحقق من عمل التقارير المرحّلة بشكل صحيح.

في بيئات مستودع البيانات متعددة الموردين، قد يقوم محللو الأعمال في فرق المعلومات المهنية بتعيين دورة حياة البيانات. على سبيل المثال، إذا كنت تستخدم موردين مختلفين ل ETL ومستودع البيانات وإعداد التقارير، وكان لكل مورد مستودع بيانات تعريف خاص به، فإن معرفة مصدر عنصر بيانات معين في تقرير يمكن أن يكون صعبا ويستغرق وقتا طويلا.

تلميح

تعتبر الأدوات التي تعمل على أتمتة عملية جمع البيانات الوصفية وإظهار النسب الشامل في بيئة متعددة البائعين ذات قيمة أثناء الترحيل.

للترحيل بسلاسة من مستودع بيانات قديم إلى Azure Synapse، استخدم تسلسل البيانات من طرف إلى طرف لإثبات ترحيل مماثل عند المقارنة بين التقارير ولوحات المعلومات التي تم إنشاؤها بواسطة كل بيئة. لإظهار رحلة البيانات الشاملة، ستحتاج إلى التقاط البيانات الوصفية ودمجها من عدة أدوات. يساعدك الوصول إلى الأدوات التي تدعم اكتشاف البيانات الوصفية الآلي وتسلسل البيانات، على تحديد التقارير المكررة أو عمليات ETL، والعثور على التقارير التي تعتمد على مصادر بيانات قديمة أو مشكوك فيها أو غير موجودة. يمكنك استخدام هذه المعلومات لتقليل عدد التقارير وعمليات ETL التي تقوم بترحيلها.

يمكنك أيضًا مقارنة دورة حياة التقرير من طرف إلى طرف في Azure Synapse إلى دورة حياة من طرف إلى طرف لنفس التقرير في بيئتك القديمة للتحقق من الاختلافات التي قد تحدث عن غير قصد أثناء الترحيل. هذا النوع من المقارنة مفيد بشكل استثنائي عندما تحتاج إلى اختبار نجاح الترحيل والتحقق منه.

لا يؤدي تصور تسلسل البيانات إلى تقليل الوقت والجهد والخطأ في عملية الترحيل فحسب، بل يتيح أيضًا إمكانية الترحيل بشكل أسرع.

باستخدام أدوات اكتشاف البيانات التعريفية التلقائية ونسب البيانات التي تقارن النسب، يمكنك التحقق من أن تقريرًا في Azure Synapse يتم إنتاجه من البيانات التي تم ترحيلها يتم إنتاجه بنفس الطريقة في بيئتك القديمة. تساعدك هذه الإمكانية أيضًا في تحديد:

• أي البيانات التي يجب ترحيلها لضمان نجاح تنفيذ التقرير ولوحة المعلومات على Azure Synapse.

• أي التحويلات التي تم إجراؤها وينبغي إجراؤها لضمان التنفيذ الناجح على Azure Synapse.

• كيفية تقليل تكرار التقرير.

تعمل أدوات اكتشاف البيانات الوصفية التلقائية و دورة حياة البيانات على تبسيط عملية الترحيل بشكل كبير لأنها تساعد الشركات على أن تصبح أكثر وعيًا بأصول البيانات الخاصة بها ومعرفة ما يجب ترحيله إلى Azure Synapse لتحقيق بيئة إعداد التقارير الصلبة.

توفر العديد من أدوات ETL إمكانية دورة حياة من طرف إلى طرف، لذا تحقق مما إذا كانت أداة ETL الموجودة لديك لديها هذه الإمكانية إذا كنت تخطط لاستخدامها مع Azure Synapse. تدعم كل من خطوط أنابيب Azure Synapse أو Data Factory القدرة على عرض النسب في تدفقات التعيين. كما يوفر Microsoft partners أيضًا أدوات تلقائية لاكتشاف بيانات التعريف، و دورة حياة البيانات، ومقارنة النسب.

ترحيل الطبقات الدلالية لأداة المعلومات المهنية إلىAzure Synapse Analytics

تحتوي بعض أدوات المعلومات المهنية على ما يعرف بطبقة بيانات التعريف الدلالية. تعمل هذه الطبقة على تبسيط وصول مستخدمي الأعمال إلى هياكل البيانات المادية الأساسية في مستودع البيانات أو قاعدة بيانات سوق البيانات. تعمل طبقة البيانات الوصفية الدلالية على تبسيط الوصول من خلال توفير كائنات عالية المستوى مثل الأبعاد والقياسات والتسلسلات الهرمية والمقاييس المحسوبة والصلات. تستخدم الكائنات عالية المستوى مصطلحات الأعمال المألوفة لمحللي الأعمال، ويتم تعيينها إلى بنيات البيانات المادية في مستودع البيانات أو مخزن البيانات.

تلميح

تحتوي بعض أدوات المعلومات المهنية على طبقات دلالية تبسط وصول مستخدم الأعمال إلى بنيات البيانات المادية في مستودع البيانات أو متجر البيانات.

في ترحيل مستودع البيانات، قد تُفرض عليك إجراء التغييرات على أسماء الأعمدة أو أسماء الجداول. على سبيل المثال، في Teradata، يمكن أن تحتوي أسماء الجداول على "#". في Azure Synapse، يسمح باستخدام "#" فقط كبادئة لاسم جدول للإشارة إلى جدول مؤقت. في Teradata، لا تحتوي الجداول المؤقتة بالضرورة على "#" في الاسم، ولكن في Synapse يجب عليها. قد تحتاج إلى إجراء بعض إعادة العمل لتغيير تعيينات الجدول في مثل هذه الحالات.

لتحقيق التناسق عبر أدوات BI المتعددة، قم بإنشاء طبقة دلالية عامة باستخدام خادم ظاهرية البيانات الذي يقع بين أدوات BI والتطبيقات و Azure Synapse. في خادم المحاكاة الظاهرية للبيانات، استخدم أسماء البيانات الشائعة للكائنات عالية المستوى مثل الأبعاد والقياسات والتسلسلات الهرمية والصلات. وبهذه الطريقة يمكنك تكوين كل شيء، بما في ذلك الحقول المحسوبة والصلات والتعيينات، مرة واحدة فقط بدلا من كل أداة. بعد ذلك، أشر إلى جميع أدوات المعلومات المهنية في خادم ظاهرية البيانات.

تلميح

استخدم ظاهرية البيانات لإنشاء طبقة دلالية شائعة لضمان التناسق عبر جميع أدوات المعلومات المهنية في بيئة Azure Synapse.

باستخدام ظاهرية البيانات، يمكنك الحصول على تناسق عبر جميع أدوات ذكاء الأعمال وكسر التبعية بين أدوات وتطبيقات BI وهياكل البيانات المادية الأساسية في Azure Synapse. يمكن لشركاء Microsoft مساعدتك في تحقيق التناسق في Azure. يوضح الرسم التخطيطي التالي كيف تسمح المصطلحات الشائعة في خادم ظاهرية البيانات لعدة أدوات المعلومات المهنية برؤية طبقة دلالية شائعة.

النتائج

في ترحيل مستودع البيانات وتحويله، يجب ترحيل معظم التقارير ولوحات المعلومات والمرئيات الأخرى بسهولة.

أثناء الترحيل من بيئة قديمة، قد تجد أن البيانات في مستودع البيانات القديم أو جداول مخزن البيانات يتم تخزينها في أنواع بيانات غير معتمدة. أو، قد تجد طرق عرض مستودع البيانات القديمة التي تتضمن SQL الخاصة بدون ما يعادلها في Azure Synapse. إذا كان الأمر كذلك، فستحتاج إلى حل هذه المشكلات لضمان الترحيل بنجاح إلى Azure Synapse.

لا تعتمد على الوثائق التي يحتفظ بها المستخدم لتحديد مكان وجود المشكلات. بدلًا من ذلك، استخدم EXPLAIN العبارات لأنها طريقة سريعة وعملية لتحديد عدم توافق SQL. أعد صياغة عبارات SQL غير المتوافقة لتحقيق وظائف مكافئة في Azure Synapse. أيضًا، استخدم أدوات اكتشاف بيانات التعريف و دورة حياة البيانات التلقائية لفهم التبعيات، والعثور على تقارير مكررة، وتحديد التقارير غير الصالحة التي تعتمد على مصادر بيانات قديمة أو مشكوك فيها أو غير موجودة. تساعد بعض هذه الأدوات في مقارنة دورة حياة البيانات للتحقق من إنتاج التقارير التي تعمل في بيئة مستودع البيانات القديمة بشكل متطابق في Azure Synapse.

لا تقم بترحيل التقارير التي لم تعد تستخدمها. يمكن أن تساعدك بيانات استخدام أداة BI في تحديد التقارير غير المستخدمة. بالنسبة للتقارير ولوحات المعلومات والمرئيات الأخرى التي تريد ترحيلها، قم بترحيل جميع المستخدمين ومجموعات المستخدمين والأدوار والامتيازات. إذا كنت تستخدم قيمة الأعمال لدفع استراتيجية ترحيل التقرير، فربط التقارير بأهداف العمل الاستراتيجية وأولوياتها للمساعدة في تحديد مساهمة رؤى التقرير في أهداف محددة. إذا كنت تقوم بترحيل مخزن البيانات بواسطة مخزن البيانات، فاستخدم بيانات التعريف لتحديد التقارير التي تعتمد على الجداول وطرق العرض، حتى تتمكن من اتخاذ قرار مستنير حول ما هي الأسواق التي تريد ترحيلها أولا.

تلميح

حدد أوجه عدم التوافق في وقت مبكر لقياس مدى جهود الترحيل. قم بترحيل المستخدمين وأدوار المجموعة وتعيينات الامتيازات. قم بترحيل التقارير والتصورات المستخدمة والمساهمة في قيمة الأعمال فقط.

يمكن أن تحدث تغييرات هيكلية في نموذج البيانات لمستودع البيانات أو مخزن البيانات أثناء الترحيل. ضع في اعتبارك استخدام ظاهرية البيانات لحماية أدوات وتطبيقات المعلومات المهنية من التغييرات الهيكلية. باستخدام ظاهرية البيانات، يمكنك استخدام مفردات شائعة لتحديد طبقة دلالية شائعة. تضمن الطبقة الدلالية الشائعة أسماء البيانات الشائعة المتناسقة والتعريفات والمقاييس والتسلسلات الهرمية والصلات عبر جميع أدوات وتطبيقات المعلومات المهنية في بيئة Azure Synapse الجديدة.

الخطوات التالية

لمعرفة المزيد حول تقليل مشكلات SQL، راجع المقالة التالية في هذه السلسلة: Minimizing SQL issues for Teradata migrations.