ترحيل البيانات إلى Azure Cosmos DB لحساب NoSQL باستخدام Striim

ينطبق على: NoSQL

توفر صورة Striim في سوق Azure حركة مستمرة للبيانات في الوقت الفعلي من مستودعات البيانات وقواعد البيانات إلى Azure. أثناء نقل البيانات، يمكنك إجراء إلغاء التطابق المباشر وتحويل البيانات وتمكين التحليلات في الوقت الفعلي وسيناريوهات إعداد تقارير البيانات. من السهل البدء باستخدام Striim لنقل بيانات المؤسسة باستمرار إلى Azure Cosmos DB ل NoSQL. يوفر Azure عرض السوق الذي يجعل من السهل نشر Striim وترحيل البيانات إلى Azure Cosmos DB.

توضح هذه المقالة كيفية استخدام Striim لترحيل البيانات من قاعدة بيانات Oracle إلى حساب Azure Cosmos DB ل NoSQL.

المتطلبات الأساسية

• إذا لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانياً قبل أن تبدأ.

• قاعدة بيانات Oracle تعمل محلياً مع بعض البيانات بداخلها.

انشر حل Striim Marketplace

1. تسجيل الدخول إلى ⁧⁩مدخل Microsoft Azure⁧⁩.

2. حدد إنشاء مورد وابحث عن Striim في سوق Azure. حدد الخيار الأول ثم إنشاء.

   

3. بعد ذلك، أدخل خصائص التكوين لمثيل Striim. يتم نشر بيئة Striim في جهاز ظاهري. من جزء الأساسيات، أدخل اسم مستخدم الجهاز الظاهري، كلمة مرور الجهاز الظاهري (تُستخدم كلمة المرور هذه لـ SSH في الجهاز الظاهري). حدد الاشتراك ومجموعة الموارد وتفاصيل الموقع حيث تريد نشر Striim. بمجرد الانتهاء، حدد موافق.

   

4. في جزء Striim Cluster settings، اختر نوع نشر Striim وحجم الجهاز الظاهري.

   إعداد	القيمة	الوصف
   نوع نشر Striim	مستقل	يمكن تشغيل Striim في أنواع نشر مستقلة أو مجموعة . سينشر الوضع المستقل خادم Striim على جهاز ظاهري واحد ويمكنك تحديد حجم الأجهزة الظاهرية اعتماداً على حجم بياناتك. سينشر وضع الكتلة خادم Striim على جهازي ظاهري أو أكثر بالحجم المحدد. توفر بيئات نظام المجموعة التي تحتوي على أكثر من عقدتين توفراً تلقائياً عالياً وتجاوز فشل. في هذا البرنامج التعليمي، يمكنك تحديد خيار Standalone. استخدم الحجم الافتراضي للجهاز الظاهري "Standard_F4s".
   اسم مجموعة Striim	<Striim_cluster_Name>	اسم مجموعة Striim.
   كلمة مرور مجموعة Striim	<Striim_cluster_password>	كلمة سر المجموعة.

   بعد ملء النموذج، حدد موافق للمتابعة.

5. في جزء إعدادات الوصول Striim، قم بتكوين عنوان IP العام (اختر القيم الافتراضية)، اسم المجال لـ Striim، كلمة مرور المسؤول التي ترغب في استخدامها لتسجيل الدخول إلى Striim UI. تكوين NET. والشبكة الفرعية (اختر القيم الافتراضية). بعد ملء التفاصيل، حدد موافق للمتابعة.

   

6. سيقوم Azure بالتحقق من صحة النشر والتأكد من أن كل شيء يبدو جيداً؛ يستغرق التحقق من الصحة بضع دقائق حتى يكتمل. بعد اكتمال التحقق، حدد موافق.

7. أخيراً، راجع شروط الاستخدام وحدد إنشاء لإنشاء مثيل Striim الخاص بك.

تكوين قاعدة البيانات المصدر

في هذا القسم، تقوم بتكوين قاعدة بيانات Oracle كمصدر لنقل البيانات. يأتي خادم Striim مزوداً ببرنامج تشغيل Oracle JDBC المستخدم للاتصال بـ Oracle. لقراءة التغييرات من قاعدة بيانات Oracle المصدر، يمكنك إما استخدام LogMiner أو وجهات برامج تطبيقات XStream. برنامج تشغيل Oracle JDBC موجود في مسار فئة Java الخاص بـ Striim لقراءة البيانات، أو كتابتها، أو الاحتفاظ بها من قاعدة بيانات Oracle.

تكوين قاعدة البيانات الهدف

في هذا القسم، ستقوم بتكوين حساب Azure Cosmos DB ل NoSQL كهدف لحركة البيانات.

1. إنشاء حساب Azure Cosmos DB ل NoSQL باستخدام مدخل Microsoft Azure.

2. انتقل إلى جزء Data Explorer في حساب Azure Cosmos DB الخاص بك. حدد حاوية جديدة لإنشاء حاوية جديدة. افترض أنك تقوم بترحيل بيانات المنتجات والطلبات من قاعدة بيانات Oracle إلى Azure Cosmos DB. أنشئ قاعدة بيانات جديدة باسم StriimDemo بحاوية باسم الطلبات . قم بتزويد الحاوية بـ 1000 وحدة طلب/ثانية (يستخدم هذا المثال 1000 وحدة طلب، ولكن يجب عليك استخدام الإنتاجية المقدرة لحمل العمل)، و/ ORDER_ID باعتباره مفتاح التقسيم. ستختلف هذه القيم بناءً على بيانات المصدر الخاصة بك.

   

تكوين Oracle لتدفق بيانات Azure Cosmos DB

1. انتقل إلى مثيل Striim الذي قمت بنشره في مدخل Microsoft Azure. حدد الزر اتصال في شريط القائمة العلوي ومن علامة التبويب SSH، انسخ عنوان URL في تسجيل الدخول باستخدام حساب الجهاز الظاهري المحلي.

   

2. افتح نافذة طرفية جديدة وقم بتشغيل أمر SSH الذي نسخته من مدخل Microsoft Azure. تستخدم هذه المقالة المحطة الطرفية في MacOS، ويمكنك اتباع الإرشادات المماثلة باستخدام عميل SSH على جهاز Windows. عند المطالبة، اكتب نعم للمتابعة وأدخل كلمة المرور التي قمت بتعيينها للجهاز الظاهري في الخطوة السابقة.

   

3. من نفس نافذة المحطة الطرفية، أعد تشغيل خادم Striim عن طريق تنفيذ الأوامر التالية:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. سيستغرق Striim دقيقة لبدء التشغيل. إذا كنت ترغب في رؤية الحالة، فقم بتشغيل الأمر التالي:

   tail -f /opt/striim/logs/striim-node.log
   

5. الآن، انتقل مرة أخرى إلى Azure وانسخ عنوان بروتوكول الإنترنت العام لجهاز Striim الظاهري الخاص بك.

   

6. للتنقل إلى Striim's Web UI، افتح علامة تبويب جديدة في مستعرض وانسخ عنوان IP العام متبوعاً بـ: 9080. سجّل الدخول باستخدام اسم مستخدم المسؤول، جنباً إلى جنب مع كلمة مرور المسؤول التي حددتها في مدخل Microsoft Azure.

   

7. ستصل الآن إلى صفحة Striim الرئيسية. هناك ثلاثة أجزاء مختلفة - لوحات التحكم والتطبيقات ومعاينة المصدر . يسمح لك جزء لوحات المعلومات بنقل البيانات في الوقت الفعلي وتصورها. يحتوي جزء التطبيقات على خطوط تدفق البيانات أو تدفقات البيانات. على الجانب الأيمن من الصفحة، توجد معاينة المصدر حيث يمكنك معاينة بياناتك قبل نقلها.

8. حدد جزء التطبيقات، وسنركز على هذا الجزء في الوقت الحالي. هناك مجموعة متنوعة من نماذج التطبيقات التي يمكنك استخدامها للتعرف على Striim، ولكن في هذه المقالة ستنشئ تطبيقاتنا الخاصة. حدد الزر إضافة تطبيق في الزاوية العلوية اليسرى.

   

9. هناك عدة طرق مختلفة لإنشاء تطبيقات Striim. حدد البدء بالنموذج للبدء بقالب موجود.

   

10. في حقل قوالب البحث، اكتب "Cosmos" وحدد الهدف: Azure Cosmos DB ثم حدد Oracle CDC إلى Azure Cosmos قاعدة بيانات .

    

11. في الصفحة التالية، قم بتسمية التطبيق الخاص بك. يمكنك تقديم اسم مثل oraToCosmosDB ثم تحديد حفظ .

12. بعد ذلك، أدخل التكوين المصدر لطبعة Oracle المصدر. أدخل قيمة لـ اسم المصدر. اسم المصدر هو مجرد اصطلاح تسمية لتطبيق Striim، يمكنك استخدام شيء مثل src_onPremOracle. أدخل قيماً لبقية معلمات المصدر URL، اسم المستخدم، كلمة المرور، اختر LogMiner كقارئ لقراءة البيانات من Oracle. حدد «Next» للمتابعة.

    

13. سيتحقق Striim من بيئتك ويتأكد من أنه يمكنه الاتصال بمصدر Oracle المصدر، ولديه الامتيازات الصحيحة، وأن CDC قد تم تكوينه بشكل صحيح. بمجرد التحقق من صحة جميع القيم، حدد التالي.

    

14. حدد الجداول من قاعدة بيانات Oracle التي تريد ترحيلها. على سبيل المثال، دعنا نختار جدول الطلبات وحدد التالي.

    

15. بعد تحديد الجدول المصدر، يمكنك القيام بعمليات أكثر تعقيداً مثل التعيين والتصفية. في هذه الحالة، ستقوم فقط بإنشاء نسخة طبق الأصل من الجدول المصدر في Azure Cosmos DB. لذلك، حدد التالي لتكوين الهدف

16. الآن، لنقم بتكوين الهدف:

    • اسم الهدف - أدخل اسماً مألوفاً للهدف.
    • الإدخال من - من القائمة المنسدلة، حدد دفق الإدخال من الذي قمت بإنشائه في تكوين أوراكل المصدر.
    • المجموعات - أدخل خصائص تكوين قاعدة بيانات Azure Cosmos المستهدفة. صيغة المجموعات هي SourceSchema.SourceTable، TargetDatabase.TargetContainer. في هذا المثال، ستكون القيمة "SYSTEM.ORDERS، StriimDemo.Orders".
    • AccessKey - PrimaryKey لحساب Azure Cosmos DB الخاص بك.
    • ServiceEndpoint - عنوان URI لحساب Azure Cosmos DB الخاص بك، يمكن العثور عليها ضمن قسم Keys في مدخل Microsoft Azure.

    حدد حفظ والتالي .

    

17. بعد ذلك، ستصل إلى مصمم التدفق، حيث يمكنك سحب الموصلات وإفلاتها من الصندوق لإنشاء تطبيقات البث الخاصة بك. لن تقوم بإجراء أي تعديلات على التدفق في هذه المرحلة. لذلك انطلق ونشر التطبيق عن طريق تحديد الزر نشر التطبيق.

    

18. في نافذة النشر، يمكنك تحديد ما إذا كنت تريد تشغيل أجزاء معينة من التطبيق الخاص بك على أجزاء معينة من هيكل النشر الخاص بك. نظراً لأننا نعمل في هيكل نشر بسيط من خلال Azure، فسنستخدم الخيار الافتراضي.

    

19. بعد النشر، يمكنك معاينة الدفق لرؤية تدفق البيانات خلاله. حدد رمز موجة ومقلة العين المجاورة لها. حدد الزر تم النشر في شريط القائمة العلوي وحدد بدء التطبيق .

    

20. باستخدام قارئ CDC (تغيير التقاط البيانات)، سيلتقط Striim التغييرات الجديدة فقط في قاعدة البيانات. إذا كانت لديك بيانات تتدفق عبر جداول المصدر، فسترى ذلك. ومع ذلك، نظراً لأن هذا جدول تجريبي، فإن المصدر غير متصل بأي تطبيق. إذا كنت تستخدم نموذجاً لمولد البيانات، فيمكنك إدراج سلسلة من الأحداث في قاعدة بيانات Oracle الخاصة بك.

21. سترى البيانات تتدفق عبر منصة Striim. يلتقط Striim جميع بيانات التعريف المرتبطة بالجدول أيضاً، وهو أمر مفيد لمراقبة البيانات والتأكد من وصول البيانات إلى الهدف الصحيح.

    

22. وأخيرا، دعنا نسجل الدخول إلى Azure وننتقل إلى حساب Azure Cosmos DB الخاص بك. قم بتحديث مستكشف البيانات، ويمكنك رؤية وصول البيانات.

    

باستخدام حل Striim في Azure، يمكنك ترحيل البيانات باستمرار إلى Azure Cosmos DB من مصادر مختلفة مثل Oracle وCassandra وMongoDB والعديد من المصادر الأخرى إلى Azure Cosmos DB. لمعرفة المزيد، يرجى زيارة موقع Striim على الويب، وتنزيل نسخة تجريبية مجانية مدتها 30 يوماً من Striim، وللتعرف على أي مشكلات عند إعداد مسار الترحيل باستخدام Striim، قم بتقديم طلب دعم.

الخطوات التالية

• هل تحاول القيام بتخطيط السعة للترحيل إلى Azure Cosmos DB؟

  • إذا كان كل ما تعرفه هو عدد vcores والخوادم في مجموعة قاعدة البيانات الموجودة، فاقرأ عن ⁧⁩تقدير وحدات الطلب باستخدام vCores أو vCPUs⁧⁩
  • إذا كنت تعرف المعدلات النموذجية للطلب لحمل العمل الحالي في قاعدة بياناتك، فاقرأ عن ⁧⁩تقدير وحدات الطلب باستخدام مخطط السعة من Azure Cosmos DB⁧⁩

• إذا كنت تقوم بترحيل البيانات إلى Azure Cosmos DB ل NoSQL، فراجع كيفية ترحيل البيانات إلى واجهة برمجة التطبيقات لحساب Cassandra باستخدام Striim

• راقب بياناتك وصحح أخطائها باستخدام قياسات Azure Cosmos DB