Share via

ترحيل البيانات إلى Azure Cosmos DB لحساب Apache Cassandra باستخدام Striim

  • مقالة

ينطبق على: كاساندرا

توفر صورة Striim في سوق Azure حركة مستمرة للبيانات في الوقت الفعلي من مستودعات البيانات وقواعد البيانات إلى Azure. أثناء نقل البيانات، يمكنك إجراء إلغاء التطابق المباشر وتحويل البيانات وتمكين التحليلات في الوقت الفعلي وسيناريوهات إعداد تقارير البيانات. من السهل البدء مع Striim لنقل بيانات المؤسسة باستمرار إلى Azure Cosmos DB ل Apache Cassandra. يوفر Azure عرض السوق الذي يجعل من السهل نشر Striim وترحيل البيانات إلى Azure Cosmos DB.

توضح هذه المقالة كيفية استخدام Striim لترحيل البيانات من قاعدة بيانات Oracle إلى Azure Cosmos DB لحساب Apache Cassandra.

المتطلبات الأساسية

انشر حل Striim Marketplace

  1. تسجيل الدخول إلى ⁧⁩مدخل Microsoft Azure⁧⁩.

  2. حدد إنشاء مورد وابحث عن Striim في سوق Azure. حدد الخيار الأول ثم إنشاء.

    البحث عن عنصر سوق Striim

  3. بعد ذلك، أدخل خصائص التكوين لمثيل Striim. يتم نشر بيئة Striim في جهاز ظاهري. من جزء الأساسيات، أدخل اسم مستخدم الجهاز الظاهري، كلمة مرور الجهاز الظاهري (تُستخدم كلمة المرور هذه لـ SSH في الجهاز الظاهري). حدد الاشتراك ومجموعة الموارد وتفاصيل الموقع حيث تريد نشر Striim. بمجرد الانتهاء، حدد موافق.

    تكوين الإعدادات الأساسية لـ Striim

  4. في جزء Striim Cluster settings، اختر نوع نشر Striim وحجم الجهاز الظاهري.

    إعداد القيمة الوصف
    نوع نشر Striim مستقل يمكن تشغيل Striim في أنواع نشر مستقلة أو مجموعة . سينشر الوضع المستقل خادم Striim على جهاز ظاهري واحد ويمكنك تحديد حجم الأجهزة الظاهرية اعتماداً على حجم بياناتك. سينشر وضع الكتلة خادم Striim على جهازي ظاهري أو أكثر بالحجم المحدد. توفر بيئات نظام المجموعة التي تحتوي على أكثر من عقدتين توفراً تلقائياً عالياً وتجاوز فشل.

    في هذا البرنامج التعليمي، يمكنك تحديد خيار Standalone. استخدم الحجم الافتراضي للجهاز الظاهري "Standard_F4s".
    اسم مجموعة Striim <Striim_cluster_Name> اسم مجموعة Striim.
    كلمة مرور مجموعة Striim <Striim_cluster_password> كلمة سر المجموعة.

    بعد ملء النموذج، حدد موافق للمتابعة.

  5. في جزء إعدادات الوصول Striim، قم بتكوين عنوان IP العام (اختر القيم الافتراضية)، اسم المجال لـ Striim، كلمة مرور المسؤول التي ترغب في استخدامها لتسجيل الدخول إلى Striim UI. تكوين NET. والشبكة الفرعية (اختر القيم الافتراضية). بعد ملء التفاصيل، حدد موافق للمتابعة.

    إعدادات الوصول المؤقتة

  6. سيقوم Azure بالتحقق من صحة النشر والتأكد من أن كل شيء يبدو جيداً؛ يستغرق التحقق من الصحة بضع دقائق حتى يكتمل. بعد اكتمال التحقق، حدد موافق.

  7. أخيراً، راجع شروط الاستخدام وحدد إنشاء لإنشاء مثيل Striim الخاص بك.

تكوين قاعدة البيانات المصدر

في هذا القسم، تقوم بتكوين قاعدة بيانات Oracle كمصدر لنقل البيانات. يأتي خادم Striim مزوداً ببرنامج تشغيل Oracle JDBC المستخدم للاتصال بـ Oracle. لقراءة التغييرات من قاعدة بيانات Oracle المصدر، يمكنك إما استخدام LogMiner أو وجهات برامج تطبيقات XStream. برنامج تشغيل الجهاز Oracle JDBC موجود في Java classpath على Striim لقراءة البيانات أو كتابتها أو استمرارها من قاعدة بيانات Oracle.

تكوين قاعدة البيانات الهدف

في هذا القسم، ستقوم بتكوين Azure Cosmos DB لحساب Apache Cassandra كهدف لحركة البيانات.

  1. إنشاء Azure Cosmos DB لحساب Apache Cassandra باستخدام مدخل Microsoft Azure.

  2. انتقل إلى جزء Data Explorer في حساب Azure Cosmos DB الخاص بك. حدد جدول جديد لإنشاء حاوية جديدة. افترض أنك تقوم بترحيل بيانات المنتجات والطلبات من قاعدة بيانات Oracle إلى Azure Cosmos DB. قم بإنشاء Keyspace جديد باسم StriimDemo مع حاوية الطلبات. قم بتزويد الحاوية بـ 1000 وحدة طلب/ثانية (يستخدم هذا المثال 1000 وحدة طلب، ولكن يجب عليك استخدام الإنتاجية المقدرة لحمل العمل)، و / ORDER_ID باعتباره المفتاح الأساسي. ستختلف هذه القيم بناءً على بيانات المصدر الخاصة بك.

    إنشاء واجهة برمجة تطبيقات لحساب Cassandra

تكوين Oracle لتدفق بيانات Azure Cosmos DB

  1. انتقل إلى مثيل Striim الذي قمت بنشره في مدخل Microsoft Azure. حدد الزر اتصال في شريط القائمة العلوي ومن علامة التبويب SSH، انسخ عنوان URL في تسجيل الدخول باستخدام حساب الجهاز الظاهري المحلي.

    احصل على عنوان URL لـ SSH

  2. افتح نافذة طرفية جديدة وقم بتشغيل أمر SSH الذي نسخته من مدخل Microsoft Azure. تستخدم هذه المقالة المحطة الطرفية في macOS، ويمكنك اتباع الإرشادات المماثلة باستخدام عميل SSH على جهاز Windows. عند المطالبة، اكتب نعم للمتابعة وأدخل كلمة المرور التي قمت بتعيينها للجهاز الظاهري في الخطوة السابقة.

    الاتصال بجهاز Striim الظاهري

  3. من نفس نافذة المحطة الطرفية، أعد تشغيل خادم Striim عن طريق تنفيذ الأوامر التالية:

    systemctl stop striim-node
systemctl stop striim-dbms
systemctl start striim-dbms
systemctl start striim-node

  4. سيستغرق Striim دقيقة لبدء التشغيل. إذا كنت ترغب في رؤية الحالة، فقم بتشغيل الأمر التالي:

    tail -f /opt/striim/logs/striim-node.log

  5. الآن، انتقل مرة أخرى إلى Azure وانسخ عنوان بروتوكول الإنترنت العام لجهاز Striim الظاهري الخاص بك.

    نسخ عنوان بروتوكول الإنترنت لجهاز Striim الظاهري

  6. للتنقل إلى Striim's Web UI، افتح علامة تبويب جديدة في مستعرض وانسخ عنوان IP العام متبوعاً بـ: 9080. سجّل الدخول باستخدام اسم مستخدم المسؤول، جنباً إلى جنب مع كلمة مرور المسؤول التي حددتها في مدخل Microsoft Azure.

    تسجيل الدخول إلى Striim

  7. ستصل الآن إلى صفحة Striim الرئيسية. هناك ثلاثة أجزاء مختلفة - لوحات التحكم والتطبيقات ومعاينة المصدر . يسمح لك جزء لوحات المعلومات بنقل البيانات في الوقت الفعلي وتصورها. يحتوي جزء التطبيقات على خطوط تدفق البيانات أو تدفقات البيانات. على الجانب الأيمن من الصفحة، توجد معاينة المصدر حيث يمكنك معاينة بياناتك قبل نقلها.

  8. حدد جزء التطبيقات، وسنركز على هذا الجزء في الوقت الحالي. هناك مجموعة متنوعة من نماذج التطبيقات التي يمكنك استخدامها للتعرف على Striim، ولكن في هذه المقالة ستنشئ تطبيقاتنا الخاصة. حدد الزر إضافة تطبيق في الزاوية العلوية اليسرى.

    أضف تطبيق Striim

  9. هناك عدة طرق مختلفة لإنشاء تطبيقات Striim. حدد البدء من الصفر لهذا السيناريو.

    ابدأ التطبيق من البداية

  10. أدخل اسماً مألوفاً لتطبيقك، مثل oraToCosmosDB وحدد حفظ .

    إنشاء تطبيق جديد

  11. ستصل إلى Flow Designer، حيث يمكنك سحب الموصلات وإفلاتها من الصندوق لإنشاء تطبيقات البث الخاصة بك. اكتب Oracle في شريط البحث، واسحب وأفلت مصدر Oracle CDC في لوحة التطبيق.

    مصدر Oracle CDC

  12. أدخل خصائص تكوين المصدر لطبعة Oracle الخاصة بك. اسم المصدر هو مجرد اصطلاح تسمية لتطبيق Striim، يمكنك استخدام اسم مثل src_onPremOracle. أدخل أيضاً تفاصيل أخرى مثل نوع المحول وعنوان URL للاتصال واسم المستخدم وكلمة المرور واسم الجدول. حدد حفظ للمتابعة.

    تكوين معلمات المصدر

  13. الآن، انقر فوق رمز موجة التدفق لتوصيل مثيل Azure Cosmos DB المستهدف.

    الاتصال بالهدف

  14. قبل تكوين الهدف، تأكد من إضافة شهادة جذر بالتيمور إلى بيئة جافا الخاصة بـ Striim.

  15. أدخل خصائص التكوين لمثيل Azure Cosmos DB المستهدف وحدد حفظ للمتابعة. فيما يلي المعلمات الرئيسية التي يجب ملاحظتها:

    • محول - استخدم DatabaseWriter . عند الكتابة إلى Azure Cosmos DB ل Apache Cassandra، يلزم DatabaseWriter. يتم تضمين برنامج تشغيل Cassandra 3.6.0 مع Striim. إذا تجاوز DatabaseWriter عدد وحدات الطلب المتوفرة على حاوية Azure Cosmos DB، فسيتعطل التطبيق.

    • عنوان URL للاتصال - حدد عنوان URL لاتصال Azure Cosmos DB JDBC الخاص بك. عنوان URL بتنسيق jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • اسم المستخدم - حدد اسم حساب Azure Cosmos DB الخاص بك.

    • كلمة المرور - حدد المفتاح الأساسي لحساب Azure Cosmos DB الخاص بك.

    • الجداول - يجب أن تحتوي الجداول المستهدفة على مفاتيح أساسية ولا يمكن تحديث المفاتيح الأساسية.

    لقطة شاشة تعرض خصائص الهدف القابلة للتكوين.

    تكوين الخصائص الهدف

  16. الآن، سنمضي قدماً ونشغل تطبيق Striim. في شريط القائمة العلوي، حدد تم الإنشاء، ثم نشر التطبيق . في نافذة النشر، يمكنك تحديد ما إذا كنت تريد تشغيل أجزاء معينة من التطبيق الخاص بك على أجزاء معينة من هيكل النشر الخاص بك. نظراً لأننا نعمل في هيكل نشر بسيط من خلال Azure، فسنستخدم الخيار الافتراضي.

    توزيع التطبيق

  17. الآن، سنمضي قدماً ونعاين الدفق لرؤية البيانات تتدفق عبر Striim. انقر فوق رمز الموجة وانقر فوق أيقونة العين المجاورة لها. بعد النشر، يمكنك معاينة الدفق لرؤية تدفق البيانات خلاله. حدد رمز الموجة ومقلة العين بجوارها. حدد الزر تم النشر في شريط القائمة العلوي وحدد بدء التطبيق .

    ابدأ التطبيق

  18. باستخدام قارئ CDC (تغيير التقاط البيانات)، سيلتقط Striim التغييرات الجديدة فقط في قاعدة البيانات. إذا كانت لديك بيانات تتدفق عبر جداول المصدر، فسترى ذلك. ومع ذلك، نظراً لأن هذا نموذج جدول، فإن المصدر غير متصل بأي تطبيق. إذا كنت تستخدم نموذجاً لمولد البيانات، فيمكنك إدراج سلسلة من الأحداث في قاعدة بيانات Oracle الخاصة بك.

  19. سترى البيانات تتدفق عبر منصة Striim. يلتقط Striim جميع بيانات التعريف المرتبطة بالجدول أيضاً، وهو أمر مفيد لمراقبة البيانات والتأكد من وصول البيانات إلى الهدف الصحيح.

    إعداد خط أنابيب CDC

  20. وأخيرا، دعنا نسجل الدخول إلى Azure وننتقل إلى حساب Azure Cosmos DB الخاص بك. قم بتحديث مستكشف البيانات، ويمكنك رؤية وصول البيانات.

باستخدام حل Striim في Azure، يمكنك ترحيل البيانات باستمرار إلى Azure Cosmos DB من مصادر مختلفة مثل Oracle وCassandra وMongoDB والعديد من المصادر الأخرى إلى Azure Cosmos DB. لمعرفة المزيد، يرجى زيارة موقع Striim على الويب، وتنزيل نسخة تجريبية مجانية مدتها 30 يوماً من Striim، وللتعرف على أي مشكلات عند إعداد مسار الترحيل باستخدام Striim، قم بتقديم طلب دعم.

الخطوات التالية