كيفية استخدام Hive metastore مع مجموعة Apache Spark™

هام

هذه الميزة في وضع المعاينة حاليًا. تتضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure المزيد من الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو قيد المعاينة أو التي لم يتم إصدارها بعد في التوفر العام. للحصول على معلومات حول هذه المعاينة المحددة، راجع معلومات معاينة Azure HDInsight على AKS. للأسئلة أو اقتراحات الميزات، يرجى إرسال طلب على AskHDInsight مع التفاصيل ومتابعتنا لمزيد من التحديثات على مجتمع Azure HDInsight.

من الضروري مشاركة البيانات و metastore عبر خدمات متعددة. أحد metastore شائع الاستخدام في HIVE metastore. يسمح HDInsight على AKS للمستخدمين بالاتصال بمخزن بيانات التعريف الخارجي. تمكن هذه الخطوة مستخدمي HDInsight من الاتصال بسلاسة بالخدمات الأخرى في النظام البيئي.

يدعم Azure HDInsight على AKS مخازن التعريف المخصصة، والتي يوصى بها لمجموعات الإنتاج. الخطوات الرئيسية المتضمنة هي

1. إنشاء قاعدة بيانات Azure SQL
2. إنشاء مخزن مفاتيح لتخزين بيانات الاعتماد
3. تكوين Metastore أثناء إنشاء HDInsight على نظام مجموعة AKS باستخدام Apache Spark™
4. العمل على Metastore الخارجي (يعرض قواعد البيانات ويفعل حدا محددا 1).

أثناء إنشاء نظام المجموعة، تحتاج خدمة HDInsight إلى الاتصال ب metastore الخارجي والتحقق من بيانات الاعتماد الخاصة بك.

إنشاء قاعدة بيانات Azure SQL

1. إنشاء أو الحصول على قاعدة بيانات Azure SQL موجودة قبل إعداد Hive metastore مخصص لنظام مجموعة HDInsight.

   إشعار

   حاليا، نحن ندعم قاعدة بيانات Azure SQL فقط ل HIVE metastore. بسبب قيود Hive، حرف "-" (واصلة) في اسم قاعدة بيانات metastore غير مدعوم.

إنشاء مخزن مفاتيح لتخزين بيانات الاعتماد

1. Create an Azure Key Vault.

   الغرض من Key Vault هو السماح لك بتخزين تعيين كلمة مرور مسؤول SQL Server أثناء إنشاء قاعدة بيانات SQL. لا يتعامل HDInsight على نظام AKS الأساسي مع بيانات الاعتماد مباشرة. ومن ثم، من الضروري تخزين بيانات الاعتماد المهمة في Azure Key Vault. تعرف على خطوات إنشاء Azure Key Vault.

2. نشر إنشاء Azure Key Vault تعيين الأدوار التالية

   ‏‏الكائن	الدور	الملاحظات
   الهوية المدارة المعينة من قبل المستخدم (نفس UAMI كما يستخدمه نظام مجموعة HDInsight)	مستخدم بيانات Key Vault السرية	تعرف على كيفية تعيين دور إلى UAMI
   المستخدم (الذي ينشئ البيانات السرية في Azure Key Vault)	مسؤول Key Vault	تعرف على كيفية تعيين دور للمستخدم.

   إشعار

   بدون هذا الدور، لا يمكن للمستخدم إنشاء سر.

3. إنشاء سر

   تتيح لك هذه الخطوة الاحتفاظ بكلمة مرور مسؤول خادم SQL كبيانات سرية في Azure Key Vault. أضف كلمة المرور (كلمة المرور نفسها كما هو موضح في قاعدة بيانات SQL للمسؤول) في حقل "القيمة" أثناء إضافة سر.

   

   

   إشعار

   تأكد من ملاحظة الاسم السري، حيث ستحتاج إلى ذلك أثناء إنشاء نظام المجموعة.

تكوين Metastore أثناء إنشاء مجموعة HDInsight Spark

1. انتقل إلى HDInsight على مجموعة نظام مجموعة AKS لإنشاء مجموعات.

   

2. قم بتمكين زر التبديل لإضافة مخزن بيانات تعريف الخلية الخارجي وتعبئة التفاصيل التالية.

   

3. سيتم ملء بقية التفاصيل وفقا لقواعد إنشاء نظام المجموعة لمجموعة Apache Spark في HDInsight على AKS.

4. انقر فوق Review and Create.

   

   إشعار

   • لا ترتبط دورة حياة المخزن الأساسي بدورة حياة المجموعات، لذا يمكنك إنشاء مجموعات وحذفها دون فقد بيانات التعريف. تستمر بيانات التعريف مثل مخططات Hive الخاصة بك حتى بعد حذف وإعادة إنشاء نظام مجموعة HDInsight.
   • يسمح لك metastore المخصص بإرفاق مجموعات وأنواع مجموعات متعددة إلى هذا metastore.

العمل على Metastore الخارجي

1. إنشاء جدول

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. إضافة بيانات على الجدول

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. قراءة الجدول

   >> spark.sql("select * from sampleTable").show()

   

المرجع

• Apache وApache Spark وSpark وأسماء مشاريع مصدر مفتوح المرتبطة بها هي علامات تجارية ل Apache Software Foundation (ASF).