تحويل البيانات باستخدام نشاط Hadoop Hive في Azure Data Factory أو Synapse Analytics
ينطبق على:
Azure Data Factory Azure Synapse Analytics
تلميح
جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!
يقوم نشاط HDInsight Hive في Azure Data Factory أو مسار Synapse Analytics بتنفيذ استعلامات Hive في نظام مجموعة HDInsightخاصتك أو عند الطلب. تعتمد هذه المقالة على مقالة أنشطة تحويل البيانات، والتي تقدم نظرة عامة على تحويل البيانات وأنشطة التحويل المدعومة.
إذا كنت جديداً على Azure Data Factory وSynapse Analytics، فاقرأ مقالات المقدمة عن Azure Data Factory أو Synapse Analytics، واطّلع على البرنامج التعليمي: تحويل البيانات قبل قراءة هذه المقالة.
إضافة نشاط HDInsight Hive إلى البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام واجهة المستخدم
لاستخدام نشاط HDInsight Hive لـAzure Data Lake Analytics في البنية الأساسية لبرنامج ربط العمليات التجارية، أكمل الخطوات التالية:
ابحث عن Apache Hive في جزء أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية، واسحب نشاط Apache Hive إلى لوحة البنية الأساسية لبرنامج ربط العمليات التجارية.
حدد نشاط Hive الجديد على اللوحة إذا لم يكن محددًا بالفعل.
حدد علامة التبويب HDI Cluster لتحديد أو إنشاء خدمة مرتبطة جديدة إلى مجموعة HDInsight التي سيتم استخدامها لتنفيذ نشاط Spark.
حدد علامة التبويب Script لتحديد أو إنشاء خدمة جديدة مرتبطة بالتخزين، ومسار داخل موقع التخزين، والذي سيستضيف البرنامج النصي.
بناء الجملة
{
"name": "Hive Activity",
"description": "description",
"type": "HDInsightHive",
"linkedServiceName": {
"referenceName": "MyHDInsightLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"scriptLinkedService": {
"referenceName": "MyAzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveSript.hql",
"getDebugInfo": "Failure",
"arguments": [
"SampleHadoopJobArgument1"
],
"defines": {
"param1": "param1Value"
}
}
}
تفاصيل بناء الجملة
| الخاصية | الوصف | مطلوب |
|---|---|---|
| الاسم | تسمية النشاط | نعم |
| الوصف | نص يوضح الغرض من استخدام النشاط | لا |
| النوع | بالنسبة لنشاط Hive يكون نوع النشاط هو HDinsightHive | نعم |
| linkedServiceName | مرجع إلى نظام مجموعة HDInsight مسجلة كخدمة مرتبطة. للتعرف على هذه الخدمة المرتبطة، راجع مقالة خدمات الحوسبة المرتبطة. | نعم |
| scriptLinkedService | مرجع إلى خدمة Azure Storage المرتبطة تُستخدم لتخزين برنامج Hive النصي ليتم تنفيذه. يتم دعم Azure Blob Storage والخدمات المرتبطة بـ ADLS Gen2 فقط هنا. إذا لم تحدد هذه الخدمة المرتبطة، فسيتم استخدام خدمة Azure Storage المرتبطة المحددة في خدمة HDInsight المرتبطة. | لا |
| سكربت | قم بتوفير المسار لملف البرنامج النصي المخزن في Azure Storage المشار إليه بواسطة scriptLinkedService. اسم الملف حساس لحالة الأحرف. | نعم |
| getDebugInfo | تحدد متى يتم نسخ ملفات السجل إلى Azure Storage المستخدم بواسطة مجموعة HDInsight (أو) المحددة بواسطة scriptLinkedService. القيم المسموح بها: بلا، دوماً، أو فشل. القيمة الافتراضية: بلا. | لا |
| الحجج | تعين صفيف من الوسيطات لمهمة Hadoop. يتم تمرير الوسيطات كوسيطات سطر الأوامر لكل مهمة. | لا |
| يعرّف | يحدد المعلمات كأزواج مفاتيح/قيم للرجوع إليها ضمن البرنامج النصي للخلية. | لا |
| queryTimeout | قيمة مهلة الاستعلام (بالدقائق). قابل للتطبيق عندما يكون نظام مجموعة HDInsight مع تمكين Enterprise Security Package | لا |
إشعار
القيمة الافتراضية لـ queryTimeout هي 120 دقيقة.
المحتوى ذو الصلة
راجع المقالات التالية التي تشرح كيفية تحويل البيانات بطرق أخرى: