مشاركة عبر

التشغيل السريع: إنشاء Azure Data Factory باستخدام Azure CLI

  • مقالة

يصف هذا التشغيل السريع كيفية استخدام Azure CLI لإنشاء Azure Data Factory. البنية الأساسية الذي تقوم بإنشائها في مصنع البيانات هذا تنسخ البيانات من مجلد إلى مجلد آخر في Azure Blob Storage. للحصول على معلومات حول كيفية تحويل البيانات باستخدام Azure Data Factory، راجع تحويل البيانات في Azure Data Factory.

للحصول على مقدمة حول خدمة Azure Data Factory، راجع Introduction to Azure Data Factory.

في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

المتطلبات الأساسية

إشعار

لإنشاء مثيلات Data Factory، يجب أن يكون حساب المستخدم الذي تستخدمه لتسجيل الدخول إلى Azure عضوًا في دور المساهم أو المالك، أو مسؤول عن اشتراك Azure. لمزيد من المعلومات، راجع أدوار Azure.

إعداد الحاوية وملف اختبار

يستخدم هذا التشغيل السريع حساب تخزين Azure الذي يتضمن حاوية مع ملف.

  1. لإنشاء مجموعة موارد باسم ADFQuickStartRG، استخدم الأمر az group create :

    az group create --name ADFQuickStartRG --location eastus

  2. إنشاء حساب تخزين باستخدام الأمر az storage account create :

    az storage account create --resource-group ADFQuickStartRG \
    --name adfquickstartstorage --location eastus

  3. إنشاء حاوية باسم adftutorial باستخدام الأمر az storage container create :

    az storage container create --resource-group ADFQuickStartRG --name adftutorial \
    --account-name adfquickstartstorage --auth-mode key

  4. في الدليل المحلي، أنشئ ملفا باسم emp.txt لتحميله. إذا كنت تعمل في Azure Cloud Shell، يمكنك العثور على دليل العمل الحالي باستخدام echo $PWD الأمر Bash. يمكنك استخدام أوامر Bash القياسية، مثل cat، لإنشاء ملف:

    cat > emp.txt
This is text.

    استخدم Ctrl+D لحفظ الملف الجديد.

  5. لتحميل الملف الجديد إلى حاوية تخزين Azure، استخدم الأمر az storage blob upload :

    az storage blob upload --account-name adfquickstartstorage --name input/emp.txt \
    --container-name adftutorial --file emp.txt --auth-mode key

    يتم تحميل هذا الأمر إلى مجلد جديد يسمى input.

إنشاء مصدرًا للبيانات

لإنشاء مصنع بيانات Azure، قم بتشغيل الأمر az datafactory create :

az datafactory create --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory

هام

استبدل ADFTutorialFactory باسم مصنع بيانات فريد عالميا، على سبيل المثال، ADFTutorialFactorySP1127.

يمكنك مشاهدة مصنع البيانات الذي قمت بإنشائه باستخدام الأمر az datafactory show :

az datafactory show --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory

إنشاء خدمة مرتبطة، ومجموعات بيانات

بعد ذلك، قم بإنشاء خدمة مرتبطة، ومجموعتي بيانات.

  1. احصل على سلسلة الاتصال لحساب التخزين الخاص بك باستخدام الأمر az storage account show-connection-string:

    az storage account show-connection-string --resource-group ADFQuickStartRG \
    --name adfquickstartstorage --key primary

  2. في دليل العمل الخاص بك، قم بإنشاء ملف JSON بهذا المحتوى، والذي يتضمن سلسلة الاتصال الخاصة بك من الخطوة السابقة. قم بتسمية الملف AzureStorageLinkedService.json:

    {
    "type": "AzureBlobStorage",
    "typeProperties": {
        "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net"
    }
}

  3. إنشاء خدمة مرتبطة، تسمى AzureStorageLinkedService، باستخدام الأمر az datafactory linked-service create :

    az datafactory linked-service create --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory --linked-service-name AzureStorageLinkedService \
    --properties AzureStorageLinkedService.json

  4. في دليل العمل الخاص بك، قم بإنشاء ملف JSON بهذا المحتوى، المسمى InputDataset.json:

    {
    "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
    },
    "annotations": [],
    "type": "Binary",
    "typeProperties": {
        "location": {
            "type": "AzureBlobStorageLocation",
            "fileName": "emp.txt",
            "folderPath": "input",
            "container": "adftutorial"
        }
    }
}

  5. إنشاء مجموعة بيانات إدخال باسم InputDataset باستخدام الأمر az datafactory dataset create :

    az datafactory dataset create --resource-group ADFQuickStartRG \
    --dataset-name InputDataset --factory-name ADFTutorialFactory \
    --properties InputDataset.json

  6. في دليل العمل الخاص بك، قم بإنشاء ملف JSON بهذا المحتوى، المسمى OutputDataset.json:

    {
    "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
    },
    "annotations": [],
    "type": "Binary",
    "typeProperties": {
        "location": {
            "type": "AzureBlobStorageLocation",
            "folderPath": "output",
            "container": "adftutorial"
        }
    }
}

  7. إنشاء مجموعة بيانات إخراج باسم OutputDataset باستخدام الأمر az datafactory dataset create :

    az datafactory dataset create --resource-group ADFQuickStartRG \
    --dataset-name OutputDataset --factory-name ADFTutorialFactory \
    --properties OutputDataset.json

إنشاء وتشغيل التدفقات.

وأخيرًا، إنشاء وتشغيل التدفقات.

  1. في دليل العمل الخاص بك، قم بإنشاء ملف JSON بهذا المحتوى المسمى Adfv2QuickStartPipeline.json:

    {
    "name": "Adfv2QuickStartPipeline",
    "properties": {
        "activities": [
            {
                "name": "CopyFromBlobToBlob",
                "type": "Copy",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "source": {
                        "type": "BinarySource",
                        "storeSettings": {
                            "type": "AzureBlobStorageReadSettings",
                            "recursive": true
                        }
                    },
                    "sink": {
                        "type": "BinarySink",
                        "storeSettings": {
                            "type": "AzureBlobStorageWriteSettings"
                        }
                    },
                    "enableStaging": false
                },
                "inputs": [
                    {
                        "referenceName": "InputDataset",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "OutputDataset",
                        "type": "DatasetReference"
                    }
                ]
            }
        ],
        "annotations": []
    }
}

  2. إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية المسماة Adfv2QuickStartPipelineباستخدام الأمر az datafactory pipeline create :

    az datafactory pipeline create --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory --name Adfv2QuickStartPipeline \
    --pipeline Adfv2QuickStartPipeline.json

  3. قم بتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام الأمر az datafactory pipeline create-run :

    az datafactory pipeline create-run --resource-group ADFQuickStartRG \
    --name Adfv2QuickStartPipeline --factory-name ADFTutorialFactory

    يقوم هذا الأمر بإرجاع معرف التشغيل. انسخه لاستخدامه في الأمر التالي.

  4. تحقق من نجاح تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام الأمر az datafactory pipeline-run show :

    az datafactory pipeline-run show --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory --run-id 00000000-0000-0000-0000-000000000000

يمكنك أيضا التحقق من تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية كما هو متوقع باستخدام مدخل Microsoft Azure. لمزيد من المعلومات، راجع مراجعة الموارد المنشورة.

تنظيف الموارد

كافة الموارد في هذا التشغيل السريع هي جزء من نفس مجموعة الموارد. لإزالتها جميعا، استخدم الأمر az group delete :

az group delete --name ADFQuickStartRG

إذا كنت تستخدم مجموعة الموارد هذه لأي شيء آخر، فبدلاً من ذلك، احذف الموارد الفردية. على سبيل المثال، لإزالة الخدمة المرتبطة، استخدم الأمر az datafactory linked-service delete .

في هذا التشغيل السريع، قمت بإنشاء ملفات JSON التالية:

  • AzureStorageLinkedService.json
  • InputDataset.json
  • OutputDataset.json
  • Adfv2QuickStartPipeline.json

وحذفها باستخدام أوامر Bash القياسية.

المحتوى ذو الصلة