Share via

بدء استخدام Azure Data Lake Analytics باستخدام Azure CLI

  • مقالة

هام

لم يعد من الممكن إنشاء حسابات Azure Data Lake Analytics الجديدة ما لم يتم تمكين اشتراكك. إذا كنت بحاجة إلى تمكين اشتراكك، فاتصل بالدعم وقدم سيناريو عملك.

إذا كنت تستخدم Azure Data Lake Analytics بالفعل، فستحتاج إلى إنشاء خطة ترحيل إلى Azure Synapse Analytics لمؤسستك بحلول 29 فبراير 2024.

توضح هذه المقالة كيفية استخدام واجهة سطر الأوامر Azure CLI لإنشاء حسابات Azure Data Lake Analytics وإرسال مهام USQL والكتالوجات. تقرأ الوظيفة ملف قيم مفصولة بعلامة تبويب (TSV) وتحوله إلى ملف قيم مفصولة بفواصل (CSV).

المتطلبات الأساسية

قبل البدء، تحتاج إلى العناصر التالية:

تسجيل الدخول إلى Azure

لتسجيل الدخول إلى اشتراك Azure الخاص بك:

az login

يطلب منك الاستعراض للوصول إلى عنوان URL، وإدخال رمز مصادقة. ثم اتبع الإرشادات لإدخال بيانات الاعتماد الخاصة بك.

بمجرد تسجيل الدخول، يسرد أمر تسجيل الدخول اشتراكاتك.

لاستخدام اشتراك معين:

az account set --subscription <subscription id>

إنشاء حساب Data Lake Analytics

تحتاج إلى حساب Data Lake Analytics قبل أن تتمكن من تشغيل أي وظائف. لإنشاء حساب Data Lake Analytics، يجب تحديد العناصر التالية:

  • مجموعة موارد Azure. يجب إنشاء حساب Data Lake Analytics داخل مجموعة موارد Azure. يمكنك Azure Resource Manager من العمل مع الموارد في تطبيقك كمجموعة. يمكنك نشر جميع الموارد لتطبيقك أو تحديثها أو حذفها في عملية واحدة منسقة.

لسرد مجموعات الموارد الموجودة ضمن اشتراكك:

az group list

لإنشاء مجموعة موارد جديدة:

az group create --name "<Resource Group Name>" --location "<Azure Location>"
  • اسم حساب Data Lake Analytics. كل حساب Data Lake Analytics له اسم.
  • Location. استخدم أحد مراكز بيانات Azure التي تدعم Data Lake Analytics.
  • حساب Data Lake Store الافتراضي: يحتوي كل حساب Data Lake Analytics على حساب Data Lake Store افتراضي.

لسرد حساب Data Lake Store الحالي:

az dls account list

لإنشاء حساب Data Lake Store جديد:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

استخدم بناء الجملة التالي لإنشاء حساب Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

بعد إنشاء حساب، يمكنك استخدام الأوامر التالية لسرد الحسابات وإظهار تفاصيل الحساب:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

تحميل البيانات إلى Data Lake Store

في هذا البرنامج التعليمي، يمكنك معالجة بعض سجلات البحث. يمكن تخزين سجل البحث إما في مخزن Data Lake أو تخزين Azure Blob.

يوفر مدخل Microsoft Azure واجهة مستخدم لنسخ بعض ملفات البيانات النموذجية إلى حساب Data Lake Store الافتراضي، والذي يتضمن ملف سجل بحث. راجع إعداد بيانات المصدر لتحميل البيانات إلى حساب Data Lake Store الافتراضي.

لتحميل الملفات باستخدام Azure CLI، استخدم الأوامر التالية:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

يمكن ل Data Lake Analytics أيضا الوصول إلى تخزين Azure Blob. لتحميل البيانات إلى تخزين Azure Blob، راجع استخدام Azure CLI مع Azure Storage.

إرسال مهام Data Lake Analytics

تتم كتابة وظائف Data Lake Analytics بلغة U-SQL. لمعرفة المزيد حول U-SQL، راجع بدء استخدام لغة U-SQLومرجع لغة U-SQL.

لإنشاء برنامج نصي لوظيفة Data Lake Analytics

أنشئ ملفا نصيا باستخدام البرنامج النصي U-SQL التالي، واحفظ الملف النصي إلى محطة العمل الخاصة بك:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

يقرأ هذا البرنامج النصي U-SQL ملف البيانات المصدر باستخدام Extractors.Tsv()، ثم ينشئ ملف csv باستخدام Outputters.Csv().

لا تقم بتعديل المسارين إلا إذا قمت بنسخ الملف المصدر إلى موقع مختلف. يقوم Data Lake Analytics بإنشاء مجلد الإخراج إذا لم يكن موجودا.

من الأسهل استخدام المسارات النسبية للملفات المخزنة في حسابات Data Lake Store الافتراضية. يمكنك أيضا استخدام المسارات المطلقة. على سبيل المثال:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

يجب استخدام المسارات المطلقة للوصول إلى الملفات في حسابات التخزين المرتبطة. بناء جملة الملفات المخزنة في حساب Azure Storage المرتبط هو:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

ملاحظة

حاوية Azure Blob مع الكائنات الثنائية كبيرة الحجم العامة غير مدعومة. حاوية Azure Blob مع حاويات عامة غير مدعومة.

لإرسال المهام

استخدم بناء الجملة التالي لإرسال مهمة.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

على سبيل المثال:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

لسرد المهام وإظهار تفاصيل الوظيفة

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

لإلغاء المهام

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

استرداد نتائج المهمة

بعد اكتمال المهمة، يمكنك استخدام الأوامر التالية لسرد ملفات الإخراج وتنزيل الملفات:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"

على سبيل المثال:

az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"

الخطوات التالية