Tutorial: Accept and receive data using Azure Data Share

في هذا البرنامج التعليمي، ستتعلم كيفية قبول دعوة مشاركة البيانات باستخدام Azure Data Share. ستتعلم كيفية تلقي البيانات التي تتم مشاركتها معك، وكيفية تمكين فاصل تحديث منتظم للتأكد من أن لديك دائما أحدث لقطة للبيانات التي تتم مشاركتها معك.

• كيفية قبول دعوة مشاركة البيانات Azure
• قم بإنشاء حساب Azure Data Share
• قم بتحديد وجهة لبياناتك
• قم بإنشاء اشتراك في مشاركة البيانات لتحديثها بشكل مجدول

المتطلبات الأساسية

قبل أن تتمكن من قبول دعوة مشاركة البيانات، يجب إنشاء بعض موارد Azure، المدرجة أدناه.

تأكد من اكتمال جميع المتطلبات الأساسية قبل قبول دعوة مشاركة البيانات.

• اشتراك Azure: إذا لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانياً قبل أن تبدأ.
• دعوة مشاركة البيانات: دعوة من Microsoft Azure مع موضوع بعنوان "دعوة مشاركة بيانات Azure من yourdataprovider@domain.com".
• سجل موفر موارد Microsoft.DataShare في اشتراك Azure حيث ستقوم بإنشاء مورد مشاركة البيانات واشتراك Azure حيث توجد مخازن بيانات Azure المستهدفة.

تلقي البيانات في حساب تخزين

• حساب Azure Storage: إذا لم يكن لديك حساب بالفعل، يمكنك إنشاء حساب Azure Storage.
• إذن كتابة إلى حساب التخزين الموجود في Microsoft.Storage/storageAccounts/write. هذا الإذن موجود في دور مساهم حساب التخزين.
• إذن لإضافة تعيين دور إلى حساب التخزين، الموجود في Microsoft.Authorization/role assignments/write. يوجد هذا الإذن في دور المالك.

تلقي البيانات في هدف يستند إلى SQL

إذا اخترت تلقي البيانات في قاعدة بيانات azure SQL، Azure Synapse Analytics، فستجد أدناه قائمة المتطلبات الأساسية.

المتطلبات الأساسية لتلقي البيانات في قاعدة بيانات azure SQL أو Azure Synapse Analytics (التي عُرفت سابقًا باسم Azure SQL DW)

• قاعدة بيانات azure SQL، أو Azure Synapse Analytics (التي عُرفت سابقًا باسم Azure SQL DW).
• إذن الكتابة إلى قواعد البيانات على خادم SQL، الموجود في Microsoft.Sql/servers/databases/write. يوجد هذا الإذن في دور المساهم.
• Microsoft Entra مسؤول لخادم SQL
• الوصول إلى جدار الحماية لخادم SQL. يمكن القيام بذلك من خلال الخطوات التالية:
  1. في خادم SQL في مدخل Microsoft Azure، انتقل إلى جدران الحماية والشبكات الظاهرية
  2. حدد نعم للسماح لخدمات وموارد Azure بالوصول إلى هذا الخادم.
  3. حدد +Add client IP. عنوان IP للعميل عُرْضة للتغيير. قد تحتاج هذه العملية إلى التكرار في المرة التالية التي تشارك فيها بيانات SQL من مدخل Microsoft Azure. يمكن أيضاً إضافة نطاق IP.
  4. حدد حفظ.

المتطلبات الأساسية لاستلام البيانات في تجمع (مساحة عمل) SQL Azure Synapse Analytics

• تجمع (مساحة عمل) مخصص لـSQL Azure Synapse Analytics. تلقي البيانات في تجمع SQL بلا خادم غير مدعوم حاليا.

• إذن الكتابة إلى تجمع SQL في مساحة عمل Synapse، الموجود في Microsoft.Synapse/workspaces/sqlPools/write. يوجد هذا الإذن في دور المساهم.

• إذن الهوية المدارة لمورد مشاركة البيانات للوصول إلى تجمع SQL لمساحة عمل Synapse. يمكن تنفيذ ذلك من خلال الخطوات التالية:

  1. في مدخل Microsoft Azure، الانتقال إلى مساحة عمل Synapse. حدد مسؤول Microsoft Entra من التنقل الأيسر وقم بتعيين نفسك كمسؤول Microsoft Entra.

  2. افتح Synapse Studio، وحدد "Manage" من جزء التنقل الأيسر. تحديد Access control ضمن الأمان. تعيين شخصك في دور مسؤول SQL أو مسؤول مساحة العمل.

  3. في Synapse Studio، حدد Develop من جزء التنقل الأيسر. تنفيذ البرنامج النصي التالي في تجمع SQL لإضافة "الهوية المدارة" بمورد مشاركة البيانات كـ 'db_datareader, db_datawriter, db_ddladmin'.

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     <share_acc_name> هو اسم مورد مشاركة البيانات. إذا لم تكن قد أنشأت مورد مشاركة البيانات حتى الآن، يمكنك العودة إلى هذا الشرط الأساسي لاحقا.

• الدخول إلى جدار حماية مساحة عمل Synapse. يمكن تنفيذ ذلك من خلال الخطوات التالية:

  1. في مدخل Microsoft Azure، الانتقال إلى مساحة عمل Synapse. حدد Firewalls من جزء التنقل الأيسر.
  2. حدد ON ل Allow Azure services and resources to access this workspace.
  3. حدد +Add client IP. عنوان IP للعميل عُرْضة للتغيير. قد تحتاج هذه العملية إلى التكرار في المرة التالية التي تشارك فيها بيانات SQL من مدخل Microsoft Azure. يمكن أيضاً إضافة نطاق IP.
  4. حدد حفظ.

تلقي البيانات في مجموعة Azure Data Explorer:

• مجموعة Azure Data Explorer في نفس مركز بيانات Azure مثل مجموعة Data Explorer لموفر البيانات: إذا لم يكن لديك واحد بالفعل، يمكنك إنشاء مجموعة Azure Data Explorer. إذا كنت لا تعرف مركز بيانات Azure من مجموعة موفر البيانات، يمكنك إنشاء المجموعة لاحقًا في العملية.
• إذن الكتابة إلى مجموعة Azure Data Explorer، الموجودة في Microsoft.Kusto/clusters/write. يوجد هذا الإذن في دور المساهم.

سجِّل الدخول إلى مدخل Azure

قم بتسجيل الدخول إلى بوابة Azure.

بدء دعوة

المدخل

1. يمكنك بدء دعوة من البريد الإلكتروني أو مباشرة من بوابة Azure.

   لبدء دعوة من البريد الإلكتروني، راجع البريد الوارد الخاص بك للحصول على دعوة من موفر البيانات. الدعوة من Microsoft Azure، بعنوان دعوة Azure Data Share من yourdataprovider@domain.com. حدد عرض الدعوة لمشاهدة دعوتك في Azure.

   لفتح الدعوة من مدخل Microsoft Azure مباشرة، ابحث عن دعوات مشاركة البيانات في مدخل Microsoft Azure. يأخذك هذا الإجراء إلى قائمة دعوات مشاركة البيانات.

   إذا كنت مستخدما ضيفا لمستأجر، فستتم مطالبتك بالتحقق من عنوان بريدك الإلكتروني للمستأجر قبل عرض دعوة مشاركة البيانات للمرة الأولى. بمجرد التحقق منه، يكون صالحا لمدة 12 شهرا.

   

2. حدد الدعوة التي تريد عرضها.

Azure CLI

قم بإعداد بيئة Azure CLI، ثم قم بعرض الدعوات.

بدء إعداد البيئة الخاصة بك لـ Azure CLI:

• استخدم بيئة Bash في Azure Cloud Shell. لمزيد من المعلومات، راجع التشغيل السريع ل Bash في Azure Cloud Shell.

  

• إذا كنت تفضل تشغيل أوامر مرجع CLI محلياً قم بتثبيت CLI Azure. إذا كنت تعمل على نظام تشغيل Windows أو macOS، ففكر في تشغيل Azure CLI في حاوية Docker. لمزيد من المعلومات، راجع كيفية تشغيل Azure CLI في حاوية Docker.

  • إذا كنت تستخدم تثبيت محلي، يُرجى تسجيل الدخول إلى Azure CLI مستخدمًا أمر az login. لإنهاء عملية المصادقة، اتبع الخطوات المعروضة في جهازك. للحصول على خيارات أخرى لتسجيل دخول، راجع تسجيل الدخول باستخدام Azure CLI.

  • عندما يُطلب منك، قم بتثبيت ملحق Azure CLI عند الاستخدام لأول مرة. لمزيد من المعلومات بشأن الامتدادات، راجع استخدام امتدادات مع Azure CLI.

  • يُرجى تشغيل إصدار az للوصول إلى الإصدار والمكتبات التابعة التي تم تثبيتها. للتحديث لآخر إصدار، يُرجى تشغيل تحديث az.

قم بتشغيل الأمر az datashare consumer-invitation list-invitation لمشاهدة دعواتك الحالية:

az datashare consumer consumer-invitation list-invitation

قم بنسخ معرف الدعوة للاستخدام في القسم التالي.

بوويرشيل

ابدأ بإعداد بيئتك ل PowerShell. يمكنك إما تشغيل أوامر PowerShell محليا أو استخدام بيئة Bash في Azure Cloud Shell.

• إذا اخترت استخدام Azure PowerShell محليا:
  • تثبيت أحدث إصدار من الوحدة النمطية Az PowerShell.
  • اتصل بحساب Azure الخاص بك باستخدامConnect-AzAccount cmdlet.
• إذا اخترت استخدام Azure Cloud Shell:
  • لمزيد من المعلومات، راجع نظرة عامة على Azure Cloud Shell.

1. استخدم الأمر الاتصال-AzAccount للاتصال بحساب Azure الخاص بك.

   Connect-AzAccount
   

2. قم بتشغيل الأمر Set-AzContext لتعيين الاشتراك الصحيح، إذا كان لديك اشتراكات متعددة.

   Set-AzContext [SubscriptionID/SubscriptionName]
   

3. قم بتشغيل الأمر Get-AzDataShareReReceivedInvitation لمشاهدة دعواتك الحالية:

   Get-AzDataShareReceivedInvitation
   

قم بنسخ معرف الدعوة للاستخدام في القسم التالي.

قبول الدعوة

المدخل

1. تأكد من مراجعة جميع الحقول، بما في ذلك شروط الاستخدام. إذا وافقت على شروط الاستخدام، فسيطلب منك تحديد المربع للإشارة إلى موافقتك.

   

2. ضمن حساب مشاركة البيانات الهدف، حدد الاشتراك ومجموعة الموارد التي ستقوم بنشر مشاركة البيانات فيها.

   بالنسبة للحقل حساب مشاركة البيانات، حدد إنشاء جديد إذا لم يكن لديك حساب مشاركة بيانات موجود. وإلا، حدد حساب "مشاركة البيانات" موجود ترغب في قبول مشاركة البيانات فيه.

   بالنسبة لحقل اسم المشاركة المستلمة، يمكنك ترك الإعداد الافتراضي المحدد بواسطة توفير البيانات، أو تحديد اسم جديد للمشاركة المستلمة.

   بمجرد الموافقة على شروط الاستخدام وتحديد حساب مشاركة البيانات لإدارة المشاركة المستلمة، حدد قبول وتكوين. سيتم إنشاء اشتراك في المشاركة.

   

   يأخذك هذا الإجراء إلى المشاركة المستلمة في حساب Data Share.

   إذا كنت لا تريد قبول الدعوة، فحدد رفض.

Azure CLI

استخدم الأمر az datashare share-subscription create لإنشاء Data Share.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

بوويرشيل

استخدم الأمر New-AzDataShareSubscription لإنشاء مشاركة البيانات. سيكون InvitationId هو المعرف الذي جمعته من الخطوة السابقة.

New-AzDataShareSubscription -ResourceGroupName <String> -AccountName <String> -Name <String> -InvitationId <String>

تكوين المشاركة المستلَمة

المدخل

اتبع الخطوات التالية لتكوين المكان الذي تريد تلقي البيانات فيه.

1. حدد علامة التبويب Datasets . حدد المربع الموجود بجانب مجموعة البيانات التي تريد تعيين وجهة إليها. حدد + Map للهدف لاختيار مخزن بيانات هدف.

   

2. حدد نوع مخزن البيانات المستهدف الذي ترغب في أن تستقر فيه البيانات. سيتم الكتابة فوق أية ملفات أو جداول بيانات في مخزن البيانات المستهدف بنفس المسار والاسم. إذا كنت تتلقى بيانات في قاعدة بيانات Azure SQL أو Azure Synapse Analytics (المعروف سابقا باسم Azure SQL DW)، فتحقق من خانة الاختيار السماح بمشاركة البيانات لتشغيل البرنامج النصي "إنشاء مستخدم" أعلاه نيابة عني.

   للمشاركة في الموقع، حدد مخزن بيانات في الموقع المحدد. الموقع هو مركز بيانات Azure حيث يوجد مخزن البيانات المصدر لموفر البيانات. بمجرد تعيين مجموعة البيانات، يمكنك اتباع الارتباط في المسار الهدف للوصول إلى البيانات.

   

3. للمشاركة المستندة إلى اللقطة، إذا قام موفر البيانات بإنشاء جدول لقطة لتوفير تحديث منتظم للبيانات، يمكنك أيضا تمكين جدول اللقطات عن طريق تحديد علامة التبويب Snapshot Schedule . حدد المربع بجوار جدول اللقطة وحدد + Enable. ستبدأ اللقطة المجدولة الأولى في غضون دقيقة واحدة من وقت الجدول وستبدأ اللقطات اللاحقة في غضون ثوان من الوقت المجدول.

   

   لا تستمر بيانات التعريف للملفات المنسخة بعد كل تشغيل. وهو كذلك بسبب طبيعة تصميمه.

Azure CLI

استخدم هذه الأوامر لتكوين المكان الذي تريد تلقي البيانات فيه.

1. قم بتشغيل الأمر az datashare consumer-source-data-set list للحصول على معرف مجموعة البيانات:

   az datashare consumer-source-data-set list --resource-group "share-rg" \
    --account-name "FabrikamDataShareAccount" \
      --share-subscription-name "fabrikamsolutions" \
   

2. إذا كنت بحاجة إلى حساب تخزين، فقم بتشغيل الأمر az storage account create لإنشاء حساب تخزين لمشاركة البيانات هذه:

   az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
   

3. استخدم الأمر az storage account show للحصول على معرف حساب التخزين:

   az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
    --query "id"
   

4. استخدام الأمر التالي للحصول على معرف الحساب الأساسي:

   az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
     --query "identity.principalId"
   

5. استخدم الأمر az role assignment create لإنشاء تعيين دور لكيان الحساب باستخدام معرف الحساب الأساسي ومعرف حساب التخزين الخاص بك:

   az role assignment create --role "Contributor" \
     --assignee-object-id 6789abcd-ef01-2345-6789-abcdef012345 
     --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"
   

6. إنشاء متغير لتعيين استنادا إلى معرف مجموعة البيانات من الخطوة 1:

   $mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
     \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'
   

7. استخدم الأمر az datashare data-set-mapping create لإنشاء تعيين مجموعة البيانات:

   az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
    --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
    --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping
   

8. قم بتشغيل الأمر az datashare share-subscription synchronize لبدء مزامنة مجموعة البيانات.

   az datashare share-subscription synchronize \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
     --name "Fabrikam Solutions" --synchronization-mode "Incremental" \
   

   قم بتشغيل الأمر az datashare share-subscription list-synchronization لمشاهدة قائمة بالمزامنة الخاصة بك:

   az datashare share-subscription list-synchronization \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions" \
   

   استخدم الأمر az datashare share-subscription list-source-share-synchronization-setting لمشاهدة إعدادات المزامنة المعينة على مشاركتك.

   az datashare share-subscription list-source-share-synchronization-setting \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions"
   

بوويرشيل

استخدم هذه الأوامر لتكوين المكان الذي تريد تلقي البيانات فيه.

1. قم بتشغيل الأمر Get-AzDataShareSourceDataSet للحصول على معرف مجموعة البيانات:

   Get-AzDataShareSourceDataSet -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String>
   

2. إذا لم يكن لديك موقع تريد تخزين البيانات المشتركة فيه بالفعل، فيمكنك اتباع هذه الخطوات لإنشاء حساب تخزين. إذا كان لديك تخزين بالفعل، يمكنك التخطي إلى الخطوات التالية.

   1. قم بتشغيل الأمر New-AzStorageAccount لإنشاء حساب تخزين Azure:

      $storageAccount = New-AzStorageAccount -ResourceGroupName <String> -AccountName <String> -Location <String> -SkuName <String>
      
      $ctx = $storageAccount.Context
      

   2. قم بتشغيل الأمر New-AzStorageContainer لإنشاء حاوية في حساب Azure Storage الجديد الذي سيحتفظ ببياناتك:

      $containerName = <String>
      
      New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
      

   3. قم بتشغيل الأمر Set-AzStorageBlobContent لتحميل ملف. يقوم المثال التالي بتحميل textfile.csv من المجلد D:\testFiles على الذاكرة المحلية، إلى الحاوية التي قمت بإنشائها.

      Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
      

   لمزيد من المعلومات حول العمل مع Azure Storage في PowerShell، اتبع دليل Azure Storage PowerShell هذا.

3. استخدم الأمر Get-AzStorageAccount للحصول على معرف حساب التخزين:

   Get-AzStorageAccount -ResourceGroupName <String> -Name <String>
   

4. استخدم معرف مجموعة البيانات من الخطوة الأولى، ثم قم بتشغيل الأمر New-AzDataShareDataSetMapping لإنشاء تعيين مجموعة البيانات:

   New-AzDataShareDataSetMapping -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -Name <String> -StorageAccountResourceId <String> -DataSetId <String> -Container <String>
   

5. قم بتشغيل الأمر Start-AzDataShareSubscriptionSynchronization لبدء مزامنة مجموعة البيانات.

   Start-AzDataShareSubscriptionSynchronization -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -SynchronizationMode <String>
   

   قم بتشغيل الأمر Get-AzDataShareSubscriptionSynchronization لمشاهدة قائمة بالمزامنة الخاصة بك:

   Get-AzDataShareSubscriptionSynchronization -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String>
   

   استخدم الأمر Get-AzDataShareSubscriptionSynchronizationDetail لمشاهدة إعدادات المزامنة المعينة على مشاركتك.

   Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -SynchronizationId <String>
   

تشغيل لقطة

المدخل

تنطبق هذه الخطوات فقط على المشاركة المستندة إلى اللقطة.

1. يمكنك تشغيل لقطة عن طريق تحديد علامة تبويب التفاصيل متبوعة بلقطة المشغل. هنا، يمكنك تشغيل لقطة كاملة أو تزايدية للبيانات الخاصة بك. إذا كانت هذه هي المرة الأولى التي تتلقى فيها البيانات من موفر البيانات، فحدد النسخة الكاملة.

   

2. عند نجاح حالة التشغيل الأخيرة، انتقل إلى مخزن البيانات الهدف لعرض البيانات المستلمة. حدد Datasets، وحدد الارتباط في Target Path.

   

Azure CLI

قم بتشغيل الأمر az datashare trigger create لتشغيل لقطة:

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

بوويرشيل

تنطبق هذه الخطوات فقط على المشاركة المستندة إلى اللقطة.

تشغيل الأمر New-AzDataShareTrigger لتشغيل لقطة:

New-AzDataShareTrigger -ResourceGroupName <String> -AccountName <String> -Name <String> -RecurrenceInterval <String> -SynchronizationTime <DateTime>

عرض السجل

تنطبق هذه الخطوة فقط على المشاركة المستندة إلى اللقطة. لعرض محفوظات اللقطات، حدد علامة التبويب History . هنا ستجد محفوظات جميع اللقطات التي تم إنشاؤها خلال ال 30 يوما الماضية.

تنظيف الموارد

عندما لم تعد هناك حاجة إلى المورد، انتقل إلى صفحة نظرة عامة على مشاركة البيانات، وحدد حذف لإزالته.

الخطوات التالية

في هذا البرنامج التعليمي، تعلمت كيفية قبول ومشاركة بيانات Azure وتلقيها. لمعرفة المزيد حول مفاهيم Azure Data Share، انتقل إلى مصطلحات Azure Data Share.

مفاهيم مشاركة بيانات Azure