الاتصال بجداول Common Data Model في Azure Data Lake Storage

‏‫ملاحظة

لقد أصبح Azure Active Directory هو Microsoft Entra IDالآن. تعرف على المزيد

استيعاب البيانات في Dynamics 365 Customer Insights - Data باستخدام حساب Azure Data Lake Storage الخاص بك مع جداول نموذج البيانات العامة. بإمكان استيعاب البيانات أن يكون كاملاً أو تزايديًا.

المتطلبات

• يجب تمكين مساحة اسم التدرج الهرمي في حسابات Azure Data Lake Storage. يجب تخزين البيانات في تنسيق مجلد هرمي يحدد مجلد الجذر ولديه مجلدات فرعية لكل جدول. بإمكان المجلدات الفرعية أن تتضمن مجلدات بيانات كاملة أو مجلدات بيانات تزايدية.

• للمصادقة مع Microsoft Entra مدير الخدمة، تأكد من تكوينه في المستأجر الخاص بك. لمزيد من المعلومات، راجع الاتصال بحساب Azure Data Lake Storage باستخدام كيان خدمة Microsoft Entra.

• يجب أن يكون Azure Data Lake Storage الذي تريد الاتصال به واستيعاب البيانات منه موجوداً في منطقة Azure نفسها حيث بيئة Dynamics 365 Customer Insights، ويجب أن تكون الاشتراكات في المستأجر نفسه. الاتصالات بمجلد نموذج البيانات العامة من مستودع البيانات في منطقة Azure مختلفة غير مدعومة. للتعرف Azure للبيئة، انتقل إلى الاعدادات>النظام>حول في Customer Insights - Data.

• قد يتم تخزين البيانات المخزنة في الخدمات عبر الإنترنت في موقع مختلف عن المكان الذي تتم فيه معالجة البيانات أو تخزينها. من خلال استيراد البيانات المخزنة في الخدمات عبر الإنترنت أو الاتصال بها، فإنك توافق على إمكانية نقل البيانات. اعرف المزيد في مركز توثيق Microsoft.

• Customer Insights - Data يجب أن يكون مدير الخدمة في أحد الأدوار التالية للوصول إلى حساب التخزين. لمزيد من المعلومات، راجع منح أذونات إلى كيان الخدمة للوصول إلى حساب التخزين.

  • قارئ بيانات مخزن البيانات الثنائية الكبيرة
  • مالك بيانات مخزن البيانات الثنائية الكبيرة
  • المساهم في بيانات مخزن البيانات الثنائية الكبيرة

• عند الاتصال بوحدة تخزين Azure باستخدام خيار اشتراك Azure، يحتاج المستخدم الذي يقوم بإعداد اتصال مصدر البيانات إلى أذونات المساهم في بيانات مخزن البيانات الثنائية الكبيرة‬ على الأقل في حساب التخزين.

• عند الاتصال بوحدة تخزين Azure باستخدام خيار مورد Azure، يحتاج المستخدم الذي يقوم بإعداد اتصال مصدر البيانات إلى إذن الإجراء Microsoft.Storage/storageAccounts/read على الأقل في حساب التخزين. دور Azure المدمج الذي يتضمن هذا الإجراء هو دور القارئ. لتقييد الوصول إلى الإجراء الضروري فقط، أنشئ دور Azure مخصصًا يتضمن هذا الإجراء فقط.

• للحصول على الأداء الأمثل، يجب أن يكون حجم القسم 1 جيجابايت أو أقل ويجب ألا يتجاوز عدد ملفات القسم في المجلد 1000.

• يجب أن تتبع البيانات الموجودة في Data Lake Storage مقياس نموذج البيانات العامة لتخزين بياناتك كما يجب أن يكون لديها بيان نموذج البيانات العامة لتمثيل مخطط ملفات البيانات (csv.* أو parquet.*). يجب أن يقدم البيان تفاصيل الجداول مثل أعمدة الجداول وأنواع البيانات، وموقع ملف البيانات ونوع الملف. للحصول على المزيد من المعلومات، راجع بيان نموذج البيانات العامة. إذا لم يكن البيان موجودًا، فبإمكان المستخدمين الذين لديهم دور المسؤول وحق الوصول كمالك بيانات مخزن البيانات الثنائية الكبيرة أو مساهم بيانات مخزن البيانات الثنائية الكبيرة تعريف المخطط عند استيعاب البيانات.

  ‏‫ملاحظة‬

  إذا كان أي من الحقول في ملفات parquet. يحتوي على نوع بيانات Int96، فقد لا يتم عرض البيانات في صفحة الجداول. نوصي باستخدام أنواع البيانات القياسية، مثل تنسيق الطابع الزمني Unix (الذي يمثل الوقت بعدد الثواني منذ 1 يناير 1970، عند منتصف الليل بالتوقيت العالمي المنسق).

القيود

• لا يدعم Customer Insights - Data الأعمدة ذات النوع العشري بدقة أكبر من 16.

الاتصال بـ Azure Data Lake Storage

1. انتقل إلى البيانات>مصادر البيانات.

2. حدد إضافة مصدر بيانات.

3. حدد جداول نموذج البيانات العامة الخاصة بـ Azure Data Lake‬.

   

4. أدخل اسم مصدر البيانات ووصفًا اختياريًا. يُشار إلى الاسم في عمليات المرحلة النهائية ولا يمكن تغييره بعد إنشاء مصدر البيانات.

5. حدد أحد الخيارات التالية لتوصيل مساحة التخزين باستخدام لمزيد من المعلومات، راجع الاتصال بحساب Azure Data Lake Storage باستخدام كيان خدمة Microsoft Entra.

   • مورد Azure: أدخل مُعرف المورد (private-link.md).
   • اشتراك Azure: حدد الاشتراك ثم مجموعة الموارد وحساب التخزين.

   ‏‫ملاحظة

   أنت تحتاج إلى أحد الأدوار التالية للحاوية لإنشاء مصدر البيانات:

   • يعد Storage Blob Data Reader كافيًا للقراءة من حساب التخزين واستيعاب البيانات إليه Customer Insights - Data.
   • مطلوب مساهم أو مالك بيانات تخزين البيانات الكبيرة الحجم إذا كنت تريد تحرير ملفات البيان مباشرةً Customer Insights - Data.

   سيؤدي الحصول على الدور في حساب التخزين إلى توفير نفس الدور في جميع الحاويات الخاصة به.

6. بشكل اختياري، إذا أردت استيعاب البيانات من حساب تخزين عبر Azure Private Link، فحدد تمكين الارتباط الخاص. لمزيد من المعلومات، راجع الارتباطات الخاصة.

7. اختر اسم الحاوية التي تحتوي على البيانات أو المخطط (ملف model.json أو manifest.json) لاستيراد البيانات منه، ثم حدد التالي.

   ‏‫ملاحظة‬

   لن يظهر في القائمة أي ملف model.json أو manifest.json مرتبط بمصدر بيانات آخر في البيئة. ومع ذلك، يمكن استخدام ملف model.json أو manifest.json نفسه لمصادر البيانات في بيئات متعددة.

8. لإنشاء مخطط جديد، انتقل إلى إنشاء ملف مخطط جديد.

9. لاستخدام مخطط موجود، انتقل إلى المجلد الذي يحتوي على الملف model.json أو manifest.cdm.json. يمكنك البحث داخل دليل للعثور على الملف.

10. حدد ملف json، ثم حدد التالي. تظهر قائمة تتضمن الجداول المتوفرة.

    

11. حدد الجداول التي تريد تضمينها.

    

    تلميح

    لتحرير جدول في واجهة تحرير JSON، حدد الجدول ثم قم بتحرير ملف المخطط. أدخل التغييرات وحدد حفظ.

12. بالنسبة للجداول المحددة التي تتطلب الاستيعاب التزايدي، يظهر مطلوب تحت تحديث تزايدي. لكل واحد من هذه الجداول، راجع تكوين تحديث تزايدي لمصادر بيانات Azure Data Lake.

13. بالنسبة للجداول المحددة حيث لم يتم تحديد مفتاح أساسي، يظهر مطلوب تحت المفتاح الأساسي. لكل واحد من هذه الجداول:

    1. حدد مطلوب. تظهر لوحة تحرير الجدول.
    2. اختر المفتاح الأساسي. المفتاح الأساسي هو سمة فريدة للجدول. كي تكون سمة مفتاحًا أساسيًا صالحًا، يجب ألا تتضمن قيمًا مكررة أو قيمًا مفقودة أو قيمًا فارغة. يتم دعم سمات نوع البيانات سلسلة وعدد صحيح وGUID كمفاتيح أساسية.
    3. بشكل اختياري، غيّر نمط التقسيم‬.
    4. حدد إغلاق لحفظ اللوحة وإغلاقها.

14. حدد عدد الأعمدة لكل جدول مضمن. تظهر صفحة إدارة‏‎ السمات.

    

    1. أنشئ أعمدة جديدة أو قم بتحرير أو حذف أعمدة موجودة. يمكنك تغيير الاسم أو تنسيق البيانات أو إضافة نوع دلالي.
    2. لتمكين التحليلات والقدرات الأخرى، حدد تجميع البيانات للجدول بأكمله أو لأعمدة محددة. بشكل افتراضي، لا يتم تمكين أي جدول لتعريف البيانات.
    3. حدد تم.

15. حدد حفظ. تفتح صفحة مصادر‏‎ البيانات التي تعرض مصدر البيانات الجديد في الحالة جارٍ التحديث.

    تلميح

    هناك حالة للمهام والعمليات. تعتمد معظم العمليات على عمليات المتابعة الأخرى، مثل مصادر البيانات والبيانات التي يتم تحديثها.

    حدد الحالة لفتح جزء تفاصيل التقدم واعرض تقدم المهمة. لإلغاء الوظيفة، حدد إلغاء الوظيفة في أسفل الجزء.

    ضمن كل مهمة، يمكنك تحديد راجع التفاصيل لمزيد من معلومات التقدم، مثل وقت المعالجة وتاريخ المعالجة الأخير وأي أخطاء وتحذيرات قابلة للتطبيق مقترنة بالمهمة أو العملية. حدد عرض حالة النظام أسفل اللوحة لرؤية عمليات أخرى في النظام.

قد يستغرق تحميل البيانات وقتا. بعد الانتهاء من التحديث بنجاح، يُمكنك مراجعة البيانات المستوعبة من صفحة الجداول.

إنشاء ملف مخطط جديد

1. حدد إنشاء ملف مخطط.

2. أدخِل اسمًا للملف، ثم حدد حفظ.

3. حدِّد جدول جديد. تظهر لوحة جدول جديد.

4. أدخل اسم الجدول، واختر موقع ملفات البيانات.

   • ملفات csv. أو parquet. متعددة: استعرض وصولاً إلى المجلد الجذر، وحدد نوع النمط، ثم أدخل التعبير.
   • ملفات csv. أو parquet. فردية: استعرض وصولاً إلى ملف csv. أو parquet. وحدده.

   

5. حدد حفظ.

   

6. حدد تعريف السمات لإضافة السمات يدويًا، أو حدد إنشاء تلقائي لها. لتعريف السمات، أدخل اسمًا، وحدد تنسيق البيانات والنوع الدلالي الاختياري. للسمات التي تنشأ تلقائيًا:

   1. بعد إنشاء السمات تلقائيًا، حدد مراجعة السمات. تظهر صفحة إدارة‏‎ السمات.

   2. التأكد من أن تنسيق البيانات صحيح لكل سمة.

   3. لتمكين التحليلات والقدرات الأخرى، حدد تجميع البيانات للجدول بأكمله أو لأعمدة محددة. بشكل افتراضي، لا يتم تمكين أي جدول لتعريف البيانات.

      

   4. حدد تم. تظهر الصفحة تحديد الجداول.

7. تابع إضافة الجداول والأعمدة، إن أمكن.

8. بعد إضافة جميع الجداول، حدد تضمين لتضمين الجداول في استيعاب مصدر البيانات.

   

9. بالنسبة للجداول المحددة التي تتطلب الاستيعاب التزايدي، يظهر مطلوب تحت تحديث تزايدي. لكل واحد من هذه الجداول، راجع تكوين تحديث تزايدي لمصادر بيانات Azure Data Lake.

10. بالنسبة للجداول المحددة حيث لم يتم تحديد مفتاح أساسي، يظهر مطلوب تحت المفتاح الأساسي. لكل واحد من هذه الجداول:

    1. حدد مطلوب. تظهر لوحة تحرير الجدول.
    2. اختر المفتاح الأساسي. المفتاح الأساسي هو سمة فريدة للجدول. كي تكون سمة مفتاحًا أساسيًا صالحًا، يجب ألا تتضمن قيمًا مكررة أو قيمًا مفقودة أو قيمًا فارغة. يتم دعم سمات نوع البيانات سلسلة وعدد صحيح وGUID كمفاتيح أساسية.
    3. بشكل اختياري، غيّر نمط التقسيم‬.
    4. حدد إغلاق لحفظ اللوحة وإغلاقها.

11. حدد حفظ.. تفتح صفحة مصادر‏‎ البيانات التي تعرض مصدر البيانات الجديد في الحالة جارٍ التحديث.

    تلميح

    هناك حالة للمهام والعمليات. تعتمد معظم العمليات على عمليات المتابعة الأخرى، مثل مصادر البيانات والبيانات التي يتم تحديثها.

    حدد الحالة لفتح جزء تفاصيل التقدم واعرض تقدم المهمة. لإلغاء الوظيفة، حدد إلغاء الوظيفة في أسفل الجزء.

    ضمن كل مهمة، يمكنك تحديد راجع التفاصيل لمزيد من معلومات التقدم، مثل وقت المعالجة وتاريخ المعالجة الأخير وأي أخطاء وتحذيرات قابلة للتطبيق مقترنة بالمهمة أو العملية. حدد عرض حالة النظام أسفل اللوحة لرؤية عمليات أخرى في النظام.

قد يستغرق تحميل البيانات وقتا. بعد الانتهاء من التحديث بنجاح، يُمكنك مراجعة البيانات المستوعبة من صفحة البيانات>الجداول.

تحرير مصدر بيانات Azure Data Lake Storage

يمكنك تحديث الخيار الاتصال بحساب تخزين باستخدام. لمزيد من المعلومات، راجع الاتصال بحساب Azure Data Lake Storage باستخدام كيان خدمة Microsoft Entra. للاتصال بحاوية أخرى من حساب التخزين، أو تغيير اسم الحساب، عليك إنشاء اتصال مصدر بيانات جديد.

1. انتقل إلى البيانات>مصادر البيانات. إلى جانب مصدر البيانات الذي تريد تحديثه، حدد تحرير.

2. قم بتغيير أي من المعلومات التالية:

   • الوصف

   • توصيل مساحة التخزين باستخدام ومعلومات الاتصال. لا يمكنك تغيير معلومات الحاوية عند تحديث الاتصال.

     ‏‫ملاحظة‬

     يجب تعيين أحد الأدوار التالية إلى حساب التخزين أو حاوية التخزين:

     • قارئ بيانات مخزن البيانات الثنائية الكبيرة
     • مالك بيانات مخزن البيانات الثنائية الكبيرة
     • المساهم في بيانات مخزن البيانات الثنائية الكبيرة

   • استخدام الهويات المُدارة لـ Azure مع Azure Data Lake Storage الخاص بك؟؟؟

   • تمكين الارتباط الخاص إذا أردت استيعاب البيانات من حساب تخزين عبر Azure Private Link. لمزيد من المعلومات، راجع الارتباطات الخاصة.

3. حدد التالي.

4. قم بتغيير أي مما يلي:

   • تنقل إلى ملف model.json أو manifest.json مختلف مع مجموعة مختلفة من الجداول من حاوية.

   • لإضافة المزيد من الجداول لاستيعابها، حدد جدول جديد.

   • لإزالة أي جداول محددة بالفعل في حالة عدم وجود تبعيات، حدد الجدول والخيار حذف .

     مهم

     في حال وجود تبعيات على ملف model.json أو manifest.json الموجود وعلى مجموعة الجداول، فسترى رسالة خطأ ولا يمكنك تحديد ملف model.json أو manifest.json مختلف. يمكنك إزالة هذه التبعيات قبل تغيير الملف model.json أو manifest.json أو إنشاء ملف مصدر بيانات جديد باستخدام الملف model.json أو manifest.json والذي ترغب في استخدامه لتجنب إزالة التبعيات.

   • لتغيير موقع ملف البيانات أو المفتاح الأساسي، حدد تحرير.

   • لتغيير بيانات الاستيعاب التزايدي، راجع تكوين تحديث تزايدي لمصادر بيانات Azure Data Lake.

   • قم بتغيير اسم الجدول فقط لمطابقة اسم الجدول في ملف json.

     ‏‫ملاحظة

     احتفظ دائمًا باسم الجدول بنفس اسم الجدول في ملف model.json أو Manifest.json بعد العرض. Customer Insights - Data يتحقق من صحة جميع أسماء الجداول باستخدام model.json أو Manifest.json أثناء كل تحديث للنظام. إذا تغير اسم الجدول، يحدث خطأ بسبب Customer Insights - Data لا يمكن العثور على اسم الجدول الجديد في ملف .json. إذا تم تغيير اسم الجدول الذي تم استيعابه عن طريق الخطأ، فقم بتحرير اسم الجدول ليطابق الاسم الموجود في ملف .json.

5. حدد أعمدة لإضافتها أو تغييرها، أو لتمكين تجميع البيانات. ثم حدد تم.

6. حددحفظ لتطبيق التغييرات الخاص بك، ثم عد إلى صفحة مصادر‏‎ البيانات.

   تلميح

   هناك حالة للمهام والعمليات. تعتمد معظم العمليات على عمليات المتابعة الأخرى، مثل مصادر البيانات والبيانات التي يتم تحديثها.

   حدد الحالة لفتح جزء تفاصيل التقدم واعرض تقدم المهمة. لإلغاء الوظيفة، حدد إلغاء الوظيفة في أسفل الجزء.

   ضمن كل مهمة، يمكنك تحديد راجع التفاصيل لمزيد من معلومات التقدم، مثل وقت المعالجة وتاريخ المعالجة الأخير وأي أخطاء وتحذيرات قابلة للتطبيق مقترنة بالمهمة أو العملية. حدد عرض حالة النظام أسفل اللوحة لرؤية عمليات أخرى في النظام.