تعيين تدفقات البيانات في Azure Data Factory
ينطبق على:
Azure Data Factory Azure Synapse Analytics
ماذا يُقصد بتعيين تدفق البيانات؟
تعيين تدفق البيانات هي تحويلات بيانات مصممة بصرياً في Azure Data Factory. يسمح تدفق البيانات لمهندسي البيانات بتطوير منطق تحويل البيانات دون كتابة التعليمات البرمجية. يتم تنفيذ تدفقات البيانات الناتجة كأنشطة داخل البنية الأساسية لبرنامج ربط العمليات التجارية Azure Data Factory التي تستخدم مجموعات Apache Spark المتدرجة. يمكن تفعيل أنشطة تدفق البيانات باستخدام إمكانيات الجدولة والتحكم والتدفق والمراقبة الحالية في Azure Data Factory.
يوفر تعيين تدفق البيانات تجربة مرئية بالكامل دون الحاجة إلى ترميز. تعمل تدفقات البيانات الخاصة بك على مجموعات التنفيذ المُدارة بواسطة ADF لمعالجة البيانات المتدرجة. يعالج Azure Data Factory جميع ترجمة التعليمات البرمجية وتحسين المسار وتنفيذ مهام تدفق البيانات.
الشروع في العمل
يتم إنشاء تدفقات البيانات من جزء موارد المصنع مثل المسارات ومجموعات البيانات. لإنشاء تدفق بيانات، حدد علامة الجمع بجوار Factory Resources، ثم حدد Data Flow.
يأخذك هذا الإجراء إلى لوحة تدفق البيانات، التي يمكنك من خلالها إنشاء منطق التحويل. حدد Add source لبدء تكوين تحويل المصدر. لمزيد من المعلومات، راجع تحويل المصدر.
تدفقات بيانات التأليف
لتعيين تدفق البيانات لوحة تأليف فريدة من نوعها مصممة لجعل بناء منطق التحول سهلاً. يتم فصل لوحة تدفق البيانات إلى ثلاثة أجزاء: الشريط العلوي والرسم البياني ولوحة التكوين.
Graph
يعرض الرسم البياني دفق التحويل. يظهر دورة حياة بيانات المصدر أثناء تدفقها إلى متلقٍ واحد أو أكثر. لإضافة مصدر جديد، حدد Add source. لإضافة تحويل جديد، حدد علامة الجمع على الجانب الأيمن السفلي من تحويل موجود. تعرف على المزيد حول كيفية إدارة الرسم البياني لتدفق البيانات.
لوحة التكوين
تعرض لوحة التكوين الإعدادات الخاصة بالتحويل المحدد حالياً. إذا لم يتم تحديد أي تحويل، فإنها تظهر تدفق البيانات. في تكوين تدفق البيانات الكلي، يمكنك إضافة معلمات عبر علامة التبويب Parameters.لمزيد من المعلومات، راجع تعيين معلمات تدفق البيانات.
يحتوي كل تحويل على أربع علامات تبويب تكوين على الأقل.
إعدادات التحويل
تحتوي علامة التبويب الأولى في كل جزء تكوين التحويل على إعدادات خاصة بهذا التحويل. لمزيد من المعلومات، راجع صفحة وثائق هذا التحويل.
تحسين
تحتوي علامة التبويب Optimize على إعدادات لتكوين أنظمة التقسيم. لمعرفة المزيد حول كيفية تحسين تدفق البيانات، راجع دليل أداء تعيين تدفق البيانات.
فحص
توفر علامة التبويب Inspect طريقة عرض في بيانات التعريف الخاصة بتدفق البيانات الذي تقوم بتحويله. يمكنك مشاهدة عدد الأعمدة، والأعمدة التي تم تغييرها، والأعمدة المضافة، وأنواع البيانات، وترتيب الأعمدة، ومراجع الأعمدة. الفحص هو طريقة عرض للقراءة فقط لبيانات التعريف. لا تحتاج إلى تمكين وضع تتبع الأخطاء لرؤية بيانات التعريف في جزء الفحص.
عند تغيير شكل بياناتك من خلال التحويلات، سترى تدفق تغييرات بيانات التعريف في جزء الفحص. إذا لم يكن هناك مخطط معرف في تحويل المصدر، فلن تكون بيانات التعريف مرئية في جزء الفحص. نقص بيانات التعريف شائع في سيناريوهات انجراف المخطط.
معاينة البيانات
إذا كان وضع تتبع الأخطاء قيد التشغيل، فإن علامة التبويب Data Preview تمنحك لقطة تفاعلية للبيانات عند كل تحويل. لمزيد من المعلومات، راجع معاينة البيانات في وضع تتبع الأخطاء.
الشريط العلوي
يحتوي الشريط العلوي على إجراءات تؤثر على تدفق البيانات بالكامل، مثل الحفظ والتحقق من الصحة. يمكنك عرض التعليمات البرمجية JSON الأساسية والبرنامج النصي لتدفق البيانات من منطق التحويل الخاص بك أيضاً. لمزيد من المعلومات، تعرف على البرنامج النصي لتدفق البيانات.
التحويلات المتاحة
اعرض نظرة عامة على تعيين تحويل تدفق البيانات للحصول على قائمة بالتحويلات المتاحة.
أنواع بيانات تدفق البيانات
- صفيف
- ثنائي
- منطقي
- معقد
- عشري (يتضمن الدقة)
- التاريخ
- حُر
- عدد صحيح
- طويل
- map
- قصير
- سلسلة
- طابع زمني
نشاط تدفق البيانات
يتم تشغيل تعيين تدفقات البيانات داخل مسارات ADF باستخدام نشاط تدفق البيانات. كل ما على المستخدم القيام به هو تحديد وقت تشغيل التكامل الذي يجب استخدامه وتمريره في قيم المعلمات. لمزيد من المعلومات، تعرف على وقت تشغيل تكامل Azure.
وضع تصحيح الأخطاء
يسمح لك وضع تتبع الأخطاء بالاطلاع بشكل تفاعلي على نتائج كل خطوة تحويل أثناء إنشاء تدفقات البيانات وتصحيحها. يمكن استخدام جلسة عمل تتبع الأخطاء في كل من عند إنشاء منطق تدفق البيانات وتشغيل تتبع أخطاء المسارات الذي يعمل مع أنشطة تدفق البيانات. لمعرفة المزيد، راجع وثائق وضع تتبع الأخطاء.
مراقبة تدفق البيانات
يدمج تعيين تدفق البيانات مع قدرات مراقبة Azure Data Factory الموجودة. لمعرفة كيفية فهم إخراج مراقبة تدفق البيانات، راجع مراقبة تعيين تدفقات البيانات.
قام فريق Azure Data Factory بإنشاء دليل ضبط الأداء لمساعدتك على تحسين وقت تنفيذ تدفقات البيانات بعد إنشاء منطق تسلسل العمل.
المناطق المتاحة
يتوفر تعيين تدفقات البيانات في المناطق التالية في ADF:
| منطقة Azure | تدفق البيانات في ADF |
|---|---|
| وسط أستراليا | |
| وسط أستراليا 2 | |
| شرق أستراليا | ✓ |
| جنوب شرق أستراليا | ✓ |
| جنوب البرازيل | ✓ |
| كندا الوسطى | ✓ |
| وسط الهند | ✓ |
| وسط الولايات المتحدة | ✓ |
| شرق الصين | |
| منطقة شرق الصين 2 | |
| الصين غير الإقليمية | |
| شمال الصين | ✓ |
| منطقة شمال الصين 2 | ✓ |
| شرق آسيا | ✓ |
| شرق الولايات المتحدة | ✓ |
| شرق الولايات المتحدة 2 | ✓ |
| فرنسا الوسطى | ✓ |
| جنوب فرنسا | |
| منطقة وسط ألمانيا (السيادية) | |
| ألمانيا غير الإقليمية (السيادية) | |
| منطقة شمال ألمانيا (العامة) | |
| منطقة شمال شرق ألمانيا (السيادية) | |
| وسط غرب ألمانيا (العامة) | ✓ |
| شرق اليابان | ✓ |
| غرب اليابان | ✓ |
| وسط كوريا | ✓ |
| كوريا الجنوبية | |
| North Central US | ✓ |
| شمال أوروبا | ✓ |
| شرق النرويج | ✓ |
| غرب النرويج | |
| شمال جنوب أفريقيا | ✓ |
| غرب جنوب أفريقيا | |
| جنوب وسط الولايات المتحدة | |
| منطقة جنوب الهند | ✓ |
| جنوب شرق آسيا | ✓ |
| شمال سويسرا | ✓ |
| غرب سويسرا | |
| الإمارات العربية المتحدة، الوسط | |
| شمال الإمارات العربية المتحدة | ✓ |
| جنوب المملكة المتحدة | ✓ |
| غرب المملكة المتحدة | |
| US DoD - المنطقة المركزية | |
| US DoD - المنطقة الشرقية | |
| US Gov – أريزونا | ✓ |
| US Gov - غير الإقليمية | |
| ولاية تكساس الأمريكية | |
| ولاية فرجينيا الأمريكية | ✓ |
| غرب وسط الولايات المتحدة | |
| غرب أوروبا | ✓ |
| West India | ✓ |
| غرب الولايات المتحدة | ✓ |
| منطقة غرب الولايات المتحدة الأمريكية 2 | ✓ |
| غرب الولايات المتحدة الأمريكية 3 | ✓ |
الخطوات التالية
- تعرف على كيفية إنشاء تحويل مصدر.
- تعرف على كيفية إنشاء تدفقات البيانات في وضع تتبع الأخطاء.