الاتصال إلى مشاريع Google BigQuery وإدارتها في Microsoft Purview (معاينة)
توضح هذه المقالة كيفية تسجيل مشاريع Google BigQuery وكيفية المصادقة والتفاعل مع Google BigQuery في Microsoft Purview. لمزيد من المعلومات حول Microsoft Purview، اقرأ المقالة التمهيدية.
هام
هذه الميزة موجودة حاليا في PREVIEW. تتضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure شروطاً قانونية إضافية تنطبق على دوال Azure الموجودة في الإصدار التجريبي أو المعاينة أو غير ذلك من البنود التي لم تُصدر بعد في التوفر العام.
الإمكانيات المدعومة
| استخراج البيانات الوصفية | المسح الكامل | المسح الضوئي المتزايد | مسح نطاق | التصنيف | سياسة الوصول | دورة الحياة |
|---|---|---|---|---|---|---|
| نعم | نعم | لا | نعم | لا | لا | نعم |
عند مسح مصدر Google BigQuery، يدعم Microsoft Purview:
استخراج بيانات التعريف التقنية بما في ذلك:
- مشاريع
- مجموعات البيانات
- الجداول بما في ذلك الأعمدة
- طرق العرض بما في ذلك الأعمدة
إحضار دورة حياة ثابتة على علاقات الأصول بين الجداول وطرق العرض.
عند إعداد الفحص، يمكنك اختيار فحص مشروع Google BigQuery بأكمله، أو تحديد نطاق الفحص لمجموعة فرعية من مجموعات البيانات التي تطابق الاسم أو نمط (أنماط) الاسم المحدد.
ملاحظة
حاليا، يدعم Microsoft Purview فقط مسح مجموعات بيانات Google BigQuery في موقع الولايات المتحدة متعدد المناطق. إذا كانت مجموعة البيانات المحددة في موقع آخر مثل us-east1 أو EU، فستلاحظ اكتمال الفحص ولكن لا توجد أصول تظهر في Microsoft Purview.
المتطلبات الأساسية
حساب Azure باشتراك نشط. قم بإنشاء حساب مجاني.
تحتاج إلى أذونات مسؤول مصدر البيانات وقارئ البيانات لتسجيل مصدر وإدارته في مدخل إدارة Microsoft Purview. لمزيد من المعلومات حول الأذونات، راجع التحكم في الوصول في Microsoft Purview.
أعد أحدث وقت تشغيل للتكامل ذاتي الاستضافة. للمزيد من المعلومات، راجع إنشاء وتكوين وقت تشغيل التكامل ذاتي الاستضافة.
تأكد من تثبيت JDK 11 على الجهاز حيث يتم تثبيت وقت تشغيل التكامل المستضاف ذاتيا. أعد تشغيل الجهاز بعد تثبيت JDK حديثا حتى يصبح ساري المفعول.
تأكد من تثبيت Visual C++ القابلة لإعادة التوزيع Visual Studio 2012 التحديث 4 على جهاز وقت تشغيل التكامل المستضاف ذاتياً. إذا لم يكن لديك هذا التحديث مثبتاً، يمكنك تنزيله من هنا.
قم بتنزيل برنامج تشغيل BigQuery JDBC وفك ضغطه على الجهاز حيث يتم تشغيل وقت تشغيل التكامل المستضاف ذاتيا. لاحظ أسفل مسار المجلد الذي ستستخدمه لإعداد الفحص.
ملاحظة
يجب أن يكون برنامج التشغيل متاحا من خلال وقت تشغيل التكامل المستضاف ذاتيا. بشكل افتراضي، يستخدم وقت تشغيل التكامل المستضاف ذاتيا حساب الخدمة المحلي "NT SERVICE\DIAHostService". تأكد من أن لديه إذن "القراءة والتنفيذ" و"سرد محتويات المجلد" إلى مجلد برنامج التشغيل.
تسجيل
يصف هذا القسم كيفية تسجيل مشروع Google BigQuery في Microsoft Purview باستخدام مدخل إدارة Microsoft Purview.
خطوات للتسجيل
انتقل إلى حساب Microsoft Purview الخاص بك.
حدد خريطة البياناتفي شريط التنقل الأيمن.
حدد Register.
في تسجيل المصادر، حدد Google BigQuery. حدد "Continue".
على شاشة مصادر التسجيل (Google BigQuery)، قم بما يلي:
أدخل اسمًا سيدرج مصدر البيانات في الكتالوج.
أدخل ProjectID. يجب أن يكون هذا معرف مشروع مؤهل بالكامل. على سبيل المثال، mydomain.com:myProject
حدد مجموعة أو أنشئ مجموعة جديدة (اختياري)
اختر تسجيل.
مسح
اتبع الخطوات التالية لمسح مشروع Google BigQuery لتحديد الأصول تلقائياً وتصنيف بياناتك. لمزيد من المعلومات حول المسح بشكل عام، راجع مقدمة حول المسح الضوئي والاستيعاب.
إنشاء وتشغيل المسح
في مركز الإدارة، حدد أوقات تشغيل التكامل. تأكد من إعداد وقت تشغيل ذاتي الاستضافة ذاتيًا. إذا لم يتم إعداده، فاستخدم الخطوات المذكورة هنا.
انتقل إلى المصادر.
حدد مشروع BigQuery المسجل.
حدد + فحص جديد.
قدم التفاصيل أدناه:
Name: اسم الفحص
اتصل عبر وقت تشغيل التكامل: حدد وقت تشغيل التكامل ذاتي الاستضافة
بيانات الاعتماد: في أثناء تهيئة بيانات اعتماد BigQuery، تأكد من:
- حدد المصادقة الأساسية كطريقة المصادقة
- قم بتوفير معرف البريد الإلكتروني لحساب الخدمة في حقل اسم المستخدم. على سبيل المثال،
xyz\@developer.gserviceaccount.com - اتبع الخطوات التالية لإنشاء المفتاح الخاص، وانسخ ملف مفتاح JSON بأكمله ثم قم بتخزينه كقيمة لسر Key Vault.
لإنشاء مفتاح خاص جديد من منصة Google السحابية:
- في قائمة التنقل، حدد مسؤول IAM & -> حسابات الخدمة -> تحديد مشروع ->
- حدد عنوان البريد الإلكتروني لحساب الخدمة الذي تريد إنشاء مفتاح له.
- حدد علامة التبويب مفاتيح.
- حدد القائمة المنسدلة إضافة مفتاح، ثم حدد إنشاء مفتاح جديد.
- اختر تنسيق JSON.
ملاحظة
يتم حفظ محتويات المفتاح الخاص في ملف مؤقت على الجهاز الظاهري عند تشغيل عمليات الفحص. يتم حذف هذا الملف المؤقت بعد اكتمال عمليات الفحص بنجاح. في حالة فشل الفحص، سيستمر النظام في إعادة المحاولة حتى النجاح. الرجاء التأكد من تقييد الوصول بشكل مناسب على الجهاز الظاهري حيث يتم تشغيل SHIR.
لفهم المزيد عن بيانات الاعتماد، اضغط على الارتباط هنا.
موقع برنامج التشغيل: حدد المسار إلى موقع برنامج تشغيل JDBC في جهازك حيث يتم تشغيل وقت تشغيل تكامل المضيف الذاتي، على سبيل المثال
D:\Drivers\GoogleBigQuery. إنه المسار إلى موقع مجلد JAR صالح. تأكد من إمكانية الوصول إلى برنامج التشغيل بواسطة وقت تشغيل التكامل المستضاف ذاتيا، وتعرف على المزيد من قسم المتطلبات الأساسية.مجموعة البيانات: حدد قائمة بمجموعات بيانات BigQuery لاستيرادها. على سبيل المثال، dataset1; dataset2. عندما تكون القائمة فارغة، يتم استيراد كافة مجموعات البيانات المتوفرة. تتضمن أنماط أسماء مجموعات البيانات المقبولة باستخدام بناء جملة تعبيرات مثل SQL استخدام %.
مثال: A٪؛ ٪B؛ ٪C٪؛ د
- تبدأ بـ A أو
- تنتهي بـ B أو
- تحتوي على C أو
- مساوي لـ D
استخدام NOT والأحرف الخاصة غير مقبول.
الحد الأقصى للذاكرة المتوفرة: الحد الأقصى للذاكرة (بالجيجابايت) المتوفر على الجهاز الظاهري ليتم استخدامه بواسطة عمليات المسح الضوئي. يعتمد هذا على حجم مشروع Google BigQuery الذي سيتم فحصه.
حدد Test connection.
حدد Continue.
اختر "scan trigger" لديك. يمكنك إعداد جدول زمني أو إجراء المسح مرة واحدة.
راجع عملية المسح ثم حدد حفظ وتشغيل.
عرض عمليات المسح ودوراته
لعرض عمليات المسح الموجودة، نفذ ما يلي:
انتقل إلى مدخل إدارة Microsoft Purview. حدد علامة التبويب خريطة البيانات الموجودة أسفل الجزء الأيمن.
حدد مصدر البيانات المطلوب. ستظهر لك قائمة بعمليات الفحص الموجودة على مصدر البيانات هذا ضمن عمليات الفحص الحديثة، أو يمكنك عرض جميع عمليات الفحص ضمن علامة التبويب عمليات الفحص.
حدد الفحص الذي يحتوي على النتائج التي تريد عرضها.
ستعرض لك هذه الصفحة جميع عمليات الفحص السابقة التي تعمل جنبًا إلى جنب مع الحالة والمقاييس لكل عملية فحص. ستعرض لك أيضًا ما إذا كان الفحص مُجدولاً أم يدويًا وعدد الأصول التي طُبقت التصنيفات عليها وعدد إجمالي الأصول التي تم اكتشافها ووقت بدء الفحص وانتهاءه ومدة الفحص الإجمالية.
إدارة عمليات الفحص - تعديل أو حذف أو إلغاء
لإدارة عملية مسح ضوئي أو حذفها، قم بما يلي:
انتقل إلى مدخل إدارة Microsoft Purview. حدد علامة التبويب خريطة البيانات الموجودة أسفل الجزء الأيمن.
حدد مصدر البيانات المطلوب. ستظهر لك قائمة بعمليات الفحص الموجودة على مصدر البيانات هذا ضمن عمليات الفحص الحديثة، أو يمكنك عرض جميع عمليات الفحص ضمن علامة التبويب عمليات الفحص.
اختر الفحص الذي ترغب في إدارته. يمكنك تحرير الفحص باختيار تحرير الفحص.
يمكنك إلغاء فحص قيد التقدم من خلال تحديد إلغاء تشغيل الفحص.
ويمكنك حذف الفحص باختيار حذف الفحص.
ملاحظة
- لا يؤدي حذف القراءة إلى حذف أصول الكتالوج التي تم إنشاؤها من عمليات القراءة السابقة.
- لن يتم تحديث الأصل بعد الآن بتغييرات المخطط إذا تغير الجدول المصدر وأعدت فحص الجدول المصدر بعد تحرير الوصف في علامة تبويب المخطط في Microsoft Purview.
دورة الحياة
بعد مسح مصدر Google BigQuery، يمكنك استعراض كتالوج البيانات أو كتالوج بيانات البحث لعرض تفاصيل الأصل.
انتقل إلى علامة تبويب الأصل -> دورة الحياة، يمكنك مشاهدة علاقة الأصل عند الاقتضاء. راجع قسم الإمكانات المدعومة في سيناريوهات دورة حياة Google BigQuery المدعومة. لمزيد من المعلومات حول دورة حياة البيانات بشكل عام، راجع دليل مستخدم دورة حياة البيانات و دورة حياة البيانات.
الخطوات التالية
الآن بعد أن قمت بتسجيل المصدر، اتبع الإرشادات أدناه لمعرفة المزيد حول Microsoft Purview وبياناتك.