فهرسة البيانات باستخدام موصلات Power Query (معاينة)
هام
Power Query دعم الموصل حاليا في معاينة عامة مسورة. قم بالتسجيل لطلب الوصول.
إذا كنت تستخدم مفهرسا للزحف إلى مصادر البيانات الخارجية للفهرسة، فيمكنك الآن استخدام موصلات Power Query المحددة لاتصال مصدر البيانات في Azure Cognitive Search.
يمكن أن تصل موصلات Power Query إلى مجموعة أوسع من مصادر البيانات، بما في ذلك تلك الموجودة على موفري الخدمات السحابية الآخرين. تتضمن مصادر البيانات الجديدة المدعومة في هذه المعاينة ما يلي:
- Amazon Redshift
- ElasticSearch
- PostgreSQL
- كائنات قوة المبيعات
- تقارير سيلزفورس
- Smartsheet
- Snowflake
توضح لك هذه المقالة نهجا يستند إلى مدخل Azure لإعداد مفهرس باستخدام موصلات Power Query. حاليا، لا يوجد دعم SDK.
ملاحظة
يتم توفير وظيفة المعاينة ضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure ولا يوصى بها لأحمال عمل الإنتاج.
الوظائف المدعومة
تستخدم Power Query الموصلات في المفهرسات. المفهرس في Azure Cognitive Search هو زاحف يستخرج البيانات القابلة للبحث وبيانات التعريف من مصدر بيانات خارجي ويملأ فهرسا استنادا إلى تعيينات من حقل إلى حقل بين الفهرس ومصدر البيانات. يشار إلى هذا النهج أحيانا باسم "نموذج السحب" لأن الخدمة تسحب البيانات دون الحاجة إلى كتابة أي رمز يضيف بيانات إلى فهرس. توفر المفهرسات طريقة ملائمة للمستخدمين لفهرسة المحتوى من مصدر البيانات الخاص بهم دون الحاجة إلى كتابة الزاحف الخاص بهم أو نموذج الدفع.
تتمتع المفهرسات التي تشير إلى مصادر بيانات Power Query بنفس مستوى الدعم لمجموعات المهارات والجداول الزمنية ومنطق اكتشاف تغيير العلامة المائية العالية ومعظم المعلمات التي تدعمها المفهرسات الأخرى.
المتطلبات الأساسية
قبل البدء في سحب البيانات من أحد مصادر البيانات المدعومة، ستحتاج إلى التأكد من إعداد جميع مواردك.
Azure Cognitive خدمة البحث في منطقة مدعومة.
سجل للحصول على المعاينة. يجب تمكين هذه الميزة على الواجهة الخلفية.
حساب Azure Blob Storage، يستخدم كوسيط لبياناتك. ستتدفق البيانات من مصدر البيانات الخاص بك ، ثم إلى Blob Storage ، ثم إلى الفهرس. هذا المطلب موجود فقط مع المعاينة الأولية المسورة.
التوفر الإقليمي
تتوفر المعاينة فقط على خدمات البحث في المناطق التالية:
- وسط الولايات المتحدة
- شرق الولايات المتحدة
- East US 2
- شمال وسط الولايات المتحدة
- شمال أوروبا
- جنوب وسط الولايات المتحدة
- غرب وسط الولايات المتحدة
- غرب أوروبا
- غرب الولايات المتحدة
- منطقة غرب الولايات المتحدة الأمريكية 2
قيود المعاينة
هناك الكثير مما يجب أن نكون متحمسين له مع هذه المعاينة ، ولكن هناك بعض القيود. يصف هذا القسم القيود الخاصة بالإصدار الحالي من المعاينة.
سحب البيانات الثنائية من مصدر البيانات غير مدعوم في هذا الإصدار من المعاينة.
جلسات تصحيح الأخطاء غير مدعومة في الوقت الحالي.
بدء استخدام مدخل Azure
توفر بوابة Azure الإلكترونية الدعم لموصلات Power Query. من خلال أخذ عينات من البيانات وقراءة بيانات التعريف على الحاوية، يمكن لمعالج استيراد البيانات في Azure Cognitive Search إنشاء فهرس افتراضي وتعيين حقول المصدر لحقول الفهرس المستهدفة وتحميل الفهرس في عملية واحدة. اعتمادا على حجم وتعقيد بيانات المصدر ، يمكن أن يكون لديك فهرس بحث عن النص الكامل التشغيلي في دقائق.
يوضح الفيديو التالي كيفية إعداد موصل Power Query في Azure Cognitive Search.
الخطوة 1 - إعداد بيانات المصدر
تأكد من أن مصدر البيانات يحتوي على بيانات. يقرأ معالج استيراد البيانات بيانات التعريف ويقوم بإجراء أخذ عينات من البيانات لاستنتاج مخطط فهرس، ولكنه يقوم أيضا بتحميل البيانات من مصدر البيانات. إذا كانت البيانات مفقودة ، فسيتوقف المعالج ويعود ويخطئ.
الخطوة 2 - بدء معالج استيراد البيانات
بعد الموافقة على المعاينة، سيوفر لك فريق البحث المعرفي في Azure رابط مدخل Azure يستخدم علامة معلم بحيث يمكنك الوصول إلى موصلات Power Query. افتح هذه الصفحة وابدأ تشغيل المعالج من شريط الأوامر في صفحة Azure Cognitive خدمة البحث عن طريق تحديد استيراد البيانات.
الخطوة 3 - حدد مصدر البيانات الخاص بك
هناك عدد قليل من مصادر البيانات التي يمكنك سحب البيانات منها باستخدام هذه المعاينة. ستتضمن جميع مصادر البيانات التي تستخدم Power Query "مدعوم من Power Query" على اللوحة الخاصة بها. حدد مصدر البيانات.
بمجرد تحديد مصدر البيانات، حدد التالي : تكوين بياناتك للانتقال إلى القسم التالي.
الخطوة 4 - تكوين بياناتك
بمجرد تحديد مصدر البيانات، ستقوم بتكوين الاتصال. سيتطلب كل مصدر بيانات معلومات مختلفة. بالنسبة إلى بعض مصادر البيانات، توفر وثائق Power Query تفاصيل إضافية حول كيفية الاتصال ببياناتك.
بمجرد تقديم بيانات اعتماد الاتصال، حدد التالي.
الخطوة 5 - حدد بياناتك
سيقوم معالج الاستيراد بمعاينة الجداول المختلفة المتوفرة في مصدر البيانات. في هذه الخطوة، ستتحقق من جدول واحد يحتوي على البيانات التي تريد استيرادها إلى الفهرس.
بمجرد تحديد الجدول، حدد التالي.
الخطوة 6 - تحويل بياناتك (اختياري)
توفر لك موصلات Power Query تجربة واجهة مستخدم غنية تسمح لك بمعالجة بياناتك حتى تتمكن من إرسال البيانات الصحيحة إلى فهرسك. يمكنك إزالة الأعمدة وتصفية الصفوف وغير ذلك الكثير.
ليس مطلوبا منك تحويل بياناتك قبل استيرادها إلى Azure Cognitive Search.
لمزيد من المعلومات حول تحويل البيانات باستخدام Power Query، راجع استخدام Power Query في Power BI Desktop.
بمجرد الانتهاء من تحويل بياناتك، حدد التالي.
الخطوة 7 - إضافة تخزين Azure Blob
تتطلب منك معاينة موصل Power Query حاليا توفير حساب تخزين blob. توجد هذه الخطوة فقط مع المعاينة الأولية المسورة. سيكون حساب تخزين blob هذا بمثابة تخزين مؤقت للبيانات التي تنتقل من مصدر البيانات إلى فهرس Azure Cognitive Search.
نوصي بتوفير سلسلة اتصال حساب تخزين الوصول الكامل:
{ "connectionString" : "DefaultEndpointsProtocol=https;AccountName=<your storage account>;AccountKey=<your account key>;" }
يمكنك الحصول على سلسلة الاتصال من مدخل Azure من خلال الانتقال إلى المفاتيح النصلية > لحساب التخزين الإعدادات (لحسابات التخزين الكلاسيكية) أو مفاتيح الوصول الإعدادات >> (لحسابات التخزين Resource Manager Azure).
بعد تقديم اسم مصدر بيانات وسلسلة اتصال، حدد "التالي: إضافة مهارات معرفية (اختياري)".
الخطوة 8 - إضافة المهارات المعرفية (اختياري)
يعد إثراء الذكاء الاصطناعي امتدادا للمفهرسات التي يمكن استخدامها لجعل المحتوى الخاص بك أكثر قابلية للبحث.
هذه خطوة اختيارية لهذه المعاينة. عند الانتهاء، حدد التالي: تخصيص الفهرس المستهدف.
الخطوة 9 - تخصيص الفهرس المستهدف
في صفحة الفهرس، من المفترض أن تشاهد قائمة بالحقول التي تحتوي على نوع بيانات وسلسلة من خانات الاختيار لإعداد سمات الفهرس. يمكن للمعالج إنشاء قائمة حقول استنادا إلى بيانات التعريف وعن طريق أخذ عينات من البيانات المصدر.
يمكنك التحديد المجمع للسمات بالنقر فوق خانة الاختيار أعلى عمود السمة. اختر قابل للاسترداد وقابل للبحث لكل حقل يجب إرجاعه إلى تطبيق عميل ويخضع لمعالجة البحث عن النص الكامل. ستلاحظ أن الأعداد الصحيحة ليست نصا كاملا أو غامضة للبحث (يتم تقييم الأرقام حرفيا وغالبا ما تكون مفيدة في المرشحات).
راجع وصف سمات الفهرس ومحللي اللغة للحصول على مزيد من المعلومات.
خذ لحظة لمراجعة اختياراتك. بمجرد تشغيل المعالج، يتم إنشاء هياكل البيانات الفعلية ولن تتمكن من تحرير معظم خصائص هذه الحقول دون إسقاط جميع الكائنات وإعادة إنشائها.
عند الانتهاء، حدد التالي: إنشاء مفهرس.
الخطوة 10 - إنشاء مفهرس
الخطوة الأخيرة بإنشاء المفهرس. تسمح تسمية المفهرس بوجوده كمورد مستقل، والذي يمكنك جدولته وإدارته بشكل مستقل عن كائن الفهرس ومصدر البيانات، الذي تم إنشاؤه في نفس تسلسل المعالج.
مخرجات معالج استيراد البيانات عبارة عن مفهرس يزحف إلى مصدر البيانات ويستورد البيانات التي حددتها إلى فهرس على البحث المعرفي في Azure.
عند إنشاء المفهرس، يمكنك اختياريا اختيار تشغيل المفهرس على جدول زمني وإضافة اكتشاف التغيير. لإضافة اكتشاف التغيير، قم بتعيين عمود "علامة مائية عالية".
بمجرد الانتهاء من ملء هذه الصفحة ، حدد إرسال.
سياسة الكشف عن تغيير علامة المياه العالية
يعتمد نهج اكتشاف التغيير هذا على عمود "علامة مائية عالية" يلتقط الإصدار أو الوقت الذي تم فيه آخر تحديث للصف.
المتطلبات
- تحدد جميع عمليات الإدراج قيمة للعمود.
- تؤدي جميع التحديثات إلى عنصر أيضا إلى تغيير قيمة العمود.
- تزداد قيمة هذا العمود مع كل إدراج أو تحديث.
أسماء الأعمدة غير المعتمدة
يجب أن تفي أسماء الحقول في فهرس البحث المعرفي في Azure بمتطلبات معينة. أحد هذه المتطلبات هو أن بعض الأحرف مثل "/" غير مسموح بها. إذا كان اسم العمود في قاعدة البيانات لا يفي بهذه المتطلبات، فلن يتعرف اكتشاف مخطط الفهرس على العمود كاسم حقل صالح ولن ترى هذا العمود مدرجا كحقل مقترح للفهرس. عادة ما يؤدي استخدام تعيينات الحقول إلى حل هذه المشكلة ولكن تعيينات الحقول غير مدعومة في البوابة الإلكترونية.
لفهرسة محتوى من عمود في جدولك يحتوي على اسم حقل غير معتمد، أعد تسمية العمود أثناء مرحلة "تحويل بياناتك" من عملية استيراد البيانات. على سبيل المثال، يمكنك إعادة تسمية عمود باسم "رمز الفوترة/الرمز البريدي" إلى "الرمز البريدي". من خلال إعادة تسمية العمود، سيتعرف اكتشاف مخطط الفهرس عليه كاسم حقل صالح ويضيفه كاقتراح إلى تعريف الفهرس.
الخطوات التالية
لقد تعلمت كيفية سحب البيانات من مصادر بيانات جديدة باستخدام موصلات Power Query. لمعرفة المزيد حول المفهرسات، راجع المفهرسات في البحث المعرفي في Azure.