Share via

معالجة البيانات على الحافة باستخدام البنية الأساسية لبرنامج ربط العمليات التجارية Azure IoT Data Processor Preview

  • مقالة

هام

معاينة عمليات Azure IoT - التي تم تمكينها بواسطة Azure Arc قيد المعاينة حاليا. يجب عدم استخدام برنامج المعاينة هذا في بيئات الإنتاج.

للحصول على الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي، أو المعاينة، أو التي لم يتم إصدارها بعد في التوفر العام، راجع شروط الاستخدام التكميلية لمعاينات Microsoft Azure.

تولد الأصول الصناعية البيانات في العديد من الأشكال المختلفة وتستخدم بروتوكولات اتصال مختلفة. هذا التنوع في مصادر البيانات، إلى جانب المخططات المختلفة ومقاييس الوحدة، يجعل من الصعب استخدام البيانات الصناعية الخام وتحليلها بفعالية. علاوة على ذلك، لأسباب تتعلق بالتوافق والأمان والأداء، لا يمكنك تحميل جميع مجموعات البيانات إلى السحابة.

لمعالجة هذه البيانات عادة يتطلب هندسة بيانات مكلفة ومعقدة وتستغرق وقتا طويلا. Azure IoT Data Processor Preview هي خدمة معالجة بيانات قابلة للتكوين يمكنها إدارة تعقيدات البيانات الصناعية وتنوعها. استخدم معالج البيانات لجعل البيانات من مصادر متباينة أكثر قابلية للفهم والاستخدام وقيمة.

ما هي معاينة معالج بيانات Azure IoT؟

Azure IoT Data Processor Preview هو مكون من Azure IoT Operations Preview. يتيح لك معالج البيانات تجميع البيانات من أجهزتك وإثراءها وتطبيعها وتصفيتها. معالج البيانات هو محرك معالجة بيانات يستند إلى البنية الأساسية لبرنامج ربط العمليات التجارية يتيح لك معالجة البيانات على الحافة قبل إرسالها إلى الخدمات الأخرى إما على الحافة أو في السحابة:

Diagram of the Azure IoT Operations architecture that highlights the Data Processor component.

معالج البيانات ي استيعاب البيانات المتدفقة في الوقت الحقيقي من مصادر مثل خوادم OPC UA والمؤرخين والأنظمة الصناعية الأخرى. يقوم بتطبيع هذه البيانات عن طريق تحويل تنسيقات البيانات المختلفة إلى تنسيق موحد ومنظم، ما يسهل الاستعلام والتحليل. يمكن لمعالج البيانات أيضا وضع البيانات في سياقها، وإثرائها ببيانات مرجعية أو آخر قيم معروفة (LKV) لتوفير عرض شامل لعملياتك الصناعية.

الإخراج من معالج البيانات هو بيانات نظيفة ومثرية وموحدة جاهزة لتطبيقات انتقال البيانات من الخادم مثل أدوات التحليلات والرؤى في الوقت الفعلي. يقلل معالج البيانات بشكل كبير من الوقت المطلوب لتحويل البيانات الأولية إلى رؤى قابلة للتنفيذ.

تتضمن ميزات معالج البيانات الرئيسية ما يلي:

  • تسوية البيانات المرنة لتحويل تنسيقات بيانات متعددة إلى بنية موحدة.

  • إثراء تدفقات البيانات مع البيانات المرجعية أو بيانات LKV لتحسين السياق وتمكين رؤى أفضل.

  • تكامل Microsoft Fabric المدمج لتبسيط تحليل البيانات النظيفة.

  • القدرة على معالجة البيانات من مصادر مختلفة ونشر البيانات إلى وجهات مختلفة.

  • كمنصة معالجة بيانات غير محددة البيانات، يمكن لمعالج البيانات استيعاب البيانات بأي تنسيق، ومعالجة البيانات، ثم كتابتها إلى وجهة. لدعم هذه الإمكانات، يمكن لمعالج البيانات إلغاء تسلسل وتنسيقات مختلفة. على سبيل المثال، يمكن إجراء تسلسل ل parquet لكتابة الملفات إلى Microsoft Fabric.

  • نهج إعادة المحاولة التلقائية والقابلة للتكوين لمعالجة الأخطاء العابرة عند إرسال البيانات إلى وجهات السحابة.

What is a pipeline?‎

يحتوي مسار معالج البيانات على مصدر إدخال حيث يقرأ البيانات منه، ووجهة حيث يكتب البيانات المعالجة إليها، وعدد متغير من المراحل المتوسطة لمعالجة البيانات.

Diagram that shows how a pipeline is made up from stages.

تمثل المراحل المتوسطة قدرات معالجة البيانات المتوفرة المختلفة:

  • يمكنك إضافة العديد من المراحل الوسيطة كما تحتاج إلى البنية الأساسية لبرنامج ربط العمليات التجارية.
  • يمكنك طلب المراحل الوسيطة للبنية الأساسية لبرنامج ربط العمليات التجارية حسب حاجتك. يمكنك إعادة ترتيب المراحل بعد إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية.
  • تلتزم كل مرحلة بواجهة تنفيذ محددة وعقد مخطط الإدخال/الإخراج.
  • كل مرحلة مستقلة عن المراحل الأخرى في البنية الأساسية لبرنامج ربط العمليات التجارية.
  • تعمل جميع المراحل ضمن نطاق القسم. لا تتم مشاركة البيانات بين أقسام مختلفة.
  • تتدفق البيانات من مرحلة إلى أخرى فقط.

يمكن أن تستخدم مسارات معالج البيانات المراحل التالية:

مرحلة ‏‏الوصف
المصدر - MQ استرداد البيانات من وسيط MQTT.
المصدر - نقطة نهاية HTTP استرداد البيانات من نقطة نهاية HTTP.
المصدر - SQL استرداد البيانات من قاعدة بيانات Microsoft SQL Server.
المصدر - InfluxDB استرداد البيانات من قاعدة بيانات InfluxDB.
عامل التصفية تصفية البيانات القادمة من خلال المرحلة. على سبيل المثال، قم بتصفية أي رسالة بها درجة حرارة خارج 50F-150F النطاق.
تحويل تسوية بنية البيانات. على سبيل المثال، قم بتغيير البنية من {"Name": "Temp", "value": 50} إلى {"temp": 50}.
LKV يخزن قيم القياس المحددة في مخزن LKV. على سبيل المثال، قم بتخزين قياسات درجة الحرارة والرطوبة فقط في LKV، وتجاهل الباقي. يمكن للمرحلة اللاحقة إثراء رسالة ببيانات LKV المخزنة.
إثراء إثراء الرسائل بالبيانات من مخزن البيانات المرجعية. على سبيل المثال، أضف اسم عامل التشغيل ورقم اللوط من مجموعة بيانات العمليات.
تجميع تجميع القيم التي تمر عبر المرحلة. على سبيل المثال، عندما يتم إرسال قيم درجة الحرارة كل 100 مللي ثانية، يصدر مقياس متوسط درجة الحرارة كل 30 ثانية.
استدعاء إجراء مكالمة إلى خدمة HTTP أو gRPC خارجية. على سبيل المثال، استدعاء دالة Azure للتحويل من تنسيق رسالة مخصص إلى JSON.
الوجهة - MQ يكتب بياناتك المعالجة والنظيفة والسياقية إلى موضوع MQTT.
الوجهة - مرجع كتابة البيانات المعالجة إلى المخزن المرجعي المضمن. يمكن للبنية الأساسية لبرنامج ربط العمليات التجارية الأخرى استخدام المخزن المرجعي لإثراء رسائلها.
الوجهة - gRPC إرسال بياناتك المعالجة والنظيفة والسياقية إلى نقطة نهاية gRPC.
الوجهة - HTTP إرسال بياناتك المعالجة والنظيفة والسياقية إلى نقطة نهاية HTTP.
الوجهة - Fabric Lakehouse إرسال بياناتك المعالجة والنظيفة والسياقية إلى مستودع Microsoft Fabric في السحابة.
الوجهة - Azure Data Explorer إرسال بياناتك المعالجة والنظيفة والسياقية إلى نقطة نهاية Azure Data Explorer في السحابة.
الوجهة - Azure Blob Storage إرسال بياناتك المعالجة والنظيفة والسياقية إلى نقطة نهاية Azure Blob Storage في السحابة.

الخطوة التالية

لتجربة مسارات معالج البيانات، راجع التشغيل السريع لعمليات Azure IoT.

لمعرفة المزيد حول معالج البيانات، راجع: