Azure Data Lake Storage إخراج Gen 1 من Azure Stream Analytics

  • مقالة
  • قراءة خلال 2 دقائق

يدعم Stream Analytics مخرجات الجيل 1 Azure Data Lake Storage. يعد Azure Data Lake Storage مستودعًا واسع النطاق على مستوى المؤسسة لأحمال العمل التحليلية للبيانات الضخمة. يمكنك استخدام Data Lake Storage لتخزين البيانات من أي حجم ونوع وسرعة استيعاب للتحليلات التشغيلية والاستكشافية. يجب أن يكون Stream Analytics مخولا بالوصول إلى Data Lake Storage.

لا يتوفر Azure Data Lake Storage الإخراج من Stream Analytics في منطقتي Azure China 21Vianet وAzure Germany (T-Systems International).

تكوين الإخراج

يسرد الجدول التالي أسماء الخصائص وأوصافها لتكوين إخراج Data Lake Storage Gen 1.

اسم الخاصية الوصف
اسم مستعار للإخراج اسم مألوف يُستخدم في الاستعلامات لتوجيه إخراج الاستعلام إلى Data Lake Store.
الاشتراك الاشتراك الذي يحتوي على حساب Azure Data Lake Storage الخاص بك.
اسم الحساب اسم حساب Data Lake Store حيث ترسل الإخراج. تظهر لك قائمة منسدلة بحسابات Data Lake Store المتوفرة في اشتراكك.
نمط بادئة المسار مسار الملف المستخدم لكتابة ملفاتك داخل حساب Data Lake Store المحدد. يمكنك تحديد مثيل واحد أو أكثر من متغيري {date} و {time}:
  • مثال 1: folder1/logs/{date}/{time}
  • مثال 2: folder1/logs/{date}

الطابع الزمني لهيكل المجلد الذي تم إنشاؤه يتبع التوقيت العالمي المنسق وليس التوقيت المحلي.

إذا كان نمط مسار الملف لا يحتوي على شرطة مائلة زائدة (/)، التعامل مع النمط الأخير في مسار الملف كبادئة اسم ملف.

يتم إنشاء ملفات جديدة في هذه الظروف:
  • التغيير في مخطط المخرجات
  • إعادة التشغيل الخارجي أو الداخلي لوظيفة
تنسيق التاريخ ‏‏اختياري. إذا تم استخدام رمز التاريخ المميز في مسار البادئة، يمكنك تحديد تنسيق التاريخ الذي يتم تنظيم ملفاتك به. مثال: YYYY/MM/DD
تنسيق الوقت ‏‏اختياري. إذا تم استخدام رمز الوقت في مسار البادئة، فحدد تنسيق الوقت الذي يتم تنظيم ملفاتك به. القيمة الوحيدة المدعومة حاليًا هي HH.
تنسيق تسلسل الأحداث تنسيق التسلسل لبيانات الإخراج. يتم دعم JSON وCSV وAvro.
الترميز إذا كنت تستخدم تنسيق CSV أو JSON، فيجب تحديد ترميز. UTF-8 هو تنسيق الترميز الوحيد المدعوم في الوقت الحالي.
المحدِد ينطبق فقط على تسلسل CSV. يدعم Stream Analytics عددا من المحددات الشائعة لتسلسل بيانات CSV. القيم المدعومة هي الفاصلة، والفاصلة المنقوطة، والمسافة، وعلامة الجدولة، والشريط العمودي.
تنسيق ينطبق فقط على تسلسل JSON. يحدد الخط المنفصل أن الإخراج يتم تنسيقه عن طريق فصل كل كائن JSON بواسطة سطر جديد. إذا قمت بتحديد خط منفصل، قراءة JSON كائنا واحدا في كل مرة. المحتوى بأكمله في حد ذاته لن يكون JSON صالحا. يحدد الصفيف أن الإخراج منسق كصفيف من كائنات JSON. يتم إغلاق هذه المصفوفة فقط عند توقف الوظيفة أو عند انتقال Stream Analytics إلى نافذة الوقت التالية. بشكل عام ، من الأفضل استخدام JSON مفصول بالأسطر ، لأنه لا يتطلب أي معالجة خاصة أثناء استمرار كتابة ملف الإخراج عليه.
وضع المصادقة يمكنك تفويض الوصول إلى حسابك Data Lake Storage باستخدام الهوية المدارة (المعاينة) أو الرمز المميز للمستخدم. بمجرد منح حق الوصول، يمكنك إبطال الوصول عن طريق تغيير كلمة مرور حساب المستخدم أو حذف إخراج Data Lake Storage لهذه المهمة أو حذف وظيفة Stream Analytics.

التقسيم

بالنسبة لمفتاح القسم، استخدم الرموز المميزة {date} و {time} في نمط بادئة المسار. اختر تنسيق تاريخ، مثل YYYY/MM/DD أو DD/MM/YYYY أو MM-DD-YYYY. استخدم HH لتنسيق الوقت. يتبع عدد كتاب المخرجات تقسيم الإدخال للاستعلامات المتوازية تماما.

حجم دفعة الإخراج

للحصول على الحد الأقصى لحجم الرسالة، راجع حدود Data Lake Storage. لتحسين حجم الدفعة، استخدم ما يصل إلى 4 ميغابايت لكل عملية كتابة.

الخطوات التالية