تخزين البيانات

  • مقالة
  • قراءة خلال 6 دقائق

ملاحظة

لن يتم دعم خدمة Insights السلاسل الزمنية (TSI) بعد مارس 2025. فكر في ترحيل بيئات TSI الحالية إلى حلول بديلة في أقرب وقت ممكن. لمزيد من المعلومات حول الإهمال والترحيل، يرجى زيارة وثائقنا.

توضح هذه المقالة تخزين البيانات في Azure Time Series Insights Gen2. وهو يغطي الدفء والبرودة ، وتوافر البيانات ، وأفضل الممارسات.

تشغيل الخدمة

عند إنشاء سلسلة زمنية Azure Insights بيئة Gen2، تتوفر لديك الخيارات التالية:

  • تخزين البيانات الباردة:
    • قم بإنشاء مورد تخزين Azure جديد في الاشتراك والمنطقة التي اخترتها لبيئتك.
    • إرفاق حساب Azure Storage موجود مسبقا. يتوفر هذا الخيار فقط عن طريق النشر من قالب Azure Resource Manager، وهو غير مرئي في مدخل Azure.
  • تخزين البيانات الدافئة:
    • المتجر الدافئ اختياري ، ويمكن تمكينه أو تعطيله أثناء أو بعد وقت التوفير. إذا قررت تمكين التخزين الدافئ في وقت لاحق وكانت هناك بالفعل بيانات في مخزن التبريد الخاص بك ، فراجع هذا القسم أدناه لفهم السلوك المتوقع. يمكن تكوين وقت الاحتفاظ ببيانات المتجر الدافئ لمدة 7 إلى 31 يوما ، ويمكن أيضا ضبط ذلك حسب الحاجة.

عند تناول حدث ما، تتم فهرسته في كل من المتجر الدافئ (إذا تم تمكينه) والمتجر البارد.

Storage overview

تحذير

بصفتك مالك حساب تخزين Azure Blob حيث توجد بيانات مخزن التبريد، يمكنك الوصول الكامل إلى جميع البيانات الموجودة في الحساب. يتضمن هذا الوصول أذونات الكتابة والحذف. لا تقم بتحرير أو حذف البيانات التي يكتبها Azure Time Series Insights Gen2 لأن ذلك قد يتسبب في فقدان البيانات.

توافر البيانات

Azure Time Series Insights بيانات أقسام وفهارس Gen2 للحصول على الأداء الأمثل للاستعلام. تصبح البيانات متاحة للاستعلام من كل من التخزين الدافئ (إذا تم تمكينه) والتخزين البارد بعد فهرستها. يمكن أن تؤثر كمية البيانات التي يتم استيعابها ومعدل الإنتاجية لكل قسم على التوفر. راجع قيود إنتاجية مصدر الحدث وأفضل الممارسات للحصول على أفضل أداء. يمكنك أيضا تكوين تنبيه تأخير ليتم إعلامك إذا كانت بيئتك تواجه مشكلات في معالجة البيانات.

هام

قد تواجه فترة تصل إلى 60 ثانية قبل أن تصبح البيانات متاحة عبر واجهات برمجة تطبيقات استعلام السلاسل الزمنية. إذا واجهت زمن انتقال كبير يتجاوز 60 ثانية، فيرجى إرسال تذكرة دعم عبر مدخل Azure.

قد تواجه فترة تصل إلى 5 دقائق قبل أن تصبح البيانات متاحة عند الوصول مباشرة إلى ملفات Parquet خارج Azure Time Series Insights Gen2. راجع قسم تنسيق ملف Parquet لمزيد من المعلومات.

متجر دافئ

لا تتوفر البيانات الموجودة في متجرك الدافئ إلا عبر واجهات برمجة تطبيقات استعلام السلاسل الزمنية أو السلسلة الزمنية Azure Insights مستكشف TSI أوموصل Power BI. استفسارات المتجر الدافئ مجانية ولا توجد حصة ، ولكن هناك حد أقصى يبلغ 30 طلبا متزامنا.

سلوك المتجر الدافئ

  • عند التمكين، سيتم توجيه جميع البيانات المتدفقة إلى بيئتك إلى متجرك الدافئ، بغض النظر عن الطابع الزمني للحدث. لاحظ أن خط أنابيب ابتلاع البث مصمم للبث في الوقت الفعلي تقريبا وأن استيعاب الأحداث التاريخية غير مدعوم.

  • يتم حساب فترة الاحتفاظ استنادا إلى وقت فهرسة الحدث في المتجر الدافئ، وليس الطابع الزمني للحدث. وهذا يعني أن البيانات لم تعد متوفرة في مخزن دافئ بعد انقضاء فترة الاستبقاء، حتى لو كان الطابع الزمني للحدث للمستقبل.

    • مثال: يتم استيعاب حدث يحتوي على تنبؤات جوية لمدة 10 أيام وفهرسته في حاوية تخزين دافئة تم تكوينها مع فترة احتفاظ مدتها 7 أيام. بعد سبعة أيام ، لم يعد من الممكن الوصول إلى التنبؤ في المتجر الدافئ ، ولكن يمكن الاستعلام عنه من البرد.

  • إذا قمت بتمكين التخزين الدافئ في بيئة موجودة تحتوي بالفعل على بيانات حديثة مفهرسة في التخزين البارد، فلاحظ أن متجرك الدافئ لن يتم تعبئته بهذه البيانات.

  • إذا قمت للتو بتمكين المتجر الدافئ وتواجه مشكلات في عرض بياناتك الأخيرة في Explorer، فيمكنك إيقاف تشغيل استعلامات المتجر الدافئ مؤقتا:

    Disable warm queries

مخزن بارد

يصف هذا القسم تفاصيل تخزين Azure ذات الصلة بالسلسلة الزمنية ل Azure Insights Gen2.

للحصول على وصف شامل لتخزين Azure Blob، اقرأ مقدمة نقاط التخزين.

حساب التخزين البارد الخاص بك

يحتفظ Azure Time Series Insights Gen2 بما يصل إلى نسختين من كل حدث في حساب Azure Storage الخاص بك. تخزن نسخة واحدة الأحداث مرتبة حسب وقت الابتلاع، مما يسمح دائما بالوصول إلى الأحداث في تسلسل مرتب زمنيا. بمرور الوقت، يقوم Azure Time Series Insights Gen2 أيضا بإنشاء نسخة معاد تقسيمها من البيانات لتحسين الاستعلامات ذات الأداء.

يتم تخزين جميع بياناتك إلى أجل غير مسمى في حساب Azure Storage الخاص بك.

تحذير

لا تقيد الوصول العام إلى الإنترنت على حساب التخزين الذي تستخدمه السلسلة الزمنية Insights وإلا سيتم قطع الاتصال الضروري.

كتابة وتحرير النقط

لضمان أداء الاستعلام وتوافر البيانات، لا تقم بتحرير أو حذف أي نقاط يقوم Azure Time Series Insights Gen2 بإنشائها.

الوصول إلى بيانات مخزن التبريد

بالإضافة إلى الوصول إلى بياناتك من واجهات برمجة تطبيقات Azure Time Series Insights Explorer و Time Series Query، قد تحتاج أيضا إلى الوصول إلى بياناتك مباشرة من ملفات Parquet المخزنة في مخزن التبريد. على سبيل المثال، يمكنك قراءة البيانات وتحويلها وتنظيفها في دفتر ملاحظات Jupyter، ثم استخدامها لتدريب نموذج Azure التعلم الآلي في سير عمل Spark نفسه.

للوصول إلى البيانات مباشرة من حساب Azure Storage الخاص بك، تحتاج إلى قراءة الوصول إلى الحساب المستخدم لتخزين بيانات Azure Time Series Insights Gen2. يمكنك بعد ذلك قراءة البيانات المحددة استنادا إلى وقت إنشاء ملف Parquet الموجود في المجلد الموضح PT=Time أدناه في قسم تنسيق ملف Parquet . لمزيد من المعلومات حول تمكين الوصول للقراءة إلى حساب التخزين الخاص بك، راجع إدارة الوصول إلى موارد حساب التخزين.

حذف البيانات

لا تقم بحذف ملفات Azure Time Series Insights Gen2. إدارة البيانات ذات الصلة من داخل السلسلة الزمنية Azure Insights Gen2 فقط.

تنسيق ملف الباركيه وهيكل المجلد

Parquet هو تنسيق ملف عمودي مفتوح المصدر مصمم للتخزين والأداء الفعالين. يستخدم Azure Time Series Insights Gen2 Parquet لتمكين أداء الاستعلام المستند إلى معرف السلسلة الزمنية على نطاق واسع.

لمزيد من المعلومات حول نوع ملف Parquet، اقرأ وثائق Parquet.

يقوم Azure Time Series Insights Gen2 بتخزين نسخ من بياناتك على النحو التالي:

  • PT=Time يتم تقسيم المجلد حسب وقت الابتلاع ويخزن البيانات تقريبا حسب ترتيب الوصول. يتم الاحتفاظ بهذه البيانات بمرور الوقت ويمكنك الوصول إليها مباشرة من خارج Azure Time Series Insight Gen2، مثل دفاتر ملاحظات Spark. يتوافق الطابع <YYYYMMDDHHMMSSfff> الزمني مع وقت ابتلاع البيانات. ويتوافق <MinEventTimeStamp><MaxEventTimeStamp> مع نطاق الطوابع الزمنية للأحداث المضمنة في الملف. يتم تنسيق المسار واسم الملف على النحو التالي:

    V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<MinEventTimestamp>_<MaxEventTimestamp>_<TsiInternalSuffix>.parquet

  • PT=Live تحتوي المجلدات والمجلدات PT=Tsid على نسخة ثانية من بياناتك، أعيد تقسيمها لأداء استعلام السلاسل الزمنية على نطاق واسع. يتم تحسين هذه البيانات بمرور الوقت وليست ثابتة. أثناء إعادة التقسيم ، قد تكون بعض الأحداث موجودة في نقاط متعددة وقد تتغير أسماء النقاط. يتم استخدام هذه المجلدات بواسطة Azure Time Series Insights Gen2 ويجب عدم الوصول إليها مباشرة؛ يجب عليك استخدامها PT=Time فقط لهذا الغرض.

ملاحظة

يمكن أن يكون للبيانات الموجودة PT=Time في المجلد من قبل يونيو 2021 تنسيق اسم ملف بدون نطاقات زمنية للأحداث: V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<TsiInternalSuffix>.parquet. تنسيق الملف الداخلي هو نفسه ويمكن استخدام الملفات مع كل من أنظمة التسمية معا.

  • <YYYY> خرائط لتمثيل سنة مكون من أربعة أرقام.
  • <MM> خرائط لتمثيل شهر مكون من رقمين.
  • يرسم <YYYYMMDDHHMMSSfff> تنسيق الطوابع الزمنية إلى سنة مكونة من أربعة أرقام () ، وشهر مكون من رقمين () ، ويوم مكون من رقمين () ، وساعة مكونة من رقمين () ، ودقيقة مكونة من رقمين () ، وثانية مكونة من رقمين () ، وميلي ثانية مكونة من ثلاثة أرقام (HHYYYYSSMMMMDDfff).

يتم تعيين أحداث السلسلة الزمنية Azure Insights Gen2 إلى محتويات ملف Parquet كما يلي:

  • يتم تعيين كل حدث إلى صف واحد.
  • يتضمن كل صف عمود الطابع الزمني مع طابع زمني للحدث. خاصية الطابع الزمني ليست لاغية أبدا. يتم تعيينه افتراضيا إلى وقت الحدث في قائمة الانتظار إذا لم يتم تحديد خاصية الطابع الزمني في مصدر الحدث. يكون الطابع الزمني المخزن دائما بالتوقيت العالمي المنسق.
  • يتضمن كل صف عمود (أعمدة) معرف السلسلة الزمنية (TSID) كما هو محدد عند إنشاء بيئة Azure Time Series Insights Gen2. يتضمن _string اسم الخاصية TSID اللاحقة.
  • يتم تعيين جميع الخصائص الأخرى المرسلة كبيانات قياس عن بعد إلى أسماء أعمدة تنتهي ب _bool (منطقي) أو (طابع زمني) أو (طويل) أو (مزدوج) أو (سلسلة) أو _dynamic_datetime_long_double_string (ديناميكي)، اعتمادا على نوع الخاصية. لمزيد من المعلومات، اقرأ حول أنواع البيانات المدعومة.
  • ينطبق مخطط التعيين هذا على الإصدار الأول من تنسيق الملف، المشار إليه باسم V=1، والمخزن في المجلد الأساسي الذي يحمل الاسم نفسه. مع تطور هذه الميزة، قد يتغير مخطط التعيين هذا ويزداد اسم المرجع.

الخطوات التالية