Veri Depolama

  • Makale

Not

Time Series Insights (TSI) hizmeti artık Mart 2025'e kadar desteklenmeyecektir. Mevcut TSI ortamlarını mümkün olan en kısa sürede alternatif çözümlere geçirmeyi göz önünde bulundurun. Kullanımdan kaldırma ve geçiş hakkında daha fazla bilgi için belgelerimizi ziyaret edin.

Bu makalede Azure Time Series Insights 2. Nesil'de veri depolama açıklanmaktadır. Sıcak ve soğuk, veri kullanılabilirliği ve en iyi yöntemleri kapsar.

Sağlama

Azure Time Series Insights 2. Nesil ortamı oluşturduğunuzda aşağıdaki seçeneklere sahipsiniz:

  • Soğuk veri depolama:
    • Ortamınız için seçtiğiniz abonelikte ve bölgede yeni bir Azure Depolama kaynağı oluşturun.
    • Önceden var olan bir Azure Depolama hesabı ekleyin. Bu seçenek yalnızca Azure Resource Manager şablonundan dağıtılarak kullanılabilir ve Azure portal görünmez.
  • Sıcak veri depolama:
    • Sıcak depo isteğe bağlıdır ve sağlama sırasında veya sonrasında etkinleştirilebilir veya devre dışı bırakılabilir. Sıcak depoyu daha sonra etkinleştirmeye karar verirseniz ve soğuk deponuzda zaten veriler varsa, beklenen davranışı anlamak için aşağıdaki bölümü gözden geçirin. Sıcak depolama verileri saklama süresi 7 ile 31 gün arasında yapılandırılabilir ve bu da gerektiğinde ayarlanabilir.

Bir olay alınırken hem sıcak depoda (etkinse) hem de soğuk depoda dizine alınır.

Depolamaya genel bakış

Uyarı

Soğuk depolama verilerinin bulunduğu Azure Blob depolama hesabının sahibi olarak hesaptaki tüm verilere tam erişiminiz olur. Bu erişim, yazma ve silme izinlerini içerir. Azure Time Series Insights 2. Nesil'in yazdığı verileri düzenlemeyin veya silmeyin çünkü bu veri kaybına neden olabilir.

Veri kullanılabilirliği

Azure Time Series Insights 2. Nesil, en iyi sorgu performansı için verileri bölümler ve dizinler. Veriler hem sıcak (etkinse) hem de dizinlendikten sonra soğuk depodan sorgulanabilir hale gelir. Alınan veri miktarı ve bölüm başına aktarım hızı kullanılabilirliği etkileyebilir. En iyi performans için olay kaynağı aktarım hızı sınırlamalarını ve en iyi yöntemleri gözden geçirin. Ortamınızda veri işleme sorunları yaşanıyorsa bildirim almak için bir gecikme uyarısı da yapılandırabilirsiniz.

Önemli

Verilerin Zaman Serisi Sorgu API'leri aracılığıyla kullanılabilir duruma gelmesi için 60 saniyeye kadar bir süreyle karşılaşabilirsiniz. 60 saniyenin ötesinde önemli bir gecikme yaşarsanız lütfen Azure portal üzerinden bir destek bileti gönderin.

Azure Time Series Insights 2. Nesil dışında Parquet dosyalarına doğrudan erişirken verilerin kullanılabilir duruma gelmesi için 5 dakikaya kadar bir süreyle karşılaşabilirsiniz. Daha fazla bilgi için Parquet dosya biçimi bölümüne bakın.

Sıcak mağaza

Sıcak deponuzdaki veriler yalnızca Time Series Query API'leri, Azure Time Series Insights TSI Gezgini veya Power BI Bağlayıcısı aracılığıyla kullanılabilir. Sıcak depolama sorguları ücretsizdir ve kota yoktur, ancak 30 eşzamanlı istek sınırı vardır.

Sıcak mağaza davranışı

  • Etkinleştirildiğinde, ortamınıza akışı yapılan tüm veriler etkinlik zaman damgasından bağımsız olarak sıcak deponuza yönlendirilir. Akış alma işlem hattının neredeyse gerçek zamanlı akış için oluşturulduğuna ve geçmiş olayları alma işleminin desteklenmediğini unutmayın.

  • Saklama süresi, olayın zaman damgasına değil sıcak depoda dizine alındığı tarihe göre hesaplanır. Bu, etkinlik zaman damgası geleceğe yönelik olsa bile saklama süresi dolduktan sonra verilerin artık sıcak depoda kullanılamadığı anlamına gelir.

    • Örnek: 10 günlük hava durumu tahminlerine sahip bir olay alınır ve 7 günlük saklama süresiyle yapılandırılmış sıcak bir depolama kapsayıcısında dizine alınır. Yedi gün sonra tahmine artık sıcak depodan erişilemez ancak soğuktan sorgulanabilir.

  • Soğuk depolamada dizine alınmış son verilerin bulunduğu mevcut bir ortamda sıcak depoyu etkinleştirirseniz, sıcak deponuzun bu verilerle yeniden doldurulmayacağını unutmayın.

  • Yalnızca sıcak depoyu etkinleştirdiyseniz ve Gezgin'de son verilerinizi görüntülerken sorun yaşıyorsanız, sıcak depolama sorgularını geçici olarak kapatabilirsiniz:

    Sıcak sorguları devre dışı bırakma

Soğuk mağaza

Bu bölümde, Azure Time Series Insights 2. Nesil ile ilgili Azure Depolama ayrıntıları açıklanmaktadır.

Azure Blob depolama hakkında ayrıntılı bir açıklama için Depolama bloblarına giriş'i okuyun.

Soğuk depolama hesabınız

Azure Time Series Insights 2. Nesil, Azure Depolama hesabınızda her olayın en fazla iki kopyasını tutar. Bir kopya, alım zamanına göre sıralanmış olayları depolar ve olaylara her zaman sıralı bir sırayla erişim sağlar. Zaman içinde Azure Time Series Insights 2. Nesil, performans sorgularını iyileştirmek için verilerin yeniden bölümlenmiş bir kopyasını da oluşturur.

Tüm verileriniz Süresiz olarak Azure Depolama hesabınızda depolanır.

Uyarı

Genel İnternet erişimini Time Series Insights tarafından kullanılan depolama hesabına kısıtlamayın, aksi takdirde gerekli bağlantı kesilir.

Blobları yazma ve düzenleme

Sorgu performansını ve veri kullanılabilirliğini sağlamak için, Azure Time Series Insights 2. Nesil'in oluşturduğu blobları düzenlemeyin veya silmeyin.

Soğuk depo verilerine erişme

verilerinize Azure Time Series Insights Gezgini ve Zaman Serisi Sorgu API'lerinden erişmenin yanı sıra, verilerinize doğrudan soğuk depoda depolanan Parquet dosyalarından da erişmek isteyebilirsiniz. Örneğin, jupyter not defterindeki verileri okuyabilir, dönüştürebilir ve temizleyebilir, sonra da aynı Spark iş akışında Azure Machine Learning modelinizi eğitmek için kullanabilirsiniz.

Verilere doğrudan Azure Depolama hesabınızdan erişmek için, Azure Time Series Insights 2. Nesil verilerinizi depolamak için kullanılan hesaba okuma erişiminiz olmalıdır. Ardından parquet dosyası biçimi bölümünde aşağıda açıklanan klasörde bulunan PT=TimeParquet dosyasının oluşturulma zamanına göre seçilen verileri okuyabilirsiniz. Depolama hesabınıza okuma erişimini etkinleştirme hakkında daha fazla bilgi için bkz. Depolama hesabı kaynaklarınıza erişimi yönetme.

Silinmiş veriler

Azure Time Series Insights 2. Nesil dosyalarınızı silmeyin. İlgili verileri yalnızca Azure Time Series Insights 2. Nesil'den yönetin.

Parquet dosya biçimi ve klasör yapısı

Parquet, verimli depolama ve performans için tasarlanmış bir açık kaynak sütunlu dosya biçimidir. Azure Time Series Insights 2. Nesil, Zaman Serisi Kimliği tabanlı sorgu performansını büyük ölçekte etkinleştirmek için Parquet kullanır.

Parquet dosya türü hakkında daha fazla bilgi için Parquet belgelerini okuyun.

Azure Time Series Insights 2. Nesil, verilerinizin kopyalarını aşağıdaki gibi depolar:

  • Klasör PT=Time , alım zamanına göre bölümlenmiştir ve verileri kabaca varma sırasına göre depolar. Bu veriler zaman içinde korunur ve Spark not defterleriniz gibi Azure Time Series Insight 2. Nesil dışından doğrudan erişebilirsiniz. Zaman damgası <YYYYMMDDHHMMSSfff> , verilerin alım zamanına karşılık gelir. <MinEventTimeStamp> ve<MaxEventTimeStamp>, dosyaya dahil edilen olay zaman damgaları aralığına karşılık gelir. Yol ve dosya adı şu şekilde biçimlendirilir:

    V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<MinEventTimestamp>_<MaxEventTimestamp>_<TsiInternalSuffix>.parquet

  • PT=Live ve PT=Tsid klasörleri, verilerinizin büyük ölçekteki zaman serisi sorgu performansı için yeniden bölümlenmiş ikinci bir kopyasını içerir. Bu veriler zaman içinde iyileştirilmiştir ve statik değildir. Yeniden bölümleme sırasında bazı olaylar birden çok blobda bulunabilir ve blob adları değişebilir. Bu klasörler Azure Time Series Insights 2. Nesil tarafından kullanılır ve doğrudan erişilmemelidir; yalnızca bu amaçla kullanmalısınızPT=Time.

Not

Haziran 2021'den önceki klasördeki PT=Time veriler, olay zaman aralıkları olmayan bir dosya adı biçimine sahip olabilir: V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<TsiInternalSuffix>.parquet. İç dosya biçimi aynıdır ve her iki adlandırma düzenine sahip dosyalar birlikte kullanılabilir.

  • <YYYY> dört basamaklı bir yıl gösterimine eşler.
  • <MM> iki basamaklı ay gösterimine eşler.
  • <YYYYMMDDHHMMSSfff> Zaman damgalarının biçimi dört basamaklı yıl (), iki basamaklı ay (MMYYYY), iki basamaklı gün (), iki basamaklı saat (DD), iki basamaklı dakika (HH), iki basamaklı saniye (MM) ve üç basamaklı milisaniyeyleSS (fff ) eşler.

Azure Time Series Insights 2. Nesil olayları Parquet dosya içeriğiyle aşağıdaki gibi eşlenir:

  • Her olay tek bir satıra eşler.
  • Her satır, olay zaman damgası içeren zaman damgası sütununu içerir. Zaman damgası özelliği hiçbir zaman null değildir. Zaman damgası özelliği olay kaynağında belirtilmezse, varsayılan olarak olay tarafından sıraya alınan saat kullanılır. Depolanan zaman damgası her zaman UTC'dedir.
  • Her satır, Azure Time Series Insights 2. Nesil ortamı oluşturulduğunda tanımlanan Zaman Serisi Kimliği (TSID) sütunlarını içerir. TSID özellik adı son eki _string içerir.
  • Telemetri verileri olarak gönderilen diğer tüm özellikler, özellik türüne bağlı olarak (boole), (zaman damgası), _datetime (uzun), _long (çift), _string_double (dize) veya _dynamic (dinamik) ile biten sütun adlarına _bool eşlenir. Daha fazla bilgi için Desteklenen veri türleri hakkında bilgi edinin.
  • Bu eşleme şeması, V=1 olarak başvurulan ve aynı ada sahip temel klasörde depolanan dosya biçiminin ilk sürümü için geçerlidir. Bu özellik geliştikçe, bu eşleme şeması değişebilir ve başvuru adı artırılır.

Sonraki adımlar